자는 난고(蘭皐) 별호는 김삿갓 또는 김립(金笠). 경기도 양주 출생.평안도 선천(宣川)의 부사였던 할아버지 김익순(金益淳)이 홍경래의 난 때에 투항한 죄로 집안이 멸족을 당하였다. 노복 김성수(金聖洙)의 구원으로 형 김병하(金炳河)와 함께 황해도 곡산(谷山)으로 피신해 공부하였다.
후일 멸족에서 폐족으로 사면되어 형제는 어머니에게로 돌아갔다. 그러나 아버지 김안근(金安根)은 홧병으로 죽었다.어머니는 자식들이 폐족자로 멸시받는 것이 싫어서 강원도 영월로 옮겨 숨기고 살았다.
이 사실을 모르는 김병연이 과거에 응시 「논정가산충절사탄김익순죄통우천(論鄭嘉山忠節死嘆金益淳罪通于天)」이라는 그의 할아버지 김익순을 조롱하는 시제로 장원급제하였다. 그러나 자신의 내력을 어머니에게서 듣고는 조상을 욕되게 한 죄인이라는 자책과 폐족자에 대한 멸시 등으로 20세 무렵부터 처자식을 둔 채로 방랑의 길에 오른다.
이때부터 그는 푸른 하늘을 볼 수 없는 죄인이라고 삿갓을 쓰고 죽장을 짚은 채 방랑생활을 시작하였다.금강산 유람을 시작으로 각지의 서당을 주로 순방하고 4년 뒤에 일단 귀향하여 1년 남짓 묵었다. 이때 둘째아들 김익균(金翼均)을 낳았다. 또다시 고향을 떠나서 서울·충청도·경상도로 돌았다.
도산서원(陶山書院) 아랫마을 서당에서 몇 해 동안 훈장노릇도 하였다. 다시 전라도·충청도·평안도를 거쳐 어릴 때 자라던 곡산의 김성수 아들집에서 1년쯤 훈장노릇을 하였다.충청도 계룡산 밑에서 찾아온 아들 김익균을 만나 재워놓고 도망하였다가 1년 만에 또 찾아온 그 아들과 경상도 어느 산촌에서 만났으나 이번에는 심부름을 보내놓고 도망쳤다. 3년 뒤 경상도 진주땅에서 또다시 아들을 만나 귀향을 마음먹었다가 또 변심하여 이번에는 용변을 핑계로 도피하였다.
김병연이 전라도 지역을 유랑하다가 동복(同福)땅에 이르러 쓰러졌는데 어느 선비가 나귀에 태워 자기 집으로 데려가 그곳에서 신세를 지게 되었다. 그 뒤 김병연은 지리산을 두루 살펴보고 쇠약한 몸으로 그 선비 집에 돌아와 1863년(철종 14) 57세의 나이로 한 많은 생애를 마쳤다.
뒤에 김익균이 유해를 강원도 영월군 의풍면 태백산 기슭에 묻었다.김병연의 한시는 풍자와 해학을 담고 있어 희화적(戱畫的)으로 한시에 파격적 요인이 되었다. 그 파격적인 양상을 한 예로 들어보면 다음과 같다.
스무나무 아래 앉은 설운 나그네에게
망할놈의 마을에선 쉰밥을 주더라
인간에 이런 일이 어찌 있는가
내 집에 돌아가 설은 밥을 먹느니만 못하다
二十樹下三十客
四十村中五十食
人間豈有七十事
不如歸家三十食.
이 시에서 전통적인 한시의 신성함 혹은 권위에 대한 도전 그 양식 파괴 등에서 이러한 파격의 의미를 찾을 수 있을 것이다.국문학사에서는 김삿갓으로 칭해지는 인물이 김병연 외에도 여럿 있었음을 들어 김삿갓의 이러한 복수성은 당시 사회의 몰락한 양반계층의 편재와 깊은 관련이 있다고 보고 있다.
특히 과거제도의 문란으로 인하여 선비들의 시 창작기술은 이와 같은 절망적 파격과 조롱·야유·기지로 나타나게 되었다는 것이다.
1978년 김병연의 후손들이 중심이 되어 광주 무등산 기슭에 시비(詩碑)를 세웠다.
1987년 영월에 전국시가비건립동호회(全國詩歌碑建立同好會)에서 시비를 세웠다.
그의 시를 묶은 『김립시집(金笠詩集)』이 있다.