자는 일원(一原) 초호는 초계(苕谿) 뒤에 여연(如淵)으로 바꾸었다. 아버지는 공조판서 겸 판의금부사(工曹判書兼判義禁府事) 김한순(金漢淳)이며 어머니는 평산신씨로 신각(申慤)의 딸이다.1827년 왕세자청정경과정시(王世子聽政慶科庭試)에 급제 그 해에 시강원설서(侍講院說書)에 임명되었고 병조정랑과 실록기주관(實錄記注官)을 거쳐 1836년(헌종 2) 병조참의에 승진하였으며 강원감사와 대사간을 역임한 뒤 1852년(철종 2) 경연관(經筵官)이 되었다.그 뒤 성균관대사성 강원도관찰사 사간원대사간 사헌부대사헌 이조참판 공조판서 한성부판윤·경기감사·예조판서 병조판서등을 역임하였고 1863년 형조판서 1870년 이조판서를 거쳐 좌찬성·우찬성을 역임하였다.
한편 사화(詞華)에도 능하여 영물 등의 시 280여수를 남겼으며 또한 경연관으로 있던 1853년에 임금 앞에서 『중용』을 강의하기 위하여 만들었던 「중용강의」가 그의 문집 속에 수록되어 있다.또한 1862년에 쓴 「삼정구폐책(三政救弊策)」에서 당시 전부(田賦)·군적(軍籍)·환곡(還穀) 등의 폐단을 논하고 그 시정책으로 전부에 있어서는 곡식과 돈을 혼합징수하지 말고 지역에 따라 한 가지로 통일시킬 것과 군적에 있어서는 일 없이 한가로이 지내는 장정들의 병역기피를 방지하고 병역면제를 핑계로 돈을 함부로 징수하지 말 것과 환곡에 있어서는 과거의 사창제도(社倉制度)를 부활시킬 것 등을 주장하였다.
저서로는 『여연유고(如淵遺稿)』 3책이 있다.
