자(字)는 경은(景隱) 호(號)는 하옥(荷屋) 시호(諡號)는 충익(忠翼)이다. 영안부원군(永安府院君) 김조순의 아들이자 김유근의 동생이며 순조의 왕비인 순원왕후(純元王后)의 남동생이다. 익종의 외숙부였다.
순탄한 벼슬생활을 하면서 안동 김씨 세도정치의 중추적 역할을 하였다.
1825년 아버지인 김조순의 추천으로 무품관직(無品官職)인 부수(副率)가 되었고 1834년에는 상의원 첨정(尙衣院僉正)으로 승진하여 1837년 사마시에 합격하여 41세의 나이로 진사가 되었고 1838년에 정시문과에 병과로 급제하였다. 부교리(副校理)와 성균관 대사성 이조참의 등을 지내고 승진하여 한성부판윤 공조판서 사헌부대사헌 병조판서 등을 두루 역임하였다.
철종의 즉위년인 1850년 이후 요직에 등용되어 의정부 우참찬(右參贊)과 선혜청 당상 등에 보직되었으며 금위대장을 거쳐 총융사 다시 금위대장 형조판서 훈련대장 공조판서 우의정을 역임하였는데 한번도 외관직을 맡은 적없이 순탄한 벼슬생활을 하였다.
1853년부터 1863년까지 영의정에 세 번이나 보직되었으며 1862년 삼정의 문란으로 발생한 각지의 민란을 진압하기 위해 이정청(釐正廳)의 총재관(摠裁官)을 겸하였다. 그 뒤 순원왕후는 승하하였으나 일족의 실력을 바탕으로 안동김씨의 중심인물로서 세도정치를 폈다.
파락호의 처지에 있던 흥선군이 그의 저택을 방문하자 재정적으로 후원하였으며 처지가 궁한 그가 석파란으로 알려진 난초화를 가져오면 이를 받고 소정의 금액을 지불해주기도 하였다. 흥선군을 귀찮게 여긴 다른 사대부가와는 달리 흥선군에게 용돈 노잣돈을 줘서 돌려보내기도 했다. 안동 김씨의 중심인물로서 헌종과 철종대에 걸쳐 세도정치를 폈으며 1863년 12월 철종이 아들없이 급서하여 흥선대원군이 집권하자 원상 정원용과 함께 흥선대원군의 둘째아들인 명복(命福)이 사왕(嗣王)으로 결정되자 봉영사(奉迎使)로 파견되어 고종으로 옹립하는 일을 주관했다.
1863년 고종이 즉위하고 흥선대원군이 집권하자 영의정에서 물러났으나 원임대신 자격으로 정사에 참여하여 국정을 자문하였다. 아들 김병기와 함께 몰락왕족으로 어려운 처지에 있던 흥선대원군을 도왔으며 다른 안동김씨 일족이 숙청당했을 때도 몰락하지 않고 원로대우를 받았다. 1864년부터 철종실록 편찬에 참여하여 실록총재관(實錄摠裁官)으로 《철종실록》 편찬을 주관 지휘하였다. 1868년 대원군에 의해 삼군부(三軍府)가 부활 설치되자 삼군부영사(三軍府領事)가 되었다. 돈령부영사(敦寧府領事)로 치사하였으며 1866년 기로소(耆老所)에 들어갔다. 1869년에 사망하였으며 사후 충익(忠翼)의 시호가 추증되었다.
조선정감에 보면 고종(高宗)이 정조(正祖)의 능인 건릉(健陵)에 행행(行幸)했을 때 흥선대원군이 김좌근에게 무안을 준 일화와 그의 애첩이었던 나주(羅州)의 기생 양씨(梁氏) 즉 나합(羅閤)의 투기를 트집잡아 청수동 별장(淸水洞別莊)으로 대원군이 찾아가 궁궐중건비 10만냥과 고종의 가례비(嘉禮費) 10만냥을 받아낸 재미있는 일화가 소개되고 있다.
1999년 그의 후손들은 그와 아들 김병기가 살던 경기도 이천군의 가옥을 기증하였다. 묘소는 경기도 이천시 백사면 내촌리에 있다.
