자는 성초(聖初) 호는 용암(蓉庵). 아버지는 판서 김응근(金應根)이다.1855년(철종 6) 북원(北苑) 망배례(望拜禮) 때 참반유무시사(參班儒武試射)에서 뽑혀 정시문과에 을과로 급제하였다. 이때부터 훈국금위종사관(訓局禁衛從事官)·선전관(宣傳官)·성균관전적(成均館典籍)·정언(正言)·병조정랑(兵曹正郎)을 거쳐 1860년 홍문관 교리(弘文館校理)에 1862년에 성균관대사성(成均館大司成)오르고 1863년에는 이조 참의가 되었다.
1865년(고종 2) 병조참의 1869년 예조참판·의금부사(義禁府事) 1870년 공충도관찰사(公忠道觀察使) 1874년 도승지 1875년 형조판서·예조판서·우참찬(右參贊) 1876년 도총관·병조판서 1877년 우포도대장(右捕盜大將)·선혜청당상(宣惠廳堂上)·도통사(都統使) 1878년 총융사(摠戎使)·어영대장(御營大將)·지삼군부사(知三軍府事)·이조판서 1879년 규장각제학·호조판서 1881년 공조판서·관상감제조(觀象監提調) 1882년 예문관제학(藝文館提學)·변리통리내무아문사(辨理統理內務衙門事)·독판군국사무(督辦軍國事務) 등의 문무현직을 두루 역임하였다.
1882년 임오군란이 일어나자 잠시 호조판서에서 물러났다가 흥선대원군이 톈진으로 납치된 후 호조판서에 재임명되었고 일본공사 하나부사[花房義質]가 일본군을 이끌고 인천에 상륙 주둔하며 군란의 사후처리문제로 조선 정부를 괴롭히고 있을 때 지삼군부사로 대관(大官)에 임명되어 종사관 서상우(徐相雨)와 함께 이들과 담판 협상하였다.
또 청나라의 장군 오장경(吳長慶)에게 조선 정부가 군란의 주도 세력들이 집단으로 거주하던 왕십리와 이태원을 기습 공격하도록 하여 수많은 군인과 가족들이 학살을 당하였는데 이때 오장경을 찾아가 무고한 양민은 살육하지 말 것을 청원하였다 한다.
임오군란 중에 흥선대원군에 의해 폐지되었던 통리기무아문(統理機務衙門)이 복설 되고 그해 12월 정부 기구의 개편으로 통리내무아문(統理內務衙門)이 통리군국사무아문(統理軍國事務衙門)으로 통리아문(統理衙門)이 통리교섭통상사무아문(統理交涉通商事務衙門)으로 바뀌면서 독판군국사무(督辦軍國事務)에 임명되었다.
1883년 1월 진주사(陳奏使)로 임명되어 청에 다녀온 후 양향당상(糧餉堂上)·선혜청제조·예조판서·이조판서 등을 역임하였다. 1884년 갑신정변 때는 조정의 신하들이 개화파와 수구파로 갈려 대립하자 사대당에 가담하여 김옥균(金玉均)일파를 몰아 내는데 일조 했다.
그 후 성립된 심순택(沈舜澤)내각의 독판교섭통상사무(督辦交涉通商事務)로 전권 대신이 되어 이탈리아·영국·러시아 등과 수호통상조약을 체결하였으며 통리군국아문의 우의정과 판중추부사(判中樞府事)가 되었고 잇달아 의정부좌의정과 총리내무부사(總理內務府事)에 임명되었다.
1886년 「논시폐수차(論時弊袖箚)」를 올려 정부가 개화 정책을 위해 증대한 국가경상비의 지출을 억제하고 근검 절약하는 긴축재정으로 운영할 것을 주장하는 한편 당시 정부에서 조운(漕運)의 편리를 위해 추진하였던 윤선(輪船)의 구입을 강력하게 반대하였다.
그리고 1888년에는 「논전폐계(論錢弊啓)」에서 정부의 화폐 정책을 비판하고 특히 당오전(當五錢)을 비롯한 악화의 남조를 금지할 것을 주장하였다.
1894년 동학농민전쟁을 빌미로 조선에 상륙한 청·일 간의 전쟁이 있기 며칠 전인 6월 20일에 영의정에 올랐으나 다음날 일본군이 조선정부의 폐정을 개혁한다는 이유로 흥선대원군을 앞장세워 경복궁을 점령하고 24일 김홍집(金弘集) 내각을 수립하게 되어 자리를 물러나지 않을 수 없었다.
내각이 수립되면서 갑오경장이 진행되고 새로 조직된 군국기무처에서 시강원사(侍講院師)와 중추원의장(中樞院議長)의 자리를 맡았다.
1895년 명성황후시해사건 후 김홍집내각이 단발령(斷髮令)을 강제로 실시하자 전국 각지에서 의병이 일어났는데 이때 궁내부특진관으로서 단발령에 반대하는 상소를 하였다.
이러한 혼란 속에 이뤄진 고종의 아관파천(俄館播遷)은 김홍집 내각 실각 친로내각 수립이라는 정치적 변화를 가져왔는데 신내각의 총리 대신이 되었다.
1897년 대한제국이라는 국호 아래 새 관제를 정비한 광무정부의 의정부의정(議政府議政)에 임명되었고 대원군이 죽은 뒤에는 산릉석의중수도감도제조(山陵石儀重修都監都提調)에 임명되었다.
정치·경제사상은 철저하게 유교적 왕도 사상에 근거하고 있었으나 이용후생과 경세치용에 대한 관심도 가지고 있었던 것 같다. 철종 조에 관직에 오른 위부터 문호개방·임오군란·갑신정변·갑오농민전쟁·청일전쟁·갑오경장·을미사변 등 한국 근세의 역사 속에서 정부의 중요 관직을 두루 역임하면서 언제나 온건 보수의 길을 선택하여 개량주의를 지향하는 정치가로 일관하였다.
특히 김옥균·박영효(朴泳孝) 등 갑신정변을 주도한 혁명 세력 뿐 아니라 김홍집·어윤중(魚允中) 등으로 대표되는 온건 개혁 세력과도 언제나 정치적으로 대립하는 보수주의자였다.
일생을 조선 봉건왕조체제를 수호하기 위해 5백년 선왕의 제도는 변혁될 수도 없고 변혁돼서도 안된다는 정치 원리를 신봉한 수구파 관료였다.
그러나 최근 일부 학자들에 의해 민본주의에 입각한 중도적 개혁가로 개화파와 수구파의 대립으로 점철된 조선근세정치사에서 언제나 민족주의적 입장을 지킨 자주적이고 주체적인 정치가였다는 평가를 받기도 한다.
저서에는 『용암집(蓉庵集)』이 있다.
