자는 재인(在人). 고조부는 김창집(金昌集)이고 할아버지는 김준행(金峻行)이며 아버지는 김이신(金履信)이다.1767년(영조 43) 정시 문과에 장원 급제해 정언이 되었다. 이듬해 겸문학이 된 뒤 홍문관교리·지평·문학·사서를 거쳐 1773년 벼슬한 지 7년 만에 당상관에 올라 승지에 임명되었다.
1779년(정조 3) 대사간(大司諫)이 되었으며 좌승지·이조참판·대사헌(大司憲)을 거쳐 1782년 다시 이조참판이 되었다. 노론인 김문순은 남인인 지중추부사 채제공(蔡濟恭)의 죄를 논하고 유배시킬 것을 주장하다가 오히려 파직당하였다.
그러나 곧 기용되어 충청도관찰사가 되고 1784년 동지경연사에 이어 공조참판이 되었으나 채제공과 뜻이 맞지 않아 탄핵을 받아 파직당하였다.1789년 이조참판에 이어 형조판서가 되었는데 이듬해 강화 죄수의 처결을 지체했다는 이유로 파직되었다.
그러다가 곧 예조판서로 기용되어 다시 형조판서를 거쳐 한성판윤이 되었다. 1791년 평시서제조가 되었으며 이듬해 이조판서·예조판서를 거쳐 다시 형조판서가 되었다.이 때 평택현감 이승훈(李承薰)이 천주교인으로서 향교의 문묘에 알성(謁聖)할 때 무릎을 꿇지 않았다.
이에 여론이 분분했지만 처벌하지 않아 금갑도(金甲島)에 위리안치(圍籬安置)되었으며 곧 풀려나 다시 한성판윤이 되었다.1796년 경기도관찰사를 지낸 뒤 이듬해 동지 겸 사은정사(冬至兼謝恩正使)로 청나라에 다녀왔다. 1800년(순조 즉위년) 원접사(遠接使)가 되어 칙사(勅使)를 맞이하고 1802년 평안도관찰사에 임명되었다.
1804년 수원유수 1806년 판의금부사에 이어 이조판서·선혜청당상·우참찬을 역임하였다.
