1903년 11월 25일 충청남도 공주군에서 독립유공자인 아버지 김복한과 청주 이씨(1882 ~ 1905. 2. 6) 이주찬(李周讚)의 딸 사이의 아들로 태어났다.
어려서 한문을 수학했고, 1919년 3.1 운동에 참여하였다. 1927년에는 신간회의 발기인 34명 중의 한 사람으로서 중앙상무집행위원을 역임하였다.
8.15 광복 후 우익 정치인으로서 신탁통치반대국민총동원위원회 중앙상무집행위원, 대한독립촉성국민회 공주지회 회원, 민족통일총본부 공주군 사무국장 등을 지냈다.
1948년 제헌 국회의원 선거에서 무소속으로 충청남도 공주군 갑 선거구에 출마하여 당선되었다. 이후 국회에서 재정경제위원회 위원으로 활동했다. 1948년 6월 4일 국회법 기초위원에 선임되며 국회법을 만드는데 기여하였고 같은 해 8월 7일 반민족행위처벌법 기초위원에도 선임되었다.
1949년 대전, 충남지역의 반민족행위특별조사위원회 조사위원을 지내며 공주 갑부 김갑순을 기소하려고 시도하는 등 친일파 척결에 앞장을 섰다. 그러나 그 해 8월 업무상 횡령 및 뇌물수수 혐의로 체포되어 기소되었다가, 제헌 국회에서 그에 대해 임기 말까지 형집행정지를 시키기로 하는 석방결의안이 가결되어 10월 4일 석방되었다. 1950년 1월 업무상 횡령 및 뇌물수수, 공갈죄, 협박죄 혐의에 대해 징역 1년, 집행유예 3년을 선고받았으나, 검사 측에서 공소를 제기하였다.
1950년 제2대 국회의원 선거에서 대한국민당 후보로 충청남도 공주군 을 선거구에 출마하여 당선되었다. 그러나 얼마 뒤 앞선 사건으로 재수감되었고 그해 6월 20일 2심에서 징역 1년을 선고받았다.
이후 제2대 국회의 석방결의안으로 석방된 그는 1950년 6.25 전쟁 중에 의문사했다.
임기 중 사망하였다. 묘는 세종특별자치시 장군면 금암리에 있으며, 부인 남양 홍씨(1899 ~ 1951. 1. 23)와 함께 안장되었다.