이조참판 김원근(金元根)의 손자이며 김병수(金炳洙)의 아들로 김병지(金炳地)에게 입양되었다.
영안부원군(永安府院君) 김조순(金祖淳)의 사손(祀孫)으로서 고종의 특명에 의하여 1885년(고종 212) 교관(敎官)이 되고 그해 증광 문과에 병과로 급제하였다. 1889년 규장각대교에 임용되었다.
그 뒤 시강원겸문학·성균관대사성으로 승진되고 1893년 이조참의가 되었다.
건양·광무연간에 수구파가 정권을 장악하자 봉상사제조·궁내부특진관 등 왕실과 밀접한 관직으로 중용되었다. 특히 1899년에는 부임은 하지 않았지만 일본주재 특명전권공사로 임명되었다.같은해 충청북도관찰사(忠淸北道觀察使)에 임명되었다.
이후 법부 법무국장·협판을 비롯하여 법률기초위원회 위원장 평리원 판사 한성재판소 수반판사 형법교정관을 지냈다.
1904년에는 법부협판으로서 장호익(張浩翼) 등 일본육군사관학교 출신자들이 유길준(兪吉濬)·이완용(李完用)과 같은 친일파를 내세워 역모한 사건에 강력히 대처할 것을 주장하였다.
또한 1903년 영조 때 편찬된 『문헌비고(文獻備考)』를 보수할 것을 건의하였고 그 증보작업의 당상(堂上)이 되었다.