자는 연지(延之) 호는 곡운(谷雲). 할아버지는 김상헌(金尙憲)이다. 1650년(효종 1)에 생원시에 합격하고 1652년에는 세마(洗馬)가 되었다. 그 뒤 형조정랑 공조정랑을 거쳐 각사(各司)의 정(正)을 두루 역임하였다. 젊어서부터 산수를 좋아하여 금강산 등 여러 곳을 유람한 뒤 기행문을 남기기도 하였다.
1670년(현종 11)에는 지금의 강원도 화천군 사내면 영당리에 복거(卜居)할 땅을 마련하고 농수정사(籠水精舍)를 지었다. 그 뒤 1675년(숙종 1)에 성천 부사로 있던 중에 동생 김수항(金壽恒)이 송시열(宋時烈)과 함께 유배되자 벼슬을 그만두고 농수정사로 돌아갔다. 이때 주자(朱子)의 행적을 모방하여 그곳을 곡운(谷雲)이라 이름 짓고 곡운구곡(谷雲九曲)을 경영하였다.
1682년 화가인 조세걸(曺世傑)을 시켜 「곡운구곡도」를 그리게 하였다.1689년 기사환국으로 송시열과 동생 김수항 등이 죽자 벼슬을 그만두고 화음동(華蔭洞)에 들어가 정사를 짓기 시작하였다. 1694년 갑술옥사 후 다시 관직에 임명되어 한성부 좌윤 공조 참판 등에 제수되었다.
그러나 모두 사퇴한 뒤 세상을 피해 화악산(華嶽山) 골짜기로 들어가 은둔하였다. 이때 그는 성리학에 심취하여 북송(北宋)의 성리학자들과 주자의 성리서를 탐독하였다.그 가운데에서 특히 소강절(邵康節)의 음양소식관(陰陽消息觀)을 정사의 조경(造景)에 응용하였다. 이와 같은 사상을 도상화(圖象化)하는 데 힘을 기울여 주돈이(周敦頤)와 주자의 행적에 나타나는 「태극도」 「하도낙서(河圖洛書)」 「선후천팔괘도(先後天八卦圖)」 등을 정사의 경내에 있는 바위에 새겨 ‘인문석(人文石)’이라 하였다. 또한 계곡에 있는 바위들에 천근석(天根石) 월굴암(月窟巖) 등 소강절의 사상시(思想詩)에 나오는 음양소식관을 담은 이름도 붙여 조경을 하였다.
이들의 유적은 지금도 남아 있어 성리 사상이 건축에 미친 영향을 구체적으로 알려 준다. 춘천의 춘수영당(春睡影堂)에 제향되었으며 저서로는 『곡운집』과 1692년 조세걸의 「곡운구곡도」에 그와 후손들이 창작한 「谷雲九曲歌」를 곁들여 만든 『곡운구곡도첩』이 있다.상훈과 추모경기도 남양주시 와부읍 덕소리(德沼里) 에 묘가 있다. 묘비는 1710년에 세웠으며 비문은 김창흡(金昌翕)이 썼다.
