자는 경선(景先) 호는 황산(黃山). 할아버지는 김이중(金履中)이고 아버지는 영안부원군(永安府院君) 김조순(金祖淳)이며 어머니는 청양부부인(靑陽府夫人) 심건지(沈健之)의 딸이다. 종백부(從伯父) 김용순(金龍淳)에게 입양되었다.1810년 식년시에 급제하였으며 사서·검상 등을 지냈다. 그 뒤 당상관으로 승진하여 1817년 이조 참의 1819년에는 대사성을 거쳐 홍문관 부제학이 되었다. 이후 이조 참판 · 대사헌이 되었으며 역임하였다. 1822년에 이조참판 1825년 사헌부대사헌 등으로 등용되었다. 1826년에는 한성부 판윤을 지내고 1827년에는 평안도관찰사로 부임하였으나 부임 도중 한 전직 관원의 면회를 거절하였다. 그러나 면회를 거절당한 것에 앙심을 품은 전직관원에 의해 부임 도중 피습 일행 5명이 흉변을 당하여 공은 부임을 취소하고 되돌아왔다.
그 뒤에도 병조판서와 돈령부판사(종일품)를 역임하였고 1830년에는 다시 한성부 판윤으로 등용되었지만 이듬해 1831년 한성부 판윤을 사임하였는데 1년 후 1832년 아버지 김조순이 사망한 뒤 안동 김씨 세도가의 실권자가 되었다. 1834년 순조(純祖)가 승하하자 관직 퇴진자 및 야인 신분으로 《순조대왕실록》의 편찬에 참여하였다.
순조가 붕어하고 어린 헌종(憲宗)이 즉위한 이후에도 헌종(憲宗)과 자신의 누이동생인 순원왕후 김씨(純元王后 金氏)를 자신의 사저에서나마 성심껏 보필하여 헌종(憲宗) 초기의 안동 김씨 세도 정권을 이끌었으나 중풍에 걸렸고 1835년에 지병으로 인해 실어증에 걸려 말을 할 수 없게 되었으며 천주교에 호의적이었으며 사망하기 1년 전인 1839년에는 유진길(劉進吉)의 권유로 세례를 받기도 하였다. 또한 이때 천주교의 박해를 빌미로 기해박해가 일어나 보수적인 벽파 계열의 풍양 조씨가 집권하고 시파 계열의 안동 김씨는 세도 가문에서 밀려나게 되었다.
1840년에 사망하였으며 사후 문정(文貞)의 시호가 추증되었다.
아버지인 김조순과 같이 글씨와 그림 시조에 모두 능하였으며 갈필(渴筆)을 사용하여 지극히 간일(簡逸)하고 문기(文氣)가 넘치는 남종문인화(南宗文人怜)를 잘 그렸다. 현재 남아있는 문화재는 생전에 남긴 문장을 집대성한 《황산집(黃山集)》과 회화인 《괴석도(怪石圖)》와 《연산도(硏山圖)》 《청성묘중수비문(淸聖廟重修碑文)》 등이 있다. 서울 삼청동(三淸洞)에 백련사(白蓮社)라는 집을 짓고 거주하였다 한다.
적벽시 차운
적벽 농암의 적벽시에 차운을 달다.
赤壁 次 農巖韻 - 황산 김유근(金逌根) -
翠碧丹崖出半天 (취벽단애출반천) / 푸른 절벽 붉은 비탈 중천에 솟아있고
澄江環合作平川 (징강환합작평천) / 맑은 강물 에워싸고 평평히 흐르네
何年雲影棲黃鶴 (하년운영서황학) / 어느 해부터 구름 속엔 학 한 마리 살고
遙夜簫聲降紫烟 (요야소성강자연) / 긴밤 옥피리 소리에 붉은 연기 내리네
疊石還如圖上見 (첩석환여도상견) / 돌무더기 쌓은 곳은 그림을 보는 것만 같고
層巒却似鏡中懸 (층만각사경중현) / 겹겹의 산봉우리는 마치 거울 속에 비치는 것 같구나
月明更向峯頭去 (월명갱향봉두거 ) / 달이 밝아 다시 산꼭대기로 오르니
羽化多應不讓仙 (우화다응불양선) /신선이 되어 응당 신선보다 뒤지지 않는구나
아우 김원근을 추모하며
窮天方抱慟 (궁천방포통) /하늘 끝까지 바야흐로 슬픔 안았고
割半又胡然 (할반우호연) /몸 절반 베어낸 슬픔 또 어찌하랴.
不幸門閭否 (불행문려비) /불행히도 집안 운세 막혀 버리니
無徵骨相全 (무징골상전) /골상을 징험할 길 온전히 없어라.
深悲如一日 (심비여일일) /깊은 슬픔 마치 하루 같으며
大訣已三年 (대결이삼년) /커다란 이별 이미 삼년이어라.
夢寐猶難見 (몽매유난견) /꿈결에도 오히려 못 만나지만
幽明豈棄捐 (유명기기연) /유명은 달리해도 어찌 내버려 두랴.