조선 중기의 문신으로 자는 여수(汝秀) 호는 휴암(休庵)이며 공주목사 해주목사 죽주부사 경주부윤 도승지 형조참판 등을지냈다.아버지는 군기시정 김원효(金元孝)이고 어머니는 완산 이씨(完山李氏=전주 이씨)로 태종의 서자 근령군(謹寧君)의 현손 충의위 이승열(李承說)의 딸이다. 1남2녀중 외아들로 태어났으며 우의정 선원 김상용의 종제(從弟)이며 장단부사 김상관 좌의정 청음 김상헌 경주부윤 김상복의 종형(從兄)이다. 또한 조선 후기 방랑시인으로 유명한 시선(詩仙) 난고(蘭皐) 김삿갓(본명:김병연)의 9대 조부이다
1582년(선조15년) 22세 약관의 나이에 향시 초시(初試)와 발해시(發解試)에 제2등(第二等)으로 선발되어 천거될때 율곡(栗谷)이이(李珥)가 문형(文衡)을 맡았는데 그의 재주를 매우 칭찬하였다. 그해(1582년) 진사시에 입격하고 1585년 모친상을 당했을때 선상(善喪)으로 상(喪)을 잘 치렀다고 칭찬을 받기도하였다. 3년상을 끝마치고 더욱 힘써 책을 읽었는데 아침부터 깊은 밤중(丙夜)에 이르도록 책 읽기를 그치지 않으니 함께 공부하던 여러 종제(從弟)들이 공의 글 읽는 소리를 듣고 그들도 또한 능히 책을 보지 않고서도 글을 외웠다 한다.
1590년(선조23년) 30세에 증광문과에 을과로 급제하여 괴원(槐院:承文院:외교문서를 담당한 관청)에 선임되었는데 승문원(承文院) 권지부정자(權知副正字)에 임명되었다. 1592년(壬辰年 선조25년)에 체찰사 심수경(沈守慶)이 호서지방(湖西地方)에서 의병(義兵)을 모집하여 건의토왜(建議討倭:倭賊을討伐)할 때에 김상준을 벽소(辟召)하여 종사(從事)하는 종사관(從事官)으로 삼았는데 막료(幕僚)의 군중(軍中) 계획들이 김상준에게서 많이 나왔으므로 심수경이 그를 심히 중하게 여겼다.
1593년(선조26년)에는 행재소(行在所:임금이 궁을떠나 나들이하거나 전시 변란등의 사유로 임시로 머무르는 별궁)에 나아가서 승정원(承政院)주서(主書)에 제수됐고 곧 예문관(藝文館)검열(檢閱)을 거쳐 예문관(藝文館)대교(待敎)로 승진했다. 1594년(선조27년) 예문관(藝文館)봉교(奉敎)에 승임(陞任)되었고 자리를 옮겨 병조좌랑(兵曹佐郞)이 되었다가 다시 예조좌랑(禮曹佐郞)으로 옮겨갔다.
1595년(선조28년) 강원도 어사(御史)로 파견되었다가 임무를 충실히 수행하지 않았다는 이유로 사간원(司諫院)으로부터 탄핵(彈劾)받아 체직되기도 하였다. 얼마 지나지않아 영광군수(靈光郡守)에 임명되어 3년동안 지방관으로서 성실히 근무하였으며 1596년(선조29년) 9월 영광군수 재직시 삼도수군통제사 충무공 이순신(李舜臣)장군을 만나 왜란극복에 대해 서로 의견을 나누기도 하였다. 1597년 영광군수 재직중 왜적이 호남(湖南)을 핍박(逼迫)하니 연해(沿海)의 주군(州郡)은 모두 무관(武官)으로 바뀌게 되어 김상준은 관찰사의 종사관(從事官)이 되었고 1597년 정유재란때에는 관찰사의 종사관으로 분호조판서 이광정의 종사관 강항(姜沆)과 함께 전라도 영광에서 의병을 모집하여 싸웠으며 군량비확보에도 힘썼다.
1598년(선조31년) 호남조도사(湖南調度使)로 임명되어 명나라 수군에게 군량미를 공급하였다. 군자감정(君子監正)을 거쳐 성균관사예(成均館司藝)로 옮겼다가 1599년6월 내섬시정(內贍寺正)이 되었다. 1599년(선조32년)8월 공주목사(公州牧使)가 되어 공주군에 산성을 수축하였고 1602년 병으로 관직을 사임하고 고향으로 돌아왔으나 대신(大臣)이 또 공을 천거하여 사도조도사(四道調度使)에 임명되었다. 관동(關東)과 영남(嶺南) 및 호남(湖南) 호서(湖西) 지방에 출입하면서 험준(險峻)한 수천리의 험로(險路)를 거쳐 속량(粟糧)수만석을 확보하였다.
1604년(선조37년) 해주목사(海州牧使)를 지내고 관직을 사임하고 고향으로 돌아왔으나 1605년 다시 죽주부사(竹州府使)에 발령되어 부임하였다. 1608년2월 승정원(承政院)동부승지(同副承旨)에 임명되었다가 1609년3월 경주부윤(慶州府尹)거쳐 승정원좌부승지(左副承旨)로 승진하였다. 이어 명나라에 파견될 천추사(千秋使)로 선발되어 명나라 북경에 입조(入朝)하고 귀국하였으며 돌아와서 1609년8월 승정원(承政院) 우부승지(右副承旨) 1610년1월 승정원(承政院)좌승지(左承旨)를 지냈다.
명나라 만력제(萬曆帝 1563년~1620년 明의 제13대 황제) 신종(神宗)이 태감(太監) 염등(冉登)을 보내어 책봉하는 글을 내릴 때에 김상준이 예방승지를 맡아서 신종의 책봉서를 주선하는데 궐전(闕典)이 없이 임무를 잘 수행하여 가선대부(嘉善大夫)로 특진 승정원(承政院)도승지(都承旨)로 기용되었다가 동지중추부사(同知中樞府事) 겸 부총관(副總管)을 겸하였다. 그 이듬해(1612년1월) 가의대부(嘉義大夫)에 올라 형조참판(刑曹參判) 겸(兼) 동지춘추관사의금부사(同知春秋館事義禁府事)가 되었다
1613년(광해군5년) 계축옥사 때 무고로 체포된 뒤 광해군의 친국(親鞫)을 받으면서 고문에 못 이겨 김제남(金悌男)과 함께 영창대군(永昌大君)을 옹립하려 했다고 허위 진술해 삭출당하였다. 1618년(광해군10년) 인목대비에 대한 폐모론(廢母論)이 일어날 때 사촌동생 김상헌(金尙憲)및 아들 김광욱(金光煜)과 함께 정청에 끝까지 참여하지 않고 경기도 고양(高揚)등에 은거하며 지내다가 광해군의 미움을 받아 사직 당하였으며 그 후 오랫동안이나 벼슬에 기용되지 못했다.
1623년(인조원년) 인조반정(仁祖反正) 후에는 계축옥사 때 연안부원군 김제남을 모함한 죄로 함경도 길주(吉州)에 유배되고 1627년 충청도 아산에 이배되었다가 1633년 사면을 받고 1635년에 풀려나왔다. 함경도 길주(吉州)에 귀양 가 있을 때에 문밖을 나가지 않았으며 배우러 오는 이가 있으면 잘 이끌러 선유(善誘)하였기 때문에 신발이 처마밑에 가득하여 고을의 자제(子弟)들이 점점 향학(向學)하는 이가 많았는데 뒤에 공의 부음(1635년 8월 29일)을 듣고 모두 다 천리 밖에서 조부(弔賻)를 하였다 한다.
≪통감강목(通鑑綱目)≫을 즐겨 읽었고 손수 ≪강목≫ 20권의 목(目)을 초(抄)해서 ≪강감요략(綱鑑要略)≫을 편찬하였다. 이 책은 요점을 담으면서도 자세하다는 평가를 받고있다. 문집으로 ≪속옥로(續玉露)≫가 있으며 글씨에도 능하였다. 묘소는 경기도 남양주 와부읍 율석리(싸리메기)에 있다.