김수한(金守漢)은 김성진(金城鎭)과 성주이씨(星州李氏) 사이에서 1928년 대구에서 둘째아들로 태어났다.일제강점기 대구고등보통학교(현 경북고등학교) 재학 중 일장기 말소 사건으로 강제 퇴학당했다. 이후 대구고등학교 영남대학교(청구대학과 대구대학 합병 전) 법학과를 졸업하였다.
1958년 제4대 국회의원 선거에서 경상북도 대구시 병 선거구에 민주혁신당 후보로 출마하였으나 현역 지역구 국회의원인 자유당 이우줄 후보에 밀려 낙선하였다. 1960년 제5대 국회의원 선거에서 사회대중당 후보로 같은 선거구에 출마하였으나 현역 지역구 국회의원(선거소송에서 승소)인 민주당 임문석 후보에 밀려 낙선하였다.
1963년 제6대 국회의원 선거에서 국민의당 후보로 경상북도 대구시 동구 선거구에 출마하였으나 민주공화당 이원만 후보에 밀려 낙선하였다. 이후 통합야당 민중당에 속했다가 1966년 신한당 분당시 따라갔다. 1967년 제7대 국회의원 선거에서 신민당 전국구 국회의원에 당선되었다. 1970년부터 1972년까지 신민당 대변인을 역임하였다. 1971년 제8대 국회의원 선거에서 서울특별시 영등포구 을 선거구에 출마하여 당선되었다. 진산 파동 때는 친 유진산계에 속하였다.
1973년 제9대 국회의원 선거에서 서울특별시 영등포구 제2선거구에 출마하여 민주공화당 정희섭 후보와 동반 당선되었다. 이후 이충환의 혁진회에 속하였다. 1978년 제10대 국회의원 선거에서 서울특별시 관악구 선거구에 출마하여 민주공화당 정희섭 후보와 동반 당선되었다.
1980년 여름 신군부에 의해 모처로 끌려가서 구금당하고 강제로 의원직 사퇴서를 제출해야 했다. 그리고 정치규제를 당했다가 1984년 해금되었다. 1985년 제12대 국회의원 선거에서 신한민주당 후보로 서울특별시 관악구 선거구에 출마하여 민주정의당 임철순 후보와 동반 당선되었다. 1987년 통일민주당 창당에 참여하였다.
1988년 제13대 국회의원 선거에서 통일민주당 후보로 서울특별시 관악구 을 선거구에 출마하였으나 평화민주당 이해찬 후보에 밀려 낙선하였다. 1992년 제14대 국회의원 선거에서 민주자유당 후보로 같은 선거구에 출마하였으나 역시 민주당 이해찬 후보에 밀려 낙선하였다.
1996년 제15대 국회의원 선거에서 신한국당 전국구 국회의원에 당선되었다. 같은 해부터 1998년까지 국회의장을 역임하였다.
현재는 미래통합당 상임고문이다. 김영삼 대통령이 서거하자 국가장에서 추도사를 읊었다.
장남 김성동도 정치인인데 제18대 국회에서 한나라당 비례대표 의원으로 활동했다가 지난 제19대 국회의원 선거에서 서울 마포구 을에 출마해 표가 갈려 민주통합당 정청래 의원에게 패한 바 있다. 이후 20대에도 같은 선거구에 출마했는데 정청래가 공천탈락해 김성동에게도 가능성이 있었으나 컷오프를 승복한 정청래의 지원을 받은 손혜원에게 패배했다.
여담으로 제2공화국 때 혁신계(민주혁신당)-신민당 강경파로 활동했던 경험 때문인지 새누리당과 한국 메인스트림 계열에서 보기 드문 일본사회당-사회민주당(일본) 통으로 유명하다고 한다.
2016년 4월 21일 제20대 국회의원 선거 직후 새누리당의 참패에 대해 당 상임고문단 오찬에 참석하여 친박과 비박 간의 계파 정치에 대해 강도 높은 질책 발언을 하였다. 한편 아들 김성동과 달리 바른정당 창당에 참여하지는 않고 새누리당의 후신 자유한국당에 잔류하였다.