1950년 경상북도 예천군에서 태어났다. 대구초등학교 경북중학교 경북고등학교 서울대학교 경영학과 미국 서던캘리포니아 대학교 대학원 행정학 석사 과정을 졸업하였다.이후 행정고시에 합격하여 공무원으로 근무하였다. 김대중 정부 때 행정자치부 기획관리실 실장 산림청장을 역임하였다. 참여정부 초기에 조해녕 대구광역시장 밑에서 정무부시장을 역임하였다.
2006년 제4회 전국동시지방선거 2010년 제5회 전국동시지방선거에서 한나라당 후보로 대구광역시장 선거에 출마하여 당선되었다.
시장 재임 당시 대구국가산업단지 유치에 성공했으며 2011 대구 세계육상선수권대회를 성공적으로 개최하고 지지부진하던 대구 삼성 라이온즈 파크 신축을 진행시켜 야구팬들로부터 좋은 평가를 받는 등 업적을 남겼다. 또한 대구 도시철도 3호선을 착공시키기도 했다. 한편 김범일 시장 재임 당시인 2011년 경 2003년 254만을 정점으로 계속 감소하여 250만대가 무너졌던 대구의 인구가 반등하여 다시 251만까지 증가하기도 했다.
대구 지하철 참사와 관련된 유가족 단체에게 고소를 당할 정도로 갈등을 매우 심하게 겪었다.
2014년 제6회 전국동시지방선거를 앞두고 불출마를 선언하였다. 2015년 영남대학교 정치행정대학 행정학과 석좌교수에 임명되었다.