1956년 경남 창원에서 태어나 동아고와 중앙대 행정학과를 졸업했고, 미국 플로리다국제대 행정학 석사 학위를, 미국 아메리칸대 행정학 박사 학위를 취득했다. 연세대 정경대학 학장 겸 정경대학원 원장을 역임했고, 현재 이 대학 글로벌행정학과 교수로 재직 중이다.
김 처장은 한국인사행정학회 회장을 지낼 정도로 이 분야에서 풍부한 이론과 식견을 겸비한 것으로 알려졌으며, 참여정부 때 대통령비서실 인사제도비서관로 일하며 인사 행정 경험을 쌓았다.
2012년 연세대 언더우드 특훈교수 재직 당시 미국의 최대 행정학 학술단체인 미국행정학회(ASPA)가 주는 공로상 수상자로 선정되기도 했다. 이 상은 인사행정학계의 거목인 미국 학자의 이름을 딴 '폴 P 반라이퍼 상(Paul P VanRiper Award for Excellence and Service)'으로 아시아 학자로는 첫 수상의 영예를 안았다.
2010년 행정학 분야의 가장 오래된 국제학회인 세계행정학회(IIAS) 회장에도 아시아인으로 80년 만에 당선, 미국행정학술원(NAPA)으로부터 종신회원으로 추대됐다.
김 처장은 유엔행정전문가위원회 부위원장, 연세대 빈곤문제국제개발연구원장 등을 맡는 등 국제사회의 행정 분야에서도 활약을 해왔다.