평안남도 강서(江西) 출신으로, 만 스물도 안 된 나이에 독립협회에 가입, 만민공동회(萬民共同會)를 평양 쾌재정(快哉亭) 앞에서 열고 감동적인 연설을 한 것으로 전해진다. 고향에 한국 최초의 남녀공학 점진학교(漸進學校)를 세웠으며, 1902년 미국으로 건너가 한인공동협회(韓人共同協會)를 만들고 동포사회의 구심점이 되었다.
1906년 귀국, 신채호, 양기탁(梁起鐸) 등과 함께 1907년 항일비밀결사 신민회(新民會)를 조직했다. 신민회는 독립협회로 대표되는 민족계몽운동의 적통을 이어받은 최대의 항일비밀결사였으며, 독립군과 임시정부의 모태가 된다. 도산은 평양에 대성학교(大成學校)를 설립해 민족지도자 양성에 힘쓰는 한편, 평생의 신념이었던 무실역행(務實力行)을 구현하기 위해, 1913년 흥사단(興士團)을 창립했다.
1926년 상해로 다시 돌아와 독립운동단체의 통합을 위해 진력하다가, 1932년 윤봉길 의사의 의거 직후 왜경에 체포되어 국내로 압송되었다. 연달아 옥고를 치른 끝에, 꿈에 그리던 해방을 7년 앞두고 눈을 감았다. 건국훈장 대한민국장이 추서되었다.