함경북도 경원군에서 태어난 선생은 1910년 동만주로 망명해 청일학교와 명동중학교를 설립, 한인 자녀를 교육했다. 대종교에 입교해 만주로 들어오는 망명 의병을 규합해 독립군인 중광단을 조직하고 단장을 맡았다.
1918년 만주와 러시아령에 있는 독립운동가들과 함께 독립전쟁으로 민족의 독립을 쟁취하겠다는 취지의 대한독립선언서를 발표하면서 독립운동에 본격적으로 나섰다.
이듬해 중광단을 정의단으로 개편하고 체코군의 도움으로 무기를 구입해 독립군으로서의 면모를 갖춰나갔다. 이후 정의단을 무장독립군단을 보유한 항일단체이자 북간도 전 지역을 행정구역으로 삼는 행정부를 겸비한 군정부로 재편성했다.
1920년 김좌진 장군과 함께 청산리전투에서 일본군을 크게 무찔렀다. 이후 홍범도 장군의 대한독립군, 서로군정서군, 안무군, 광복단 등의 여러 부대를 통합해 대한독립군단을 조직하고 총재가 됐다.