１９０１年《辛醜條約》簽訂後蔡元培開始萌生反清志向。１９０２年他與章太炎等創立中國教育會，蔡元培親任會長，並創辦愛國學社，提倡民權，宣傳反清革命。後與陶成章等組織光復會，任會長，不久加入同盟會。蔡元培十分痛恨清廷的腐敗，更迫切期望革命黨人的反清大計早日成功。鑒於孫中山領導的起義一次又一次遭到失敗，他決心改變反清的鬥爭手段。１９０４年春，由他發起在東京留日學生中成立了秘密暗殺團，圖謀從暗殺入手，推進反清革命。在急於求成和對腐敗清廷的憤怒情緒推動下，不少留日學生都樂意接受這種反清的革命方式。蔡元培認為：暗殺需要自製方便、秘密、快速而且容易偽裝隱蔽的武器，根據這些想法，他決心自製化學毒藥。要自製化學毒藥就需要有懂化學的人，他馬上將愛國女校的鐘憲暢、俞子夷兩位化學教員吸收入團。俞子夷說：「我配製氰酸，一試即成。」蔡元培叫工友弄來一隻貓，強令服了幾滴，貓即中毒而死。後來蔡元培又認為液體毒藥使用還不太方便，易被人發覺，如能改成固體粉末更好，於是急去書店買了一批藥物學、生藥學和法醫學書籍，親自領導研究。不久，蔡元培覺得還是用炸藥更好一些，隨即轉向研究炸藥。為了早日研製出威力大、體積小的炸藥，蔡元培帶領研製小組日夜攻關，終於自製出了一種理想的炸藥。另外，蔡元培認為女子去實行暗殺比男子更隱蔽些，因而他在愛國女校特別注重化學課的講授，以便培養暗殺種子。此後，由蔡元培研製的炸藥，不斷由暗殺團團員帶回國內，清廷上層官員頻頻遭到暗算或受傷或死亡。
但是小打小鬧的暗殺對於徹底推翻清廷政權無濟於事，必須進行大規模的武裝起義才能成事。因此蔡元培又轉入了廣泛的反清革命宣傳及深入發動革命黨人的工作中去了。辛亥革命推翻清廷，不能說沒有他的功勞。
１９１２年南京臨時政府成立時，蔡元培應孫中山的邀請出任民國政府第一屆教育總長。他盡瘁國事，很少顧及家人，更少顧及自己，其廉潔奉公、儉樸勤勞之風格卓然於世。他親自為教育部尋找辦公用房；各部依官制草案增加人選，為此蔡元培主張精兵簡政：除總長、次長已由大總統任命外，其餘各人概稱部員，不予官職；因事設人，盡量精簡。教育部初立時，僅有蔡元培、蔣維喬及會計兼庶務３個人，後來連繕寫員在內亦不過３０人。因工勤人員少，甚至教育部大印也是蔡元培親自到孫中山大總統府領取的。袁世凱竊取政權後，邀請他繼續留任教育總長，他力辭不應，後因國務總理唐紹儀一再挽留，才不得不暫時留任。不久就因不滿袁氏專橫而提出辭呈。
