１９０１年《辛丑条约》签订后蔡元培开始萌生反清志向。１９０２年他与章太炎等创立中国教育会，蔡元培亲任会长，并创办爱国学社，提倡民权，宣传反清革命。后与陶成章等组织光复会，任会长，不久加入同盟会。蔡元培十分痛恨清廷的腐败，更迫切期望革命党人的反清大计早日成功。鉴于孙中山领导的起义一次又一次遭到失败，他决心改变反清的斗争手段。１９０４年春，由他发起在东京留日学生中成立了秘密暗杀团，图谋从暗杀入手，推进反清革命。在急于求成和对腐败清廷的愤怒情绪推动下，不少留日学生都乐意接受这种反清的革命方式。蔡元培认为：暗杀需要自制方便、秘密、快速而且容易伪装隐蔽的武器，根据这些想法，他决心自制化学毒药。要自制化学毒药就需要有懂化学的人，他马上将爱国女校的钟宪畅、俞子夷两位化学教员吸收入团。俞子夷说：“我配制氰酸，一试即成。”蔡元培叫工友弄来一只猫，强令服了几滴，猫即中毒而死。后来蔡元培又认为液体毒药使用还不太方便，易被人发觉，如能改成固体粉末更好，于是急去书店买了一批药物学、生药学和法医学书籍，亲自领导研究。不久，蔡元培觉得还是用炸药更好一些，随即转向研究炸药。为了早日研制出威力大、体积小的炸药，蔡元培带领研制小组日夜攻关，终于自制出了一种理想的炸药。另外，蔡元培认为女子去实行暗杀比男子更隐蔽些，因而他在爱国女校特别注重化学课的讲授，以便培养暗杀种子。此后，由蔡元培研制的炸药，不断由暗杀团团员带回国内，清廷上层官员频频遭到暗算或受伤或死亡。
但是小打小闹的暗杀对于彻底推翻清廷政权无济于事，必须进行大规模的武装起义才能成事。因此蔡元培又转入了广泛的反清革命宣传及深入发动革命党人的工作中去了。辛亥革命推翻清廷，不能说没有他的功劳。
１９１２年南京临时政府成立时，蔡元培应孙中山的邀请出任民国政府第一届教育总长。他尽瘁国事，很少顾及家人，更少顾及自己，其廉洁奉公、俭朴勤劳之风格卓然于世。他亲自为教育部寻找办公用房；各部依官制草案增加人选，为此蔡元培主张精兵简政：除总长、次长已由大总统任命外，其余各人概称部员，不予官职；因事设人，尽量精简。教育部初立时，仅有蔡元培、蒋维乔及会计兼庶务３个人，后来连缮写员在内亦不过３０人。因工勤人员少，甚至教育部大印也是蔡元培亲自到孙中山大总统府领取的。袁世凯窃取政权后，邀请他继续留任教育总长，他力辞不应，后因国务总理唐绍仪一再挽留，才不得不暂时留任。不久就因不满袁氏专横而提出辞呈。
