五四运动前，曹汝霖曾集交通总长、财政总长、交通银行总理等数职于一身，是北洋政府权重一时的政客。
1919年的巴黎和会上，由于部分列强与日本事前签署了密约，协约国公然将战败国德国在山东的权益转让给日本，激起中国人民的强烈不满，从而引发了具有划时代意义的五四运动。当时，交通总长曹汝霖因负责把部分权益让予日本，与货币局总裁陆宗舆及驻日公使章宗祥并称为“三大卖国贼”。五四运动中一句著名口号即是“外争国权，内惩国贼”。“五四”当天，学生游行到赵家楼曹宅，曹汝霖躲了起来。学生误把当时在曹宅的章宗祥当成曹汝霖，痛打章氏一顿，并放火烧了曹宅，此即火烧赵家楼事件。后来，一些学生被抓，事件演变成大规模的罢课、罢工及罢市。6月10日，曹、陆、章三人被免职。
“五四”过后，曹汝霖先在医院躲了几天，后搬到北海团城(当时由京绥铁路局看管)暂住。曹在这里足不出户，每天以写字打发时光，还改了个名字叫“觉厂”，大概有点闭门思过的意思。
五四运动时，曹汝霖不过42岁。此后他没再任过要职，似乎也没有东山再起的企图，而是热衷于慈善活动。每年冬天，曹家都向拉洋车的车夫施舍100套棉衣。施舍的方式也比较特别，每次由家里当差的抱着几套棉衣出门，看见街上有衣不蔽体的车夫，便雇他的车，拉到僻静的小胡同，叫车停下来，施舍给车夫一套，然后再去物色下一个对象。据说这个办法可以避免棉衣被人冒领。曹家还经常向人施舍棺木。
上世纪20年代，由曹汝霖发起，共有20多人出资，在阜城门内白塔寺沟沿建了一所医院，取名中央医院。医院落成并买进所需医疗器材后，尚余20万元，存在由曹汝霖代管的新亨银行。中央医院属于慈善性质，用这20万元支撑医院的开支，穷人来看病，一概不收医疗费。后来新亨银行倒闭，医院所剩的几万元，改存汇业银行。汇业银行歇业后，又改存中南银行。曹汝霖一直担任中央医院的院长、名誉院长等职，经费方面都由他筹措，冬季用煤也由他任董事长的井陉正丰煤矿公司供给。但曹汝霖不从医院拿任何薪水，只有他到医院时，由医院给他的汽车灌满汽油，这就是他从医院得到的全部报酬。
曹汝霖主持中央医院达十余年，日军侵占华北后，曾想强占这家医院。曹去找日军交涉说:“这家医院原来是私人经营的，而且是慈善性质。”日军方罢手。日军接管了协和等医院后，一些名医如钟惠澜、周华康等不愿为侵略者卖命，纷纷被中央医院网罗过来。医院的妇产科，也在此时创建，由林巧稚大夫主持。抗战胜利后，曹汝霖辞去院长，请钟惠澜继任，他对钟说:“我本是个外行，维持了十几年，虽然没有成绩，但幸而没有大过。日本人在这里，我不能不顶着名字应付应付。现在日本人走了，还是你们几位专家多负些责任吧。”1949年后，中央医院由中共接管，更名为人民医院。
抗战爆发后，曹汝霖曾公开表示要以“晚节挽回前誉之失”，不在日伪政权任职。据说日军在筹组华北伪政权时，一度曾把曹汝霖看做理想人选，但曹始终不为所动。后来，王克敏曾给他挂上“最高顾问”的虚衔，王揖唐出任伪华北政委会“委员长”时，又给曹挂了个“咨询委员”的空衔，但曹汝霖从不到职视事，也未参与汉奸卖国活动。敌伪组织还曾打算让曹汝霖出任粮食局伪职，他说:“日本人吃粮食不受限制，单管中国人，我怎么管，这不是找骂吗？”当时北平的老百姓多吃杂和面，一次，曹把用杂和面蒸的窝头带到伪华北政务委员会，对王克敏说:“这样的粮食怎么能让老百姓下咽。”王克敏听后拿起窝头就咬了一口，说:“这怎么不能吃！”日军特务机关长喜多诚一对曹的不合作十分不满，曾指斥曹:“为什么我们‘皇军’来了，你不出头帮忙，你究竟做什么打算？”
值得一提的是，被指为“亲日派”之称的曹汝霖在大义面前没有沦为汉奸，而当年的北大学生，在火烧赵家楼事件中冲在前面、放了第一把火的梅思平，抗战期间却堕落为一个大汉奸，出任过汪伪政权的组织部长、内政部长、浙江省长等要职。1939年12月15日，梅13岁的女儿梅爱文在《浙瓯日报》发表文章《我不愿做汉奸的女儿，我要打倒我的爸爸》。当中写道:“我的年纪虽小，对于在艰苦战斗中的祖国，我是怀着最热情的爱的。而对我那做了汉奸的父亲，我却怀下了切齿的仇恨。今天我要公开宣布同梅思平脱离父女的关系，我要公开宣布我父亲梅逆思平的汉奸罪状，我要打倒我的爸爸。”这篇文章虽然不过800字，却引起很大的社会反响。随后，梅思平的继母梅王氏率同他的两个异母妹妹在报上刊登启示，与梅脱离一切关系，称其“附逆作贼，害国辱祖”。抗日胜利后，梅思平被处决。
曹汝霖晚年在忆及五四运动时说:“此事距今四十余年，回想起来，于己于人，亦有好处。虽然于不明不白之中，牺牲了我们三人，却唤起了多数人的爱国心，总算得到代价。”
