胡耀邦在拨乱反正时，特别是带头摧毁两个凡是集团时，王震给予了高度配合，然而，二人的合作时期也就在这时濒临尾声。而说到二人的分歧那就是关于如何对待毛泽东的评价问题。王震始终认为，在中国不能没有共产党的领导，而要共产党的领导就不能离开毛泽东，否定毛泽东就等于否定共产党。王震的这个理解是和当时的中国的政治气候分不开的。十一届三中全会结束之后，马上在次年一月召开了理论务虚会，这次会议号称务虚其实影响是很大的，被很多人称作解放的春天，当然是指的思想上的解放，在会议上很多人大胆发言，其大胆程度恐怕在今天看也是比较犯忌的。有人提出毛泽东当年握过一个人的手，这个人于是就几个月不洗手，宋朝的宋徽宗的宠臣朱勉就曾经把皇帝握过的地方缠上黄凌子以示重视，这种比较露骨的比喻在那次会上并不罕见。有人提出华国锋的画像完成之后送到一个省，省委书记、省革委会主任都带领着大家敲锣打鼓的迎接，因此感叹说，我们这个党怎么沦落到今天的这种地步了呢？
这种直接讨论毛泽东问题的事情越来越多，很多人说话已经相当露骨，胡耀邦本意是揭开盖子，可是，一旦盖子揭开之后怎么办，他自己也是胸中无数，特别是这种言论给凡是派提供了攻击邓小平等人的口实，于是，小平最后不得已出来说话，他说：“毛主席的问题不是不能说，但是不能全盘否定。”王震和胡耀邦的分歧也在这次务虚会后有所反应。这时候有一个插曲，十一届三中全会期间，改选中央领导机构，增补陈云、胡耀邦、邓颖超、王震为中共中央政治局委员，根据吴江等人的回忆说胡耀邦不同意王震当选以致于王震恼火，这是传闻。真实的情况是，胡耀邦被告知提名王震为政治局委员，但是，胡耀邦不同意，他说他和王震都是湖南同乡，而且还是小同乡，容易给人把柄，不严肃。然而这么一个十分正常的讲话以后被谣传成为“胡耀邦认为王震当选政治局委员是不严肃的。”顺便说一下，党内的一些传闻确实起到恶劣的作用，比如胡乔木为邓小平起草一个讲话稿子，邓看后说写的不行，不能用。结果被传为“小平同志说胡乔木不行了，不能用了。”胡乔木本来就患得患失，听到这样的传闻，其结果可想而知，以后还是邓小平本人出来辟谣。问题关键是这次关于胡耀邦、王震的传闻直到八十年代初期才让王震知道，而胡耀邦始终蒙在鼓里，据说王震知道以后非常生气，他说为什么我当选就不严肃了？难道否定毛主席就严肃了？支持自由化就严肃了？
关于王震其人，原来的中办副主任李颉伯曾经有过一个评价，他说王震这个人心眼还是不错的，雪中送炭的事也没少做，但是，他也是一个“凡是派”，换言之就是凡是毛泽东的主张他都拥护，毛泽东的话他都认为对。另外，王震也是被人利用了。聂荣臻也说王震同志左的可爱。
胡耀邦辞去中央党校的职务之后，中央安排党校校长的人选，出乎意料的是陈云提名王震担任，比较可靠的说法是有邓力群的一份功劳。政治局中有人提出不同意见，陈云就说：“毛主席当初提议王震做过文化整风的领导小组组长，党校校长主要是抓大方向的，文化水平是一方面。”以后，报请邓小平时就获得了批准。王震去党校以后做了几件事，一是清洗了不利于陈云的干部队伍，二是给左派打气。王震曾经针对有人散布的关于邓小平退休的话题说：“谁要是让小平退下来谁就是 ‘三种人’。”《人民日报》上因为刊登了××的文章，王震就给报社的社长秦川打电话，问秦川还要不要脑袋了，有的领导说王震的脾气大于此可见。
王震是反对自由化最力的人之一，他曾经在中央党校公开的讲过：“你们知道我是谁吗？我就是关云长庙里的那个周仓，我手里就是有那么一把大刀，你们不是有三百万大学生吗？我们有三百万军队，我就是要砍他的脑袋，什么巴金、方励之都是民族败类，······。”所以，基于这种认识他和胡耀邦在政治上的分歧是越来越严重。胡耀邦自己也不讳言这一点，一九八五年，胡耀邦在接受香港《明报》记者陆铿的采访时，陆问胡耀邦：“你和王震都是湖南同乡吧？” 胡耀邦回答：“我们离的很近，他是北乡，我是南乡。”陆说：“那你们是南北呼应啊。”胡耀邦回答：“也可能是南辕北辙。”这种话之于王震所产生的后果是可想而知的。胡耀邦和陆铿以及查良庸等人说了一些不该说的话，让对手抓到了把柄，比如他和查（金庸）说中央的一些人事安排和领导人的待遇问题，还有这个同陆铿的谈话很快都被转达到小平的耳朵里面。
原来夹在胡耀邦和邓小平中间平衡关系的主要是叶帅，前面引用的聂荣臻的那个对王震的评价其实也是接着叶帅的话说的，叶帅的原话是说：“王震是个左派，有时候左的厉害。”因为历史上的原因，特别是怀仁堂事件之后，叶帅在中央的排名和地位是相当收到瞩目的，十二大之前叶本人要求把自己的名字排在小平之后，邓出面说不要动了，老帅德高望重，这也是做了总结的。所以，十二届一中全会上常委的排名还是胡耀邦、叶剑英、邓小平这么排列的。胡耀邦自己也说过假如叶帅活着，很多事情或许不至于那么糟糕。叶剑英在，王震等人后来不至于那么凌逼胡耀邦。
