前蘇聯克格勃駐地莫斯科盧比揚卡大樓。（圖片來源：維基百科）
從1934年到1940年這段時間，蘇聯有大約1,900萬人被捕，很多人在勞改營中死去。
葉若夫是克格勃（國家安全委員會）1934年至1939年期間的負責人，被稱為最忠實於斯大林的「共產主義戰士」，對於蘇共指派的任務從來無條件服從。
克格勃特務組織是蘇共用來製造冤案的頭號打手。葉若夫一上臺，首先在克格勃內部開始大清洗，將大批參與或知情前任克格勃鎮壓清洗的幹部槍斃。僅在葉若夫當政的最後兩年，1937～1938兩年間，蘇聯內部大清洗達到高潮，約有350萬～450萬人遭到鎮壓。
蘇共不失時機地給葉若夫頒發了各種榮譽，列寧勛章、榮譽契卡人員獎章等殊榮。他的大幅照片出現在報紙上，他的「豐功偉績」被蘇聯畫家和作家用宣傳畫、雕塑、小說、詩歌等藝術形式廣為傳頌，許多城鎮、街道、場館被冠上了他的名字……蘇共領導赫魯曉夫曾在秘密報告中稱「葉若夫是惡魔第二」。
然而，每一輪蘇共的大清洗都導致堆積如山的冤案，而每一次的冤案都要有人擔責。和中共一樣，蘇共也標榜其決定永遠是「偉大而正確」的，所以每次處理冤案，永遠是下面執行的人犯了錯誤，永遠需要從下面執行的人中找出最佳替罪羊。
這一次，最好的打手葉若夫成了那個最佳替罪羊。1939年4月10日，葉若夫被捕。在檢察機關的起訴書中，蘇共把葉若夫曾經強加給別人的罪名原封不動地還給了葉若夫：「葉若夫與國外情報機關以及敵視蘇聯的國家有間諜關係，並領導了內務人民委員部內部的陰謀活動。」
克格勃頭領有5人遭槍決，每一個人都認為是蘇共選擇自己來結束不忠誠的前任，卻不知道在其為共產黨賣命殺戮的同時，自己正在成為下一個被捕殺的對象。在《歷屆克格勃主席的命運》（列昂尼德･姆列欽著）中，作者寫道：「很多人在掌聲中邁進了這座位於盧比揚卡廣場的著名建築物、在這裡獲取了權力和獎賞，然而很少有人是出於自願或是由於職務的提升而離開盧比揚卡的。」
