1929年，35歲的赫魯曉夫來到莫斯科，在斯大林工業學院學習冶金，並擔任學院黨委書記。1935年，由於他監督建成莫斯科地鐵，被授予列寧勳章，並在這一年當上莫斯科市長。在斯大林搞大清洗運動期間，赫魯曉夫積極支持斯大林的工作，並參加了在黨的領導層內進行的大清洗工作。到1939年，赫魯曉夫成為政治局正式委員。在1941—1949年這一段時間內，赫魯曉夫都在地方工作。1949年，斯大林把他調回莫斯科，重新擔任莫斯科市委第一書記，同時兼任全蘇中央委員會書記。在斯大林去世以前，赫魯曉夫在莫斯科的日子過得並不舒心。政治嗅覺敏銳的他知道自己隻不過是斯大林宮廷政治的一顆微不足道的棋子。為了不成為政治鬥爭的犧牲品，他夾起尾巴做人，從不願在斯大林麵前展現自己；並且也因為莫斯科大規模重建，麵臨著許許多多的問題。但他十分關注莫斯科州的農業問題，開始在莫斯科州推行其“農業城鎮”的計劃。但由於不切合實際，當時掌管農業工作的中央政治局委員馬林科夫認為他的思想還不成熟，並且斯大林對此也不喜歡。於是赫魯曉夫的天才設想就暫時被扼殺了。
但這並沒有使他在斯大林心目中的地位有所動搖，在1952年10月5日召開的黨的第十九次全國代表大會上，赫魯曉夫進入主席團常務委員會，五個常務委員會成員負責處理國家最重大緊要的問題。1953年3月5日，斯大林病逝，但他沒有交代好接班人問題，因此赫魯曉夫等人為了取得最高權力相互之間展開了明爭暗鬥。
斯大林病逝後，赫魯曉夫最害怕的是最高權力落於野心家、陰謀家貝利亞之手。如果貝利亞得手，對黨和國家有百害而無一利，因此赫魯曉夫想方設法加以阻止。
除了貝利亞想攫取最高權力外，馬林科夫也有同樣的野心。在這場激烈的爭鬥中，赫魯曉夫小心翼翼地活動著，他不想因一著不慎而導致自己翻船。赫魯曉夫首先與布爾加寧就此問題達成一致意見，但僅憑兩人的力量顯然不行，在他的積極活動下，又取得了朱可夫的支持，這對他是一個很大的鼓舞。但必須得到馬林科夫的首肯，因為馬林科夫一直是斯大林班底中最有權勢的人物。可他想不到的是，老奸巨猾的貝利亞已搶先一步說動了馬林科夫，兩人在權力分配問題上取得了一致意見，這樣馬林科夫和貝利亞兩人暫時結成同盟。麵對強大的兩個權勢人物的聯盟，赫魯曉夫暫且屈服了。他想隱忍下來以相機而動。
貝利亞掌管著強大的國家安全機構——內務部，其分支機構和特工人員遍布於全國上上下下所有的組織和部門中。並且，貝利亞也統轄著保護克裏姆林宮及所有蘇維埃政府中高官和中央主席團成員的衛隊。貝利亞趁為斯大林舉行葬禮之機，將大部分軍隊調到首都附近，有的團隊幹脆在市內屯紮。這樣做目的非常明確：發動軍事政變，奪取最高權力。貝利亞的幫凶們也積極謀劃，為貝利亞奪權掃清道路，他們將“醫生謀殺案”的調查局頭子清除出去。當然貝利亞對赫魯曉夫也不敢放鬆警惕，他密切注視著赫魯曉夫的一舉一動。自然，貝利亞的這些活動也在赫魯曉夫的掌握之中。他意識到貝利亞快要動手了。
為了盡快采取行動，逮捕貝利亞，赫魯曉夫終於下定決心去說服馬林科夫，以取得他的支持。馬林科夫雖與貝利亞結成了臨時同盟，但無時無刻不在提防著貝利亞，而且他也受不了貝利亞那種唯我獨尊、頤指氣使的傲慢勁。他知道，貝利亞根本沒把他放在眼裏，而且正妄圖取得最高權力。因此馬林科夫以為是采取行動的時候了，他同赫魯曉夫共同製定了逮捕貝利亞的行動計劃，並決定在部長會議主席團或中央委員會主席團的某次會議上采取行動。
1953年7月，部長會議主席團和黨中央主席團將要舉行一次聯席會議。在會議召開前夕，馬林科夫就解除貝利亞職務問題取得了伏羅希洛夫的認可。赫魯曉夫同米高揚商談，但未取得他的支持。但赫魯曉夫管不了那麽多了，他必須立即動手。回到克裏姆林宮後，知道了伏羅希洛夫的態度，他知道可以動手了。於是他找了個地方坐下，專等貝利亞進來。貝利亞進來落座後，會議開始了。除了米高揚外，大家一致譴責貝利亞。馬林科夫早巳等得不耐煩了，他按計劃逮捕了貝利亞。這樣赫魯曉夫和馬林科夫少了一個強有力的競爭對手。
赫魯曉夫深知馬林科夫野心也不小，也是自己通往最高權力的一個障礙，必欲除之而後快。貝利亞被逮捕後，馬林科夫成了權勢人物，但隨著內務部——國家安全部領導集團的解體，權力重心已經發生了轉移。作為部長會議主席的馬林科夫有事必須向取得最高權威的黨中央主席團和書記處匯報。並且已經倒台的貝利亞又栽贓陷害他，使得他非常被動。1953年9月，赫魯曉夫當選為黨中央第一書記，馬林科夫逐漸退出權力重心。在紛繁複雜的權力鬥爭中，赫魯曉夫技高一籌，逐漸取得最高權力。
曾在30年代斯大林發動的大清洗活動中積極參與並對斯大林的工作予以積極支持的赫魯曉夫，並不是不想出人頭地。但在斯大林麵前，善於偽裝的他總是夾緊自己的尾巴，老老實實做人。但當他大權在握之後，他已無須再忍了，以前的卑卑怯怯代之以大膽行動。
1956年2月14日，蘇共二十大正式召開。2月24日晚，赫魯曉夫拋出了一份秘密報告{關於個人崇拜及其後果》。報告中赫魯曉夫對斯大林以前的一些活動進行揭批，他列舉了斯大林一手操持的大規模非法鎮壓活動，並透霹了許多囚犯甚至有政治局委員慘遭迫害的事實。
並且披露了列寧在最後歲月裏與斯大林發生的衝突，以及列寧提出要將斯大林調離黨中央總書記崗位的建議。赫魯曉夫指出，斯大林在列寧逝世後，盛氣淩人，唯我獨尊，並且濫用手中權力，破壞、踐踏社會主義法製，對持不同政見者打擊、報複，不僅排斥異己，而且從精神和肉體上摧殘他們。晚年更加殘暴，對於自己信不過的人，隨便扣上“人民的敵人”的帽子，並以此將他們逮捕、槍斃。他還批判了斯大林錯誤的民族政策，並且指出，斯大林利用出版《斯大林傳略》的機會，過分美化自己，神化自己，並說自己是一貫正確的聖人。報告最後，赫魯曉夫總結了個人崇拜產生的危害及其導致個人崇拜的原因。
這個報告的出籠，無異於一顆重磅炸彈，在國內和國際掀起軒然大波。這個報告對國際共產主義運動產生了極大衝擊，在一些社會主義國家引起了**。1956年的波匈事件就是由此引發的。
在蘇共二十大上，赫魯曉夫所作的(關於個人崇拜及其後果》的報告對斯大林個人崇拜問題的揭露，在一些人民民主國家內引發了嚴重的政治危機。
1956年，波蘭統一工人黨中央在華沙召開會議，獲釋出獄的前波蘭統一人黨領導人哥穆爾卡被增選人中央委員會，並正在積極參與全會的工作。赫魯曉夫政治嗅覺非常敏銳，他知道哥穆爾卡的複出，肯定會導致波蘭局勢動**。形勢也正如他所料，波蘭工人遊行罷工，集體農莊紛紛解體，局勢再發展下去，勢必對波蘇關係產生不良影響。於是赫魯曉夫迅速作出了反應，他迅速派出前蘇聯黨政代表團前往波蘭進行緊急會談。波蘭領導人努力說服了前蘇聯代表團，讓前蘇聯代表團相信波蘭將繼續與前蘇聯保持盟友關係，波蘭危機算是平息了。
匈牙利危機就不那麽容易控製了。在布達佩斯和其他城市，所有能表現出匈牙利對前蘇聯有依附關係的標誌物被徹底摧毀。一些恢複活動的非共產黨人進入政府，大批以前遭受政治迫害的政治難民開始返回布達佩斯。大批的黨員幹部和保安人員遭殺害，黨的各種機構被搗毀。並且納吉政府要求蘇軍撤出布達佩斯。這嚴重危及了蘇匈關係，於是在取得中央主席團其他成員的同意後，赫魯曉夫下令立即武力鎮壓布達佩斯暴亂。在前蘇聯坦克、大炮和機械化部隊的介入下，迅速平息了這次暴亂。
前蘇聯黨對於其他社會主義國家的執政黨總是盛氣淩人、頤指氣使，根本不是以兄弟黨看待。前蘇聯黨總是以老子黨自居，別人的行動必須受前蘇聯黨指揮，這嚴重惡化了前蘇聯和其他社會主義兄弟國家的關係。
鐵托領導的南斯拉夫就是不願聽前蘇聯的指揮，毅然選擇了自己的發展道中中國時，同毛澤東就關於建立聯合艦隊和長波電台問題的爭論就突出反映了赫魯曉夫和前蘇聯黨妄圖加強控製中國，同時也反映出中國共產黨堅持黨際平等、互不幹涉內政的外交思想。
1959年，在訪問完美國後，赫魯曉夫乘著他在美國與艾森豪威爾總統就一些問題達成一致意見的東風來到中國，向毛澤東主席鼓吹他的所謂“戴維營精神”，並提出建立長波電台的問題。由於赫魯曉夫對艾森豪威爾的政治品質大加讚揚，毛澤東十分生氣。他們的談論並未取得任何有效成果。
赫魯曉夫向毛澤東提出，前蘇聯出錢在中國建立一個長波電台。前蘇聯不關心這個電台的主權歸屬問題，隻是想用它同前蘇聯的潛水艇保持無線電聯絡，前蘇聯甚至願意把這個電台送給中國，並表示希望長波電台能盡快建立起來。同時赫魯曉夫還提出，前蘇聯能不能在中國有個潛水艇基地，以便解決在太平洋活動的艦隊加油、修理和短暫停泊等問題。毛澤東斷然拒絕了這個要求。毛澤東的這種態度是可以理解的，飽受帝國主義欺淩的中國人民對自己經過浴血奮戰收回的主權問題相當敏感，不容許別的國家對它有絲毫的非分之想，即使是社會主義兄弟也不行。
遭毛澤東斷然拒絕的赫魯曉夫惱羞成怒，他不理智地下令撤退在中國的所有前蘇聯專家，這給中國造成了極大損失，並且使兩國關係嚴重惡化。中蘇兩國先是因觀點不同而引發爭論，繼而上升到意識形態問題，並最終導致兩國發生武裝衝突。
在蘇美嚴重對峙的冷戰時期，兩國為了能在競爭中獲勝，紛紛加大力度研製大規模殺傷性武器，你追我趕，互不相讓。美國為了能對前蘇聯的軍備情況有個了解，以便有針對性地發展自己的武器，派出了高空偵察機 U一2飛機對前蘇聯進行高空偵察，並且偵察活動非常頻繁。前蘇聯人雖能探測到其U—2飛機，但由於當時前蘇聯的戰鬥機升空高度不夠，無法對U—2飛機構成威脅，於是隻能眼睜睜地看著它自由出入。
但前蘇聯人並沒有任美國飛機這樣自由出入得太久，經過一番努力，他們有了對付美國U—2飛機的辦法。1960年5月1日淩晨，一陣急促的電話鈴聲將赫魯曉夫從夢中驚醒，國防部長馬林諾夫斯基向他報告說，一架不明國籍的飛機侵入前蘇聯領空。赫魯曉夫聽後，心想一定又是美國飛機，別的國家是不會侵略前蘇聯領空的。赫魯曉夫下令不要讓這架飛機跑了，一定要把它打下來。前蘇聯防空部隊果斷出擊，一舉擊落了這架U—2飛機，並活捉其飛行員加裏·鮑爾斯。
在冷戰期間，美蘇兩國雖沒有爆發熱戰，但兩國間衝突不斷，有時甚至劍拔弩張，一觸即發。1961年的第二次柏林危機是一個很好的例子。
1961年8月3日，前蘇聯政府照會美、英、法三國政府，並發出最後通牒，要求三國必須在年底以前就有關與德國締結和約以及根據這一和約對西柏林的現狀作出規定的問題予以解決。8月7日，赫魯曉夫又在電視講話中，針對西方國家所宣布的進入西柏林不受民主德國約束，無需征求許可便能來往於該城市的西區問題發出警告，前蘇聯將大大增加自己駐紮在西部邊界軍隊的數量，並且將征召預備役官兵以保證部隊滿員。
赫魯曉夫的這些電視講話，使本已氣氛緊張的西柏林局勢更加緊張。北約部隊處於緊急戒備狀態，以應付突發事件。8月12日，德意誌民主共和國也加強了對本國邊境控製，關閉西德之間的邊境，對於那些被允許出入雙方邊境的人們頒發一種特別通行證，同時還修築起了有名的柏林牆。這引起西方國家的強烈抗議。北約部隊向東推進，華約軍隊向西前進，雙方在柏林牆的兩側槍炮相對，戰爭一觸即發。但關鍵時刻，西方國家退讓了。他們對東德的做法予以承認，還默認了柏林牆的存在。赫魯曉夫也有所克製，收回了在年底前同民主德國簽訂和約的意見。
第二次柏林危機以雙方共同讓步而和平解決了，但雙方劍拔弩張、——觸即發的場景永遠地留在了曆史的記錄中。這隻是雙方進行的眾多較量中的一次。
1959年，在卡斯特羅的領導下，古巴革命取得了勝利，走上了社會主義道路。美國對這個美洲唯一的社會主義國家采取敵視態度，不但自己出兵幹涉，而且在美國培植古巴反政府武裝，並對古巴實施經濟製裁。為了尋求支持， 1962年7月初，由菲德爾·卡斯特羅的弟弟勞爾·卡斯特羅率領的古巴軍事代表團來到莫斯科。他們同前蘇聯軍方領導人舉行了長達一個多星期的會談。討論的主要問題是前蘇聯向古巴提供軍事援助和派遣一定數量的軍事專家。前蘇聯當即決定，將提供給古巴帶有核彈頭的中程導彈以及能夠運載原子彈的轟炸機。很快，準備運往古巴的必要設備開始迅速裝配，同時裝滿軍火的前蘇聯船隻也陸續駛離前蘇聯，前往古巴。到9月份，前蘇聯導彈已經運抵古巴，發射台正在加緊建設，運到古巴去的伊爾—28轟炸機部件也正緊鑼密鼓地組裝。
前蘇聯的這一大膽舉動被美國U』飛機偵察到。美國迅速召見了前蘇聯駐美國大使多勃雷寧。同時，美軍相應地調整軍事部署，派遣一支由180艘美軍戰艦組成的特遣艦隊在加勒比海集結待命，命B口52轟炸機輪換不停地在空中巡邏，同時調6個步兵師到佛羅裏達，並處於一級戰備狀態。美軍還對來往船隻進行檢查，嚴密封鎖了古巴。赫魯曉夫得悉後，自然不甘示弱，他命令部隊進入戰備狀態，還對美國的軍事行動提出抗議，並命開往古巴的船隊繼續前進。雙方再次發生了軍事對峙。
蘇美雙方也不願打仗，一開戰，隻能是兩敗俱傷，因此雙方都非常克製。在經過一番勇氣和耐力的較量後，赫魯曉夫率先表態，如果肯尼迪解除對古巴的封鎖，不再威脅它，前蘇聯就把部署在那裏的導彈撤走或銷毀。緊接著又提出以美國撒出在土耳其部署的導彈為交換條件，同美國討價還價。美國總統肯尼迪向赫魯曉夫保證，部署在土耳其的導彈也將被撤走，但是前蘇聯必須拆除部署在古巴的一切進攻性武器。赫魯曉夫接受了肯尼迪的建議，這樣，古巴導彈危機結束了。二戰之後的世界，如此地接近戰爭的邊緣還是第一次，美、蘇達成一致時距美國陸、海、空三軍對古巴發動進攻的預定時間僅有24小時。
赫魯曉夫的粗魯、我行我素和做事不計後果導致前蘇聯在外交上極其被動。這給他的政敵捉供了借口，他們趁機發起反對活動。
1964年10月12日，黨中央委員會主席團在克裏姆林宮舉行會議，主要任務是撤銷赫魯曉夫的一切職務。會上，赫魯曉夫在15個方麵受到指責，雖然他堅決不接受對自己的指責，但沒有人再支持他。會議最終解除了赫魯曉夫的一切職務，並選出了黨中央第一書記勃列日涅夫和部長會議主席柯西金。赫魯曉夫就這樣黯然下台。西方觀察家認為，此時是赫魯曉夫體麵下台的最佳時刻。