2月中旬，紅一方麵軍從紮西回師黔北，既出乎蔣介石的預料，又擊中了蔣介石的要害。當時，蔣介石認為，中央紅軍是在北渡西行均遭阻截後被迫重返黔北的。黔北窮困，難以久留，紅軍戰略意圖仍是東出湖南，與賀龍、肖克部匯合。因此，忙令王家烈親率所部在綦江、桐梓一線堵截。王家烈接令後即派蔣在珍部到桐梓以北的酒店埡、九盤子一線阻截；命令杜肇華由遵義向桐梓、新站推進派3個團布防在遵義、板橋鎮之間；以警衛團和獨立營駐守遵義大營，令湄潭、金沙等縣黔軍向遵義收縮。由於黔軍力量弱，蔣介石令薛嶽派吳奇偉率韓漢英五十九師和唐雲山九十三師由貴陽、清鎮地域開往遵義，增援王家烈；同時，令周渾元部向遵義靠攏；命集結在川黔邊的上官雲相部馳援桐梓；劉湘督促郭勳祺部對紅軍實行尾追進擊，以遲滯紅軍的行動；嚴令何鍵注意黔東防務，王東元、李雲傑、陳光中各部在限期內趕赴烏江東岸防堵，以阻紅軍東移入湘。
中央紅軍二渡赤水後，向桐梓、遵義一線急速挺進。遵、桐戰役的進行，是根據當時敵情的實際變化，逐步實現的。
2月20日，紅軍二渡赤水後，軍委曾有“會攻”桐梓的作戰計劃。當時，軍委命令紅軍主力一、三兩個軍團，分左、右兩路向桐梓西北、西南地域夾擊，五、九軍團擔任後衛掩護。軍委的意圖是殲滅或擊潰駐守桐梓的黔軍。但這時軍委獲悉桐梓僅有敵軍一個營，且於當日上午向四川方向撤走。軍委認為，不管情況是否屬實，仍須進一步偵察，不打無把握之仗，仍令一、三軍團按原訂作戰計劃向桐梓急進。軍委21日電令指出：“判斷川敵將有4個旅渡赤水河跟追我軍可能。黔敵分布在赤水、狷猴者，正聯合川軍動作；其另一部則正由遵義開桐梓，可能與我軍遭遇。薛敵總的部署未定。滇敵主力距我軍較遠，安旅有向我逼近訊。”因此，“現我野戰軍任務主要是迅速脫離川敵，進攻桐梓，遭遇黔敵，對追我之敵則偵察戒備並掩護，在有利條件下則準備回擊，消滅其一部。因此，為爭取先機，我一、三軍團應日行35公裏左右，用4天行程逼近桐梓，期於25日會攻桐梓，並準備沿途遭遇黔敵。”
遵照命令，一、三兩個軍團22、23兩日，日夜兼程前進。在蔣介石、王家烈兵力尚未部署就緒時，紅一團神速地於24日22時出敵不備地襲占桐梓。桐梓守敵兩個連一經與紅軍接觸，即被消滅。這樣，“會攻桐梓”消滅黔軍主力的原訂計劃未能實現。但是，毛澤東和軍委對“會攻桐梓”可能出現的變化已有準備。24日軍委發給各軍團電令中指出：“如桐梓無敵，應乘虛占領婁山關”，切斷遵、桐交通線，以便紅軍作戰和轉移。但在這時，一軍團軍團長林彪卻提出了緩攻婁山關的建議。毛澤東和軍委立即否定了林彪錯誤意見。當時的《敵情通報》中指出，蔣軍向遵義增援的命令剛下，貴陽離遵義160公裏，一夜之間無法趕到；紅軍主力已集中，而桐梓至婁山關僅一二十裏，完全能占領婁山關並先敵趕到遵義。
為紅軍作戰和轉移創造條件，必須切斷敵軍遵、桐線。軍委25日23時下達了消滅婁山關黔敵奪取遵義城的命令。婁山關是遵義城的北大門，川黔公路的咽喉，有“一夫當關，萬夫莫開”之險。要想拿下遵義城，首先必須占領婁山關，打開遵義的北大門。軍委在命令中指出，敵情如你們所知，估計守婁山關、黑神屆的柏、杜兩部可能為黔軍第一、四、五、八、十五、十六共6個團或僅一部共3個團，有憑婁山關相機出擊阻我南下掩護遵義以待薛敵來援的企圖。因此，我野戰軍應以一部阻滯四川敵軍主力，堅決消滅婁山關黔敵，乘勝奪取遵義城以打開戰局。我五、九軍團主力26日均抵官店，兩個後衛團分在溫水與新羅坎兩處阻滯川敵，並令其在29日前不使其逼近桐梓。一、三軍團統歸彭楊指揮，26日迂回攻擊婁山關、黑神廟之敵，並乘勝直取遵義，以開赤化黔北的關鍵。
周恩來、毛澤東和朱德等，把攻占婁山關視為以開赤化黔北的關鍵的一仗。為此，他們把參戰的一、三軍團和幹部團交給了作戰經驗豐富、善於打硬仗、打攻堅戰的彭德懷、楊尚昆指揮。這說明，黨中央和軍委對彭、楊的極大信任。彭、楊接受任務後，命令紅十三團主攻婁山關，另兩個團向婁山關左、右夾擊，派一部主力迂回敵後板橋鎮，抄敵後路，其餘部隊跟隨著前鋒向婁山關進發。
紅十三團是中央蘇區反“圍剿”戰爭中有名的英雄部隊。紅十三團奉命於25日11時出發，13時在桐梓以南婁山關北紅花園與正向北推進的黔軍第六團遭遇，當即將其擊潰。黔軍由南溪口退居婁山關，負隅頑抗，婁山關戰鬥隨之打響。
王家烈第六團是黔軍主力部隊。在旅長杜肇華帶領下，退守婁山關後即占據了入關隘口的兩翼高地，第一營扼守右翼，一個連扼守左翼，以阻止紅十三團的正麵進攻，並掩護其他兩個營在關上修築工事。杜旅旅部退守關南黑神廟。為防備紅軍由右翼小箐經牛王屯抄襲板橋鎮，前後夾擊婁山關，旅長柏輝章令宋華暫率第十四團向關上右翼高地及牛王屯、小箐等地增援；令第十五團駐守板橋一線，策應關上，以防紅軍抄襲後路；令第六團守衛婁山關3日，以掩護吳奇偉部過烏江。
25日夜，紅軍各參戰部隊都先後完成了作戰準備，在主力進抵婁山關後，采取了正麵進攻與兩翼包抄迂回的戰術進攻婁山關。彭、楊的攻關部署是：彭雪楓率領紅十三團擔任主攻；張宗遜、黃克誠率紅十團從婁山關右翼由小箐迂回包圍板橋之敵；張愛萍率紅十一團遠出婁山關從小水田經混子場直插敵後，切斷板橋和遵義的聯係，斷敵後路，圍殲婁山關之敵。此外，還布置了紅十二團等部隊為第二梯隊。26日拂曉，紅十三團在彭雪楓率領下，猛攻婁山關之主要製高點——點燈山。敵軍利用居高臨下的有利地形，據險頑抗。紅軍利用黑夜和雲霧漫天的幕紗作掩護，以猛烈的攻勢，衝入敵陣，打垮守敵，攻占了可控製婁山關口的製高點。同時，紅一團也強占了婁山關東側的石炭關。敵軍為了奪回點燈山和大、小尖山等製高點，上午10時，黔軍用兩個團的兵力，先後組織了三次反撲，均被紅軍打退。接著，紅軍組織火力掩護，又連續攻占了十幾人山頭，將敵防線全部擊破。紅軍第二梯隊上關後，彭德懷立即命令紅十二團接替紅十三團陣地，紅十三團和其他部隊乘勝向南追擊潰逃之敵。這時，紅軍的迂回部隊，也先後拿下了黑神廟、板橋等地。紅軍經過一天一夜的激戰，一舉攻克了婁山關，打亂了黔軍的指揮係統，黔軍陷入了一片混亂之中，紛紛奪路逃竄。紅軍完全控製了婁山關至板橋一線，敲開了遵義城的北大門。
中央紅軍在毛澤東軍事路線指導下，在毛澤東和軍委的英明領導下，在彭、楊的正確指揮下，占桐梓、奪婁山，殲滅和擊潰黔軍幾個團。但是，這隻是毛澤東和軍委關於這次戰役的整個戰略意圖的第一步。婁山關戰鬥，實現了毛澤東“慎重初戰”、“初戰必勝”戰略戰術思想。婁山關戰鬥的勝利，叩開了遵義城的北大門，使遵義城已無險可言。從而，造成了坐守遵義指揮的黔軍統帥王家烈的極度恐慌。他25日向薛嶽要求增援的電報中稱：“紅軍午前9時與我進駐桐梓城之杜旅第六團接觸，在紅花園、婁山關附近，雙方激戰之烈，已令二、五團馳往增援。惟我蔣旅既被遮斷鬆坎附近，何副總指揮及魏副師長各部，亦被隔斷於土城一帶。我第五、第八各團，分任清剿鴨溪、湄潭潰退土匪之責。遵城隻駐第一團全部，擔任衛戌。除嚴令杜旅務須維持原陣線外，並飛調五、八兩個團到遵，即行反攻。但以距離計算需於27日，方可集中完畢。應請總指揮薛飛令各師，兼程到遵增援，以收殲敵之效。”26日電報中又說：“紅軍昨跟蹤追於本日午前7時，在遵城北端20裏之董公寺附近。現令第一團、第八團嚴陣，矢力抵抗。本軍兵力既未集中，遂被各個擊破，傷亡甚重。十五團猶未收容完畢，僅以十七連之眾，與紅軍主力隊接觸，攻守均為牽製。請轉懇薛總指揮速令各師，速來前進增援。
婁山關戰鬥的勝利，是紅一方麵軍第五次反“圍剿”以來打的第一個幹淨利落的大勝仗，紅軍將士士氣高昂，這就為遵義大捷奠定了思想政治基礎。這時，毛澤東在高興之餘賦詞一首，謳歌紅軍將士英勇戰鬥的情景，唱出了英雄們為革命而奮鬥的心聲：
“西風烈，長空雁叫霜晨月。霜晨月，馬蹄聲碎，喇叭聲咽。雄關漫道真如鐵，而今邁步從頭越。從頭越，蒼山如海，殘陽如血。”
正當紅軍興高采烈地乘勝追擊潰敵，王家烈卻在悲傷地向上報告：“我杜旅在紅花園、黑神廟、小箐、觀音閣一帶與敵三師約萬人……激戰，現敵先頭已至板橋南端之觀音閣，有撲遵之勢。遵城兵單力薄，守亦不易……”
彭德懷、楊尚昆遵照毛澤東和軍委“務期於27日殲敵，勿視良機稍縱”，“準備打擊援遵的薛嶽之韓、唐”的命令，日夜兼程追擊潰逃的黔敵。27日在遵城北麵的董公寺附近與黔敵第一、第八團接觸，經2個小時戰鬥，將敵擊潰。7時，紅一軍團占領遵義新城，殘敵龜縮老城，企圖固守待援。紅三軍團所屬部隊則分兵兩路向遵義城東、西兩側包抄，逼近老城。這時，紅三軍團參謀長鄧萍在偵察遵義老城敵情時，不幸被流彈打中，為革命獻出了寶貴的生命。這更激發了紅軍將士對同誌的愛，對敵人的恨。他們忘掉一切疲勞和饑餓，堅決執行軍委關於迅速驅逐老城殘敵，向南集結，準備打擊來援遵之中央軍的命令。紅軍全軍將士，化悲痛為力量，更加勇猛殺敵。他們於28日淩晨，在插旗山、紅化崗等地攻入老城，黔敵殘部向貴陽方向潰逃。紅一軍團首長林彪、聶榮臻28日7時向軍委報告：“遵義新老城於本28日晨完全占領。繳獲正在清理中。”
紅一方麵軍二占遵義城，是周恩來、毛澤東和軍委戰略意圖的第二步。第三步是消滅前來增援的從江西尾追來的中央軍主力吳奇偉縱隊兩個師。這一戰鬥如果取勝，就可奪得戰略主動權，打開創建川滇黔邊根據地的新局麵。因此，消滅運動中的韓、唐兩個師，是關鍵的一仗。毛澤東在運動中殲敵的運動戰戰術的戰機已經到來。運動戰是紅軍的特長。周恩來、毛澤東和朱德緊緊抓住了這個“稍縱即逝”的戰機，命令部隊一定打好這一仗。
2月28日上午，增援王家烈的中央軍韓、唐兩個師到達遵城南邊的老鴉山南側，即同先機占領有利地形插旗山、老鴉山、紅花崗等山頭的紅軍展開了激戰。扼守紅花崗的紅一軍團主力，經5小時的戰鬥，把傲慢的敵人反擊下去，向敵後運動，抄敵後路，前後夾擊殲敵。扼守老鴉山、插旗山一線的紅三軍團主力，壓力更重，一直打到下午5時，仍然處於反複爭奪有利陣地的狀態中，其中紅十團守衛的陣地，曾被敵人攻占一半。在危急時刻，幹部團將士及時趕到，經過勇猛衝殺，才把攻入紅軍陣地的敵人消滅，奪回已失陣地。其時，迂回到敵軍後側的紅一軍團將士，突然向敵臨時指揮所所在地忠莊鋪發起攻擊，頓時敵軍指揮係統大亂，迫使敵軍慌亂退卻。紅軍不容敵軍輕易逃掉。紅軍在白軍一片混亂爭相逃竄中，乘機猛追狠打。一時間，從遵義通往貴陽的大道上，號聲四起，殺聲震天。白軍拚命逃跑，紅軍奮力追擊。紅軍戰士高喊：“追呀，把白軍趕到烏江裏，讓他們喝水去！”戰爭實踐證明，號稱追擊紅軍的“常勝軍”，也不過是一隻紙老虎，經不住紅軍的鐵錘猛擊。中央軍逃跑時，先是五十九師，後是九十三師，就像散了群的鴨子，四散奔逃，徹底地潰敗了。敵指揮官吳奇偉也險些被紅軍活捉。敵九十三師逃到烏江南岸的總兵力數不足2000人。吳奇偉所率的韓、唐兩個師，除其中唐師陳金誠一個團擔任“預備隊”，在陣地後麵回頭逃的比別的早，尚保持原建製外，其餘各部均已潰不成軍，長期不能恢複戰鬥力。據蔣介石派駐重慶的參謀團報告中記載：“韓、唐兩師皆失利，損失甚重。”
紅一方麵軍在以毛澤東為核心的黨中央英明領導下，在紅軍各級指揮員的正確指揮下，克服了一切困難，戰勝疲勞，進行連續作戰。在連續5天時間內，襲桐梓、克婁山、占遵義、打援敵、勢如破竹，銳不可擋，連戰皆捷。先擊潰和消滅了黔軍8個團，後痛殲了蔣介石嫡係部隊兩個師，痛快淋漓地勝利結束了遵義戰役。
遵義各族人民熱烈歡慶遵義戰役的輝煌勝利。遵義城頭和紅軍駐地，到處張貼勝利捷報。紅軍總政治部主編的《紅星報》報道：“一片慶祝勝利聲——舉行遵義城群眾祝捷大會。地點——第三中學”。《紅星報》中說：遵義城的廣大勞苦群眾，聽到紅軍擊潰了王家烈、吳奇偉的消息，全城歡騰，更加興奮起來，為著自己的解放而奮鬥。縣革命委員會已定於5日下午3時在第三中學舉行盛大群眾大會，慶祝勝利和追悼為革命而犧牲的死難烈士，各地也紛紛召開祝捷大會。中國工農紅軍的進軍號聲響徹黔北高原，影響普及川滇黔邊各個山鄉村寨溝壩。
當人民和紅軍歡慶勝利之際，蔣介石卻在頓首哭泣。史料記載，當蔣介石得知遵義戰役被紅軍痛殲了他的嫡係兩個師後，痛哭流涕地說，真是“奇恥大辱”！
遵義戰役的勝利，使全黨全軍從實踐中認識了毛澤東及其路線和戰略戰術，不但能夠領導中國共產黨和統帥紅軍，粉碎國民黨軍隊“圍剿”，而且定會奪得中國革命的徹底勝利。因而，毛澤東在全黨全軍中的威望空前提高。擁護他的同誌佩服他的領導能力，更加支持他的正確領導；反對過他的同誌也逐漸改變了態度，接受他的正確領導，貫徹他的正確路線。因而，毛澤東在黨中央的領導地位得到了進一步確立，以毛澤東為核心的黨中央的團結進一步加強。
這是中央紅軍第五次反“圍剿”以來，打的第一個大勝仗。從此，爭得了戰略主動權，擺脫了過去敵人打紅軍，而紅軍隻是被動地應戰的單純防禦局麵。從這以後，是紅軍調動白軍，在有利條件下的運動戰中將其消滅。紅軍處於戰略主動地位，白軍處於戰略被動地位。創造了軍事史上以少勝多、以弱勝強的又一個典範。這是在毛澤東決戰防禦路線指導下，集中優勢兵力，在運動中消滅敵人的運動的勝利。縱觀當時的形勢，從兵力和裝備上看，紅軍僅有3萬餘人，武器裝備差，後勤供給缺乏，隻有在打勝仗中從敵人手中獲得；敵軍有40萬重兵，近半數裝備精良，而且後勤供應很強。其次，從部隊士氣上分析，紅軍由於敵人的“圍剿”經過長期戰鬥還未能打破而士氣不高；白軍因為紅軍戰鬥失敗而被迫長征並一味迫戰，助長了士氣。在紅軍處於劣勢，敵軍處於優勢的狀況下，毛澤東改變了過去那種單純防禦的“走”就逃跑，“打”就拚命的錯誤戰略戰術，而是把“走”和“打”巧妙地有機結合起來，一切的“走”都是為了“打”，“打”是為了消滅敵人，保存和發展自己的目的的運動戰戰略戰術，從而，才取得了遵義戰役以少勝多、以弱勝強的勝利，為紅軍在敵強我弱的形勢下取勝樹立了榜樣。
這是毛澤東靈活機動戰略戰術思想的勝利。從以毛澤東為核心的黨中央和軍委，在雲南紮西地域大河灘實行戰略轉移，並決定在黔北消滅敵軍中最弱的黔軍為主要作戰目標，到二渡赤水後組織會攻桐梓，奪婁山，攻遵義，打吳奇偉縱隊這一過程看，充分體現了毛澤東決戰防禦指導下的靈活機動的戰略戰術思想：避實就虛、先打弱敵、慎重初戰、初戰必勝、出敵不意、集中優勢兵力，在運動中殲滅敵人的運動戰、速決戰、殲滅戰。在作戰中毛澤東常說：你打你的，我打我的，打得贏就打，打不贏就走；我打你時一定吃掉你，你打我時叫你打不著；敵進我退，敵住我擾，敵疲我打，敵退我追。遵義戰役就是運用這些戰略戰術取勝的。
中共中央3月8日《告全黨同誌書》中指出：最近我們在遵義附近的戰役中，消滅並擊潰了王家烈、吳奇偉11個團之眾。這是反五次“圍剿”以來第一個偉大勝利。這一勝利是黨反對了軍事的單純防禦路線之後，證明了黨中央政治局擴大會議的正確，粉碎了一切動搖悲觀、過分估計敵人力量不相信自己的力量等機會主義觀點，發揚了紅軍指戰員的高度積極性。遵義戰役的勝利就是黨的路線的勝利。實際上，遵義戰役的勝利，既是毛澤東的馬列主義決戰防禦軍事路線的勝利，也是以王明為代表的單純防禦路線的破產。