宋太宗滅了北漢以後，北漢大將劉繼業歸降北宋，宋太宗也算是知人，他知道劉繼業威名遠播，就授予他左領軍大將軍、鄭州防禦使，給予重用。劉繼業歸宋以後，恢複了楊姓，單名業，也就是戲文裏麵著名的楊老令公。宋初，朝廷試圖用對遼戰爭的辦法收複燕雲十六州，楊業常與遼國打交道，有著豐富的對遼作戰經驗，於是被派往代州為三交駐泊兵馬部署，與潘美前後夾擊，兵馬歸潘美節製。980年，遼景宗率十萬大軍攻雁門。楊業率領數百騎兵繞到遼軍背後，突襲遼軍，遼軍大敗而回。982年四月，遼軍分路攻宋，楊業統軍敗遼軍於雁門關下，斬遼兵三千人，俘萬餘人，繳獲很多軍事物資。楊業立功之後，升為雲州觀察使。此戰以後，遼國軍隊對楊業非常忌畏，常常望見他的旌旗就不戰而走。楊業因此被遼軍稱為“楊無敵”。
雍熙三年，宋太宗再次征討遼國，三路大軍並出，潘美為西路軍主將，楊業為副將。起初戰事進展順利，楊業也是英勇善戰，一路奪取了寰、朔、雲、應四州，但主力軍東路曹彬失利，東路宋軍於岐溝關大敗，遼軍乘勝大舉反擊。宋太宗無奈，命令三路人馬班師回朝，命潘美等率領大軍將收複四州的民眾遷移到內地。此時，遼國十幾萬大軍全線反擊，攻破了寰州。遼軍兵力占有很大的優勢，楊業針對自己的任務是遷移民眾，不需與敵人決戰的實際，就向潘美進言，力主兵至應州，誘遼軍向東，以保障民眾沿石碣穀（今山西朔州南）南撤，並設弓弩手千人於穀口，騎兵居中接應，扼阻遼軍南下。楊業與遼軍交鋒多年，深知邊境地理，做出的判斷非常正確，也切實可行。
但是監軍王侁和劉文裕卻狂妄自大，說：“我們帶了幾萬精兵還怕他們？我們隻管沿著雁門大路，大張旗鼓地行軍，也好讓遼軍見了害怕。”
楊業說：“現在敵強我弱，這樣幹一定要失敗。”
王侁帶著嘲笑的口氣說：“楊將軍不是號稱‘楊無敵’嗎，怎麽在敵人麵前卻畏縮不前了，是不是另有打算呀？”
這一句話把楊業激怒了，他說：“我並不是怕死，隻是看到現在時機對我們不利，怕士兵白白喪命。你們一定要打，我可以打頭陣。”
潘美愛惜楊業是個難得的將才，本來不同意他去送死，但有王侁從中作梗，隻得違心同意。楊業無可奈何，隻好帶領手下人馬出發了。臨走時，潘美抓住楊業的馬韁繩，說：“楊將軍此去一定要多多保重，能勝則勝，不能勝則迅速回兵，不必戀戰。”接著又問道，“楊將軍還有什麽要交代的嗎？”楊業含著眼淚對潘美說：“這個仗肯定要失敗，我本來想看準時機痛擊敵人，報效國家。現在大家責備我懼敵，我不得不先死了。”
接著，他指著前麵的陳家峪（今山西朔縣南）說：“希望你們在這個穀口兩側埋伏好步兵和弓弩手，我兵敗之後，退到這裏，你們帶兵接應，兩麵夾擊，也許有轉敗為勝的希望。”
楊業出兵沒多遠，果然遭到遼軍的伏擊。他帶兵拚殺了一陣，終於抵擋不住，隻好一邊打一邊把遼軍引向陳家峪。到了陳家峪，正是太陽下山的時候。楊業退到穀口，隻見兩邊靜悄悄的，連一個宋軍的影子也沒有。原來，楊業走了以後，潘美按照楊業的意見，把人馬帶到了陳家峪準備接應，但等了一天，聽不到楊業的消息。王侁認為一定是遼兵退了，他怕楊業搶了頭功，就催促潘美把伏兵撤離了陳家峪。
楊業見約定的地點沒有自己的人接應，氣得直跺腳，悲憤之餘率領部下力戰。楊業受創幾十處，曾讓幸存的士卒突圍，士卒不願，全部戰死。部下戰死殆盡後，楊業仍奮戰不止，手刃敵軍數十人，最後筋疲力盡，為遼軍生擒。楊業長子楊延玉，以及部將王貴、賀懷浦全都力戰而死，場麵慘烈悲壯。楊業被擒之後，遼國非常希望能招降這員宿將，但是楊業沒有背棄宋朝，威武不屈，絕食三日而死。但是宋太宗聽信讒言，撫恤菲薄，隻賜給了他的家人五品官位應得的一半撫恤物品。後來楊業妻子佘氏向宋太宗上書說明了陳家峪血戰真相，宋太宗得知楊業是絕食三日而死，這才下詔表示痛惜，厚恤楊業家屬，稱楊業“誠堅金石，氣傲風雲”。同時，宋太宗下詔將潘美降職，王侁、劉文裕都被削職發配。
楊業的死雖然與潘美沒有堅持在陳家峪接應有很大關係，但他並沒有要陷害楊業的意思，更沒有要故意置楊業於死地的意圖。他的失誤在於，當監軍王侁心存私念讓他從陳家峪撤軍時，潘美沒有堅持自己的意見，而是一味聽命於王侁，致使楊業兵退陳家峪時沒有得到援助。因此，楊業的死，主要責任在王侁，次要責任在潘美。
其實，對於三位當事人王、劉、潘所犯的錯誤，宋太宗在詔書中講得非常明白。《宋史》對楊業給予了高度評價，對其冤情是這樣描述的：
執幹戈而衛社稷，聞鼓鼙而思將帥。盡力死敵，立節邁倫。群帥敗約，援兵不前。獨以孤軍，陷於沙漠，勁果飆厲，有死不回。
給潘美的定性是：
俾總援兵，經塗非賒，精甲甚眾，不能申明斥堠，謹設堤防，陷此生民，失吾驍將。據其顯咎，合正刑書。
這段記述可謂一針見血。陳家峪一役，在楊業需要救援之時，潘美統領的大軍，相隔並非遙遠，兵員裝備又很充足，但他沒有做出正確的判斷，更沒有采取有效的措施，導致“陷此生民，失吾驍將”的悲劇發生。潘美的錯誤很明顯，應該依法受到處罰。
詔書對王侁、劉文裕的評判最為嚴厲：
昨出師徒，俾其監護，固合明宣紀律，動協機宜。而乃墮撓軍謀，窘辱將領，無公忠之節，有狠戾之愆。違眾任情，彼前我卻，失吾驍將，陷此生民。合塞群情，抵於嚴憲。
王侁和劉文裕被委以監軍的重任，他們理應在合理的範圍之內，督促部隊嚴守紀律，鼓舞激勵官兵士氣，但是他們卻越權越位，幹涉阻撓軍事謀劃，羞辱逼迫軍事將領，剛愎自用，一意孤行。戰鬥打響之後，讓楊業衝鋒在前，自己先行退卻，所作所為堪稱“無公忠之節，有狠戾之愆”。
應該說，宋太宗對此事的認定和評判是客觀公正的，王侁是這次兵敗的禍首。有人分析認為，王侁有通敵的嫌疑，理由是，在此戰之前的太平興國初年（975年），契丹來使多為王侁接待，一年中往來數次，王侁返奏皇上所言多為好話。
這種觀點很可能影響了宋太宗，一年以後，潘美又重新受到重用，劉文裕也被召回京都，“上知業之陷由，召文裕還”，隻有王侁維持原判。從此，王侁是陷害楊業的主犯成為官方的基調，國史、實錄無不受此影響。
不管基本事實如何，有關楊業之死和他與楊業的關係成了潘美一生最大的汙點，這一汙點後來被不斷放大與演繹，潘美的形象離真實越來越遠。
在民間評書《楊家將》中，潘美被徹底醜化為奸邪忌功的大壞蛋。其實潘美對宋朝功勞很大，總體超過楊業。《宋史》傳中，潘美位於列傳第十七的位置，而楊業僅處列傳三十一，排名差了許多。
潘美字仲詢，河北大名人。其父潘璘，任軍校戍守常山。潘美年輕時風流倜儻，附屬於府中典謁。曾經對同鄉人王密說：“漢代將要結束了，奸臣恣肆行虐，天下有改朝換代的征兆。大丈夫不在這個時候建立功名，謀取富貴，碌碌無為與萬物一並滅亡，真是羞恥啊。”正好周世宗任開封府尹，潘美任侍從官事奉世宗。到周世宗即帝位後，補任潘美為供奉官。高平之戰，潘美因為戰功升遷為西上門副使。後出任陝州監軍，改任引進使。周世宗準備用兵於隴、蜀二地，命潘美統率永興的屯兵，管理西部戰事。
宋太祖趙匡胤即位之後，也對他格外信任，命潘美召集後周宰輔，曉以大義，使這些人對新朝俯首稱臣，甚至連改朝換代的聖旨，也是由潘美曉諭天下的。當時陝西軍閥袁彥心懷異誌，趙匡胤擔心袁彥作亂，命潘美前往西北監其軍，膽識過人的潘美單騎入長安，勸袁彥順天從命，迫使袁彥入朝。趙匡胤對潘美此舉備加讚賞，稱他為孤膽英雄。
此後的數十年中，潘美作為一位將領南征北戰，為宋王朝的基業立下了非常人可比的戰功。他先隨太祖征討淮南叛將李重進，淮南平定後，單師揮戈前往湖南，討平湖南叛將汪端，接著繼續南下，攻克南漢的北部屏障郴州，繼而**平南漢二十萬大軍，擒南漢主劉鋹送京師。太祖開寶七年（974年），朝廷決定平定江南李煜，潘美與曹彬分率大軍進攻秦淮，經數日短兵接戰，為曹彬主力殺開一條血路，一鼓破金陵，李煜又成了曹、潘大軍的俘虜。潘美還朝奏捷，席不暇暖，又披掛為帥，北征北漢劉氏，劉繼元借契丹重兵，才賴以暫保疆土。太宗即位的第四年（太平興國四年，979年），潘美以北路都招討之職攻打北漢，劉繼元大敗，北漢亦歸宋朝所有。為了安定河東，太宗命潘美留鎮太原，他是北宋第一任太原知府。不久北伐契丹，節節勝利，以功封代國公。
潘美戎馬一生，晚年因一失足而使北伐大業敗於垂成，心中怏怏，一年多以後，便病死於太原，終年六十七歲。
《楊家將》係列故事，興於南宋，當時因為政府軍戰力低下，廣大人民希冀英雄的出現。要襯托主人公楊繼業（曆史原型楊業）和其諸子媳，由於塑造英雄的需要，潘美的故事不斷向負麵演繹。在很多事上，潘美背了黑鍋，被妖魔化了。真實的潘美與賣國奸臣的形象大相徑庭，相反，他一生對北宋鞠躬盡瘁，死而後已。
不過話又說回來，有些人，尤其是太原人痛恨潘美也不是完全沒有道理。故事雖然扭曲了潘美的形象，但可能也是另有原因。