解縉的失寵，還是源於他擁立太子的態度。
世子朱高熾被立為太子儲君後，朱棣的二兒子朱高煦被封為漢王，並將他的藩地定在雲南。朱高煦聞訊後，惱怒地說：“我有什麽罪，把我貶斥到萬裏之外，我不去！”朱高煦知道解縉一直在為朱高熾說話，因此對他恨之入骨。
自立朱高熾為太子後，朱棣心中總覺得對不起二兒子朱高煦，因之對他的寵愛超過以往。朱高煦不肯去雲南，他也就聽之任之，並讓他待在身邊，參與國家大事，受到的待遇超過太子。眼見此情，大臣們都頗感憂慮，但不敢說出來。解縉不改愣頭青的脾氣，他向朱棣勸諫說：“陛下，厚漢王而輕太子，這是引發爭端啊！”朱棣聽了很不高興，認為這是離間他們骨肉之間的感情，對解縉開始冷淡。
永樂五年的二月，有官員上表彈劾解縉，說他於上年的廷試中閱卷不公道。而這時朱高煦也趁機在父皇麵前進讒，說解縉在外頭炫耀自己擁立太子的功勞，故意泄露宮中的機密。朱棣聽罷，將解縉貶為廣西參政。
解縉的被貶，在朝廷中算是一件大事。欣賞他才華的人為之惋惜，而忌恨他的人莫不彈冠相慶。曾被他在密信中譏刺過的禮部郎中李至剛，趁機給朱棣上書，揭發解縉對貶出京城心懷不滿。朱棣看到這封奏章立刻批示，將尚在赴任路上的解縉再貶一次，從廣西調到交趾，命令他在化州督餉，職務是化州參軍。
解縉此去化州，路遠山長，一去就是四年多，其間沒有回過京城。直到永樂九年的六月，他才得到機會到南京奏事。此時，朱棣正好北征，解縉便前往宮中拜謁行監國權力的皇太子。漢王朱高煦知道這件事後，便在父皇麵前進讒說：“解縉趁皇上離京，私自從化州跑回來拜見皇太子，他背著皇上見太子，究竟想幹什麽？”朱棣聽罷，聯想到當年解縉擁立太子的堅決態度，頓時震怒，立即動了逮捕解縉的念頭。
恰好在這個時候，又發生了一件事。
解縉來京奏事返回化州時，正好翰林院檢討王偁也因罪貶謫交趾。兩人得以同行，他們由江西取道廣東，一路上察看山川。感到山川險峻交通不便，解縉忽發奇想，覺得應該開鑿贛江，用水路連接廣東、江西的交通。這件事如果放在別人身上，也隻是想想而已，最多在酒席上與朋友們談談也就罷了。但解縉卻認為這是一條體現朝廷功德的錦囊妙計，於是又提起筆來，給永樂皇帝上書一封，請他聖宸獨斷開鑿贛江。
這道奏章送到朱棣手上，本來就在氣頭上的他，更是暴跳如雷，他認為解縉是在用妄語欺他。讓流向鄱陽湖的贛江翻越大庾嶺流向廣東，這不是妄語又是什麽？朱棣毫不遲疑，下旨將解縉捉拿來京。
解縉押到南京打入詔獄之後，立即被嚴刑拷問。內容有兩個：一是為何要私下見皇太子；二是為何要用妄語欺侮皇上。
在解縉看來，這本是平平常常的兩件事，沒想到竟能釀成巨禍。這位曾經風光無限的皇帝近臣、太子的老師，哪裏受到過刑具的殘酷摧殘？每次用刑，免不了胡言亂語。凡他提到過又被朱棣視為他朋友的人，都被統統抓起來。一時間，受到牽連而身陷囹圄的官員有二十多個。其中，有六人“病”死獄中。
解縉命大，沒有被折磨致死，卻在大牢裏無限期關押。
到了永樂十三年（1415）的正月，解縉已在獄中過了五個春節。卻說第五個春節剛過，正月十九日，朱棣下旨京內外各衙門，蠲免以前所拖欠的各種賦稅，將士軍官犯罪羈押的全部赦免。
得到這道敕令，管理詔獄的錦衣衛都督紀綱便向朱棣呈上羈押囚犯的名單。朱棣審閱名單時發現了解縉的名字，便輕描淡寫地問了一句：“解縉還在呀？”俗話說聽鼓聽聲，聽話聽音。紀綱一下子聽出了朱棣的弦外之音。他回到值房，擺了一桌酒席，吩咐手下將解縉請來吃酒。解縉已聽到了朱棣要大赦犯罪官員的消息，現在又見平日狠如豺虎的紀綱滿臉巴結地請他喝酒，本來蔫耷耷的精神頓時又高漲了起來。心懷鬼胎的紀綱趁機猛勸，酒過三巡，解縉便爛醉如泥。斯時天降大雪，紀綱命人脫去解縉的衣服，拖到院子裏用積雪掩埋。不一會兒，解縉便身體僵硬而死。
第二天，解縉的死訊傳到朱棣的耳朵裏，朱棣又下令抄沒解縉的家產，將他的妻、子以及宗族流放到遼東。
這一年，解縉四十七歲。