離開白宮後，林肯夫人的生活也成了人們茶餘飯後的談資。
林肯夫人是“持家有道”的，有時候顯得極其吝嗇。比如按照慣例，總統在每個季度都必須組織一係列的國宴，但夫人卻覺得這樣的花銷太過昂貴，尤其在戰爭年代更是浪費，所以總是不斷和總統爭執，要求廢除這一慣例。林肯有一次實在忍無可忍，不得不提醒夫人，拋開節儉，也要考慮到國家的體麵和需要。
不過，林肯夫人一旦涉及奢侈品，就再也不提節儉這回事了，開始毫不顧忌地瘋狂消費。
1862年離開伊利諾伊大草原時，瑪麗曾滿懷期待地迎接她“第一夫人”的頭銜，從而成為華府社交圈最閃耀的明星。但事實卻完全相反，好像這裏所有的達官權貴都在排斥她、蔑視她。在他們的眼中，她不過是一個背叛了南方的肯塔基人，就因為她嫁給了一個粗鄙的“黑奴熱愛者”。她的丈夫還發起了一場內戰，將血淋淋的矛頭對準了南方。除此之外，她還被當成一名悍婦，既小氣又粗俗，經常心胸狹窄、反複無常。但這是事實。
遭到上流社會鄙視的她，開始忌恨社交圈中的紅人。當時，華府社交圈的當紅美人非阿代勒·卡茨·道格拉斯莫屬，她們的淵源還真不淺，因為她的丈夫就是林肯夫人的舊情人斯蒂芬·A·道格拉斯。道格拉斯夫人同薩蒙·P·蔡斯的千金在華府可謂叱吒一時，這讓林肯夫人妒火中燒，於是下決心不惜血本地用珠寶和昂貴的衣服包裝自己。
夫人曾對密友伊麗莎白·凱克雷說：“我要保持外表的華貴，所以我需要錢，這遠遠超過林肯先生給我的錢。他實在是個老實人，從來不收取工資以外的任何報酬，所以我隻能四處借貸。”
因此，夫人一直被債務纏身，高達7萬美元之多！而林肯任職總統的年薪才隻有2.5萬美元。這是多麽可怕的一個數字！總統僅僅為夫人的華裝麗服買單就要花去兩年零九個月的薪水！
伊麗莎白·凱克雷女士是位才智非凡的黑人女性，當她贖回自由之身後，就來到華盛頓開設裁縫鋪。不久，她嫻熟的手藝就贏得了上流人士的垂青。1861年至1865年期間，凱克雷與林肯夫人幾乎朝夕相處，她不但為夫人縫製衣物，還照料她的起居。最終，兩個人建立起知己般的友情。林肯奄奄一息的那天晚上，陪在夫人身邊的隻有她一人。
凱克雷因為她在白宮的經曆而出了一本書，這對再現真實曆史是非常有價值的。這本書已經有半個世紀沒有被重印過了，但所幸人們還能在書商那裏找到原版，售價10~20美元。這本書的名字相當冗長：現場背後，伊麗莎白·凱克雷著，作者原為女奴，現為亞伯拉罕·林肯夫人的女裁縫和密友；30年的女奴生活，4年的白宮生涯。
伊麗莎白·凱克雷在書中回憶了1864年夏季林肯連任時的情形：
林肯夫人幾乎發了瘋，她為此擔驚受怕，焦慮不安。
為什麽如此擔心呢？因為紐約的一位債主威脅要起訴她；此外，她欠外債的事還有可能被林肯的政敵利用，而大做文章。
“如果他能連任，他就不會發現我的債務問題，可一旦他失敗，賬單就會接二連三地匯過來，到時一切都完了。”夫人歇斯底裏地大哭大叫。
“我甚至願意跪下雙膝為你拉選票。”夫人對林肯喊道。
可林肯安慰說：“瑪麗，你為這件事太過擔心和焦慮了，我擔心你無法得到同等的回報。如果我連任了，自然一切無恙；但如果我不得不下台，你得承受多大的失望。”
“難道林肯先生沒有懷疑過您的欠債嗎?”凱克雷曾經這樣詢問夫人。
林肯夫人是這樣回答的：
“噢!上帝，這萬萬不可!”——這是夫人最喜歡的表達方式，“我是不會讓他知道的，如果他知道自己的妻子欠下這麽多的債務，他一定會發瘋的。”
凱克雷認為，林肯被刺唯一值得欣慰的是，他到死都對自己的債務一無所知。
林肯下葬不到一周，夫人就不得不想盡辦法籌錢，她不惜向賓夕法尼亞大道的一間商鋪兜售繡有林肯姓名的襯衫。聽說這件事後，蘇厄德心情沉重，前去買下了林肯的所有襯衫。
林肯夫人離開白宮時打包了數不盡的箱子，光包裝箱就用去50個。這件事又引起一片議論。
之前，夫人已經遭到公眾的連番轟炸了。曾經就有人指責她偽造款待拿破侖王子的賬單來騙取國家財政部的資金；她的宿敵紛紛指責她離開白宮時，不應該帶走滿車的家什，因為當年來白宮時，她幾乎什麽都沒帶。那麽，現在她從哪裏得到了這麽多的財物？她這是在搶劫，搶劫白宮。
1867年10月6日，那時夫人已經離開華盛頓近半年的時間了，克利夫蘭·赫勒爾德在談及她時還說道：“人們有權知道，有人對白宮進行了價值高達10萬美元的洗劫，國家有權確認這些東西屬於誰。”
這是事實，在林肯夫人掌控白宮的歲月裏，大量財物失竊，但這些過錯也不全怪她。她錯就錯在為了節儉，而解雇了管家及其手下的工作人員，而由她本人監控白宮的財物。她已經盡了力，但仆人們除了帶不走的門把手和爐灶，幾乎無所不偷。
1861年3月9日出版的《華盛頓明星報》曾這樣報道：參加白宮招待會的客人們無一不遭到偷竊，他們脫下的大衣和晚裝往往再也找不回來。再之後，白宮裏的家具甚至都開始被整車運走。
那麽50個包裝箱裏都裝了些什麽？其實大部分都是些沒用的東西：沒用的禮品、文具用品、一文不值的字畫和書籍、蠟具、鹿頭，還有大量款式老得掉牙的舊衣帽，這些幾乎都是夫人在斯普林菲爾德時的穿戴。
凱克雷說：“林肯夫人是個懷舊之人。”
當夫人在打點行裝時，兒子羅伯特剛從哈佛大學畢業，他曾站在箱子旁建議應該往裏麵放一根火柴，並說：“上帝啊，您應該在路上放把火，一把將這些破玩意兒燒盡算了！”
凱克雷回憶說，在離開白宮的那個早晨，沒有一個人同她道別，那種寂靜實在令人心痛。就連新任總統安德魯·約翰遜也沒有給她送行。事實上，暗殺事件過後，約翰遜連一句同情安慰之詞都沒有向她表達過。他知道夫人一直瞧不起他，這是他以牙還牙的最好時機。
雖然聽起來很荒謬，但林肯夫人堅信安德魯·約翰遜是暗殺林肯的幕後主謀。
告別白宮後，林肯夫人就帶著泰德和羅伯特來到芝加哥。一開始，他們逗留在特雷蒙特大樓，但那裏的消費實在太昂貴了，一周後他們就搬到一個名為海德公園的避暑地，住進了一個窄小、平凡的房子裏。
林肯夫人幾乎每日以淚洗麵，因為她住不起更好的房子，也拒絕同老朋友和親戚會麵或通信。等一切安頓下來後，她開始手把手地教泰德寫字。
泰德是林肯的至愛，全名是托馬斯，但林肯喜歡昵稱他為“泰德”或“泰德波爾”，因為幼年時的泰德長了個非比尋常而又十分可愛的大腦袋。
泰德在睡覺時也離不開父親。這孩子一發困，就會在白宮辦公室附近躺下，等他一睡著，父親便將他抱到**。泰德有點兒口吃，父親常常為此逗他，於是，這就成了泰德不願接受教育的借口。現在泰德已經12周歲了，但仍不識字也不會拚寫。
凱克雷回憶說，泰德在一次拚寫課上，一直爭辯“a-p-e”是猴子，他的理由是這個單詞的背景插圖，完全就是隻猴子的模樣。後來，三個人費了九牛二虎之力，才使泰德承認了這個錯誤。
林肯夫人離開白宮後，一直竭盡全力要求國會支付她10萬美元，因為那是林肯連任的薪酬。國會拒絕了她的要求，她便罵拒絕她的人是“魔鬼”。她詛咒道：“魔鬼死前定會受到審判。”
最後，國會還是給了夫人2.5萬美元的總統薪酬，這筆錢讓林肯夫人在芝加哥買下一棟外牆為大理石的房子，並將其粉飾一新。轉眼間兩年過去了。在這段時間裏，林肯夫人隻出不進，坐吃山空，很快就欠下了一屁股債。所以，她隻能將房子出租，最後又不得不把房子賣了，而自己搬進一所出租屋。
從此，夫人失去了一切經濟來源。就像她說的，到了1876年9月，她已經窮困潦倒，隻能卑賤地維持生存了。這讓她打點行囊，帶上衣服和細軟，到紐約過起了隱姓埋名的生活。
在那裏，她自稱“克拉克夫人”。後來，她找到凱克雷，從她那裏收獲了一整袋舊衣裙，轉手就出售給了第七大道的二手商鋪。林肯夫人還想賣了自己的衣櫥，但她實在不滿意商人給出的可憐價錢。
經過幾個月的討價還價，夫人得到了每年3000美元的養老金。
1871年夏，泰德死於傷寒。林肯夫人隻剩下一個兒子羅伯特了，但就在同一年，羅伯特完婚成家了。
瑪麗·林肯陷入了孤獨、無助和絕望中，整天患得患失。一天，她在佛羅裏達州的傑克遜威爾買了一杯咖啡，但就是不肯喝下去，說咖啡裏有毒。
還有一次，林肯夫人在去芝加哥的火車上電告家庭醫生，求他救救羅伯特的性命，但羅伯特根本就沒生病。家庭醫生還是前去接車，一直陪她住在太平洋大酒店，用了一個星期的時間安撫她，打消她那古怪的念頭。
在酒店期間，林肯夫人常常瘋了似的敲醫生的門，聲稱“有魔鬼要殺她”“印第安人正從她的腦殼裏拉線”“醫生們正從她的腦子裏拔鋼針”等。白天，林肯夫人往往會瘋狂購物，她會花300美元買一副毫無用處的窗簾，因為她已經沒有家再去掛窗簾了。
羅伯特·林肯不得不帶著沉重的心情前去芝加哥的縣法院，要求判自己的母親患有精神失常症。於是，由12人組成的陪審團判定林肯夫人患有嚴重的精神病，並將她送往伊利諾伊州巴達維亞的一所私立精神病院進行治療。
然而，13個月後，林肯夫人在沒有治愈的情況下被放了出來。但她似乎傷心欲絕了，拒絕同兒子羅伯特通信，也不告知他自己的地址，就這樣，這位孤苦伶仃的可憐女人漂洋過海，獨自生活在法國。直到有一天，當她攀登著梯子想在壁爐上方掛幅油畫時，梯子突然折斷，把她摔了下來，傷到了脊椎。在以後很長的一段時間裏，她都不能行走。
臨終之前，夫人返回了家鄉斯普林菲爾德，在姐姐愛德華茲女士家走到了生命的盡頭。臨終時，她不停地哀求姐姐：“一定要為我祈禱，讓上帝帶我到丈夫和孩子們身邊去。”
夫人當時有6000美元的現金和7.5萬美元的政府債券，不過她仍憂於貧困；除此之外，她還害怕時任戰爭部長的兒子羅伯特會像他父親一樣遭到暗殺。
林肯夫人希望能自由呼吸，但又無法直麵現實，所以她總是拒不見人，緊閉門窗，不讓房間中有一絲光亮。就算外麵再陽光普照，她也會躲在陰暗的屋子裏點燃蠟燭。林肯夫人的醫生說，不管別人怎樣勸說和懇求，她都不肯踏出房間一步。
在昏暗的屋子裏，淒涼的燭光時常將林肯夫人的記憶帶回那久遠的少女時代。她想象著自己再次和斯蒂芬·A·道格拉斯共舞一曲華爾茲，她甚至能想象到道格拉斯那優雅的舉止，聆聽著他那美妙的嗓音，她盡情地沉醉其中……
偶爾，林肯夫人也會想起另一位情人，那個名叫亞伯拉罕·林肯的年輕人。她還清晰地記得，那天晚上他前去向她求婚。沒錯，他當時不過是個窮困潦倒、借住在斯皮德店鋪的閣樓上並為生計苦苦掙紮的律師，但是她堅信，在她的努力下，他終有一天能成為總統，於是她為他盛裝打扮。
在獨居的15年裏，林肯夫人幾乎每天穿深色的衣裝，但當她陷入回想時，會悄悄溜進斯普林菲爾德的商鋪裏，整箱、整車地瘋狂購買絲織品和衣物，盡管她從來不穿。最後，衣物越積越多，讓人不由得擔心它們會壓壞地板。
1882年，林肯夫人突然癲癇發作，之後便靜靜地走完了自己的一生。那是在一個寧靜的夏夜，那顆因孤獨而千瘡百孔的心靈終於如願以償，得到了解脫。而她得以解脫的地方，正是40年前，亞伯拉罕·林肯為她戴上一枚婚戒的地方，戒指上的刻痕還在：摯愛永恒。