在林肯離開白宮後，林肯夫人陷入了巨大的困境。她還自己舉辦展覽會，這成為國人議論的熱點問題。
在家庭開銷問題上，她顯得異常吝嗇，過去在每個季節，按照慣例都是總統家庭點出很多全美國的“國菜”，但林肯夫人一直催促林肯打破這個傳統，並表示這些菜肴都很貴，現在是戰爭時期，公共招待可以更節約點。
一次，林肯不得不提醒林肯夫人：“我們必須要考慮一些節約之外的東西。”
但當買一些能滿足她虛榮心的東西時，比如衣服及首飾，她卻不僅忘記了節約這個字眼，而且還失去理智地沉迷在各類奇怪的花銷中。
1861年，林肯夫人離開了大草原，她自信地預計，作為總統夫人，她可能成為華盛頓群星璀璨的中心。但讓她蒙羞並吃驚的是，她發現自己在這個城市被傲慢的貴族們藐視並怠慢。而在南方人眼中林肯夫人作為一個肯塔基州人，她是不忠的，她與一個粗魯且笨拙地讚成廢除黑奴製的人結婚，這個人還對南方發動戰事。
除此之外，林肯夫人幾乎沒有可愛的個人品質，她是個卑鄙、庸俗、嫉妒、虛假且沒禮貌的潑婦。
因為自己不能得到社會聲望，林肯夫人就特別嫉妒那些得到社會聲望的人，華盛頓社區的統治女王就是著名的美人安迪科斯·道格拉斯，她的丈夫就是瑪麗·林肯的前情人史蒂芬·道格拉斯。道格拉斯夫人及蔡斯的女兒的名望都讓林肯夫人產生了強烈的嫉妒感，她決心用金錢給自己帶來社會名望，那就是用錢買衣服和首飾打扮自己。
“為了趕上時髦，我必須要有錢，我得到的錢要比林肯給我的還要多。林肯太老實了，因此，我還是沒辦法，隻能繼續欠債。”林肯夫人說道。
林肯夫人的欠債量達到了幾乎7萬美元，這是個龐大的數字，而林肯當總統的工資才25美元。為了還債，必須將林肯兩年零九個月的工資全部積攢下來。
我從伊麗莎白·凱克莉那裏得到了幾次證實。凱克莉是一個很不平常且聰明的黑人婦女，她付錢為自己買到了自由，然後來到華盛頓，開了個專門製作女童衣服的小店。在很短時間內，她就得到了華盛頓一些主要社會名流的青睞。
1861年到1865年，凱克莉幾乎每天都與林肯夫人待在白宮，並作為一個私人女仆伺候林肯夫人。最終，她不僅成為林肯夫人的知己與顧問，還成了她最親密的朋友。在林肯遇刺後垂死掙紮的那晚，林肯夫人唯一呼喊的就是伊麗莎白·凱克莉。
曆史是幸運的，凱克莉女士寫了一本關於自己人生經曆的書，已有半年沒有出版了，但破舊的一些副本偶爾仍能在稀罕書經銷商那裏買到，價格是10至20美元。標題很長：“下麵的文字是關於伊麗莎白·凱克莉。她以前是個黑奴，但後來成為童裝店的經營者，然後成了林肯夫人的朋友，或者可以說成‘三十年的奴隸生涯及四年的白宮生活’”。
伊麗莎白·凱克莉在1864年夏天寫了這些回憶錄。當時林肯準備為連任總統而努力。
林肯夫人幾乎要瘋了，她心裏滿是恐懼與焦慮。為什麽？因為林肯夫人在紐約的一個債權人威脅要起訴她。林肯的政治敵人可能利用林肯夫人的債務問題在大選中製造“政治轟鳴”，並讓林肯夫人達到發狂的程度。
“如果林肯連任了，我就能在他麵前瞞住我欠債的事。但如果林肯失敗了，債權人會跑進門，然後林肯就會知道。”林肯夫人歇斯底裏地哭泣並說道。
“我會跪下來，為你去求選票。”林肯夫人對林肯哭著說。
“瑪麗，我恐怕你將會因這種無法抵抗的焦慮而遭受懲罰。如果我被選上了，一切都會好的。但如果失敗了，會給你帶來失望。”
“林肯先生懷疑你欠賬了嗎？”凱克莉問道。
下麵就是回憶錄的一百五十頁寫的答案：
“上帝啊，不，”這是林肯夫人最喜歡的一個表達，“我將不會讓林肯懷疑，如果他知道自己的妻子做事做到這種程度了，會讓他變瘋的。”
林肯被刺殺帶來的唯一好的因素，就是他在沒有知道這些債務的情況下死了。
林肯被刺前一周，林肯夫人在賓夕法尼亞大街的一個店子裏，嚐試賣掉印有自己名字字母的襯衣。
西沃德聽說此事後，他帶著沉重的心情將很多衣服買了下來。
當林肯夫人離開白宮時，她帶了二十個箱子及五十個包。
這也引發了很多閑言碎語。
此前，林肯夫人已被公開地且反複地指控，通過偽造款待那波利亞王子的娛樂報銷單詐騙美國財政部。林肯夫人的政治敵人還指出，盡管當時她隻帶著幾隻箱子來到白宮，但她離開時所帶的東西足以裝滿一輛載貨車。為什麽？難道她來白宮掠奪了嗎？她**裸地拿走了她能拿的一切東西了嗎？
即使到了1867年10月6日，也就是林肯夫人離開華盛頓兩年半後，《克利夫蘭先驅報》在談到林肯夫人時這樣說道：
“要讓整個國家知道，彌補白宮被掠奪的一切，需要差不多10萬美元，讓我們來證實到底誰是掠奪行動的受益者。”
的確，在“玫瑰女人”統治時期，白宮的很多東西都被偷走了，但很難說是林肯夫人的錯。當然，她犯過錯，在白宮她做的第一件事就是開除白宮幹事和其他的雇員，並表示她要自己管理這個地方，讓白宮的一切活動都要以節約為標準。
除了門把手和廚灶外，仆人們幾乎把所有的東西都偷走了。1861年3月9日，《華盛頓明星報》報道，許多參加白宮招待會的客人都發現自己的外套及晚裝不見了。不久前，白宮的家具也被人用車拖走了。
五十個包及二十個箱子！那裏麵到底放的什麽？很多都是無用之物：廢棄的贈品、雕像、無價值的圖畫和書籍、蠟花、鹿頭及其他大量舊衣和舊帽子。
“她有儲存舊東西的愛好。”凱克莉說道。
當她在打包的時候，剛從哈佛大學畢業的兒子羅伯特建議母親將火柴也帶上。當林肯夫人對此施以嘲諷時，羅伯特說：“我希望裝滿這些盒子的車輛在去芝加哥時都著火，並燒掉你所有的這些舊戰利品。”
那天早晨，林肯夫人離開了白宮，“幾乎沒有一個朋友與林肯夫人告別，寂靜的離別讓人痛苦。”凱克莉說道。
即使是新總統安德魯·約翰遜也沒和她告別。實際上，在林肯被刺後，約翰遜總統從未給林肯夫人寫過一行的同情話。他知道林肯夫人蔑視自己，約翰遜以此作為對林肯夫人的回應。
按照曆史來看，這一切似乎有些荒謬。林肯夫人堅定地認為安德魯·約翰遜背後支持了對林肯的刺殺行動。
林肯的遺孀帶著兒子特德和羅伯特去了芝加哥，並將在特蒙頓酒店住一個星期，他們發現價格太貴，隨後又搬到一個叫海德公園的避暑勝地，並住進小的且裝修簡單的房間。
林肯夫人因負擔不起更好的居住環境而哭泣，她拒絕去見自己以前的親朋好友，甚至給他們寫信她都不願意。隨後她安頓了下來教特德寫字。
特德是林肯最喜歡的兒子，他的真名叫托馬斯，但林肯給他取了個昵稱叫“特德”或“小蝌蚪”，因為特德還是個嬰兒時，他的腦袋就比一般同齡人的都大。
特德經常和父親睡，在他睡覺前，特德都會在白宮的辦公室裏無所事事地閑逛，然後總統父親會將他背起來，將其放在**。在說話時，特德有點口吃，父親常拿他當幽默素材。但作為一個有靈氣的聰明男孩，特德卻將他的缺點當做逃避受教育的借口。現在，他已十二歲了，但他既不能閱讀也不能書寫。
凱克莉在記錄裏說，在特德的第一次書寫課上，他花了十分鍾爭論猿應該寫成猴子，一個小木板上麵的圖畫解釋了“猿”，三個人一起努力才讓特德承認了自己的錯誤。
林肯夫人想盡辦法勸說美國國會給她10萬美元，這筆錢是林肯在第二屆總統任期期間應得的收入。當國會拒絕她的要求時，林肯夫人便尖酸刻薄地譴責那些“魔王”用荒謬和謊言阻攔她計劃。
國會最終給了林肯夫人2.2萬美元，這幾乎是林肯在那年任職期間的應得收入。拿著這筆錢，林肯夫人在芝加哥購買並裝修了一套外表是大理石的房子。
兩年過去了。然而，在林肯夫人的房產穩定前的這段時間，她的花銷緊張而且此前的債權人正在追債。現在，她不得不將自己房子的一部分出租出去，然後開始接納寄膳者，最後，她不得不賣掉房子並搬到別處寄宿。
林肯夫人的積蓄越來越少。1867年9月，用她自己的話說，她開始采用一種令人吃驚的謀生手段。
她整理了自己的很多舊衣服和珠寶，然後用布蒙著臉，她來到紐約並隱姓埋名，她的假名是：“克拉克夫人”。她在紐約見到了凱克莉，林肯夫人拿著一包舊衣服上了車，然後開往第七大街上的二手服飾經銷商店。林肯夫人還準備賣掉衣櫃，但買家出的價格實在太低，讓人吃驚。隨後，林肯夫人找到百老匯大街609號的鑽石掮客“布拉迪·凱耶斯”，他們聽著林肯夫人的驚奇故事，他們說：
“聽著，將你的東西放在自己的手上，幾周之內，我們將給你籌集10萬美元。”這聽起來太棒了，所以，林肯夫人依照他們的請求，寫了三封信講述自己可怕的貧困狀況。凱耶斯在共和黨三個領導人前麵炫耀這些信，並威脅如果他們不給自己錢，他就要將這些事抖出去。
但凱耶斯從這些人嘴裏得到的隻是他們對林肯夫人的評價。
林肯夫人催促凱耶斯寄給她1.5萬美元，以此作為她救濟窮人的資金。但要凱耶斯這樣做是不可能的。
帶著對共和黨人的憤怒，她去找林肯生前的敵人幫忙。紐約的《世界報》是個民主報紙，它曾經被政府下令暫時停業過，他們的編輯因為野蠻地抨擊林肯而被逮捕。通過該報紙的專欄，林肯夫人大肆渲染自己的貧困，稱她不僅賣掉自己的舊衣服，而且還賣掉諸如雨傘及兩件衣服外罩這樣的小物品。
那時剛好是大選前，所以《世界報》就將來自林肯夫人的一封信打印出來，並以此嚴厲地抨擊共和黨人，比如韋德、西沃德及《紐約時報》的雷蒙德。
《世界報》莊嚴地邀請他們的民主讀者們，為這位被遺棄的第一個共和黨總統遺孀捐款，但幾乎沒人捐一分錢。
然後，林肯夫人又嚐試讓黑人們給她捐款，並催促凱克莉盡力幫自己的忙，並承諾，如果她得到2.5萬美元，她將在自己有生之年每年給凱克莉300美元，如果林肯夫人去世了，凱克莉還將得到所有的2.5萬美元。
隨後，凱耶斯在報紙上刊登了林肯夫人衣服及珠寶的銷售廣告，大量人群湧入他們的商店，他們拿著衣服並抱怨，稱這些衣服早已過時，而且價格還出奇得高，衣袖及裙子下邊都太舊且皺巴巴的，而且衣服上還有汙點。
凱耶斯還在自己的店裏開設了一個認捐簿，希望那些不買林肯夫人東西的觀光客會給林肯夫人捐款。
最終，在絕望中，商人們帶著林肯夫人的衣服及首飾來到羅德島州的普羅維登斯，並打算建立一個展會，收取每人25美分的入場費，但城市當局拒絕了這一方案。
最終，凱耶斯賣到了824美元，但他們卻收取了820美元的服務費。
林肯夫人自己籌錢的努力不僅失敗了，還為自己招來了一片譴責聲。在整個籌錢努力中，她給自己帶來了一係列 “羞辱”。
“林肯夫人不僅讓自己蒙羞，他還讓美國及自己死去的丈夫蒙羞。”《奧爾巴尼雜誌》這樣疾呼道。
韋德在寫給《商業廣告雜誌》的一封信中這樣譴責林肯夫人：“她是個說謊者，她是個強盜。”
回到伊利諾斯州後幾年，林肯夫人成了斯普林菲爾德村裏的“可怕之人”，她堅持 “古怪而很普通的交談”，並稱 “病人林肯在自己的住處是第二個蘇格拉底”。這些都讓《哈特福德晚間新聞》雜誌吃驚，但《斯普林菲爾德雜誌》這樣陳述：“多年來，林肯夫人一直發瘋，她應該讓自己的奇怪舉動得到原諒。”
“林肯夫人，那個討厭的女人，她在全世界麵前以自己的反複無常給整個民族帶來了羞辱。”
林肯夫人因這些攻擊而苦惱，她將自己的一切苦惱通過一封信向凱克莉傾訴：
羅伯特昨晚像個瘋子，他威脅我要自殺，因為昨天的《世界報》出版了那封信。我一邊哭泣一邊給你寫信。今天上午，我祈禱死亡。隻有我可愛的特德不讓我死。
林肯夫人與自己的姐妹及族人都關係疏遠了，她最後甚至和羅伯特也鬧僵了。林肯夫人惡毒地蔑視並誹謗羅伯特，有的內容太過苦澀，以至於公開出版前必須被刪掉。
當林肯夫人四十九歲時，她給黑人裁縫寫信時這樣說：“我感覺自己好像不是你的朋友，也沒有拯救你。”
在美國曆史上，沒有另外一個人像林肯一樣被尊敬被愛戴；同時，沒有哪個女人像林肯夫人一樣被人們如此深深地譴責。
在林肯夫人嚐試賣掉自己的舊衣服後不到一個月，林肯的財產問題就被解決了，林肯的財產總價值約11.0295萬美元，這筆財產被林肯夫人及她的兩個兒子分了，他們各自得到3.6765萬美元。
現在，林肯夫人帶著兒子特德來到國外，過著孤獨的生活，讀法國小說，且看不到任何美國人。
很快，她又變得貧窮了，她懇求美國參議院同意給她每年500美元的養老金，這些請求在參議院遭到了眾人的噓聲。
“她是個卑鄙的騙子。”愛荷華州參議員赫威爾疾呼道。
“林肯夫人對林肯不忠誠，她帶著反叛去同情林肯，她不值得得到施舍。”伊利諾斯州參議員亞特說道。
經過幾個月的耽擱和責罵，她終於得到了每年3千美元的退休金。
1871年夏天，特德死於傷寒症，死時帶著極大的痛苦。林肯夫人唯一的兒子羅伯特結婚了。
沒有朋友的林肯夫人孤單並處於絕望，瑪麗·林肯成為迷惑的犧牲者。有一天在佛羅裏達州的傑克遜維爾，她買了一杯咖啡，並拒絕喝掉，她發誓這杯咖啡裏有毒。
林肯夫人登上了去芝加哥的火車，並懇求一個家庭醫生拯救羅伯特的生命，但羅伯特並沒有生病。醫生與林肯夫人在車站見麵，並與林肯夫人在“大太平洋酒店”一起待了一周，希望以此讓林肯夫人平靜下來。
晚上，林肯夫人經常會跑到醫生的房間裏，斷言魔鬼要殺她，印第安人正在用線將她的腦袋捆住，還稱醫生從自己的大腦裏拿出了鋼鐵。
白天時，林肯夫人就去商店，荒謬地購物。比如，花300美元去買帶花邊的窗簾，而她根本沒家也沒地方放置。
帶著沉重的心情，羅伯特·林肯將自己的母親告上芝加哥地方法院，提出對其母親是否心智健全進行審訊，一個由十二人組成的陪審團最後決定，林肯夫人的確瘋了。最後，她被送往伊利諾斯州巴達維亞的一個私人精神病院治療。
去那裏十三個月後，不幸的是林肯夫人還沒有被治愈就被放了出來。最後，這個貧困悲慘的女人來到國外與陌生人一起生活，並拒絕給羅伯特寫信或將自己的地址告訴他。
當她在法國波城時，有一天，她拿著活梯準備在壁爐上掛一幅畫。突然，活梯斷了，林肯夫人掉了下來，摔壞了脊髓。很長一段時間，她甚至連走路都困難。
林肯夫人返回自己的家鄉，她即將死去，她在自己姐姐愛德華茲夫人的家裏度過了自己的最後時日，她時不時地說：“你現在應該祈禱，我現在要被帶到自己丈夫及孩子們身邊去了。”
盡管那時，林肯夫人有6千美元的現金及價值7.5萬美元的政府公債，然而她卻依然被荒謬的貧困所困擾。她還擔心自己後來當了國防部長的兒子羅伯特會像其父親一樣被刺殺。
她急切地想從困擾自己的現實中逃脫，她逃避每個人，將自己的家門及窗戶緊閉，並拉下窗簾讓自己的房間變黑，然後在外麵陽光充足時在屋內點上蠟燭。
“沒有誰能說服林肯夫人去外麵享受新鮮空氣。”林肯夫人的私人醫生說。
在孤獨及溫柔的燭光中，她記憶的翅膀將其帶回到以前的殘忍年代，並最終停留在自己年輕的女人氣質中。她又一次夢見與道格拉斯一起跳華爾茲舞，被他高雅的氣質所迷倒，然後聽他演奏的優美樂章。
有時，她還想到了自己其他的情人，一個名叫亞伯拉罕·林肯的年輕男子來向她求婚。的確，林肯隻是個貧困並充滿奮鬥欲的居家型律師，他住在施皮德商店上麵的閣樓裏，但林肯夫人相信，隻要她努力去鼓勵他，他就能成為美國總統。她努力地讓自己在林肯麵前變得美麗。盡管她在十五年中除了深深的黑色衣服外，什麽也沒有穿，但在這樣的時刻，她還是會去斯普林菲爾德的商店。而且據她的私人醫生說，她買了大量的絲綢及婦孺衣料，用箱子裝著，並帶上車。
1882年，在一個夏季平靜的晚上，一個貧困、疲憊、暴躁的靈魂正如她經常祈禱的一樣，終於被釋放了。在一次意外癱瘓後，林肯夫人在其姐姐家中安靜地離開了人世。四十年前，在同樣的地方，亞伯拉罕·林肯曾為她戴上了“永恒的愛”的結婚戒指。