江蘇平定將近八年，因曾國藩的一念之仁而保下了性命的李世忠，來到揚州遊玩。在這裏他遇到了昔日的仇人陳國瑞，回想起在壽州爭奪城門的那段往事，仍然記恨在心。他設謀將陳國瑞誘捕，關在船上。
陳國瑞的侄兒呼救，兩湖的上萬隻商船，出於同鄉之情，都來響應。李世忠被這種陣勢嚇壞了，棄船逃走，才免於災難。
曾國藩審理這個案子，認為陳國瑞強橫，李世忠陰毒狠辣，上奏清廷，奪去李世忠的官職，將陳國瑞由總兵降為都司。江淮之間，又流言李世忠謀叛，清廷命令曾國藩訪察。曾國藩派人去了河南固始，探察李世忠的居所，見堂上設了義塾，家宅圍的是竹籬笆，砌的是泥土牆，與鄉農雜居，大家才打消了疑慮。
這一年，長江上多次發生匪盜打劫，有些軍士不會撐篙劃槳。大臣們紛紛議論，為什麽曾國藩本來是上奏裁兵，反而變成了增兵。有人說，軍隊一年不打仗，就會消極怠惰，舊時的水師營兵就是這樣衰沒的。因此軍隊不可常設，長江水師也應該取消。
3月12日的金陵城，天氣陰沉，細雨霏霏。這一天是陰曆二月初四，是曾國藩的父親去世十五年的忌日。
早已不再指揮湘軍作戰的曾國藩，拜過父親的牌位，讓兒子曾紀澤扶他去兩江總督府的西花園散步。
他對曾紀澤說：“我這輩子打了不少仗，打仗是件最害人的事，造孽，我曾家後世再也不要出帶兵打仗的人了。”
父子倆拉著家常，不知不覺走近一片竹林。忽然，一陣大風吹過，曾國藩連呼“腳麻”，感到舌頭僵硬，便倒在兒子身上。
曾紀澤把父親扶進屋時，曾國藩已經不能說話了。他用手指指桌子，那裏有他早已寫好的遺囑。
曾國藩端坐桌前，三刻鍾後，氣絕身亡，享年六十一歲。
曾紀澤雙手把遺囑展開，發現父親的遺囑上對後輩提出了四條要求，即慎獨、主敬、求仁和習勞。
清廷接到噩耗，舉朝震驚。同治皇帝追贈曾國藩為太傅，按大學士規格賜恤，賞銀三千兩治喪。賜予“文正”諡號，入祀昭忠祠與賢良祠，並於湖南湘鄉和江寧金陵建立專祠。生平政績事實，宣付國史館。他的一等侯爵爵位，由兒子曾紀澤承襲。
曾國藩壽命不長，是因為他一生勤勉，積勞成疾。此外，他一直患有疾病，也是一個原因。他小時候患有牛皮癬，很難治愈。他在三十五歲時癬疾一度發作，奇癢難當，徹夜不得成寐。他曾嗜煙如命，恐怕也有害於他的健康。他在五十九歲時又染上肝病，致使右目失明。
曾國藩在上一年11月25日回任兩江總督，已屆花甲之年。他是因處理天津教案不利回任江督，心情十分不快。在給弟弟的家信中，他表明了心中的積鬱。他說他兩次在京城，由於不善應酬，遭到京官們的白眼。加以天津一案的處理引起物議沸騰，戶部官員謝寶璆竟然不顧同鄉之誼，領銜彈劾他，引動舉國清議。以後大事小事，部中都對他有意吹毛求疵，微言諷刺。陳由立遣發黑龍江，過通州時其妻向清廷控訴，也說他審案不公，拖欠薪水四千兩不發。所以他不免心緒悒悒。
元旦到來時，金陵的兩江總督府整修一新，迎接回任不久的曾國藩。曾國藩抑鬱的心情仍然不得寬解，無心過年，身心狀況急轉直下。
幾天後，他與友人閑談，忽感右腳麻木，頹然坐地。
三天後，他和老友重逢，一時激動，口不能語。
曾國藩對自己的死亡有所預感。在去世前五天的日記中，他記載了衰弱的感覺，說他近年來寫作覺得精神恍惚，不能自主，所以眩暈、眼病和肝風等病症，都是心肝血虛導致的。他覺得自己是苟活於人世，心中不免惶恐。
曾國藩去世的消息傳出，死者的弟子和朋友紛紛表示哀悼，挽聯和祭文一時堆積如山。由於人數眾多，祭奠活動足足持續了一百天，可見曾門弟子之盛。左宗棠、李鴻章和郭嵩燾題寫的挽聯尤為中肯，大可概括曾國藩的一生。
左宗棠寫道：
謀國之忠，知人之明，自愧不如元輔；
同心若金，攻錯若石，相期無負平生。
李鴻章寫道：
師事三十年，薪盡火傳，築室忝為門生長；
威震九萬裏，安內攘外，曠代難逢天下才。
郭嵩燾寫道：
論交誼在師友之間，兼親與長，論事功在宋唐之上，兼德與言，朝野同悲為我最；
考初出以奪情為疑，實讚其行，考戰績以水師為最，實主其議，艱難未預負公多。
曾國藩是以大清王朝的一位勳臣的身份謝世的。他一度統帥著全國最有戰鬥力的武裝力量，打敗了大清王朝最恐懼的敵人。他始終沒有聽從王闓運和其他湘軍人物的勸告，依靠湘軍來推翻已經腐朽的清朝統治。
王闓運在曾國藩自剪羽翼、裁撤湘軍一年以後，還曾以討論學問為由，勸曾國藩做曹操。曾國藩平靜如故，佯裝沒聽懂他的話外之音。王闓運終於知道他的帝王之術無法在這位湘軍領袖身上實現，隻得悻悻而歸。
不少後人責怪曾國藩助紂為虐，阻擋曆史前進。但是，如果像馬克思所說的那樣，太平天國除了純粹的改朝換代，沒有給自己提出任何其他的任務，那麽，曾國藩在認為自己無法使中國走上一條新路之前，不願純粹為了改朝換代而將內戰延續下去，未必不是一件值得稱道的事情。
此外，也有人說，以曾國藩的老成持重，他不會掂量不出，即便為了純粹的改朝換代、黃袍加身而大動幹戈，湘軍未必定有勝算。西洋軍隊的虎視眈眈，清廷對漢人軍隊的猜忌和防範，湘軍軍餉的來源有限，湘軍集團內部的種種矛盾，湘軍將領們的意氣用事，都是他必須考慮的因素。
曾國藩晚年的確以諸多的言行，致力於社會的變革。但他沒有打算采取武力變革的途徑。晚年的曾國藩常常坐在地球儀前出神。有一幅圖，畫的是曾紀澤兄妹陪伴父親看地球儀。不管他在想什麽，他的眼光在搜索中國以外的世界，在欣賞藍色的海洋，卻是無可置疑的。曾國藩看著外麵的世界在想著什麽，從他滿腔熱情地致力於洋務運動並且奏請派遣第一批幼童出國留學就可以猜出端倪。
1862年成為曾國藩幕僚的容閎，最早向清政府要員提出往國外派遣留學生。1854年他成為第一位畢業於美國一流大學的中國人時，就產生了選派留美學生的教育計劃和願望。
1870年容閎在協助曾國藩、李鴻章和丁日昌處理天津教案時，向曾國藩呈報了派遣幼童赴美留學的教育計劃。
1871年9月，曾國藩、李鴻章在容閎的建議和計劃的基礎上，上奏《選派幼童赴美肄業辦理章程折》，並附有《挑選幼童赴美肄業章程》十二款。這道奏疏獲得批準，從本年開始，清廷先後派出四批十二歲至十五歲的少年，共計一百二十名，由容閎帶領赴美留學。
所以，曾國藩臨死時的身份，不僅是大清的一位肱股忠臣，而且是一個熱心改變中國落後現狀的洋務運動先行者。
曾國藩死了，但他的門生故舊遍及海內，這是他一生以薦舉賢能為己任的結果。據羅爾綱《湘軍兵誌》統計，從湘軍出身的官員，有二十六人任督撫大員，有一百四十三人擔任省級文武官員。單憑這一點，就足以使他本人和湘軍在清末曆史上占據顯赫的地位。
曾國藩去世後，他所創建的湘軍水師漸漸衰落。清廷下詔征用五十六歲的彭玉麟。同治皇帝召見這位水師大帥，將他補授兵部左侍郎，垂詢長江事宜。彭玉麟三次上疏推辭就任侍郎，清廷便命令他每年巡視長江一次。
彭玉麟於1866年辭官以後，在第二年春天回到衡州老家，看到渣江老屋已經荒廢倒塌，便在府城修造了三重院落，取名“退省庵”，表明他的心誌。
彭玉麟生活極為儉樸，外出不坐轎子，不帶隨從，身著布衣，腳踏青鞋，如同一名田夫野老。
這次他拗不過清廷，隻好到長江上去走一趟。這時五十四歲的黃翼升請病假回鄉，四十二歲的李成謀繼任長江水師提督，駐紮在安徽太平府，管轄湖南、湖北、江西、安徽和江蘇五省水軍，後來又統管江南水師，主管訓練調遣、水道暢通和船舶的安全行駛。
彭玉麟巡視長江，彈劾了一百多名不稱職的將領和軍官。所到之處，江湖肅然改觀。
清廷下詔斥責黃翼升，說他對部隊管理不嚴，濫收二百多名候補將領和軍官，準許他開缺回籍。黃翼升從此在家賦閑近二十年。
彭玉麟巡視完畢，作《長江水師剔弊百條》上呈清廷，清廷作為命令下發。
楊嶽斌先前卸下陝甘總督任之後，也奉命巡視長江，但他長年告病不出，事情堆在彭玉麟一人身上，每年都要彈劾處罰官員。然而，他的舊部宿將都已衰老，補充的新人很少有懂得作戰的，於是越來越多的人議論輪船的好處。
左宗棠的南洋水師和李鴻章的北洋水師，就是在這種形勢下逐漸浮出水麵。
但是，洋務運動在中國遇到重重阻力。曾國藩的靈柩於6月25日用火輪從金陵運到長沙時，官紳大嘩，反對輪船入境。
即便在曾國藩的家鄉，人們對於先進的水上交通工具也表現出如此非理性的反感，不能不說是這位洋務運動先驅者的悲哀。