突進城區的解放軍官兵很快發現，他們的對手不僅僅是中國人，還有一批穿著灰色晉綏軍服裝，麵孔也和中國人無異，卻不會說中國話的外國人。這批外國人，就是被閻錫山收編的殘留日軍，一批在抗日戰爭和解放戰爭中犯下戰爭罪行的絕無僅有的雙料戰犯。
1949年24日淩晨5點30分，在解放軍太原前線司令部統一號令之下，全線1300門大炮從四麵八方一齊向太原城牆猛烈轟擊。頃刻間，雷霆萬鈞，山搖地動。經一個小時火炮摧毀，厚80尺，高50尺的城垣多處倒塌。6點30分，解放軍分成12個突擊箭頭，先後突破太原城垣攻入城內，與守軍展開激烈巷戰。
突進城區的解放軍官兵很快發現，他們的對手不僅僅是中國人，還有一批穿著灰色晉綏軍服裝，麵孔也和中國人無異，卻不會說中國話的外國人。
這批外國人，就是被閻錫山收編的殘留日軍，一批在抗日戰爭和解放戰爭中犯下戰爭罪行的絕無僅有的雙料戰犯。
殘留日軍先後參加了閻錫山與解放軍的曆次重要戰役，並給予解放軍很大殺傷。他們明顯高出一籌的戰鬥素養和頑強作風贏得了晉綏軍官兵的普遍欽佩和閻錫山的倚重。在日常訓練與生活中，殘留日軍也表現出他們特有的風格和個性，郊區激戰的槍炮聲轟響不斷時，他們居然在杏花嶺操場照樣舉行棒球比賽。在大雪紛飛，氣溫降到零下20多攝氏度的嚴寒中，日本官兵竟然**著上身照樣出操，在大街上“嘩嘩”跑步，引得太原市民駐足觀望。
閻錫山對日軍殘留部隊優待有加，太原被圍困以後，晉軍士兵吃的是陳年“紅米”，而殘留日軍與黃樵鬆的中央軍則供應上等大米和白麵。太原戰役後期，軍糧供應極為緊張，太原市內三家醫院收容的傷員多達15000人，當局想從輕傷員口中擠出些白麵大米，保障日本人和中央軍的供給。結果，憤怒的晉軍傷兵上街遊行，有不要命的居然湧進孫楚、王靖國公館“吃大戶”。末了，還把兩位大將軍的公館砸了個一塌糊塗。
山西省檔案館保留著一份“殘留日軍”慰安所的開張電文，這個位於舊城街四道巷14號的慰安所由“殘留日軍”保安第6大隊建立，麵向日本人開放。在電文中，除了明確“遊樂”方法和注意事項外，同時還“奉勸自我約束，勿因醉酒而受中方警憲盤查訓斥”。
不僅是慰安所，大量日本占領時期開張的日式飯店、酒館、旅社也因為日本人的殘留而繼續營業。一些麵向日本人的醫院、報刊、學校、社團、寺院也依然存在，日本殖民時期營造的日式人文生態圈被基本完整地保留了下來。
“殘留日軍”老兵安井清回憶說，他們那時經常在酒館暢飲，並把高度白酒點燃取樂。
“殘留日軍”團長永富博之的妻子，就是一名在旅社工作的日本籍女服務員。
太原市的校場巷，在當時又被稱作“工程師街”，這條幽靜的街道邊，坐落著一組民國時期的高級別墅群“工程師樓”。當年，澄田睞四郎、今村方策、河本大作等人就居住在這裏，“合謀社”的軍事組後來也曾遷移到此地1至4號樓辦公。在太原市精營東邊街的2號院門口，懸掛著“曆史民居”的牌匾，這裏原本是晉綏軍軍官的私宅，殘留於山西的一名土木工程師和兩名水利工程師曾經安家於此，他們按照自己的生活習慣對房屋進行了裝修。據這裏的居民介紹，一位日本人曾在幾年前故地重遊，拜訪這所給他留下深刻記憶的宅院。根據城野宏的回憶錄，在殘留的日本技術人員中，有一名曾擔任日偽華北政務委員會建設總署顧問的水利工程師穀田，他從北平來到太原後，成立了一個自然科學研究所，並為閻錫山負責修建了太原蘭村的汾河水壩。至於穀田是否就是居住在精營東邊街的2號院的日本工程師，那就不得而知了。
1948年夏天，解放軍發起晉中戰役期間，徐向前巧施妙計，把趙承綬率領的山西野戰軍主力6萬餘人鐵桶般包圍起來。
在這場中國戰爭史上堪稱運動戰典範的著名戰役中，山西野戰軍總司令趙承綬和他的部隊在解放軍靈活的戰術與強大的火力麵前一敗塗地。閻錫山聞報，急派元全福率殘留日軍充當敢死隊，南下掩護趙承綬突圍。結果，不但趙承綬指揮的這支閻錫山的王牌部隊全軍覆滅，臨危受命前往救援的日本敢死隊也在太穀土崩瓦解，5名團長中，3人戰死，1人被俘，一枚炮彈擊中了身陷重圍的指揮部，元泉福被炸成重傷，他向參謀水野下達了最後一道命令：“開槍，把我打死！”水野執行命令之後，與幾名日籍軍官也相繼自殺。
這一仗，殘留日軍上尉以上軍官損失100人，中尉以下軍官損失300多人，士兵損失1000多人。第1團團長小田切、第4團團長增田、第6團團長布川皆陣亡於晉中。第3團團長任岡被解放軍生俘。突出重圍的隻有第2團團長相樂圭二等1000多人。
晉中大敗後，山西各地紛紛告急，各部軍隊、文職官員、地主商紳，以及家境富裕的平民，都提箱負篋向太原逃亡。由於閻錫山的野戰軍主力被殲，要防守各城市已不可能，唯一能做的，就是集中全部剩餘兵力，在太原四周添築防禦工事，實行死守。
太原被圍，已在早遲之間，閻錫山於是通知留在太原的日本人，如果不願續留的，或者是非戰鬥員，年事已高的，婦女、兒童等，盡可能早日離開，由他安排遣送回國。日本人對閻錫山的好意非常感激，有些在太原機場還勉強可用之前，已設法搭飛機到北平轉道返日，但是還有3000多名日本官兵聲言願以死報答閻長官的厚待，願與閻長官一起死守太原。自然，這些不願離開太原的日本人內心也有自己的打算。日本已經被美國人占領，回去也是做亡國奴，留在太原，待遇優厚，更難得的是人格上不受歧視。往最壞處想，就算軍事失利，閻錫山也有可能向共產黨妥協。想來想去，還是覺得隻有留在太原最安全。
據城野宏等人的回憶錄，是因為多年的居留已經使他們習慣了太原的生活並產生了難以割舍的感情。當年太原《民眾日報》日文版曾刊登一首殘留分子的詩作，其中兩段正是這種思想的集中反映：
給將要老朽的我的枯萎之心，
投過來希望的光芒，
即便還是稀微的。
啊，回憶深重的異鄉之太原啊。
……高聲地吼叫著，
建設新亞細亞之我們民族的理想，
而進一步強力地前進著的，
山西首都的太原啊！
閻錫山送走願走的日本人，又將自願留下的3800餘名日軍編為“太原綏靖公署暫編獨立第10總隊”，下轄3個步兵團，一個炮兵團，由今村方策任總司令，城野宏任副總司令，岩田清一任炮兵司令。今村的軍銜也同時晉升為中將。盡管被部下譽為“真正的日本軍人”，但今村方策此前並不是知名人物。不過，他的哥哥卻因為曾擔任“昆侖關大捷”時的日軍最高指揮官而被中國軍事愛好者所熟悉，他就是日軍第8方麵軍司令官、陸軍大將今村均。
第10總隊的總部設在杏花嶺下的壩陵橋“大日本帝國華北派遣軍第1軍司令部”，司令部大樓更名為“複興樓”。
元泉馨、今村方策、城野宏等人乘坐插有將官旗的高級轎車在太原招搖過市，心安理得地接受閻軍士兵的舉槍禮。但是，對於大多數殘留山西的日本人來說，他們從一開始就走上了一條毫無前途與希望的不歸之路。“8·15”之前，他們在中國的土地上耀武揚威，將和平的家園變為殺戮戰場，是可恨可憎的侵略者。“8·15”之後，他們沒有回歸平民的身份與親人團聚，而是卷入另一個國家的內戰，一方麵作為戰爭機器踐踏著他國的土地，另一方麵，作為炮灰又被戰爭的鐵蹄所踐踏，成為在“殺人與被殺”之間往複輪回的“螞蟻部隊”。一個他們無法改變卻又始終沒有認識到的事實是：無論中國內戰的勝利者是哪一方，他們永遠都是輸家，他們所有的付出都不會得到勝利者的正視，更不會被對手所寬恕，客死他鄉的人更是毫無價值地流盡了鮮血，成為遊**於異域難以東歸的孤魂。
1948年10月17日，太原兩千餘年戰爭史上最為激烈殘酷的東山爭奪戰爆發了。南北寬15公裏、東西長30公裏的東山地區是太原的天然屏障，曆史上李自成農民軍和日本侵略軍攻打太原，都是先占領東山主峰，然後向西平推，直至突破太原城垣。閻錫山深知東山的戰略意義，在東山防線建了3000多個碉堡，牛駝寨、小窯頭、淖馬、山頭是這條防線的四大要塞，高出太原城300米，可以俯瞰控製整個城垣、工業區和飛機場。四大要塞之間各自獨立又相互聯結。閻錫山因此而吹噓說，“城東四要點是塞中塞，堡中堡，足抵精兵十萬”，“共產黨根本不敢打，也沒有力量能把它打下來”。
閻錫山曾經說過：“太原形勢像人樣，東山好比太原頭，手是南北飛機場，兩腳伸在汾河西，太原好比是內髒。”
那麽東山四大要塞呢？無疑就是它的咽喉。徐向前使出的大膽穿插這一招，將在太原防禦體係的關鍵部位一劍封喉，使其身首異處。
東山爭奪戰的焦點，在於被稱為太原東山4大要塞之一的牛駝寨。牛駝寨上的火力，可以直接控製太原市區。日軍占領時期，在東山牛駝村附近的高地上修建了工事和雷達站，人稱牛駝寨。日本投降後，美軍受降小組的工作人員曾深入牛駝寨的地下暗道搜集證據。牛駝寨，與侵華日軍有著密不可分的關係，它也注定將成為“殘留日軍”永遠的傷痛。
牛駝寨地形狹窄，山峰疊起，多陡坡絕壁，是閻軍東山防線上的主要陣地。東山柳溝村地下黨員趙炳玉提供了一條可以直插牛駝寨的秘密小道。10月17日夜，第7縱隊獨7旅19團在趙炳玉的帶領下，行軍20餘裏，從秘密小道楔入牛駝寨發動突襲，在次日拂曉前攻占了除指揮部廟碉外的其他陣地。
閻錫山聞報大驚，急命今村方策奪回。
10總隊在今村方策的指揮下向牛駝寨發起反攻。最精銳的黃樵鬆所部第30軍的一個團也趕來助陣，一天衝鋒十幾次之多，4架敵機輪番掃射轟炸三個多小時，陣地上落彈一萬餘發，還發射了毒氣彈。4天你死我活的殘酷廝殺之後，敵我雙方都傷亡慘重。當天下午，解放軍被迫撤出牛駝寨。
10月26日，牛駝寨、小窯頭、淖馬、山頭四大要塞同時燃起戰火，雙方動用火炮800餘門，都將主力投入到這個長不過8公裏的陣地上。這是一場空前劇烈的惡戰，打了17個晝夜。日軍雖然勇猛，中央軍雖然武器精良，但解放軍的士氣與戰鬥力絕非對手可比，雙方反複爭奪，戰鬥不分日夜進行。閻錫山還派來民工為日軍挖掘工事，運送彈藥給養，又派京劇名伶王桂燕和晉劇名伶丁果仙領銜，率勞軍團到前線慰問，閻軍士氣為之大振。
解放軍第15縱攻打淖馬，僅閻軍“執法隊”陣地督戰中就槍決了20多名畏縮不前的官兵。15縱44旅政委李培信犧牲，直至15天後，閻軍第8總隊司令趙瑞率部於戰場起義，淖馬爭奪戰才宣告結束。
山頭爭奪戰中，南京向太原緊急空運了中央軍第83旅，解放軍則抽調極富傳奇經曆的皮定均旅增援。雙方惡戰15天後，第13縱隊拿下了山頭。
牛駝寨爭奪戰依然是強攻四大要塞中最艱巨的戰鬥。雙方激戰相持了10天後，隨著其他三大要塞兄弟部隊的推進，牛駝寨已是一個孤島。第16天，第7縱隊向牛駝寨指揮部廟碉發動了最後的猛攻。此時的廟碉還有包括殘留日軍的精銳部隊一千餘人，信奉日蓮宗的團長永富博之指揮他的士兵敲打著腰鼓，高聲誦讀著《南無妙法蓮華經》負隅頑抗。廟碉壁厚超過一米，榴彈炮在它的堅固外壁上也隻能留下一個白色印跡。在對廟碉的第一次進攻中，解放軍就傷亡700多人。到第17天，獨7旅先後9次爆破5次攻擊，在耗用了1000餘公斤炸藥之後，終於將廟碉炸開一道缺口，震昏碉內守軍，最終奪取牛駝寨。
此時，徐向前抱病來到前線坐著擔架指揮戰鬥，他號召部隊“堅持最後5分鍾，勝利屬於我們”。兵團政治部主任胡耀邦，也趕到前線做宣傳鼓動工作。
牛駝寨爭奪戰可以說是太原戰役中最為艱苦慘烈的惡戰之一。解放以後，烈士陵園和解放太原紀念館先後在這裏落成，高達42.4米的解放太原紀念碑，外形就是一把豎立的鑰匙，一把打開太原城的鑰匙。
僅僅為奪取牛駝寨一個要塞，解放軍就戰死1898人，傷者更多。時任解放軍旅長的賀龍之妹賀芳，也犧牲在牛駝寨。
東山四大要塞爭奪戰之激烈殘酷，在整個解放戰爭中也是極其罕見的。閻軍損失兩萬人以上，解放軍也付出了傷亡一萬多人的代價。
由殘留日軍組成的第10總隊傷亡過半，總隊參謀長紺野戰死、第3團團長菊地修一重傷被俘，晉中戰役中得已僥幸生還的第2團團長相樂圭二被炸斷雙腿，死在抬往醫院的路上。
城野宏也參加了牛駝寨之戰，他回憶道：
我進行侵略戰爭和反革命戰爭而殺害了無數的愛國戰士與和平居民。我在1948年的太原戰役中，指揮第10總隊違反國際法而施放了毒氣彈。僅在牛駝寨前麵，就殺死了1600餘名解放軍戰士。這件事我是負有策劃和指揮命令責任的，並且在東山一帶與偽30軍、19軍共同殺傷解放軍1.6萬餘。(1)
眼看太原即將被圍，閻錫山急召澄田中將，今村少將、城野宏少將、兵藤少將與河本大作，準備馬上送他們離開太原，返回日本。閻錫山說，解放軍一旦攻破太原，在座諸君肯定會被中共視作雙料戰犯，性命必然難保。
閻錫山特地對河本說：“河本先生，你當年在東北炸死張作霖一事，天下皆知，你不應當再留在太原。”
河本說：“到了這種地步，河本唯有與閻長官共存亡，決不考慮離開。”
人心都是肉長的，閻錫山愈是關心幾位日軍高級將領的安全，他們愈不願在危險的時刻撒手而去。最後，隻有澄田遵命乘專機飛往北平，再轉返日本。餘者均表示留在太原，與閻長官患難與共，城在人在，城破人亡。
為澄田不至在北平遭遇麻煩，閻錫山還給他昔日的老部下，眼下執掌北平軍政大權的孫連仲寫了一封私人信件，讓澄田帶在身上。
第10總隊經牛駝寨血戰後，餘部1200人縮編為炮兵大隊，仍由今村方策任司令，城野宏副之。
1949年4月24日，解放軍對太原發起總攻，撼動天地的炮聲摧毀了大部分守軍的意誌。今村方策下令停止無謂的抵抗，集中於複興樓的原第10總隊剩餘日籍官兵全體被俘。
4天之後，今村方策在戰俘營服毒自殺。
另一名“殘留日軍”的重要人物岩田清一也在太原綏靖公署被俘。作為閻軍的炮兵總指揮，他對解放軍的重大傷亡負有重大責任，以致很多人誤傳他也被列入了戰犯名單。走出綏靖公署之時，與王靖國、孫楚等人的滿麵頹喪和步履沉重所不同，岩田清一卻是一如既往的昂首闊步甚至還有意做出一副些趾高氣揚的模樣。
一年之後，這個昔日的“少壯派”病死於太原戰犯管理所。
解放軍攻進太原後，殘留日軍一部戰死，一部自殺，岩田、城野宏、菊地修一、河本大作等700餘人被俘，軍官關入小北門戰俘收容所接受審查，士兵一律被送到大同、雲崗煤礦去挖煤背礦。
曾經聲言“至死也要留在山西，堅持鬥爭在反共第一線”的河本大作，並沒有逃過曆史的清算。在原閻錫山政權警察的帶領下，他被剛剛成立的太原市公安局從位於工程師街9號的寓所逮捕。河本性質不同，民憤尤其巨大，震驚世界的大同煤礦萬人坑，還僅僅是他其中的一項“傑作”，故而被送到太原市公安局重點關押。1956年，河本大作病死在太原戰犯管理所。
1956年6月，中華人民共和國最高人民法院特別軍事法庭在太原開庭，法庭就設立在離“萬字樓”不遠處的海子邊大禮堂。經過9天的審理，原第10總隊少將副司令兼政工處處長城野宏被判處有期徒刑18年，原第10總隊3名團長住岡義一、菊地修一、永富博之分別被判處13至15年不等的有期徒刑，為閻軍充任教官的大野泰治被判處13年有期徒刑，為閻軍充任軍需官的笠實被判處11年有期徒刑。
這些戰犯雖然受到了法律的懲處，但很多中國人內心卻很難寬恕他們的某些罪行。例如，曾擔任過偽滿濱江省公署特務科股長的大野泰治，參與了對抗日女英雄趙一曼的審訊和迫害。再如住岡義一，他曾參與指揮對中國戰俘的集體屠殺，1942年，在為新兵練膽而組織的兩次“活靶刺殺訓練”中，共有340餘人在太原市小東門外的賽馬場被屠殺，其中包括50餘名抗大女學員，新中國成立後曾擔任雲南省民政廳廳長的抗大學員趙培憲，是那場大屠殺中唯一的幸存者。她作為證人，出現在了太原特別軍事法庭上。
免於起訴的人員中，包括目睹了今村方策絕命時刻的第10總隊軍醫湯淺謙，他曾經在長治參與對多名中國人的活體解剖。湯淺謙回國後，致力於發展中日友好和反省日本戰爭罪行，記錄他參與活體解剖經曆的書籍後來在日本出版。
從湯淺謙身上，我們可以看出相關部門對戰犯的思想改造是極其成功的。另一個顯著的例子是免於起訴的山下正男。這位原第10總隊第6團的連長回到日本時，身穿中山裝式的軍便服，頭戴解放帽，胸佩富有鮮明中國時代特征的徽章，從服飾到氣質，都與一名普通的中國人無異。山下正男後來在日本出版了《我懊悔的青春》一書，記述了“殘留日軍”的故事。
1964年，關押於撫順戰犯管理所的城野宏服刑15年後被提前釋放。回國之前，他向獄方提出了前往太原參觀、謝罪的請求，獲得中國政府的同意，山西方麵還專門為此成立了接待組。
1964年3月間，城野宏偕另一戰犯富永順大郎（日滿間諜，蔣介石國防部2廳北平工作站中校副站長），由中國紅十字會派人陪同來太原參觀訪問。
城野宏等人抵達太原後，接待組將他們接到條件最好的並州飯店，城野宏等人沒有想到能“享受到貴客的禮遇”，再三表示：“我們是戰犯，中國人民的罪人，得到寬大釋放，這次是特來太原向山西人民謝罪的。”
城野宏說：“我年紀大了，回國後再來山西的機會沒有了，我欠山西人民的太多了，怕是這一輩子，再加上子子孫孫也還不清。”
看上去，他十分傷感。他們希望通過一種形式、拜會有代表性的人物，表達他們向山西人民謝罪的意願。城野宏還提出要拜訪老朋友趙瑞（日偽時期，曾擔任山西省保安隊副司令）、冀貢泉（曾擔任太原特別軍事法庭城野宏的辯護律師）、孫鳳翔（曾擔任太原特別軍事法庭日語翻譯）；希望為解放太原攻城部隊的死難烈士敬獻花圈並致以哀悼；要求參觀東山太原戰役要塞牛駝寨、鳳閣梁戰場遺址，並希望能夠故地重遊“山西省綏靖公署”（即山西省人民政府大院）、“複興樓”（日軍第1軍司令部舊址），以及他曾居住過的東華門19號寓所。
城野宏並沒有提出遊覽“萬字樓”。但冥冥之中仿佛自有天意，他再一次來到了文瀛湖畔，一邊是他實施殘留活動的“萬字樓”，一邊是他接受審判的海子邊大禮堂，當年他在海子邊大禮堂接受審判時，幾十米外的“萬字樓”，正是他參與殘留活動策劃與組織的罪證。如今，當他向山西省革命烈士紀念碑敬獻花圈時，麵對近在咫尺的這兩座建築，不知道會做何感想？“萬字樓”、海子邊大禮堂、山西省革命烈士紀念碑，這三座見證城野宏人生重要曆程的建築，就這樣奇妙地被集中組合在了文瀛湖畔。
接待組滿足了城野宏等人的要求，並安排首長陪餐一次，在長風劇場看晉劇一次，增加遊覽市容一項，每人送一件禦寒布大衣，贈送一套太原活動照片。
通過參觀訪問和接待組的友好接待，這兩個前日本戰犯深感中國人民的寬大胸懷，也進一步看到了解放了的中國人民意氣風發、鬥誌昂揚、奮發進取的革命精神和建設成就，從而受到了深刻教育。
城野宏說：“參觀太原後，我的思想又比撫順監獄大大提高了一倍。百聞不如一見，中國人民團結戰鬥的精神風貌和他們建設美好生活的成就真使我們難以置信。我在有生之年要全身心地總結曆史經驗，揭露軍國主義，現在我說什麽賠情道歉的話也是空的，我回去後一定要用實際行動反對戰爭，維護和平。我一定要成為一個名副其實的中日友好的使者！”
他還在一張白紙上用中文工整地寫下“今日的戰爭罪犯，明天的友好使者”兩句話交給接待組。
城野宏回國後寫的回憶錄《保衛山西——日籍部隊戡亂作戰始末》，回顧了他在山西的這段曆史。他後來成為知名的演說家和三國研究專家，著述頗豐，《戰略三國誌》等專著曾在中國翻譯出版。
2006年7月22日，一部由山西殘留日本老兵奧村和一講述二戰後在中國山西作戰經曆的口述實錄電影《螞蟻部隊》在日本上映，轟動了整個日本。
由日本導演池穀熏導演的《螞蟻部隊》，在香港國際電影節獲得“人道關懷”特別獎，隨後於2006得8月5日開始在東京各個電影院上映。
《螞蟻部隊》是一部紀錄片，主人公奧村和一是侵華日軍中的一名普通士兵。他於1944年應征入伍，隨即被送到中國山西。
奧村告訴人們，在那場戰爭中，殺人是日軍新兵的必修課，名曰“新兵教育”。隻有殺人動作幹淨利落的士兵才算是合格的士兵，才有可能晉升。奧村和一第一次殺人時非常恐懼，他不知道自己殺的是什麽人，也不知道他們為什麽要被殺死。他渾身發抖，閉著眼睛，用刺刀刺死了3名無辜的中國人。就這樣，奧村被訓練成為合格的“士兵”。1945年8月15日日本無條件投降後，奧村成為山西“殘留日軍”中的一員，中文名字是燕興東。1947年，奧村和一被解放軍在山西俘虜，上個世紀50年代被釋放後回到了日本。
影片展示了1945年二戰結束以後，駐紮在山西的侵華日軍第1軍中的數千名官兵，違反關於日軍全部解除武裝的《波茨坦協議》，根據長官澄田睞四郎的命令以“祖國複興”的名義滯留山西，編入了閻錫山的部隊，並參加了對解放軍的作戰。可是，時至今日，日本官方並不承認這些這段曆史，他們認為老兵之所以有這樣的經曆，是他們當時“自願留下，願意繼續參加戰爭；也是戰勝國的行為”。而老兵們則認為，“我們是服從長官的命令，像螞蟻一樣默默地留下來參戰了”。
《螞蟻部隊》第一次向世人展示了“日本軍隊在山西的殘留問題”，奧村以親曆者的身份告訴世人，戰爭中、戰後所不為人知的一麵。
殘留山西的日本軍人戰死者姓名不能入靖國神社，僥幸活下來的老兵回國以後，也被國家與公眾視為逃兵，受盡歧視，生活非常艱難。與如今一般的日本家庭相比，他們住在簡陋的房子裏，依靠社會救濟為生，有的人因為負傷而終身殘疾，也有的人已經接近百歲高齡，風燭殘年。
2005年，為了爭取殘留軍人參戰的恩給補償，奧村與活著的殘留老兵走上法庭，請求法律援助，可是他們失敗了。日本當局仍然以“因個人原因誌願留下”為由拒絕給予他們戰爭補償。為了爭取自己的權利，向世人展示曆史的真相，集戰爭加害與受害一身的奧村和一到處奔波，與攝製製組一起走訪了健在的殘留軍人和相關部門，後來在“全國山西省在留者協議會”和攝製組的支持下，重新來到山西，來到他們曾經參加過戰爭的地方，訪問了經曆過戰爭的老人，被日軍奸汙的婦女，閻錫山的機要秘書等人，以曆史事實證實了日軍在山西殘留問題的存在。
再次目睹自己過去經曆的殘酷曆史，往事一幕幕浮現在眼前，奧村指點著檔案卷宗記載的被俘日軍的交代材料，指著閻錫山寫給孫連仲，托其關照化名逃亡的山西日軍最高指揮官澄田睞四郎，為其在通關、回國給予方便的信，連連說：“這就是！這就是！”
影片結尾告訴人們，日本政府拒絕對山西殘留軍人給予國家賠償，而且法庭判定不再訴訟。
《螞蟻部隊》放映過程中，電影院裏一片抽泣聲，觀眾被“我們像螞蟻那樣被戰爭的鐵蹄踐踏”的侵華日軍的陰暗過去所震撼。戰爭的殘酷慘烈，也讓更多的日本民眾站到了“反對複活軍國主義，呼喚中日永久和平”的正義陣營中。
(1) 摘引自《殘留日軍軍官城野宏自述：保衛山西——日籍部隊戡亂作戰始末》。