1945年10月,在阎锡山的操作下,上万投降的侵华日军,以各种形式加入阎军,并获得了“暂编独立第10总队”的番号。日本学者将该部队称为“蚂蚁部队”,因为留在山西的他们已彻底沦为杀戮机器,“杀人与被杀,就像蚂蚁一样被战争碾压”。
顶峰时期,残留在山西为阎锡山服务的日军达到了15000人,除此之外还有技术人员和侨民等总共不下2万人。
被编入阎军的残留日军,由于战斗力明显比阎部官兵高不少,为笼络住这些“残留鬼子”,阎锡山给予高于阎军的待遇,这些日军,士兵全部给予军官待遇,军官则在原级别上提高三级;特许高级军官乘坐的轿车插将官旗,阎部士兵凡见到者必须敬礼。
太原被解放军包围后,阎军士兵吃的是变质的“红大米”,而日军依然供应大米白面。到了太原战役后期,阎军高官甚至从轻伤员口中克扣白面大米来保障日本人,结果惹怒了伤兵,砸毁阎锡山爱将孙楚的公馆。
1946年3月初,阎锡山派出2万余人沿白晋铁路一线向解放区进攻。而阎军将领让日本军官在前线指挥进攻。战斗中,解放军缴获了他们联合签发的作战命令,当即对阎军收编投降日军攻打解放区的行径进行揭露,阎锡山却是坚决否认。
3月23日,陈赓带领的太原执行小组(解放军派出的代表团)来到来远镇,并发出“阎锡山军队停止进攻,就地停战”的命令。阎锡山惧怕执行小组到实地勘察,查出真相,于是就连夜埋设地雷以恐吓他们,阻止他们行动。3月24日拂晓,执行小组从来远镇出发,不久就踩着了阎军布置的地雷,炸伤3人,其中就有陈赓的随从参谋王亭兰,王亭兰负伤过重,不久在医院牺牲。
这颗地雷的爆炸并未吓倒陈赓,他不顾艰险亲往战地视察。在山上,他和执行小组的人正好看到阎、日军约600人向解放军南山头进攻。
陈赓手拿军事调处执行部的旗帜,冒着生命危险走向弹火纷飞的前线阵地去制止阎军的进犯。在阎军的炮兵阵地上,陈赓发现有个人很像日本人,就趁他不备,突然厉声问道:“你是干什么的?”这一问把他吓呆了,只是摇头,半天蹦不出一个字来。陈赓见状,伸手抓住他的衣领,这下把他吓坏了,以为陈赓要把他抓走,竟然叽里咕噜地说起日语来,暴露了自己的身份。
阎锡山的部队中竟有日本人!究竟是谁在暗中勾结利用日军?陈赓终于把铁证摆在了美、蒋、阎三方代表的面前。
1946年5月,鉴于谈判破裂在即,太原执行小组只得撤回。日军残留部队又开始公开活动,他们对阎军进行训练,并在7月直接参加了对解放军的作战。
1948年10月,解放军发起太原战役,矛头对准太原外围的东山防线。10月17日夜,解放军经秘密小道深入敌防御圈,以突袭手段攻击牛驼寨,次日拂晓前,一举拿下除主阵地庙碉外的其他阵地。阎锡山闻讯大惊,急令以残留日军为骨干的第10总队反攻。
10月18日上午8时30分许,第10总队在大炮和飞机掩护下发起反扑,但战至19日,他们的几轮进攻都被粉碎了,人员伤亡惨重。指挥官今村方策(化名晋树德)做出了一个丧心病狂的决定,使用毒气弹。
接下来的两天里,第10总队持续用大炮向牛驼寨发射“联二苯”毒气弹,中毒的解放军官兵打喷嚏、流眼泪、淌鼻涕,恶心呕吐、呼吸困难,出現较为严重的减员,但指挥员与战斗员依然顽强地守卫着阵地,没有出现敌人预想的动摇。战至21日晚,为了保存有生力量,解放军主动撤出牛驼寨。
稍事休整后,解放军攻击部队重装上阵,于10月26日同时向牛驼寨、小窑头、淖马和山头四大要塞发起攻击。在长不过8公里的阵地上,双方动用火炮超过800门,战斗之激烈,为太原战役所空前。
战至11月12日,牛驼寨已成三面被围的孤岛。13日,解放军攻击部队向庙碉主阵地发动总攻。但解放军的胜势已不可阻挡,战士们用重机枪火力封住庙碉枪眼,先后实施九次近迫爆破和五次攻击,在耗用2000余斤炸药后终于炸开庙碉,牛驼寨重回解放军手中。
牛驼寨争夺战,是太原战役中最惨烈的恶战之一,解放军付出了巨大牺牲。此战后,阎锡山手里的残留日军几乎全军覆灭,残余人员只能匆匆拼凑成500人的炮兵队。
夺取东山四大要塞后,太原城已指日可破,不过上级从全国战局考虑,命令部队转入休整。这时候,阎锡山尚有7万人马,他仍摆出不服输的架势,连残留日军组成的炮兵队也装腔作势地叫嚣“为阎长官死斗到底”。
4月20日,解放军总攻太原,日本炮兵队指挥官岩田清一所在的双塔寺成了攻击重点。21日下午,双塔寺通往太原城内的道路被完全截断,断炊多时的阎军和残留日军毫无斗志,逃的逃,降的降,岩田也换上便衣出逃,但还是被活捉了。到22日,太原城外据点均被解放军攻克。
4月24日,太原解放,龟缩在绥靖公署的残留日军全部被俘。四天后,罪魁今村方策等人畏罪自杀,其余主要人员也都被收押后判刑。
从一开始,这些残留日军就走上了一条不归之路,成为在“杀人与被杀”之间往复轮回的“蚂蚁部队”,其下场也是咎由自取。