羊山集的鏖战引起了远在陕北的毛主席等人的注意。7月23日，中央军委和毛主席给刘邓发来电报，提醒道："……对羊山、济宁两点之敌，判断确有攻歼把握，则歼灭之；否则，立即集中全军休整十天左右，除扫清过路小敌及民团外，不打陇海路，不打新黄河以东，也不打平汉路，下决心不要后方，以半月行程直出大别山，占领大别山为中心的数十县，肃清民团，发动群众，建立根据地，吸引敌人向我进攻，打运动战。"
毛主席意见很明显：羊山集若是一时拿不下来，就不再打了；调整部队赶快南下。
刘伯承、邓小平十分清楚毛主席的意见，两人不想延误大军南进的计划，可是两人却也不想放弃消灭羊山集守敌。在这急需作出决策的时刻，两人显得十分沉稳慎重，他们决定再征询一下一线指挥员的意见。
刘伯承打电话给陈再道："你如实说：是想继续打？还是想撤下来？"
陈再道斩钉截铁地回答："打下去，送到嘴边的肥肉不能扔了!"
刘伯承说："好！我和邓政委马上就过来。"
刘伯承和邓小平亲临羊山集前线，仔细询问了敌情和地形情况，对陈再道等人说：越是胜利越要细心谨慎，不能疏忽大意，更不能急躁。你们要亲自到前沿看看地形，了解一下为什么攻不下来。要和下面的指战员研究打法，尽快把羊山集之敌歼灭！
陈再道和纵队几个领导下到前沿阵地，经过火线观察，发现前几次攻击没有解决战斗，主要是羊山制高点没有攻下来，我们攻进去受到山上的炮火射击，仍站不住脚，下一步总攻要把羊山主峰拿下来就好办了。
陈再道又来到13团3营的阵地上，这个营和14团、15团各一个营全在羊尾的小山包上坚守阵地。当陈再道来到3营7连时，连长一声高喊:"全体起立，敬礼!"
随即呼啦啦站起了一群士兵。陈再道仔细一瞧，只见这群战士有的只穿一件背心，有的只穿着一条裤权，满身都是泥。陈再道心中明白，天热加上阵地条件差，战士们干脆脱掉外衣。陈再道心头一热，说："你们在这些小山头上坚持七八天了，要不要下去休息一下？"
没等他把话说完，一个胳膊受伤的战士，一下子跳出来，交给陈再道一份按有血印的请战书，说："我们向首长保证，剩下一个人也不撤，我们要求当突击队，尽快总攻！"
一个小战士也站了出来，带有哭腔地对陈再道说:"为了让俺营长能当营长，俺也不能撤!"
陈再道一惊:"怎么，你们为何营长不能当营长啦?"
小战士回答:"俺营长写了决心书，说打不下羊山集，他这个营长就不当了！俺们要撤下来，他不是就不能当了吗？"
陈再道心头又是一热，多好战士啊！他动情地说道："你们营过去打仗是好样的，你们营长和你们连长都出席过英模大会，这次又在山坡上坚守了这么长时间，真是进可攻、退可守的英雄部队。
这次不换你们了，希望大家做好准备，待命总攻!"
战士们一下子欢呼起来。
回到指挥部，陈再道将视察情况向刘邓首长作了报告，并把下一步如何总攻方案也向刘邓首长作了汇报。刘伯承、邓小平很快下达了总攻命令。
7月27日，火红的太阳从东方升起。天气晴朗，万里无云，连续几天的阴雨终止了。天怨人怒，困守羊山集的国民党部队真是气数已尽，老天爷也不站在他们一边了。下午6时半，我各路大军开始向羊山发起总攻击。
榴弹炮、野炮、山炮和迫击炮朝着羊山山头不停地轰击，整个羊山硝烟弥漫，炮声雷鸣。战士们随着炮火延伸，向羊山主峰和羊山大街发起冲击。战至22时，我军攻克羊山，占领了羊山制高点。国民党军虽多次进行反冲击，企图夺回羊山主峰，均被我们攻占主峰的部队打退。
与此同时，陈再道纵队的第6旅3个团从西关冲进西大街，逐屋逐院向东发展，13团的部队也从羊尾冲进羊山集。陈锡联的3纵部队从东面攻进东大街。整个羊山集的敌人被我军攻击部队分割包围。
但是敌人仍在顽抗，巷战激烈。我军每占领一个碉堡都要经过激烈拼搏。6旅18团攻到大街中心，一座坚固的地堡出现在眼前，地堡内4挺机枪封锁了我军前进的道路。团长李开道当即命令1连连长刘茂盛将这座碉堡干掉。2班的战斗小组姜金城、于树贞两人带上许多手榴弹冲向碉堡。开始他们从射击口夺敌人的机枪，由于枪筒打得火烫，夺了几次没有成功。最后他们把8个手榴弹捆在一起从射击口塞进碉堡，"轰轰"几下爆炸声，碉堡里的机枪不响了。
这样的争夺战，敌我两方伤亡都很大。仅18团营以上干部就伤亡好几个，1营的营长、副营长都倒下了。
许多年以后，当陈再道回首往事时，万分感慨地说："羊山集这一仗，是我打得最艰苦的一仗！牺牲的战士也最多！"
一个旅参谋长这样说："那是一场恶仗，那样的仗，我一生中没打过几次。"
当战斗结束时，敌66师师长宋瑞坷被押解走出羊山集时，陈再道纵队有个干部望着身边倒下的战友泪流满面，他冲上去就揍宋瑞坷，若不是被人拉住，他就要拔枪了。
后来，这个干部受到陈再道的批评。我军的政策是不杀俘虏，尽管这个俘虏曾杀过人，但他已经放下武器了，我们就得执行俘虏政策。
这就是人民军队可敬之处。
7月28日上午，羊山集的枪炮声渐渐稀疏。陈再道从掩体里走出来，想到羊山大街看看情况，作战参谋一把拉住，不让陈再道出去。因为金乡城内的国民党军的榴弹炮正盲目地向羊山集发射。陈再道刚回到掩体，外边的炮弹就爆炸了，尘土溅了他一身。
从7月17日发起进攻，到7月28日战斗结束，羊山集一仗竟打了12天！虽然打得艰苦，最终以我军胜利而告结束。此战歼敌1.4万余人，加上羊山外围作战共歼敌23000余人。刘邓大军以自己的牺牲调动了国民党军7个整编师17个半旅驰援鲁西南战场，从而有力地支援了其他战场上解放军的作战。
羊山集之战结束后，不常作诗的刘伯承高兴之余欣然命笔，赋诗一首:
狼山战捷复羊山，
炮火雷鸣烟雾间。
千万居民齐拍手，
欣看子弟夺城关。
战斗结束后，陈再道专门看了他的敌手、已成为战俘的宋瑞坷。
宋瑞坷的外表形象有些出乎陈再道的想象，宋瑞坷个子不高，当时40多岁，长得白净，外表看上去挺文雅，不像位战将。陈再道重重地拍了一下宋瑞坷的肩膀，道:
"没想到你在坚守上还真有两手!"
真正的军人是渴望与强手交战的。
宋瑞坷向陈再道提出：他的部队伤亡太大了，请解放军为伤员治疗。陈再道这时的脸色变得严峻起来，他盯看了宋瑞坷一会儿，说:"你如果早两天放下武器，就不会造成双方这么大的伤亡！"宋瑞坷垂下了头，片刻后才说:"我是军人，是奉命打仗的，当然我也有责任。"
陈再道喘出几口粗气，这才平缓地说:"你们的伤员，我们全部都会进行治疗的，这你就放心吧。"
宋瑞坷后来被送到华北解放区进行学习，以后被特赦了。1984年6月，黄埔军校成立60周年纪念会在北京人民大会堂召开，陈再道应邀参加了这次会议。落座后，听说宋瑞坷也来了，陈再道就问身边的人：宋瑞坷坐在哪儿？宋瑞坷听说陈再道来了，就端着一杯红葡萄酒走到陈再道的身边，举杯向他敬酒。陈再道端起酒杯与宋瑞坷干杯。宋瑞坷一见陈再道端得是白酒，就回到座位上放下红酒，也倒上一杯白酒，与陈再道碰杯后，一饮而尽。
两人谁也没提羊山集之战的事。
