进军武冈州的这一路荡寇军却并没有如攻打新化县的同袍们那么顺利。
武冈州同样隶属于宝庆府，这里汉人以及苗、瑶、侗、壮以及僚等各族杂居，情况比较复杂。
清顺治四年（1647年），前明桂王朱由桹在武冈州建立永历朝，也就是后来的永历帝，以原来的岷王府为王宫，改武冈州为奉天府。
这里同样是山地丘陵连绵不断，境内大大小小的河流有数百条。
铁牛派出的进攻武冈州的这一路人马的主将叫做吴志阳。
相比较杜毅喜欢打巧仗，吴志阳更加喜欢稳扎稳打，步步为营。
带着队伍进入武冈州境内没多久，吴志阳就遇到了袭击。
第一起袭击发生在他们路过一座山的时候，在山下原地休息，结果从山上冲下来一群背弓跨刀的人对着他们忽然射箭。
等到吴志阳派人追赶进入山林之后，这些人却又很快消失不见。
随后的几天内，这种袭击越来越频繁，既有突然从道路两旁的山林里冲出来的袭击者，也有在道路上设置各种陷阱的伏击者。
从进入武冈州双牌镇开始，这种袭击就开始频繁发生，以至于在短短三天之内荡寇军就出现了三十多人的死伤。
可是偏偏吴志阳却偏偏连对方是谁都不知道，想跟对方堂堂正正打一仗都没有机会。这些袭击者看起来显然都很熟悉这附近的山林地形，而且袭击的特点也往往都是一击就走，根本不给你反击的机会。
吴志阳快要气炸了，但是却又暂时无计可施。
毕竟在武冈州，他们是外来户，人生地不熟的，对这里的情况根本就是两眼一抹黑。
不过虽然气恼，但是吴志阳却没有失去理智。他仔细分析之后得出判断，这些袭击者背后的主事者显然早就知道荡寇军要来，而且从他们一踏入武冈州境内就被人给盯上了。
甚至吴志阳怀疑袭击他们的势力不止一股，否则不可能连续好几天一路行来频繁遇袭，否则说不通。
所以吴志阳决定退回双牌镇，一来双牌镇是进入武冈州的第一个小镇，距离邵阳县最近。
驻扎在双牌镇的话联络求援都更加的方便。
二来是吴志阳严重怀疑双牌镇上有人在盯着他们的行踪，一直给背后的袭击者通风报信，所以他要回双牌镇查清此事。
三来的话也可以给那些袭击者一个假象，让他们误以为荡寇军是怕了他们袭击，所以才会撤退。
做了决定之后，吴志阳立刻带兵后撤，而且故意摆出一副溃败的样子。
果然，在他撤兵后不久，原本驻兵的附近一片林子里就出现了两个身影，对着附近观察了片刻后，一人对另一人道：“看来这些反贼是怕了，被我们给打跑了。不过还是要继续跟着他们，看看他们是真的逃跑还是暂时的后退。你在这里继续盯着，我回去禀告土司老爷。”