但是，由于粮草跟不上，不得不退回雄州补充给养。一进一退，兵马过度疲劳，再加上天气开始热起来了，宋兵不服水土，病了不少，所以再次进攻的时候，士气远不如以前，在岐沟关一战，大败亏输，溃下阵来。东路主力一败，中、西两路军除在新攻克的云、朔、寰、应四州留下少许守城部队外，大军全部撤回雁门关内的代州。

此时的战争主动权落到契丹的手里了。耶律斜轸带十万人马，大将萧达揽做他的副手,由东向西杀来。宋军留在应州的守城部队，见势不好，丢下城池跑了。寰州的守军虽然没跑，但兵力悬殊太大，很快便被攻开了。这时，皇帝又来了诏书，命令把新收复的云、应、寰、朔四州的老百姓迁到关内来。

寰州在雁门关的正北，应州在东北，朔州在西北。云州在这三州的北面。诏书到代州的时候，应、寰二州已被契丹夺去，朔州眼看也很危险，云州则孤零零地留在敌后。雁门关是代州到寰州的关口，雁门关的东面有一个大石口，是代州通往应州的大路;雁门关的西面，有一个陈家谷口，是代州通往朔州的大路。

根据以上情况，杨业提出了作战方案。他主张兵出大石口，虚打应州。已经攻占寰州的契丹军必然回师向东来争应州。这时，就可乘机将云州之民迁至朔州，然后一周迁进关来。这本来是个好主意，但是，监军王选听完之后，鼻子“哼”了一声，头一个起来反对：

“我们现在有数万精兵，并且刚打过胜仗。如今虽然本沼退回代州，但这是因为曹彬打了败仗，与我等无干。杨将军为什么如此胆小啊!依我说，我们堂堂正正地往云、朔二州也就是了。真遇着辽兵，就把他消灭掉。有什么了不起啊!”

“对嘛!”刘文裕也附和着说。

“不行! ”杨业说道，“我们此次兵出雁门关，之所以能连克州郡，是因为契丹的主力被曹将军的大军吸引过去，形势是敌弱我强。现在是契丹主帅耶律斜轸亲率十万精兵到来，形势是敌强我弱。若不以智取胜，死打硬拚，是肯定不会有好结果的。”