19日，与天津后方基地方面失去联系已达6天之久的西摩联军完全断绝了给养。西摩既已认识到进京无路，又意识到他们离开后方基地越远，他们全军覆没的可能性就越大，于是西摩下令联军沿北运河向天津方面撤退，分散的各国陆战队立即向杨村集结。19日凌晨4时，原本气势汹汹欲进北京的八国联军终于承认进军北京的计划失败，开始从杨村向天津总撤退。
西摩的败退更加激励了义和团，他们用尽一切办法消灭联军，封锁铁路，切断从铁路来的一切支援。他们从每一处河堤、每一道墙壁、每一个村庄大举进攻。联军在汉沟、郎园、曲家湾、赵庄子等地都遭到义和团不同程度的打击，致使西摩联军白天不敢行动，只好选择夜间行军。
6月21日，西摩联军退至北仓，经过几个小时的激战，联军才占领北仓，但担任参谋长的英军上校泽力科在这场战斗中身负重伤，联军付出了沉重的代价。