上洛後、配下の武者の狼藉や皇位継承問題への介入などにより孤立を深めていった義仲に対し、後白河法皇は京都からの締め出しを画策する。寿永2年（1183）9月12日、法住寺殿に呼ばれた義仲は、法皇から御剣を手渡され平家追討を命じられたが、これは義仲を京中から追い出すことがねらいだったといわれる。義仲軍は播磨・備前と西へ進み、備中で平家の有力家人である妹尾兼康を滅ぼしたが、備中水島で先鋒の矢田義清・海野幸広が平家軍に大敗。義仲は法皇の進撃命令を拒み、わずか2か月ほどで遠征を打ち切って帰京した。