やがて、清盛の専横政治に反抗する動きが旧貴族や寺社の法王側の人々、あるいは地方に散った武士団などにおこり始め、後白河法皇の近臣である藤原成親、平康頼、俊寛（源氏の出身）などが京都の鹿ヶ谷で、平家打倒の密議を開いた。しかし、これが知れて三人は九州の南の孤島、鬼界ヶ島に流され、成親と康頼は翌年許されて帰るが、俊寛だけが一人島に残される。俊寛の嘆き悲しむ様は、平家物語やその他の書、謡曲、演劇などで語り伝えられている。

　

　

　

　

　いっぽう伊豆に流された頼朝は、関東の豪族を集めて地盤を固め、従弟に当る源義仲（俗に木曾義仲）は木曾で勢力を養い北陸を通って京都に入り、千百八十三年には京都を落とし、平家は四国へ逃れた。義仲は、山育ちの田舎者で法住寺を焼打ちにした。多くの落度のあった義仲は、一度は平家の後に座ったものの、院や公卿達の反感をかった。そして遂に、後白河法皇と頼朝は連携して、義経、範頼の軍を京へ向かわせ、滋賀の粟津で義仲軍と戦を交えさせて琵琶湖畔で義仲を討った。次いで西海に逃れた平家と義経を中心とする源氏の、いわゆる源平合戦が始まるわけである。