赵构在河北、京东一带转悠了几个月，眼睁睁看着汴京沦陷，徽宗、钦宗被俘北去，然后在五月初一于南京（河南商丘南）登基，重建赵宋王朝，将靖康二年改为建炎元年。为了标榜“中兴”，赵构起用在军民中威望很高的李纲为右相，副元帅宗泽知开封府兼东京留守；同时，任命宠臣黄潜善为中书侍郎，汪伯彦为同知枢密院事。在朝廷上，李纲尽心竭力为抗金斗争进行部署，然而独木难支，终究阻挡不住赵构等人一心想避地东南的逃跑企图。

岳飞不顾自己位卑言轻，决定上书给皇帝赵构。他在这篇几千字的奏书中，坚决反对向南逃跑，力请赵构返回汴京，撤消巡幸三州的诏令，亲率六军北渡黄河，这样将帅一心，士兵作气，一定可以恢复中原。这道奏书进呈后，触怒了赵构和投降派，便加以“小臣越职，非所宜言”的罪名，把岳飞的官职削夺了。这对岳飞是个不小的打击，不得已他一人寄居旅邸，郁郁寡欢。

闲居三个月后，岳飞难以压抑心中报效国家的强烈意愿，决定投奔河北路招抚使张所。张所是一位爱国将领，这时他正置北京（大名府），招募义勇民兵，蓄积力量，准备反攻。张所素知岳飞有勇有谋，见到岳飞就问道：“听说你作战勇冠三军，你自己衡量能对付多少敌人？”岳飞回答说：“光凭勇敢是靠不住的。用兵首先要有谋略，谋略是决定战争胜败的关键。”张所感到岳飞的话很有道理，不觉肃然起敬。请岳飞坐下畅谈。谈到当前局势，岳飞慷慨陈词，泪流满面，矢志以身许国。张所很赏识岳飞的胆略，任命他当中军统领，不久升为统制，编置在都统制王彦的统辖之下。

这一年秋天，张所被投降派捏造罪名罢官，朝廷改派王彦接替张所任河北招抚使。王彦集合了岳飞等十一名将官，率领部众七千人，渡过黄河，攻击金军。开到卫州新乡县（河南新乡），岳飞带领所部战士与金守军鏖战。岳飞亲自夺取金军的大旗，不断挥舞，将士们呼声震天，个个奋勇争先，终于收复了新乡县城，活捉金军千户阿里孛。接着，又打败金军万户王崇。

岳飞接着又带着战士同金军大战于侯兆川（今河南辉县）。在大战前，岳飞鼓励部下说：“我军两次打败敌人，敌人一定会竭尽全力来反击。我们人数少，为了争取胜利，凡不服从命令，不奋勇杀敌的，一律斩首。”兵士们同仇敌忾，个个奋勇争先，作殊死战。在激烈的战斗中，兵士伤亡很多，岳飞自己也受伤十多处，终于大败金军，俘获大批金军和战马。

经过几次战斗，金朝以为宋朝派来了大批人马，就派出几万人，把王彦、岳飞的营寨团团围住。王彦、岳飞合计自己的人马很少，武器也较简陋，连战必败，为了保存战斗力量，就决定突围。

突围后，由于孤军作战，兵员损失严重，给养供应不上，部队陷入困境。王彦率主力退入太行山中。岳飞率所部多次击败金军的追击，他曾手拿丈八铁枪，单骑刺杀金军将领黑风大王，使大队金军闻风逃窜。尽管取得了一些战斗的胜利，但岳飞这支队伍毕竟人数太少，自从跟王彦的主力分开后，越来越感到势孤力单，难以长期坚持下去，于是决定一边战斗，一边向南撤退。这年冬天，岳飞转战到汴京，再次投奔汴京留守宗泽，宗泽委任他做留守司的统制。

宗泽在汴京加强治安，整顿社会秩序，团结各地流民首领，招募新兵，规划战具，使汴京重新成为抗战的中枢。宗泽还把全面反攻的计划奏报朝廷。建炎二年春，岳飞在宗泽指挥下，在黄河以南连续跟金军进行战斗，获得胜利。七月，宗泽不幸病逝。临终前，宗泽劝勉部将们说：“你们能替我歼灭强敌，完成恢复之志，我虽死无恨！”连呼三声“过河！”然后死去。

宗泽死后，朝廷派杜充接替宗泽的汴京的官职。他一到汴京，就尽反宗泽所为。由宗泽辛苦集结的武装力量，见杜充无意抗金，便各各引去，很快就走散了一大半。岳飞本来不愿受杜充的节制，但他认识到汴京这个据点在抗金斗争中的重要性，便决心坚守汴京。