幸好，这种折磨很快就消失了。金兵大举进攻之时，杜充居然率众投降了。看来在“逃跑将军”的名号之外，还得给他加一个“投降将军”了。
别的不管，至少岳飞是自由了。从此，他活跃在长江南岸，成为南宋王朝一支最重要的抗金军队之一。岳飞不但作战勇敢，指挥有方，而且治军极严。当时时局动荡，一贯以“打劫”为目的的金兵就不说了，许多小混混、山大王也趁机浑水摸鱼，干着打家劫舍、骚扰百姓的勾当。当供给不足的时候，甚至连宋朝的正规部队也免不了这样做。只有岳飞的部队例外。岳飞明确约束部下：不拿老百姓的一针一线，损坏东西要赔，不打人骂人，不损坏庄稼,不偷看女人洗澡云云。有一阵，他们驻扎在钟村，粮草跟不上了，他们宁愿挨饿也不愿去骚扰附近的百姓。这样的部队老百姓当然很喜欢了。他们领着子女踊跃参军，报效国家。岳飞的部队也就逐渐壮大起来，人称“岳家军”。
金兵南下，有不少南宋军队投降，也被编入金兵；这部分士兵被称为籍兵，相当于后来抗日战争时期的日伪军。他们身在金营心在宋，苦于没有合适的时机归顺；如今听说岳飞的部队如此深得人心，他们奔走相告，说“这是岳爷爷的部队”，争先恐后前来投靠。
照说这些曾经投降过金兵的士兵，也算是身有污迹了，给点鄙视也实属正常。但岳飞一律平等对待，毫不歧视他们，这也令得他们作战时相当勇敢。岳飞此举大有宗泽风范：对部下无论亲疏远近，皆一视同仁。其实，岳飞在行军布阵方面都深受宗泽的影响，实为宗泽老先生的隔世之交啊。
几年下来，岳家军声名鹊起，在老百姓心中是一支“仁义之师”的良好形象，而在金兵心中又是一支“威武之师”。在那样的乱世，只有岳家军能够绝对做到对民间百姓秋毫无犯。因此，吉州、虔州两州的老百姓对岳飞感激不尽，家家户户都以悬挂岳飞的画像为荣。
经过了黄天荡大战，特别是岳飞等人发动的两次大规模北伐之后，金国的军事实力已经每况愈下，而南宋各地的义军风起云涌，岳飞之外，还出现了韩世忠、王彦、刘光世等众多义军将领，军事实力大增，与北宋末年不可同日而言，就连金国皇太弟完颜斜也在遗嘱里也对南宋迅速增长的战力表示忧虑：“吾大虑者，南宋近年军势雄锐，有心争战。”
可惜，在1139年，在抗金形势一片大好的情况下，宋高宗与宰相秦桧居然积极筹划与金议和。这一议和，就意味着先前被金国占领的大片土地合法化了，如此一来，还谈什么“收拾旧山河”呢？那就成侵略人家了。岳飞那个着急啊，连夜写了一个帖子，送给宋高宗审阅。在帖子里岳飞斥责金国不守信用，“金人不可信，和好不可恃”。继而，岳飞强烈的批评了秦桧同学的右倾投降主义活动，也因此在秦同学心里埋下了一颗仇恨的种子。
预料之中，岳飞的帖子宋高宗根本就没放在眼里，议和照常进行。很快事情就成了。宋高宗那个高兴啊，当即下令，天下大赦，对文武百官们大加封赏。岳飞作为抗金功臣，宋高宗也大大赏赐了一番：开府仪同三司（一品官衔）的爵赏和三千五百户食邑的封赐。应该说，这是一个非常丰厚的赏赐。但奇怪的是，岳飞偏偏不肯领受。宋高宗倔脾气也发了：你不要我偏偏要给你！连发三次诏书，命令他接受。
岳飞写了一封辞谢，痛切地表示反对与金国议和，“今日之事，可危而不可安，可忧而不可贺。”这一次岳飞确实动了真感情，宋高宗只好对他好言相劝，“爱卿啊，我知道你一片爱国之心，不过北伐一事我们还是从长计议，可好？”话说到这份上，岳飞只能默然了。
之后岳飞再表忠心，表示要率军收复中原国土，“愿定谋于全胜，期收地于两河，唾手燕云，终欲复仇而报国。”宋高宗依然没有采纳。他是铁了心要以江南为家，乐不思北了。
没仗打了，最郁闷的还是岳飞这样的武将。因为他除了在战场上冲锋陷阵以外，实在没别的爱好。自古英雄难过美人关，岳飞对女色却看得很轻。第一个老婆跟人跑了，他又娶了一个，然后就从一而终了。在官员们三妻四妾都非常正常的南宋，只有岳飞对纳妾不感冒，也不会像其他官员一样经常搞宴会，招妓。他也不喜钱财，打仗获得的战利品、朝廷的赏赐都尽数奖赏给将士。在饮食方面他也不讲究，在部队里是与士兵一起吃大锅饭。部队补给艰难时，则“与士卒最下者同食”。有一次受地方官招待，吃到一种“酸馅”，这种在官员富商们看来很普通的食物时，他居然惊叹道：“天下竟然还有这么美味的食物。”特意带回去与家人共享。下班后，他偶尔会喝点幸福的小酒，但在漫长的日子里，你总不能一天24小时的喝酒啊。
幸好这种郁闷日子没过多久。
岳飞不幸而言中，金国人果然不讲诚信；仅仅过了一年，1140年5月，金国就撕毁了绍兴和议，金兀术等人兵分四路进犯南宋。听到这个消息后，岳飞兴奋得睡不着觉，在院子里唱了一晚的《满江红•怒发冲冠》，把一柄大刀磨了又磨。
月色如霜。
由于宋军没有做好战争的准备，在战争的最初吃了不少苦头，丢了不少地盘。不过很快韩世忠、张俊、岳飞等就出师了。所谓行家一出手，便知有没有，他们在东西两线都取得大捷，顺利把金兵赶回去了。但这就够了吗？不，得让金国尝一下背信弃义的代价。因此，韩世忠等将均继续挺进中原，打算一鼓作气收回失地。
岳飞率领的岳家军进入中原后，与金兀术率领的主力部队狭路相逢了。这两个宋金两国的年轻俊杰，在中原地带撞击出灿烂的火花。他们都充分发挥了自己的军事才华，硬碰硬的打了两场酣畅淋漓的仗——结果是岳飞大胜，金兀术大败。