原来事情的起因还处在岳飞和韩世忠身上，外面的谣言就是从中传出：
原来，这并非是岳飞喜新厌旧薄情寡义，而是这个刘氏做人做事不地道。
岳飞从军之前，还在老家时，遵从父母之命媒妁之言，把第一个妻子刘氏娶进门。
这个刘氏的出身门第，史书中没有明言，但从岳飞当时的贫寒家境，看得出刘氏应该也是出身普通农家。
岳飞从军之时，把刘氏留在老家，“留妻养母”，他孤身一人走上抗金战场。
但不久后随着形势恶化，长江以北地区一度全部沦陷，岳飞的老家汤阴也成了金国占领区。
岳飞又跟随赵旧渡江南下，从此与家人音讯不通。
岳飞挂念家人，屡次派人前去相州汤阴寻访家人，但因为战乱阻隔，一直未能如愿。好不容易才找到岳飞的母亲姚氏太夫人，接到军中，岳飞这才得知家里的情况。
原来，他的妻子刘氏一看岳飞上了战场，从此存亡未卜音信断绝，让她一人留在家里照顾一家老小，生怕耽误了青春，于是居然抛弃家人，另行改嫁了，而且改嫁了两次，最后嫁给韩世忠部下一个武将王押司。
韩世忠偶然得知，岳飞的前妻刘氏被自己的部下给娶了，感到过意不去，于是主动给岳飞修书一封，让他接回妻子。
岳飞却予以拒绝，并非是她抛弃糟糠之妻，还是这等丑事确实是让人心寒。
赵旧把目光看向了韩世忠，问道：
“丈夫还没死，这妻子就改嫁的事情在军中多吗？”
韩世忠回道：
“不在少数，臣也是一时不查…”
“行了，此事日后再议吧，回头朕让相公们想想办法，先解决眼前的事吧。”
心道：原来岳飞的妻子刘氏，不想吃苦受累脚踏实地，只想嫁个好人家不劳而获一步登天，甚至不惜抛弃家人两度改嫁，干出这种丑事，无怪乎岳飞会对他切齿痛恨。
不过岳飞还算仁义，他得知刘氏经济状况不佳，还特意“差人送钱五百贯，以助其缺乏”，也算仁至义尽了。
赵旧上前，郑重的拍了拍岳飞肩膀，言道：
“刘氏蠢妇，误我大将，有眼不识金镶玉，活该没有这份福气，朕只恨天家无待嫁帝姬，否则非许配一门给鹏举不可，回建康后，朕亲自当个媒人，替鹏举寻几门好亲事，再娶几门妾室。”