公元1132年，朝廷再命刘光世移驻扬州，刘光世还是不奉诏。为什么不奉诏，扬州在江北，无非是畏敌罢了。刘光世不去江北，反而自己回朝，舔着脸直接上奏赵构道：“周边危险，恐怕有变故，愿意守浙西根据地！”
言官方孟卿上疏弹劾他畏敌如虎，请赵构召集执宰大臣一起讨论，逼迫刘光世前往扬州，刘光世又提出军中缺粮的理由。他军中缺粮，来入朝时，却带着上等缯帛、土特产进献给赵构，搞得赵构很无语，本想分别赏赐给六宫，御史中丞沈与求认为不适合，赵构只得将刘光世进献之物全部归还。
刘光世三番五次违抗朝廷诏令不说，反而想到进献“祥瑞、缯帛、土特产”，真不知刘光世的“名将”头衔是怎么得来的？
刘光世一番辣眼睛的操作，朝中宰相吕颐浩就很不舒服，吕颐浩和刘光世有矛盾，首先提出刘光世兵多，平时未得训练，而且纪律松懈，应该将他调回朝廷。赵构还是很清醒，道：“刘光世军粮不足，如果突然移防，必然溃乱，犒劳军队后，再予核查！”
吕颐浩至镇江后，发现刘光世的军中果然粮食不足，但是吕颐浩发现，刘光世每月所花的军费达到了二千万缗，这是一笔巨款啊！钱到哪里去了？吕颐浩上疏请赵构派员核查，赵构命御史江跻、度支（会计）胡蒙到刘光世军中核实，可最后不了了之。赵构此时正依赖刘光世，自然不会在一些钱粮方面较真，非但如此，赵构还下诏，命漕运大臣筹措镇江的酒税，交由刘光世做军费，同时还在宫中节省出七百万缗的经费，统统交给刘光世。给钱还不算，还加官，刘光世晋升为“宁武军、宁国军两镇节度使”。
公元1133年，朝廷命刘光世和韩世忠相互换防，两人一同入朝觐见赵构，刘光世又升官，被授予检校太傅，江东宣抚使。
韩世忠帅兵至镇江城下。不久有人在镇江城内焚烧府库，刘光世派军将其擒拿，这些被抓的人都说是韩世忠派来的。显然，是刘光世不愿换到靠前线的韩世忠防区泗州，自导自演了这出鬼戏。否则，韩世忠都率兵到你镇江城下了，你刘光世还赖在城里做什么？
韩世忠很快知道刘光世给自己栽赃，他老韩也不是好招惹的，便屯兵镇江城外的登云门，等刘光世引兵出镇江城，老韩直接派兵袭击刘光世的后背，刘光世知道老韩是员虎将，不敢硬抗，慌得向朝廷报告。赵构一听两个得力部下打起了械斗，忙派人前去镇江劝解，并亲笔写东汉寇恂和贾复的事例分赐两人。另外对刘光世说，泗州你就别去了，到池州去吧。池州也在长江以南，比泗州靠后得多，也安全得多。刘光世不怕了，随即率军移防池州。
公元1134年九月，伪齐刘豫和金军入侵，可此时的朝廷三大将相互之间还在掐架，这可万万不妙！赵构派侍御史魏矼到刘光世军中做思想工作，无非是：陛下很关系你，看重你，你也要以大局为重，关键时候可不能掉链子之类，刘光世总算听进去了。主动写信给韩世忠、张俊，说我们团结一致对外吧？
老韩和老张一看刘光世主动服软，也就顺坡下驴，回复道，我们一起干他娘的！十月，刘光世移军太平州（安徽当涂）牵制金军，韩世忠得以在大仪镇击败金军。
十一月，刘光世移军建康，派部将王德在滁州击败金军，六天后，部将王师晟在寿春击败金军，总算为自己脸上争了一点光添了一点彩。
金军退后，韩世忠、刘光世、张俊觐见赵构，刘光世升少保，驻军太平州。赵构规劝他道：“爱卿和韩世忠有小小的嫌隙没有完全解开，壮士当以义气相许，先国家后私仇！”并再次和他讲了寇恂和贾复的典故。刘光世被赵构感动得稀里哗啦，说臣一定听陛下的，只是臣现在淮西，能否将淮东的田产换到淮西来。韩世忠在淮东，说到底，刘光世还是不放心老韩。
赵构很无语，好在给事中晏敦有眼色，立即指出，换来换去，这不扰民吗？赵构连说“对、对”，不能轻易换。刘光世没辙，又提出请赵构封自己的三位小妾为“孺人”（'；孺人'；在古代是指大夫的妻子，唐代称王的妾，宋代通直郎等官员的母亲或妻子的封号也称为'；孺人'；）。赵构一想，一个封号，还不是自己一句话的事么？于是，南宋封大将的妾，从刘光世开始。
公元1135年三月，刘光世兼太平州宣抚使，公元1136年四月，刘光世派统制王师晟、郦琼袭击伪齐刘龙城，擒伪齐统制华知刚。五月，刘光世为“保静军、宁武军、宁国军节度使”，成为继韩世忠以后，第二位建节三镇的大将。
六月，回到朝廷主持军事的张浚，命刘光世从太平州进屯庐州，岳飞从九江进襄阳，杨沂中进泗州，打算北伐。十月，伪齐刘豫和金军主动入侵，刘光世见金军气势汹汹，自己在最前线，说庐州难守，吓得从庐州弃城南逃，张浚命吕祉严厉督促，刘光世不得已才回军。此后杨沂中在藕塘大败金军，金军随后不久退却。
公元1137年三月，刘光世因为弃城南逃，受到朝廷处罚，被罢免兵权，赵构赐第刘光于建康府。七月，郦琼率刘光世原淮西军叛乱，前文已详叙。
公元1139年冬，宋金达成第一次和议。高宗以议和成功，赐刘光世“和众辅国功臣”之号，进封雍国公、陕西宣抚使。
公元1140年，金朝违约南侵。五月，赵构重新起用刘光世为三京招抚处置使，率军援助刘锜。此举显然想利用刘光世对投降伪齐的旧部产生某种影响。但刘光世此次仅在宿州、和州兜了一圈，毛都没捞着，回来了。
公元1141年六月，刘光世再次被收兵权，罢为太保、万寿观使。公元1142年十月，改封杨国公。十一月十三日，刘光世逝世，享年五十四岁。谥号“武僖”。公元1172年，刘光世被追封安城郡王。公元1205年，被追封为鄜王。
刘光世在诸将中，提拔得最早，但也是最早解除兵权的大将。刘光世自身要求不严，治军无法，军纪混乱，正因为如此，叛乱的军队都愿意投降于他，收编的乱军很多。
南宋建立之初，刘光世极力交接康履等内侍，巩固自己地位。后期贪图享乐，贪生怕死，不肯为国出力，可是大话连天，曾对赵构道：“臣愿竭力报国，以后史官书臣功劳第一。”
赵构直接怼他：“爱卿不要徒口说空话，应该拿出实际行动来！”
“刘家军”主要将领有：王德（后期归张俊），郦琼（投降），王师晟，李显忠，李宝等。
刘光世有个后代叫刘濠，刘濠世居青田，刘濠有个曾孙名声后世很响亮，名叫刘伯温。
佐料：寇恂和贾复的故事，可以说是东汉的“将相和”范例，了解他们之间的典故，就能更加明白，为什么赵构总是拿寇恂和贾复的事劝解刘光世和韩世忠了。
寇恂是东汉开国功臣，位列“云台二十八将”第五位。东汉开国皇帝刘秀将他比作西汉萧何。而贾复更是刘秀手下猛将，位列“云台二十八将”第三位。
据《后汉书.寇恂传》记载，寇恂在担任颍川太守期间，贾复在汝南郡，他的部将在颖川杀了人，寇恂把这位部下逮捕关进了监狱。当时东汉刚建立，军营中的人犯法，一般都比较宽容，寇恂却在集市上当众杀了贾复的这位部下。
贾复听说后，深以为耻辱，回军路上，对手下的人道:“我和寇恂同为大将，却被他侮辱，大丈夫岂能甘心？这次经过颖川，我只要看到寇恂，一定要亲手宰了了他！”
寇恂事先获得了这个消息。贾复的部队一来，寇恂就携带丰厚的酒食出城犒军，贾复还没开口，寇恂戏精附体，假装瘫倒在地，被人抬进城了。贾复想带兵追杀，见寇恂一个“病人”，又不忍，更重要的是，贾复部下见寇恂犒军食物太诱人了，个个口角流涎，挪不开腿，贾复只得让部下放开手脚开吃，喝得七荤八素后，大家更不好动手了。
这边寇恂派人向刘秀汇报，刘秀特意将寇恂和贾复召集在一起，贾复看见寇恂就想避开。刘秀拉住道:“天下还未平定，两虎岂能私下争斗？今天我替你们解除矛盾。”
贾复见皇帝亲自劝解，也觉得有天大的面子，终于回心转意，不再耿耿于怀。最后，两人握手言和，同心同德，共扶汉室。