小高王在长沙期间，仅仅是安抚士族，与官员宴饮，并未考察民情。
主要也是入城时才遇了刺杀，他也拿不准城里是否还有别的刺客，斛律光这些天一直在大索全城，搜查来历不明之人，但高澄也不清楚是否会有漏网之鱼。
湘州士人与衡州士人一般，都对此前驻军荆南的厍狄干抱有极大的意见。
当初萧纶逼反荆南士民，厍狄干领军救援，代为平叛，过程很是血腥，其中不少并未从贼的士族豪强，仅仅是侵占田亩数额巨大，或者藏匿大量隐户，就被他冠上谋逆的帽子，动辄抄家灭门，将隐户归为税户，把私田转作公田。
如今高澄来了长沙，便有不少遗孤露面，请求归还产业。
对此，高澄只是询问过湘州总管府主薄，是否为他们按照均田制分配了公田，得到了肯定答案，便将人给驱逐。
他高澄吞下去的东西，什么时候吐出来过，真要归还产业，引得人人效仿，齐朝这么大的摊子该怎么维持。
在此期间，斛律光搜出许多来历可疑之人，顺藤摸瓜，也弄清楚了果然是那群妄想复国之人主持了此前的刺杀案。
萧家自己都放弃了江山社稷，这群南梁遗民还想着复国，高澄没有嘲笑他们的愚忠，可下起手来却毫不手软，尽数沉了湘江喂鱼。
随驾的萧妙淽有心劝说高澄莫要牵连太广，但也知道这些人的存在反而会害了洛阳萧氏一众人的性命，便也作罢，选择了袖手旁观。
高澄在长沙度过了昭德六年，元日里终于在重重护卫下，往城郊祭天。
昭德七年（554年）正月初九，高澄终于启程北上，渡过长江来到郢州州治江陵。
恰逢郢州刺史薛修义患病，被人抬出了城迎驾。
薛修义曾是高敖曹的狱友，一起被尔朱荣随身关押，高欢任晋州刺史时，就与之有过联络，如今已经是七十八岁的高龄。
当初高澄夺取江陵，寻找镇将，薛修义主动请缨，斛律金担心这个汉人老将会心向南朝，曾进言高澄不予他兵马，只让他在江陵组建州郡兵以作防卫。
小高王也听从了斛律金的意见，因为当时的他也不清楚南朝对汉将的向心力。
如羊侃、羊鸦仁，甚至连王僧辩与其父王神念这等胡人，都不惜放弃北朝的官爵、宗族，一心一意南奔，为萧家卖命。
所幸薛修义镇守江陵数年，兢兢业业，高澄入驻江陵即以苦劳为由，升薛修义为县公，而薛修义也顺势上了辞呈。
夺爵
薛修义上表请辞并不让人意外，七十八岁的年纪，如今又患病卧床，只怕也不大有机会好转，这种情况下就是把云游在外的全元起师徒唤来，也起不了多少作用。
高澄同意辞表之余，更赏赐布绢三千匹，以慰其劳。
薛修义去职，高澄索性设置郢州总管府，以高岳为郢州总管，若宇文泰东出，由他负责江汉防务，并伺机支援斛律光。