一就在杨素、来护儿率领水军，大破太湖别栅，全歼东路李棱叛军的同时，奉旨抚绥江南的杨广也从并州南下，抵达了广陵。
杨广深知，父皇杨坚此次改任自己为扬州总管的用意与上回不同，意在用怀柔的方法安绥江南士族、百姓，使江南早日融入隋朝，实现四分天下归为一统的宏愿大志。
因此，他在从并州启程南下前，专门上书杨坚，请求携王妃萧厄一道镇抚广陵，同时致书其幕府两位智囊——张衡、裴蕴护送萧厄赶赴广陵与自己会合。
由于与上回统领数十万大军渡江伐陈不同，杨广在抵达广陵后，没有住进新城的老帅府——张园，而是将自己的驻哔之地改在了蜀冈上的扬州总管府，以期能和城中百姓住得更近些，方便体察民情民意。
杨广率领晋王骠骑营一行人马抵达广陵，住进扬州总管府的第三天一早，张衡、裴蕴二人护送着王妃萧厄也赶到了广陵。
不等杨广亲自将萧厄接进总管府，夫妻二人说上几句体已话，张衡便不解风情地请杨广到总管府正厅，称有要事向杨广禀明。
待杨广、张衡二人走进总管府正厅，迎面只见裴蕴面带愠色地站在厅内，不由得转身问张衡道：“建平，冲之此怒何来呀？”
张衡盯了裴蕴一眼，先请杨广上座，尔后方拱手朗声禀道：“裴蕴身为晋王幕府长僚，未经王爷允准，便擅自做主，将心意、司马珞并与二人同处之越国公家仆冯小惜俱招至广陵，请王爷治他不敬之罪。且建平位居晋王府长史，身为幕府僚佐之长吏，不能尽职尽责，及时制止裴蕴，也请王爷一并降罪处罚。”
杨广不意张衡急急忙忙地将自己拉到这里，原是为了告裴蕴的状，请自己降罪处治他二人，遂转向裴蕴问道：“冲之，你既明知本王出镇并州前交待你和建平二人留京监视心意，为何不经本王允准，擅将她和司马珞带来广陵啊？”
裴蕴曾在杨广统军伐陈一役中立下过大功，劝降了南陈大将任忠，打开建康城门，迎隋军入城，灭陈之后，经杨广保举，被册封为上开府勋阶，入晋王幕府任都记室。
他平素就与张衡这位晋王府长史不甚相谐，此次听闻朝廷指派杨广出镇扬州，抚绥江南的消息后，更是自恃灭陈有功，且对江南朝野情形十分谙熟，一心想助杨广早日抚绥江南，立功受赏，名位列于张衡之前，才敢擅自做主，暗命手下人将心意、司马珞并冯小惜三人带来广陵的，此时听杨广向他问起此事，遂瞪了张衡一眼，迈步向前，拱手答道：“因下官接到王爷书命，从长安走得匆忙，未及将此事提前向王爷禀明，是下官做事卤莽了些。然下官所以如此行事，完全出于欲使心意师太、司马珞二人相助王爷抚绥江南的一片忠心，并无一丝私心杂念，尚请王爷明察。”
“心意师太和司马珞二人如何能相助本王抚绥江南呢，你不妨详细说来听听。”杨广瞥了一眼张衡，问裴蕴道。
“回王爷，下官久仕江南，对南陈朝野之事颇为谙熟。”裴蕴说着，有意冲身旁的张衡撇了撇嘴，“心意师太出身江南四大姓氏之一的顾氏一门，她如肯出面相助王爷抚绥江南，至少对王爷笼络江南士族之心有所裨益；灭陈之役，司马珞之父司马消难去向不明，据下官推料，很可能参与了江南此次的叛乱，有他的亲生女儿掌握在王爷手中，应有助于王爷招降纳叛吧。至于越国公府中的那名侍女冯小惜嘛，下官已命人查明，其原系北齐后主宠妃冯小怜的同胞妹妹，据传在随越国公驻守信州期间，曾与‘雁巢’杀手张仲坚有过一段男女私情，带她前来，或许能对王爷彻查‘雁巢’一案有所帮助。”
杨广招裴蕴入自己的幕府，本就是为了要他帮助自己彻查在他看来尚未了结的“雁巢”一案，此时听他主动提及在逃的“雁巢”杀手张仲坚，忍不住向他问道：“依你此说，莫非张仲坚也藏匿在江南？冲之既自称是江南通，本王离京出镇并州前，命你打探的焦二自高句丽追踪化名高连升的关自在南下一事可曾有了消息？”
裴蕴先是摇了摇头，随即拱手补充道：“王爷所问二事下官皆没有得到确切的禀报，故而不敢在王爷面前贸然做答。不过，下官手下的人在王爷出镇并州这段时间倒是打探得了不少关于江南诸路叛军的情况，其中高智慧一路叛军值得引起王爷格外的关注。当下官此前在长安从心意师太口中得知关自在原名青莲，本是陈顼驾前一名得庞的书僮时，遂命人详细探得了此人的出身、来历：青莲本姓高，与如今拥立陈君范在会稽称帝的叛军首领高智慧同出一门，俱是三百年前自北地南迁到高氏一族的后人。由此，下官怀疑，在高智慧的背后，很可能有‘雁巢’中人在暗中支持他起兵反叛作乱。”
杨广听得站了起来，来回在厅中踱了两个来回，停下脚步，对张衡、裴蕴说道：“冲之带心意、司马珞、冯小惜来广陵，确有助本王抚绥江南之意，你二人不必因此事心生隔阂，须当同心协力辅佐本王早日抚绥江南，不负父皇所托。冲之方才禀报的这个消息十分重要，建平，就烦劳你明日动身，前往越国公军中走一趟，将关自在本姓高，与叛军首领高智慧同出江南高氏一门的消息禀报给越国公，请他在率军平叛时稍加留意，尽快查明高青莲是否就在高智慧军中。这件事一日没有确信的回音，你便留在越国公军中一日。”
张衡听得清清楚楚，明白这是杨广有意支开自己以避免和裴蕴再起纠纷，心中虽有些不情愿这么快地离开杨广身边，但因念及在帮助杨广抚绥江南这件事情上面，裴蕴确具有自己远远不及的优势，也就拱手领命了。