司马氏根本没有管杨敞的申斥，而是自顾自地和田延年再次强调，废掉皇帝这件事情杨家参与了。
田延年想了想，说：“你口说无凭，得让杨大人留下个表明决心的证据。”
司马氏疑惑地问：“什么证据？”
田延年早有打算，就说：“让杨大人拟一份召集大臣共同朝会的文书，现在就写。”
司马氏点了点头，走到杨敞面前，背对着田延年不停朝杨敞使眼色，杨敞也不是愚笨之辈，今天自己妻子如此反差，肯定有自己不知道的原因，虽然不情愿，却也听劝地写下了文书，最后田延年还让杨敞在文书上画了押。
田延年拿上文书就离开了，正当杨敞要责骂司马氏的时候，司马氏反而先瞪了杨敞一眼，说：“让你多看看我父亲留下的《太史公书》，你就是不听，你也不想想，堂堂大司农亲自跑过来和你说的事情，这是在征求你的意见吗？说明事情早已准备好，这是来通知你的。霍光是忌惮你的威望，来给你个台阶下，一来就把这么机要的计划告诉你，你要是背了他们的意思，今晚上我们谁都过不去。”
杨敞这才反应过来，对自己的妻子很是钦佩，家中的确有岳父司马迁留下的一套《太史公书》，自己公务繁忙没时间看，没想到妻子居然已经有了如此见识。
就在杨敞准备说什么的时候，门外突然响起了马蹄声，杨敞跑过去透过门缝一看，这才发现田延年是带着兵马过来的，大司农怎么能有带兵的权力，更重要的是，外边的人群中还有皇宫内传旨的宦官，杨敞顿时吓出一身冷汗，要是刚刚自己拒绝了，那下一步肯定是田延年先让宦官宣读赐死自己的旨意，然后就会带兵剿灭整个杨家。
然后霍光找到了自己的太后外孙女，给太后准备好废皇帝的诏书，这诏书得太后发起，才能合乎礼法，做完这一切，霍光让大司农张安世进宫里去，传太后令要封赏内廷，让皇帝刘贺身边的内侍和官员全部来领赏，等他们一到，张安世就负责将人全部控制。
等到杨敞的文书发出去，大臣们都到宫殿，京城的门户全部加强了护卫以防万一。
霍光比其他人早到，见到人齐了，心里难免有些不自在，因为眼前这些人，就是从前被自己招过来讨论立广陵王刘胥还是昌邑王刘贺谁当皇帝的人，现在这个结局，霍光想要体面地承认这个错误，也挺难。
没有多余的铺垫，霍光展开了丙吉统计的罪状，说：“当今皇上，在位二十七天，一共干了一千一百二十七件错事，不仅抢劫民女，祸害朝政，更是淫乱后宫，戏弄太后，对先皇不敬，对百姓不仁，各位大人，你们说这件事情该怎么办？”
有了上一次推举皇帝的经验，大臣们都没有说话，而且霍光作为臣子这么说话，其实已经把废掉皇帝这句话写在背面了，但是这么大的事情，谁敢主动说呢？想到傅嘉侍中还在禁狱里，大臣们心中也知道，这个皇帝可能真不能留，不然傅嘉不会是最后一个莫名其妙下狱的大臣。
就在这尴尬的沉默中，突然锃的一声，这是兵器出鞘的声音，紧接着就发现大司农田延年提着剑指向了丞相霍光，厉声说：“丞相，现在的皇帝是你着力推选的吧？！孝武孝昭两位先皇把大汉朝堂放心地交给你辅佐，你看看你现在把这朝堂弄成什么样子了？！你问我们是什么意思？你指望我们来力挽狂澜吗？都到现在了，你还不站出来主持大局，你怎么对得起两位先皇？！”说完就把长剑在霍光面前晃来晃去的，大有霍光不作为，就要斩了霍光的意思。
霍光惊愕间打了个趔趄，呼喊：“大司农，你要干什么？！”
然后田延年和霍光就当着所有的大臣开始吵了起来，霍光承认选择昌邑王刘贺当皇帝是个错误，但是也的确有自己的考量，而田延年则不依不牢，必须让霍光给个说法，现在这情况到底怎么办，吵了几句所有的大臣都反应了过来，这二人正在演双簧，现在缺个愣头青把“废皇帝”这三个字说出来，不过能一路到这大殿上的全是老狐狸，哪有愣头青。
这边吵架的两个人越吵越尴尬，田延年的脸色都红了，长剑抖来抖去的，霍光甚至已经开始担心，田延年的戏太足，真会攮自己一剑。
这个时候，已经和霍光几人在一条船上的杨敞终于看不下去了，再这么下去，这得吵到什么时候，想到皇帝刘贺的确行事乖张，“废皇帝”这三个字从自己嘴巴里说出来，即便后世评价，也没有责难自己的理由。
心念一定，杨敞就站了出来，阻止田延年的发难，说：“众位同僚，皇帝刘贺从继位以来，不行仁孝，倒行逆施，绝非明君，我们做大臣的，为了大汉江山不能在独善其身了，眼下这局面，应该请太后出面，昭告天下，废皇帝，立新君！”
即便杨敞是三朝元老，说出这段话，也觉得自己的精气神都被抽空了，这把火把所有不敢说话的大臣给点着了，杨敞自己却有些站立不稳，要不是霍光赶紧过来扶住，差点就直接跌倒了。
见到众大臣群情激奋，霍光知道时候差不多了，请大家一起到未央宫请太后定夺。
皇帝刘贺此时还不知道针对自己发生了这么大的事情，张安世传太后令说有赏赐，刘贺就大摇大摆的准备去了，而此时新任郎中令张武建议说，还是别去了，之前就得罪过太后，眼下霍光没有除掉，还是小心点好。
刘贺想了想，没听张武的建议，他上一次在太后面前放肆，最后也没有什么大不了，他不相信太后能拿他怎么样，至于说除掉霍光，这已经是箭在弦上的事情，不日就能实现。