但事情的发展后来却超出了朱元璋的设想 。 永乐朝以后 ， 随着外敌北元的威胁减少以及经济的改善 ， 社会风气逐渐奢靡 ， 之前用来彰现社会祥和繁荣的青楼成了官员们饮酒作乐的场所 。

“宣德初 ， 臣僚宴乐 ， 以奢相尚 ， 歌妓满前” ， 到宣德初年 ， 百官退朝以后给纷跑到青楼群聚为乐 ， “牙牌累累 ， 悬于窗槅 ， 终日喧哗” ， 象征身价的牙牌摆放得到到处都是 ， 却没人去处理政事 ， 造成朝政荒废 。 正是这样的背景 ， 时人才编撰出三杨的故事 。

到宣德四年（１４２９） ， 准右都御使顾准上奏此事 ， 于是皇帝便下诏礼部出榜禁约官员挟妓饮酒 ， 英宗继位以后更是大肆裁撤乐工 ， 才终于制止住了这股风气 。