官员里，有一大半是南方人。他们要么是出身名门望族，要么也与这些大家族有关，在朝廷里向来为这些大族说话。朝廷需要增收钱粮赋税时，这些大多会出来替家乡鸣冤，诉说着家乡的艰辛，希望皇帝减免家乡赋税。
当这样出来的大员够多，形成了舆论上的压力，就算是天子，也得考虑一下人心，最后只能不了了之。即使硬要推行，也往往被下面的人挡回去，并不容易收钱。
对于东南的豪门来说，他们已经习惯了不交税，或者少交税。像是杨承祖做海贸，如果是损害了其中一部分人利益的话，如果他真要收税，那差不多就是侵害所有人的利益了。
这件事如果真的做了，刚刚平静下来的南方，可能还会出新乱子，但是杨承祖并没有着手去做，最多还是在一种猜测的状态。单纯因为一个猜测，就跟某人不死不休，未免太不成熟。如果这个人还是天子宠臣的话，就更要谨慎处置。谢家的血还没干，没人愿意冒失的一脚踩进必杀陷阱里送死。
经过一番简单的磋商之后，几位东南的头面人物取得了一致的意见，惹不起躲的起，不能跟他动硬的。既然不希望他在东南搞风搞雨，还是好说好讲，把人送出东南，让他早日离境。另外一方面，就是把手伸到了他的内宅，用传统但有效的手段，开始在他的内宅里制造事端。