中，美其名曰：照顾谷秋雁的身子，不忍打扰她休息。
后来的日子就更别提了，谷秋雁几乎每日都要被气哭两回，可回回她受了委屈，都被聂志昂训斥为矫情，一点安慰开解都没有，更别说是为她打抱不平了，这样的日子别提有多凄苦了。孕中的聂夫人谷氏不仅半斤肉没长，反而日渐消瘦。
为此，谷秋雁曾多次给娘家写信，恳求疼爱自己的父兄能来接她回去，哪怕是被休了，也没关系，只要能再回到娘家。可是谷秋雁的父亲因为气愤女儿婚前如此行事，根本不想管这件事情，谷秋雁的两个哥哥更是为了谷家的名声，坚持不肯答应谷秋雁的胡闹，两个嫂子更是车轮战得给谷秋雁写信，封封都是让她忍耐，等腹中孩子出生了，守着孩子，她的日子便能够好过一些。
日子的困苦不止如此，孕期的谷秋雁不仅身体孱弱，还一点不见长肉，腹中的孩子也长得不行，来看诊的郎中好几次都摇头叹息，开了许多进补的药方，千叮咛万嘱咐地让孕妇多吃多睡，少思谋。
孩子长得不好，这顶大帽子自然是落在了谷秋雁的身上，就是聂家的亲长也话里话外奚落谷秋雁没本事，连生个孩子都娇气得很，一看就不是个好生养的，还不如那几房妾室，不若再给聂志昂张罗几门亲事。
人前人后的受气，谷秋雁哭得眼睛肿的老高，身子也愈发孱弱，聂志成便更不愿意来她的屋里，不仅责怪她养不好孩子，还嫌她整日哭哭啼啼得晦气。于是，这位混账的聂少爷，便继续在老家胡作非为，一连几夜留恋在秦楼楚馆，夜不着家。
聂志昂不回来，这一屋子的姨娘又不乐意了，一个个明里暗里责怪谷秋雁这个主母无能，还总是组团扎推在谷秋雁屋里，叽叽喳喳说个没完。不堪其扰的谷秋雁最后装病躲在屋子里不出来了，日子过得愈加凄苦。