宗只能立郭氏为皇后，要知道当时仁宗对郭氏一点都不喜欢，因为他喜欢的可是张才人。
仁宗对郭皇后喜欢不起来，再加上随着年龄增加，仁宗对刘太后擅权的做法也很是不满，所以所有不满情绪都发泄在郭皇后身上，两人在一起多年时间，依旧没有生下一个儿子。
后来随着刘太后的去世，仁宗终于可以亲政获得实权，并且得知刘太后不是自己亲生母亲这样的重磅消息。有了这个消息的加持，仁宗算是彻底爆发了内心的不满，最终将郭皇后以没有子嗣的名义废除，不久后郭皇后便莫名去世。
郭皇后死后，仁宗一直没有立皇后，而是对张美人以及一些妃子宠溺有加，这个期间仁宗纵情声色，大有不顾朝政的趋势，很多大臣纷纷前往劝诫，最后仁宗才不得已只能娶了曹彬的女儿曹氏为皇后。
曹皇后为人聪明，性格乖张，不争不抢，就算仁宗还是不喜欢，不过却找不到任何理由废除曹氏，在此期间，仁宗继续宠溺张贵妃，一直到张贵妃死后，仁宗还在曹皇后在世的情况下追封张贵妃为皇后，可谓对张贵妃宠爱有加了。
虽然说仁宗一直以来，不管是婚姻还是后宫妃子数量，都是很多的，但是从15岁到27岁，整整12年的时间里，仁宗居然没有生下一儿半女，这就让很多人怀疑仁宗是不是没有生育能力。
当然了，也许仁宗也怀疑自己没有生育能力，所以最后在没有办法的情况下将宗室中的一个孩子赵曙领养回来立为太子，试图培养成为自己的接班人，尽管仁宗对此十分不满，但在没有办法的情况下，这已经是最佳方案了。
事实上从27岁开始，仁宗就告别了没有子嗣的诅咒，开始生儿生女了，仁宗一生总共有3个儿子13个女儿，只不过16个人当中，最终活下来并且长大的只有5个女儿，3个儿子全部夭折了。
仁宗的第一个儿子出生没有多久便夭折，第二个儿子活了一岁，第三个儿子活了两岁，前前后后也就那么几年的时间，仁宗就尝遍了大喜大悲的滋味，在第三个儿子出生之后，仁宗眼看这个孩子身体不错，并且没有早夭的趋势，就将赵曙送回自己父母身边，想要立三儿子为太子。
就算三儿子去世之后，仁宗也一直不相信自己会真的无子，所以长时间里，仁宗都不愿意将赵曙接回来，一直到大臣取笑仁宗是孤寒，仁宗也觉得自己年老无法继续生儿子时，才终于把赵曙接回来继续当太子。
由于赵祯幼子早夭，其余嫔妃生下的孩子又皆为女孩 ，一度让赵祯
…。。