徽元年，许明珠为李素诞下麟儿，也是李素的第一个儿子，李家大喜，阖府同庆，李素为儿子取名“思齐”，典自论语“见贤思齐焉，见不贤而内自省也”，出生的第二天，李治亲自出宫登门，不仅赏赐了丰厚的礼物，还当场给李思齐封了个“轻车都尉”的勋号。
名字取得风雅，可惜李素的这位长子却不是省油的灯，打从三岁后，便被方老五和郑小楼教功夫，十年后的某天，李思齐在长安城闲逛时，路遇市井无赖欺诈贫民，勒索银钱，十岁的李思齐大怒，不仅抄刀将市井无赖的腿剁了下来，还布置李家部曲设下埋伏，将市井无赖的十几名同伙一网打尽。
这件事惊动了长安城的权贵圈子，人人皆谓李家麒麟儿天生将才，有乃父之风，未来成就不可限量。
永徽三年，李治与武氏的第一个孩子出生，取名李弘，被封为代王。同年，武氏终于被封为昭仪，也在这一年，武氏与王皇后的关系渐渐敌对。
永徽六年，经过六年的休养生息，又推行了亩产更高的改良稻种，大唐民间终于渐渐恢复了元气，当年国库充盈，各地粮米满仓，这六年里，大唐边境基本无战事，唯有跟高句丽和吐蕃有过几次小规模的摩擦冲突，皆以外交方式平息下来。
永徽六年底，李素再次提出新的政见，鼓励民间商贾兴建各种作坊，招募农闲庄户做工补贴家用，并且派出使节与诸邻国相谈贸易往来。
此政见遭到以长孙无忌为首的老臣们的一致反对，李素从容应对，在李治的暗中支持下，终于强硬地通过了这条新政，然而，因为此事，长孙无忌与李治和李素的关系也渐渐急转而下，变得僵冷起来。
从此以后，长孙无忌在朝堂上的态度渐渐强硬起来，在政事上与李治多次摩擦，皇权被臣权步步挤压，李治渐生忌怨，有除权臣之心，李素劝李治隐忍，谋而后动，李治依言。
四年后，显庆四年，李治对武氏宠爱日深，无论宫闱还是国事，武氏帮了李治太多，李治在感激和利益所趋之下，遂生废王立武之心，于是召李素问其意见，李素沉思许久，只说了一句，“此为陛下家事，何必问外人”，李治废后立武之心愈加坚定。
同年朝会上，李治提出废后，遭到长孙无忌等老臣激烈反对，朝堂一片哗然，李治与长孙无忌的矛盾终于尖锐到无法调和。
三个月后，李治忽然召李素入宫，授予右武卫调兵虎符文书。李素当夜领兵直扑长孙府，将长孙无忌及老小拿入大狱，次日朝会，时为尚书省侍中的许敬宗上疏，告长
…。。