举实施新法弊端，要求王安石废弃新法，恢复旧制。王安石回信对司马光的指责逐一反驳，并批评士大夫阶层的因循守旧，表明坚持变法的决心。随后神宗欲起用司马光任枢密副使，司马光趁机复议废止新法，神宗没答应，司马光遂辞职离京。
熙宁四年，开封百姓为逃避保甲，出现自断手腕现象，知府韩维报告朝廷。王安石认为施行新政，士大夫尚且争议纷纷，百姓更容易受到蛊惑。神宗则认为应听取百姓之言。
熙宁七年春，天下大旱，饥民流离失所，群臣诉说免行钱之害，神宗满面愁容，欲罢除不好的法令。王安石认为天灾即使尧舜时代也无法避免，派人治理即可。监安上门郑侠反对变法，绘制流民旱灾困苦图献给神宗，并上疏论新法过失，力谏罢相王安石。 [43]
同年四月，曹太皇太后（慈圣皇后）、高太后（宣仁皇后高滔滔）亦向神宗哭诉“王安石乱天下”。神宗对变法也产生了怀疑，罢免了王安石的宰相职务，改任观文殿大学士、知江宁府，从礼部侍郎超九转而径授吏部尚书之衔。
王安石罢相后，奏请神宗让吕惠卿任参知政事，又要求召韩绛代替自己，二人坚持王安石制定的成法。吕惠卿掌握大权后，担心王安石回朝，借办理郑侠案件的机会陷害王安石的弟弟王安国，又兴起李士宁案件来倾覆王安石。韩绛觉察到吕惠卿的用意，秘密奏请召回王安石。
熙宁八年二月，王安石再次拜相。同年，王安石《三经义》写成，加封为尚书左仆射兼门下侍郎，吕惠卿外调知陈州。王安石复相后得不到更多支持，加上变法派内部分裂严重，新法很难继续推行下去。
王安石的晚年也比较凄凉，熙宁九年，王安石多次托病请求离职。同年，长子王雱病故，王安石极度悲痛。十月，王安石辞去宰相之职，外调镇南军节度使、同平章事、判江宁府。次年改任集禧观使，封舒国公。
元丰二年，再次被任命为左仆射、观文殿大学士，改封荆国公。
元丰八年，神宗去世，宋哲宗即位，改元元祐，由太皇太后高氏垂帘听政。哲宗即位后，加拜王安石为司空。高太后在神宗时就强烈反对变法，等到自己听政后，立即起用司马光为相。司马光提出“以母改子”，全面废除新法。史称“元祐更化”。
元祐元年四月初六，王安石郁然病逝于钟山，享年六十六岁，获赠太傅，葬于江宁半山园。
绍圣元年，宋哲宗亲政，支持新政的章惇执政，王安石得以配享神宗庙庭，谥号“文”。
…。。