现在这一帮派很担心他们的前途。但是吕惠卿并没完全失望，而且正好看到自己得势之日已近，取王安石而代之机会到了。世界上有些人能随意操纵眼泪，吕惠卿和邓绾便是此等人。他俩去见皇帝，以一副极为动人的样子在皇帝面前哭，好像他想到国家的前途就悲从中来。应用他们动人的口才，又把皇帝拖回了原来那条老道路，而吕惠卿也官拜了宰相之位。

　　现在争吵真正开始了。全国的市易务官吕嘉问这时遭到弹劾。市易务的滥权枉法的报告，自然传到皇帝耳朵里。皇帝问王安石，那时王安石还在京都。

　　王安石回奏道：“嘉问一向认真守法，自然树敌甚众，所以才受攻击。”

　　皇帝说：“但是朝廷从商税方面收到的钱的确很少，而且我很不喜欢官家卖水果、卖水、卖煤这等事，对朝廷太不体面。”

　　王安石回奏道：“陛下不必为这些小事操心，这是低级员司管的事，皇帝只要留心朝廷的主要政策就行了。”

　　皇帝回答道：“即便如此，可是为何朝廷上人人把这种措施看做暴政呢？”

　　王安石回答道：“请把那些人的名字交给臣。”

　　这些肮脏龈塘的口角争吵，不值得详谈。实际上的内幕是市易务官吕嘉问身居要津，开始公然蔑视条例司，污辱了一个叫薛向的官员，而曾布却偏袒着薛向，攻击吕嘉问，吕嘉问因而免职。吕惠卿和曾布奉命调查此一案件。吕和曾二人一向交恶，二人与王安石的关系，正如史塔林与托拉斯基之与列宁一样。在调查期间，吕惠卿开始攻击曾布，曾布也开始攻击吕惠卿，曾布垮台。

　　这是纠纷的开端。吕惠卿而今成了朝廷唯一的魁元。他不但抓住郑侠案件的机会罢黜了王安石的弟弟王安国，又藉着无处不在的邓绾的帮助，想把王安石牵连在山东省一个谋反案件中，其实那是由一个亲王发动的。王安石被控与叛逆串通，因为他与一逆贼是朋友。还有另一个阁员，也曾名义上做过宰相，他与吕惠卿极不相容，他想使王安石官复原职，用以抑制吕惠卿。他除去请皇帝罢黜吕惠卿，重用王安石之外，又送一密函与王安石。控告谋反自然事极严重，王安石以七日之内，火速晋京。

　　王安石与谋反一案确无干系，在神宗熙宁八年（一0 七五）二月，又重任宰相。这时使邓绾有几分尴尬，他只好连忙背弃吕惠卿，又投入王安石这边来。为了重获王安石的青睐，他决定出卖吕惠卿。邓绾背着王安石，暗中和王安石的儿子勾结，控告吕惠卿勒索华亭商人五百万缗。朝廷降吕惠卿官，出为太守。邓绾以吕惠卿如此轻易逃过，心有不甘，乃联合吕嘉问请求重新审问，将吕惠卿羁押在京师的御史台监狱中。

　　一度权势炙手可热的小人权要，—一遭到罢黜，邓绾也非例外。邓绾还依然是精力充沛，他亲眼看到吕惠卿垮台，又看出皇帝对王安石也日形厌倦。他以天纵阴谋之才，洞烛机先，心想下一个身揽大权的人必是王安石的儿子和女婿。他上一表章，请皇帝将此二人升迁重用。但是王安石和皇帝对邓绾的变节背信早已厌腻，不但不心存感激，反将他罢官斥退。邓绾现在对人性应当是失去了信心吧！

　　吕惠卿在御史台监狱等待审判之时，他对王安石发出了最后的一击。原来那些年他保存了王安石的一些私人信件，以备敲诈之用。现在他把这些信都呈交给皇帝，控告王安石在皇帝背后图谋不轨，因为有几封信上有“无令上知此一帖”。皇帝对这些纷乱如麻的事早已厌恶，而今在这些信上的发现，真使皇帝对王安石第一次发了脾气。王安石痛骂自己的儿子，不该背着他胡乱攻击吕惠卿。他儿子显然不知道吕惠卿手中藏有这些信，并且握有他父亲的把柄，深悔自己行动卤莽。受父亲斥责之后又心中憋气，立刻病倒，不久背上生出了恶疮。王安石一向信佛。他请和尚诵经，请医生开药，但均无法救儿子一命。儿子王秀之死，是老相国的一个严重的打击。这位相国对政治与人生的虚幻，大彻大悟了，他感觉厌倦，呈请辞官归隐。皇帝允许他在熙宁九年（一0 七六）十月辞去职务，但仍保有若干最高爵位，王安石并非遭受罢黜。数年之后，有人在金陵附近的乡间，看见他骑着驴，嘴里喃喃自语，听不清说些什么。