一代新人换旧人。臣若不去位，反倒不利于后来者。且臣卸下职权，退隐山林，非是弃陛下而去。陛下如有召见，臣在有生之年，必然奉命前来。”
天子闻言，知道丞相仪态坚决，一时如失左右手，心中着急，便对领英道：“请相父入内安歇，容朕与大臣商议。”急忙召吴河、甘安等辅政大臣入宫，告知丞相欲要辞官退隐，众大臣皆大惊，面面相觑，皇帝问众大臣道：“相父欲要辞官安享天年，此倒不无可。但朕知道相父此去，必然隐居山林，不知所踪。卿等有何策，可以挽留相父长住长安？”
众大臣皆言大汉不可无丞相，请天子言语丞相夫人香荷公主与皇太后车嫣，请挽留丞相，唯有御史大夫吴河出奏道：“臣素知丞相为人，丞相平生之夙愿，便是安定天下，兴盛大汉，今夙愿已成，便思退隐之心，非是为避嫌也，而是天下已经安定，丞相自觉应当让位与后来者。此亦是美事。以臣之见，丞相既然去意已决，陛下也无法再挽留。不如就同意丞相所请，以全丞相心愿。”
甘安亦奏道：“丞相数十年来，操劳国政，军机戎马之中，一刻不得闲。今天下已经安定，丞相欲要安度晚景，陛下为何不成全呢？”
天子还是不愿丞相离去，便又遣人请皇姑香荷公主、皇太后车嫣相劝潜龙，香荷对来人道：“且告知吾侄，丞相乃上天垂象之人，其所行事，皆是依照天道而行，非人所能意愿也。”
皇太后车嫣对来人道：“朕乃女流，不问国事。潜龙丞相行事，素来有道理，朕甚放心，又如何要劝其违背本意呢？”
天子得两处回报，心下便知道不可挽留丞相了。只好同意吴河、甘安所言，准许丞相辞官。于是请领英进殿，与群臣相见，对领英道：“既然皇太后与朕姑母皆言相父行事有道，吴御史与甘太傅也言当以全相父心愿，朕只好从命。但相父卸任丞相之后，谁人为继呢？”
领英道：“臣已经为陛下安排妥当。丞相一职，丞相府长史文显昭可胜任也。只是惜其名望资历尚不够，今陛下可暂不设丞相，以三公代之。并令文显昭总录尚书事，三五年之后，文显昭若果有政绩，便可进位为丞相。以臣观之，文显昭当不负臣所望、陛下之盼也。”
孝昌皇帝便依从领英之言，起用文德，总录尚书事，总揽国政。于是潜龙卸下兵权，并将国柄奉还天子。令大将军展鸿、骠骑将军北泽等尽心辅佐皇帝。遂嘱咐香荷留在长安，自己将归西城竹庐隐居。
香荷欲要相伴夫君，只是自己也年老不堪再远行，领
…。。