李亨的报复充满了复仇的快感，先把李隆基幽禁在太极宫，换走了全部近侍，勒令李隆基心腹大将陈玄礼辞官，流放高力士。 李隆基执政四十余载，未曾想到晚景会在寂静之中度过。对他而言，真正的转折是七年前在灵武，他的儿子李亨在未得许可的情况下自立为帝的那一封诏书。 天宝十五载（756年），安禄山叛乱，马嵬坡兵变震动朝野。李隆基仓皇西行避祸，李亨则在灵武拥立为帝，改元至德。史书称他“遥尊为太上皇”，但李隆基心中清楚，这道遥尊之辞，不过是一纸讽刺，他从未正式传位，帝号被夺，朝政已无归属。 李隆基身边最信任的，是曾在玄武门之变中立下大功的陈玄礼，还有忠心不二、数十年伴随左右的高力士。李亨对二人视为眼中钉。陈玄礼被迫交出兵权，称病辞官后不久便郁郁而终。高力士更被贬往黔中，临别之时，跪于宫门前，请求再见一面李隆基，被李亨断然拒绝。 肃宗李亨如此行事，并非临时起意。从太子被立那日开始，李隆基便屡屡听信宦官与李林甫、杨国忠之言，对李亨猜忌日重。天宝初年，太子妃韦氏被指“言辞不逊”，废后处死，太子府一度被空置，李亨连日常朝见都需多番奏请才能得见父皇。 李亨虽位列储君，却长期遭排斥。宰相李林甫暗中布置亲信入太子府打探动静，又屡屡奏请削减东宫属官。最严重一次，竟有流言称李亨图谋不轨，李隆基险些更立皇子李瑶为太子，直到郭子仪等人暗中保奏，才保住储位。 李隆基在成都幽居近一年后，终于被接回长安。但他曾经亲政的殿宇不再向他敞开。长安城的迎接仪仗缩减过半，肃宗李亨没有出城迎接，仅命中使传令。 踏入太极宫那日，李隆基自知帝位已然彻底失去。他尝试保留最后的影响力——留用数名旧臣，赐宴旧将，均被肃宗严令禁止。朝中群臣多不敢再私通太极宫，惟张九龄之子张均屡次探望，亦在一次暗中走动后被革职查办。 与此同时，肃宗亲政不久，便对未来皇位继承展开部署。长子李俶被立为太子，而朝中却有张皇后私下活动，希望改立己子。太极宫中，李隆基也偶尔听闻这些风声，却无力插手。 乾元元年（758年）后，李亨疾病渐深。多病缠身之际，他最担心的不是病体，而是李隆基是否会利用自身影响复起朝政。于是命李辅国全面接管太极宫，所有供给需层层审验，连甘露殿的小太监都要登记出入时辰。李隆基的一举一动皆在控制之中。 这一年中秋，李隆基曾请命朝觐肃宗，被拒。他每日独坐甘露殿中，回忆杨贵妃、张说、贺知章，时而哼唱旧时曲调，时而沉默良久。 不久，肃宗病危。朝中权势开始偏移，李辅国与张皇后内斗激烈，太子李豫虽位定储君，却始终按兵不动。也正是此时，甘露殿传出消息：李隆基暴病，突然不起。宦官秘不发丧。十余日后，肃宗亦病终。 两位帝王，相继辞世，竟未再有一次对话。 李隆基遗命简单，仅言安葬于西内南园，陪葬者除乐器外别无他物。高力士远在黔中，得知噩耗后嚎哭不已，不久亦病死流放地。
