705年，武则天被逼退位后，张柬之等参与者设宴祝贺，姚崇却当场大哭起来。一年后，张柬之等“神龙五王”皆死于非命，而姚崇却活了下来。 这一年(神龙元年)正月二十二日，天没亮。 洛阳北门，风刮在脸上像刀子。80岁的宰相张柬之裹着皮裘，站在队伍最前头，嘴里呼出的白气一团一团。 他身后是崔玄暐、桓彦范几个人，再后面，是五百个府兵，盔甲片子在黑暗里不响，人也不出声。 宫门开了条缝，他们闪了进去。 长生殿里一股子药味。武则天躺在床上，被人推醒的时候，眼睛半天没睁开。 等她看清床前站着的是张柬之，还有他身后明晃晃的刀，她问：“人呢？” 张柬之说：“张氏兄弟，已经杀了。” 她又问：“是太子让你来的？” 张柬之点头。 武则天没再说话，把头扭到一边，看着墙。 这就是著名的“神龙政变”。 两天后，李显登基，拜张柬之、姚崇为宰相。 姚崇还加封梁县侯，食邑二百户。旨意下来那天，他府上门庭若市，道贺的人从厅堂排到了巷子口。 姚崇没怎么说话，只是对每个人拱手，回礼。 几天后，李显带着百官，去上阳宫探望退位的武则天。 上阳宫里冷冷清清，没了往日的气派。武则天靠在榻上，脸色灰败，看见李显进来，只抬了抬眼皮。 百官们站在院子里，不敢靠前，都在互相作揖，低声说着“恭喜”、“同喜”之类的话。每个人的脸上，都带着一种如释重负的喜气。 就在这时，人群里传出了哭声。 哭声很扎耳，一下就把所有道贺的声音都压了下去。 众人回头，看见新任宰相姚崇，正站在人群后头，用袖子抹着眼泪，哭得说不出话。 李显的脸，当场就拉了下来。 他盯着姚崇，一言不发。周围的官员也都散开了，没人敢站姚崇边上。风吹过院子，卷起几片落叶，气氛僵得像块冰。 过了很久，李显才从牙缝里挤出一句话：“回宫。” 他转身就走，再没看姚崇一眼。 第二天，一道旨意就递到了姚崇的府上：罢相，改任亳州刺史。 接旨的时候，姚崇很平静。送走传旨的太监，他对妻子刘氏说：“去亳州。” 刘氏问：“就为昨天那一哭？” 姚崇没回答。 他去了亳州，接着是宋州，然后是常州、越州、许州。一个地方没待热，就又被调到下一个地方。他离京城越来越远，官也越做越小。 他走后，张柬之、桓彦范五个人，全都被封了王，天天骑着高头大马，出入宫廷，风光得很。 可这风光，没持续多久。 武家的侄子武三思，不知怎么又得了势。他天天在皇帝跟前转悠，说五王的坏话。 皇帝听得多了，就信了。 先是把五王的官都免了，只留个王爷的名头。接着，又找了个由头，说他们谋反，把他们全都贬到了岭南。 张柬之走的时候，谁也没送，最后在流放地抑郁而终。 敬晖、桓彦范、袁恕己，在流放路上被敬晖，被大理正周利贞虐杀。 崔玄暐，病逝于流放途中。 消息传到许州时，姚崇正在院子里看一份地方呈上来的公文。 送信的人讲完了，他头也没抬，只用朱笔在公文上画了个圈，说：“这个地方，堤坝该修了。” 送信的人愣了半天，问：“大人，京里的事……” 姚崇这才抬起头，看了他一眼：“京里的事，有京里的官管。许州的堤，归我管。” 事过多年，姚崇被唐玄宗召回京城，再拜为相。
