肃宗做太子时，吸取先朝太子树朋党遭杀害的教训，不敢培植党羽。安史乱中分兵自立在灵武即位，可谓是孤家寡人，身边只有张良娣(时为淑妃，乾元元年立为皇后)和宦官李辅国。《旧唐书•李辅国传》说：“禄山之乱，玄宗幸蜀，辅国侍太子……献计太子，请分玄宗麾下兵，北趋朔方，以图兴复。辅国从至灵武，劝太子即帝位。”李辅国为拥戴肃宗之元勋，由此开创了宦官拥立储君的先例。肃宗即位后，身边没有更为可靠的宰相大臣，而经过考验又有拥立之功的宦官李辅国等，成为内廷核心人物，就是很自然的事。
李辅国因此被肃宗视作心腹，赐名护国，中贵人尊之为“五郎”，“四方奏事，御前符印军号，一以委之”，凡“宰臣百司，不时奏事，皆因辅国上决”，“府县按鞫，三司置狱，必诣辅国取决，随意区分，皆称制敕，无敢异议者”。与高力士相比，其权势有过之而无不及。力士当年除知内侍省事、任内侍监外，尚未公开兼任军职和其他官职，而辅国则正式兼任了财政、军需的监牧诸使，掌握了司法大权，甚至以判元帅行军司马而直接统率禁军。
代宗则是完全由宦官李辅国、程元振拥立的。代宗即位，李辅国以定策之功，愈益恣横。他公然对代宗说：“大家(指皇帝)但内里坐，外事听老奴处置。”代宗怒其不逊，但又“惮其握兵，因尊为尚父”。不久，代宗借另一宦官程元振之力，乘间剥夺了李辅国的一切权力，进而遣侠士刺杀”。但继起的程元振仍旧专典禁军，宦官势力不断发展。“是时，元振之权甚于辅国，军中呼为十郎”。程元振嫉贤妒能，陷害将相，以至人皆衔恨。当吐蕃攻取长安，代宗下诏征兵时，竟无人率兵勤王。代宗在出走陕州的离乱之中，又借陕州屯军长官、宦官鱼朝恩之力，罢除了程元振。
去一辅国，出一元振，除掉元振，复出一朝恩，足见其时宦官势力已根深蒂固，除之不易。鱼朝恩因陕州迎驾功，代宗回銮后深加宠异。他不仅专典禁军，而且被任命为天下观军容宣慰处置使，即诸镇总监军，其专横又甚于程元振。他“求取无厌，凡有奏请，以必允为度”。朝廷大事若不经他同意，便会发怒，说：“天下事有不由我乎!”
代宗深感朝恩专横太甚，吸取前次“以宦官治宦官，宦官势焰更嚣张”的教训，利用宰相与宦官的矛盾，依靠既有权势又深受宦官凌辱的宰相元载，翦除了宦官势力。“自鱼朝恩死，宦官不复典兵”，宦官掌禁军的局面暂时得以中断。从玄宗至代宗，宦官权力随着高力士、李辅国、程元振、鱼朝恩四凶的更替在急剧地膨胀。然而，当时的宦官毕竟还是“假皇权以肆虐”而已。当皇帝感到与己不利不能容忍时，仍是有能力将其除掉的。
