广德元年（763）十二月，代宗任命元载的政敌苗晋卿为太保，裴遵庆为太子少傅，并罢政事，这样元载权势益盛。他厚结宦官董秀，多送金、帛，使主书卓英倩密与之往来，代宗欲有所为，元载必先知之，出言即与代宗意合，于是代宗更宠信他。华原令顾繇上言，称元载子伯和等招权纳贿，代宗反将顾繇流放锦州。永泰二年（766）二月，元载恐再有人揭其私，于是以代宗名义下令，凡百官奏事，都要先告各部门长官，长官再报告宰相。如长官、宰相认为有必要再报告皇帝。刑部尚书颜真卿反对，认为这样皇帝会自掩耳目，堵塞言路。元载把他贬至峡州（今湖北宜昌）。于是元载日益专权。