孝宗尽管胸怀大志，但处处受到太上皇高宗的牵制。淳熙十四年（1187）高宗去世而他也年至花甲，已无恢复中原的信心，于是在1189年退位，当了太上皇，太子赵惇即位，即为宋光宗。光宗自幼懦弱多病，政事由骄恣、凶悍的李皇后控制。有一次，光宗随口称赞一位宫女的一双玉手，第二天，李皇后给光宗送上一盒点心，揭开一看，竟是那位宫女的双手！光宗一见，吓得心脏病发作。为此，孝宗送去药丸，李皇后却说是毒药，使光宗父子反目。光宗在位五年，李皇后操纵朝政，宦官、权臣乘机窃弄权柄，政治黑暗。1194年，光宗被迫退位。