初为佐领，以才望推择为兵部员外郎。康熙十二年（1673），迁郎中，出督淮安三关。

康熙十八年（1679），出任贵州按察使，当时黔疆初复，藩伯道府咸缺，他身兼四任。会大将军贝子讨云南，驻兵贵阳，军饷皆取办于李，为安民计，其请贝子严禁军中五里外樵采及禁在道院佛刹住兵，不侵民食。故大军驻兵数万而黔市不乱，民安耕居。

康熙二十一年（1682），迁湖北布政使。丁继母忧归，服阕，补四川布政使。任期七年，不畏中丞劾奏，力求敷宽政简，屏除繁苛、厘正以均、徭赋酌情、保护商旅，颇得民心。川赋旧额九十余万，张献忠乱后，田多荒芜，吴三桂继乱，民益寥寥。李辉祖劝谕流民开垦，按地起徵，生聚渐盛，旧例令州县岁支帑银，采买白蜡解部。李辉祖以蜀道险远，宜请户部就近采买，言于巡抚姚缔虞遂入奏，得旨停止。

康熙三十一年（1692），擢太常寺卿，进大理寺卿。

康熙三十四年（1695），迁都察院右副都御史、河南巡抚，除杂派，肃吏治。

康熙三十五年（1696），康熙帝再次亲征准噶尔，李辉祖办理军需，擢湖广总督。康熙三十七年（1698），军需事竣，始赴任。时湖南田赋不均，李辉祖奏请清厘改正，令民自丈而以官间为覆验，有不实者惩之，以期事核而民不扰。因疏劾偏沅巡抚杨凤起于藩司任内，承办赋册，令各属出具并无不均印结，草率造报，杨凤起坐革职。

康熙三十八年（1699）六月，上谕阁臣曰：朕南巡浙江，询问地方米贵之由，百姓皆谓数年来湖广米不至，以致价值腾贵。然湖广官吏并未奏报水旱，又闻湖南百姓甚苦，皆由巡抚兴永朝、王梁、杨凤起三人相继扰害所致。总督李辉祖为人诚实，办事颇优，但欲其不徇情面，将从前废弛整理，断断不能，可召进京，以侍郎用。七月，授刑部右侍郎。

吴三桂部将黄明自康熙十九年（1680）大兵取柳州时，窜入苖峒，至康熙三十七年（1698）七月，纠党为乱，茶陵州民陈丹书、谭廷玉等因知州赵国瑄私吞银两，拥众入州城，刦夺印信、仓库，与黄明纠结刦掠，衡州官兵捕剿先后就擒，上命户部郎中刚五达等往鞫，黄明等伏法，知州赵国瑄因私派变陈丹书等，拟罪如律，李辉祖以不据实，劾奏革职，发往永定河工效力，事竣，给四品顶带。

康熙四十一年（1702）卒，祀四川名宦祠。

父：李恒忠，初以侍卫事皇太极，赐名宜哈纳，授佐领。历任参领。崇德八年（1643），随郑亲王济尔哈朗征明，克中后所、前屯卫二城，予云骑尉世职。顺治元年（1644），同都统叶臣征山西，攻克太原、汾州府城及文水县城。顺治三年（1646），随肃亲王豪格征四川，败流贼杨荐兵于马湖府。顺治五年（1648），擢本旗副都统。顺治六年（1649），同都统巴颜驻师西安，屡破流贼孙可望、刘文炳、康荐宗等。顺治十一年（1654），同靖南将军珠玛喇征广东，败李定国兵于新会县之山峪，晋世职至一等轻车都尉。康熙十年（1671），卒。

妻：董鄂氏，满洲正红旗人，参领禅图之女，开国名臣何和礼之曾孙女。

三子：李锴。

三弟：李仪祖，袭世职。