洪武六年（１３７３年），淮西朋党集团的领袖李善长推荐其同乡兼姻亲胡惟庸担任右丞相。洪武十年（１３７７年）九月，胡惟庸升任左丞相。他做了７年丞相，任期内在朝中遍植朋党，不遗余力地打击异己，使得淮西朋党集团的势力不断膨胀。譬如，浙江青田人刘基（字伯温），曾辅佐朱元璋，立下过汗马功劳，但由于他与淮西朋党集团的矛盾，一直未受重用。洪武三年（１３７０年），朱元璋大封功臣，刘基仅封为诚意伯，岁禄只有２４０石　　。而李善长则功封韩国公，岁禄４０００石。翌年，刘基告老还乡。然而，由于他曾对朱元璋说过胡惟庸不宜入相的话　　，故而深受后者的嫉恨，被解雇革去岁禄　。洪武八年（１３７５年），刘基生病，胡惟庸派医生前去看望，但刘基服药后不久便一命归西　　。

当然，排斥异己还不是胡惟庸案的关键所在。事实上，胡案的症结在于——他为人过于独断专行，许多生杀黜陟等重大案件，他往往不向朱元璋请示，就擅自加以处理。这自然让权力欲极强的朱元璋，深感宰相专权、皇权旁落的危机。