潜容貌瑰伟，善言谈，少有成人志尚。仪同贺拔胜辟开府行参军，补侍御史。世宗引为大将军西阁祭酒，转中外府中兵参军，机事强济，为世宗所知，言其终可大用。王思政见获于颍川，世宗重其才识。潜曾从容白世宗云：“思政不能死节，何足可重！”世宗谓左右曰：“我有卢潜，便是更得一王思政。”天保初，除中书舍人，以奏事忤旨免。寻除左民郎中，坐讥议《魏书》，与王松年、李庶等俱被禁止。会清河王岳将救江陵，特赦潜以为岳行台郎。还，迁中书侍郎，寻迁黄门侍郎。黄门郑子默奏言，潜从清河王南讨，清河王令潜说梁将侯瑱，大纳赂遗，还不奏闻。显祖杖潜一百，仍截其须，左迁魏尹丞。寻除司州别驾，出为江州刺史，所在有治方。

肃宗作相，以潜为扬州道行台左丞。先是梁将王琳为陈兵所败，拥其主萧庄归寿阳，朝廷以琳为扬州刺史，敕潜与琳为南讨经略。琳部曲义故多在扬州，与陈寇邻接。潜辑谐内外，甚得边俗之和。陈秦、谯二州刺史王奉国、合州刺史周令珍前后入寇，潜辄破平之，以功加散骑常侍，食彭城郡干。迁合州刺史，左丞如故。又除行台尚书，寻授仪同三司。王琳锐意图南，潜以为时事未可。属陈遣移书至寿阳，请与国家和好。潜为奏闻，仍上启且愿息兵。依所请。由是与琳有隙，更相表列。世祖追琳入京，除潜扬州刺史，领行台尚书。

潜在淮南十三年，任总军民，大树风绩，甚为陈人所惮。陈主与其边将书云：“卢潜犹在寿阳，闻其何当还北，此虏不死，方为国患，卿宜深备之。”显祖初平淮南，给十年优复。年满之后，逮天统、武平中，征税烦杂。又高元海执政，断渔猎，人家无以自资。诸商胡负官责息者，宦者陈德信纵其妄注淮南富家，令州县征责。又敕送突厥马数千匹于扬州管内，令土豪贵买之。钱直始入，便出敕括江、淮间马，并送官厩。由是百姓骚扰，切齿嗟怨。潜随事抚慰，兼行权略，故得宁靖。

武平三年，征为五兵尚书。扬州吏民以潜戒断酒肉，笃信释氏，大设僧会，以香华缘道，流涕送之。潜叹曰：“正恐不久复来耳。”至邺未几，陈将吴明彻渡江侵掠，复以潜为扬州道行台尚书。五年，与王琳等同陷。寻死建业，年五十七。其家购尸归葬。赠开府仪同三司、尚书右仆射、兖州刺史。无子，以弟士邃子元孝为嗣。