效力瓦岗

大业十三年（617年），翟让在王伯当与徐世勣的建议上将瓦岗之主的位置让给李密， 李密自称魏公，封翟让为司徒，单雄信为左武候大将军，徐世勣为右武候大将军。 

同年七月，李密率军与王世充会战，双方互有胜负。此时翟让部下王儒信劝翟让夺李密之权，但翟让拒绝，李密听到这个消息后，打算除掉翟让。逢王世充率军进攻，翟让率军出战被王世充击败，李密与单雄信率领精兵前往救援翟让，打退王世充军。第二天，翟让到李密处摆宴，李密拿一张好弓给翟让，派人趁翟让看弓时将翟让砍杀。徐世勣被乱兵砍伤，单雄信无奈，向李密叩头求饶。房彦藻以单雄信轻易屈就，劝李密杀了他，但李密爱惜单雄信才能，拒绝这个建议。 李密宽慰单雄信、徐世勣等，让他们分统翟让部众。 

投降世充

唐武德元年（618年），宇文化及在江都杀死隋炀帝杨广，李密接受王世充的册封，率兵与宇文化及作战。九月，李密击败宇文化及后，王世充率军来攻李密。李密留王伯当守金墉，率军前往偃师。 李密让单雄信领外马军，在偃师城北驻扎，王世充率军袭击单雄信营，李密派遣程咬金和裴行俨前往救援，裴行俨中流矢坠马，程咬金抱起裴行俨逃脱。 王世充打败李密，进围偃师，单雄信等人投降，徐世勣转而投奔李唐。王世充用单雄信为大将军。 

武德三年（620年），李世民率军攻打洛阳，单雄信率军出战。单雄信持枪纵马直取李世民（一说单雄信要杀的是李元吉），徐世勣出现制止单雄信，单雄信于是退走。 

战败被杀

同年五月，王世充被李世民击败，举军投降。李世民下令将单雄信等一干将领全部处死（《旧唐书》则称是李渊下旨处死单雄信 ），徐世勣向李世民求情，希望可以免单雄信一死，但遭到拒绝。单雄信安慰徐世勣说，没关系，我知道自己必定会死。徐世勣说，忠义难两全，并表示会在单雄信死后照顾单雄信的家人。徐世勣割下自己一块肉给单雄信吃下，说自己没有忘记当初的誓言，单雄信吃下后赴死。