恒是刘邦的第四个儿子，他是薄姬所生。薄姬原是项羽部将魏豹的妻子，楚汉战争初期，魏豹投降刘邦，但不久又背叛，刘邦派韩信、曹参将其剿灭。叛乱平息后，包括薄姬在内的魏豹的妻妾成为汉军的俘虏，不久薄姬被送入织室干杂役，这一干就是一年多。一个偶然的机会，刘邦见到了薄姬，见其颇有姿色，便将其纳入后宫。公元前202年，薄姬生下刘恒。可是，自从生下刘恒之后，刘邦就很少与薄姬相见，逐渐冷落了薄姬。

公元前196年，刘邦平定代地陈豨的叛乱后，就立七岁的刘恒为代王，都城在晋阳。第二年，