卫青的母亲生有一男三女，即儿子卫长君，长女卫君孺、次女卫少儿、三女卫子夫。丈夫死后，她仍在平阳侯家中帮佣，与同在平阳侯家中做事的县吏郑季私通，生了卫青。后来，他的母亲感觉供养他非常艰苦，就把他送到了亲生父亲郑季的家里。但郑季的夫人根本看不起卫青这个私生子，让他到山上放羊，郑家的几个儿子也不把卫青看成手足兄弟，随意苛责。卫青在这样的环境下生活，受尽了苦难，在他的性格形成上打下了深深的烙印。

卫青长大后，不愿再受郑家的奴役，便回到母亲身边，并做了平阳府的骑奴。有一次，卫青跟随别人来到甘泉宫，一位囚徒看到他的相貌后说：“你现在穷困