据说桓玄出生时，有光照亮房间，占卜者都感到奇异，故得桓玄小名灵宝。

　　《异苑》则记载说桓玄出生时光芒满室，有个善于占卜的人说：“此儿生有奇耀，宜目为天人。”并取名为“神灵宝”。桓温嫌他取的名字有三字，便减去“神”一字，名曰“灵宝”。

　　史学家周一良认为，桓玄的名字有“道”、“灵宝”等字眼，是桓氏其信奉天师道的标志。

　　忿而杀鹅

　　桓玄小时，与一众堂兄弟斗鹅，但桓玄的鹅总是不及堂兄弟强，十分不忿。于是有一晚到鹅栏杀死了堂兄弟们的鹅。天亮后家人都惊骇不已，以为发生了怪事，向桓冲报告。桓冲心知是桓玄作的，一问，果然如此。