羊舌虎是羊舌职幼子，当初羊舌虎之母是羊舌职的侍妾，长得非常美艳，羊舌赤、羊舌肸的母亲羊舌叔姬为人妒忌，一直禁止这位侍妾去服侍丈夫，羊舌赤、羊舌肸两兄弟一直劝母亲，他们的母亲羊舌叔姬却说：深山大泽之中，往往生出龙蛇。她长得太漂亮了，我担心她生出龙蛇来祸害你们。你们羊舌氏，是没落的氏族。晋国又多卿族，如果有不怀好心之人离间，那不就容易引祸上身了吗？我又怎么会妒忌她呢？”后来羊舌虎之母得幸而生羊舌虎，长大后既英俊又孔武有力，深受栾盈的喜欢，羊舌肸母以为祸将及族。

栾怀子（栾盈）是栾武子（栾书）之孙，栾桓子（栾黡）之子。栾武子弑晋厉公而立悼公，于国有功，贫而有德，口碑很好。栾桓子贪而无德，因父之功而未受处分。范宣子的女儿嫁给了栾桓子，生下儿子栾怀子（栾盈）。

栾怀子“改桓之行而修武之德”，好施与而广交朋友。桓子去世，他的妻子栾祁与家臣州宾私通，怀子患之。栾祁怕怀子惩罚她，于是恶人先告状，她向执政的自己的父亲范宣子（士匄）诬告怀子结党营私准备叛乱。范宣子信以为真，便派怀子去著地筑城，赶出都城。栾盈感到形势不妙，就逃到齐国去了。随后，范宣子便把栾盈的友党抓起来杀了，其中就有羊舌虎。

四世祖：姬伯侨，晋献公的弟弟

曾祖父：姬文

祖父：姬突，封于羊舌邑，其后称羊舌氏，羊舌突就是羊舌氏的开山鼻祖。

父亲：羊舌职

哥哥：羊舌赤，字伯华，因为封邑在铜鞮（今山西沁县南），又被称作铜鞮伯华

哥哥：羊舌肸，字叔向

哥哥：羊舌鲋，字叔鱼

侄子：羊舌食我，羊舌肸的儿子。弘农杨氏的鼻祖