羊舌氏出自姬姓，是春秋时晋侯的后代。周武王灭商后，为了控制被其征服的广阔区域，大力推行“封邦建国，屏藩王室”的分封制度，先后分封七十余国，其中周武王庶子叔虞被封于唐（今山西大部分地区），为晋国。历十四世传至晋武公，武公庶子名伯侨，伯侨有孙子名突，晋献公时被封在羊舌邑，称羊舌大夫。其子孙以邑为姓，称羊舌氏。

羊舌职画像（一说为羊舌突）羊舌突之子名羊舌职，晋景公时期活跃于晋国政坛，公元前573年被晋悼公任命为中军尉。公元前570年去世，后来羊舌职的四个儿子（铜鞮伯华、叔向、叔鱼、叔虎）纷纷走上晋国政坛，羊舌氏成为晋国的一大名门。

前594年、前593年，他对晋景公赏赐荀林父、士会表示肯定。

前573年，晋悼公即位，任命他为中军尉佐。

前570年，羊舌职去世，中军尉祁奚推荐其子伯华（羊舌赤）代替其位。

生四子：长子羊舌赤，字伯华，为铜鞮大夫；二子羊舌肸，字叔向；三子羊舌鲋，字叔鱼；四子羊舌虎。由于兄弟四人都曾身居朝廷要职，故在当时被称为"羊舌四族"。