父死降汉

元狩二年（前121年）春天，汉武帝派遣骠骑将军霍去病，率领骑兵一万，自陇西出发北击匈奴，越过焉支山一千余里，切断匈奴右臂，执浑邪王子，缴获了休屠王的祭天金人。 

元狩二年（前121年）夏天，经居延及小月氏攻祁连山浑邪、休屠二王，使他们遭到惨重打击。同年秋，匈奴单于因浑邪王屡为汉军所破，伤亡数万，怒不可遏，欲召诛浑邪王。浑邪王便说服休屠王共同降汉。而休屠王因其部损失不大，估计单于不会杀他，后又中途反悔，浑邪王便杀了休屠王，其众四万余人降汉。汉武帝封浑邪王为列侯。金日磾因父亲被杀，无所依归，便和母亲阏氏、弟弟今伦随浑邪王降汉，被安置在黄门署饲养马匹，时年仅十四岁。 

武帝宠信

汉武帝一次在宫中宴游欢乐之极，诏令阅马助兴。当他看到一个体形魁伟、容貌威严、目不斜视的青年（金日磾）牵着膘肥体壮的骏马从殿上走过时，感到很惊讶，就问起这个牵马人的情况。当汉武帝得知金日磾为休屠王之子后，就拜他为马监。之后升迁为侍中、驸马都尉、光禄大夫。金日磾亲近汉武帝以后，不曾有过失，汉武帝很信任宠爱他，赏赐累积千金，汉武帝外出，他就随侍车驾；在宫中，他就侍候身边。一些贵戚在私下怨恨，说：“陛下胡乱得到一个匈奴小儿，反倒看重他。”汉武帝听说后，更加厚待他。 

怒杀弄儿

金日磾的母亲教诲两个儿子，很有规矩，汉武帝得知后很赞许。他母亲病死后，汉武帝下诏在甘泉宫为她画像，题名“休屠王阏氏”。金日磾每次看见画像都下拜，对着画像涕泣，然后才离开。金日磾的两个儿子都被汉武帝所宠爱，是汉武帝逗乐子的弄儿，常在皇上身边。有一次，弄儿从后面围住汉武帝的脖子，金日磾在前面，看见后生气地瞪着他。弄儿一边跑一边哭着说：“爹爹发火了。”汉武帝对金日磾说：“干嘛生我弄儿的气！”后来弄儿长大，行为不谨慎，在殿下与宫女戏闹，金日磾正好看见，厌恶他的淫乱，于是杀了弄儿。这个弄儿就是他的长子。汉武帝得知后大怒，金日磾叩头告罪，把为什么杀弄儿的情况一一说出。汉武帝很哀伤，为弄儿掉泪，以后从内心尊敬金日磾。 

击破叛乱

巫蛊之祸前，马何罗（本姓马，后人改为莽）与江充交好，马何罗的弟弟马通更因诛杀太子时奋力作战而得到封爵。征和二年（前91年），汉武帝得知太子冤屈，就把江充宗族和朋党全部诛杀。马何罗兄弟害怕被杀，于是策谋造反。金日磾发现他们神情异样，心里怀疑他们，暗中独自注意他们的动静，与他们一同上殿下殿。莽何罗也觉察到金日磾的用意，因此，很久没有机会动手。这时汉武帝驾临林光宫，金日磾有小病在殿内休息。马何罗与马通以及小弟马成安假传圣旨深夜外出，一起杀了使者，发兵起事。

第二天早上，汉武帝还未起床，马何罗无故从外进入。金日磾正在上厕所，心里一动，马上进入汉武帝卧室，躲在内门后。一会儿，马何罗袖藏利刃，从东厢而上，看见金日磾，神情大变，跑向汉武帝的卧室，不料撞到宝瑟，摔倒在地，金日磾得以抱住马何罗，随即高声呼喊：“马何罗造反！”汉武帝从床上惊起。侍卫拔刀想杀马何罗，汉武帝恐怕伤到金日磾，阻止他们不要用刀杀。金日磾揪住马何罗的脖子，把他摔到殿下，侍卫才能捉住捆绑起来，彻底审讯，最后都伏法受诛。金日磾因此以忠诚笃敬、孝行节操而闻名。 

辅佐昭帝

金日磾自从在汉武帝身边，几十年从不用目光直视汉武帝。汉武帝赏赐给他宫女，也不敢亲近。汉武帝要把他的女儿纳入后宫，金日磾不肯。金日磾的为人就是像这样笃厚谨慎，汉武帝认为他的行为特别奇异少见。 

后元二年（前87年），汉武帝病重，嘱托霍光辅佐太子刘弗陵，霍光要谦让给金日磾。金日磾说：“我是外国人，那样将让匈奴轻视汉朝。”于是就成为霍光的助手。霍光把女儿嫁给金日磾的嫡子金赏。 

当初，汉武帝留下遗诏，以讨伐马何罗的功劳封金日磾为秺侯，金日磾因为汉昭帝刘弗陵年幼，坚辞不肯接受封爵。 

始元元年（前86年）九月初一日，辅佐朝政一年多的金日磾病情严重，大将军霍光奏明汉昭帝才封金日磾为侯，在病床边授予他侯爵封号及印绶。九月初二日，金日磾病逝，终年四十九岁。 汉昭帝为他举行隆重的葬礼，赐给安葬器具及坟地，用轻车军士为他送葬，军队排列直到茂陵，赐谥号为敬侯。