徐羡之早年在桓楚就担任过荆州桓修的中兵参军，当时刘裕同为桓脩中兵参军，故此两人深深结交。元兴三年（404年），刘裕起兵讨伐桓玄，并攻下建康，即以徐羡之为镇军参军、尚书库部郎、领军司马。后调为大司马司马德文的参军、司徒左西属、徐州别驾从事史、太尉咨议参军。

义熙十一年（415年），外调为鹰扬将军、琅邪内史，后再任司马德文的大司马从事中郎。次年，刘裕北伐后秦，徐羡之就转任太尉左司马，留守建康留府，并担任总摄内外的尚书左仆射刘穆之的副手。义熙十三年（417年），刘穆之去世，朝廷原本就打算下诏命徐羡之接替刘穆之的位置，然而张邵则主张咨询尚在长安的刘裕。刘裕在意王弘，不过谢晦却说：“王休元为人轻率，及不上羡之。”刘裕于是同意由徐羡之代替刘穆之。徐羡之因而获授吏部尚书、建威将军、丹杨尹，总知留任，然而向来由刘穆之决定的各项朝廷大事都得向刘裕请示了。后转任尚书仆射。

永初元年（420年），刘裕篡位称帝，进号为镇军将军，加散骑常侍，并以其作为开国元勋，封为南昌县公，食邑二千户。

永初二年（421年），徐羡之进位尚书令、扬州刺史。

永初三年（422年），徐羡之进位司空、录尚书事，仍兼扬州刺史。同年刘裕去世，遗诏徐羡之与中书令傅亮、领军将军谢晦及镇北将军檀道济为顾命大臣，辅助太子刘义符，即宋少帝。不过，刘义符居丧无礼，又与身边的人游戏无道，徐羡之于是与傅亮、谢晦密谋废黜刘义符。不过，如果废掉刘义符，继位的首选自当是刘裕次子、南豫州刺史刘义真，而徐羡之一直讨厌刘义真与谢灵运等人密切交往，而且自己又屡次裁抑刘义真的要求，导致刘义真对自己颇有不满。

景平二年（424年），徐羡之以刘义真与刘义符有过节，列出刘义真的罪状，将其废为庶人，流放到新安郡。张约之为此上书反对，就遭徐羡之外调为梁州府参军，不久亦为其所杀；而刘义真不久亦在新安遭徐羡之派去的人杀害。

同年，徐羡之召江州刺史王弘及南兖州刺史檀道济入京，将废黜皇帝的意图告知他们，随后就以太后的名义下令废黜刘义符为营阳王，以中书舍人邢安泰及潘盛为内应调走宫中宿卫，亲自领兵跟从檀道济及谢晦所率的军队入宫请刘义符逊位及没收其皇帝玺绶，更将其送到吴郡。不久，徐羡之更派了邢安泰杀了刘义符。当时，侍中程道惠建议立刘裕五子刘义恭为帝，但徐羡之以刘裕三子刘义隆向来有名望，于是决意以其继位。当时，刘义隆担任荆州刺史，徐羡之怕荆州重地会因而外授他人，于是命谢晦为荆州刺史，图以其为外援。刘义隆即位后，进徐羡之为司徒，并改封南平郡公，食邑四千户，不过徐羡之坚决辞让封爵。

元嘉二年（425年），徐羡之与傅亮三度上书请求归政，终获批准，并离职退归府第，但侄儿徐佩之与程道养及王韶之都认为这样并不恰当，苦劝之下终令徐羡之继续留掌朝事。时步兵校尉孔甯子厌恶徐羡之及傅亮专权，经常向刘义隆中伤二人。

元嘉三年（426年），刘义隆以废杀宋少帝及刘义真的罪名下诏将徐羡之、傅亮、谢晦等治罪，并召见徐羡之及傅亮。当时徐羡之走到西明门外，谢晦弟谢皭将刘义隆要降罪他们消息告知傅亮，傅亮于是立即告诉徐羡之。徐羡之及后回到台城以西的扬州治所，接着坐车出城，走到建康二十里外的新林浦时在一个烧陶的土窑中自杀，享年六十三岁。

其时刘义隆知徐羡之没有应召入宫，便派了中领军到彦之及右卫将军王华追捕他，直至有人发现徐羡之的尸体后才将其送到廷尉那里。

刘裕：“徐羡之、傅亮当无异图。”

傅亮、蔡廓：“徐公晓万事，安异同。”

王华：“徐羡之中才寒士，傅亮布衣诸生，非有晋宣帝、王大将军之心明矣；受寄崇重，未容遽敢背德。”

裴子野：“如徐、傅之徒，非觊觎者也；求其忠顺，非忘身者也。身既未忘，不能脱屣权柄，诚二君矣。何以取信严君，恶不足信，权由震主，危己之机，疾于激箭，高位厚味，何其久乎！若景平既终，奉身夙退，灭身之祸，庶几可逃。夫贤人君子，受六尺之孤；任尺寸之命，推权变，临大节，系乎存存，难乎存亡矣。”

徐羡之出身寒微，本身亦没什么学识，一直只凭自己的才智气度，终在刘裕在位年间攀上了司空高位，掌握朝权，成了实际的宰相，而当时朝野对徐羡之亦很信服。而徐羡之为人亦深沉慎默，沉默寡言，且喜怒不形于色。

徐羡之颇擅长围棋，但看棋时即使已洞察棋局，却仍然表现得未看透的样子，当时的人更以此推崇他。

辈分关系姓名简介父祖祖父徐宁官至尚书吏部郎、江州刺史。父亲徐祚之官至上虞县令。平辈兄长徐钦之官至秘书监。子辈长子徐乔之官至竟陵王文学，尚宋武帝刘裕之女富阳公主。次子徐乞奴——徐宗文获罪，徐氏二子并伏诛，徐乔之贵为驸马，皇亲国戚，亦不能免。