第74军是1937年9月1日在浙江组建，由王耀武第51师(辖周志道151旅、李天霞153旅)和俞济时第58师(辖吴继光174旅、邱维达172旅，该师系国民政府警卫1旅扩编而成，是74军的骨干)合编而成，俞济时任军长(俞济时是黄埔1期毕业，浙江奉化人，蒋介石的外甥)。全军共8个团，2.1万人。

74军成军不久就参加了淞沪会战，南京保卫战，多次与日军浴血撕杀，伤亡过半。经过补充74军先后参加徐州、兰封会战。在兰封会战中74军在罗王寨、三义寨、曲兴集攻坚战中与日军第14师团激战，毙伤日军益田兼英步兵中佐、森永澄雄步兵中佐等1000余人。

1938年7月德安战役(又称万家岭战役)爆发，74军第58师重创106师团第113联队，但是58师也付出巨大代价，10月7日，国军调整兵力，发起全线总攻。74军作为主攻部队奉命攻击日军在万家岭地区的核心阵地张古山，第51师多次猛攻均未得手，后有人献计(三国邓艾偷袭阴平)从山后偷袭，团长张灵甫并亲率突击队从山后偏僻小道袭占张古山。