祖大弼为人“有胆略，喜结客”，万历年间入宁远卫学。祖承训去世后，祖大寿将父亲分给自己那份的遗产给了祖大弼，祖大弼将其全部用来结客，得到许多死士。天启二年（1622年）辽西陷落之际，其兄祖大寿逃入觉华岛，御史方震孺许诺让他成为选贡，让他劝说其兄来归。后祖大弼投笔从戎，随兄征战，抵抗后金，在崇祯三年（1630年）遵永大捷中立功，累迁黑庄堡都司。

崇祯四年（1631年）九月，他参与救援被困在大凌河城的兄长祖大寿，十六日交战于锦州，据说差点生擒皇太极。二十七日，明军兵败长山，祖大弼等逃走。十月二十九日，祖大弼率高应元、陈二、韩五三人率一百二十七人劫营，以创造祖大寿来归的机会。

崇祯五年（1632年），参与平定孔有德叛乱，在此期间升为副将。翌年收复登州，论功行赏，祖大弼实授都督佥事，荫外卫正千户。

崇祯七年（1634年）七月。后金军毁长城，进犯大同，击败曹文诏与祖大弼军，略地至宣化，攻怀远，设伏左城西，噶布什贤噶喇依按班图鲁什到宣府侦查。遭遇祖大弼巡逻兵十五人，双方展开激战，明军阵亡二人，十三人被俘虏，但是图鲁什也受重伤而死。同年，马世龙去世，祖大弼接任为宁夏总兵，并参与围剿活动于陕西的李自成等部农民军。

崇祯十二年（1639年），因张献忠复叛，祖大弼又被调至湖广，统兵千余人，随总理熊文灿围剿张献忠等部农民军。

崇祯十三年（1640年），祖大弼被调至关外，助兄祖守锦州。

崇祯十五年（1642年），与祖大寿降清。编入镶黄旗汉军第三参领第六佐领。

顺治时授散秩内大臣，并曾随清军出征。顺治十二年（1655年）其子祖泽潜登科时，被记录为“慈侍下”，可知祖大弼此时已去世。

父亲：祖承训兄弟：祖大寿、祖大成妻子：线氏儿子：祖泽潜（顺治十二年进士，官至浙江提学暨河南督粮各道）祖泽运（早卒，其子祖之麟与伯父同年进士）祖泽溶（举人出身，官至江南南康府知府）