祖父长孙炽是隋民部尚书，父亲长孙安世为通事舍人。长孙祥起家为唐太子李承乾的功曹，不久迁任尚舍直长，又改任雍州司兵参军。历任驾部、兵部、吏部员外郎、中书舍人、太子率更令、户部侍郎、吏部侍郎、尚书左丞、御史大夫、刑部尚书、检校荆州长史、常州刺史。显庆四年（659年）坐与长孙无忌交通书信在雍州被杀，年六十一。上元元年追复长孙无忌、长孙祥等人官爵，上元二年（675年）二月二十八日迁葬于洛州河南县平乐乡。有子长孙光。