陈伯山为人英伟，举止闲雅，喜愠不形于色，陈蒨非常器重他。当初陈霸先建立陈朝时，刚刚得到天下，诸王受封时仪注多有阙漏，及至陈伯山受封时，陈蒨意欲隆重其事，天嘉元年（559年）七月丙辰日，封陈伯山为鄱阳王。陈蒨乃遣散骑常侍、度支尚书萧睿持节兼太宰告于太庙；又遣五兵尚书王质持节兼太宰告于太社。同年十月，陈蒨到临轩策命，又敕令王公已下并宴于鄱阳王府第。仍授任陈伯山为东中郎将、吴郡太守。

天嘉六年（565年），转任为缘江都督、平北将军、南徐州刺史。

天康元年（566年），进号为镇北将军。

叔父陈顼辅政时，不欲令陈伯山驻守边境，遂于光大元年（567年），徙封陈伯山为镇东将军、东扬州刺史。

太建元年（569年），陈顼即位后，征陈伯山入朝为中卫将军、中领军。

太建六年（574年），又任命为征北将军、南徐州刺史。寻为征南将军、江州刺史。

太建十一年（579年），入朝为护军将军，加开府仪同三司，仍给鼓吹并扶。陈叔宝即位后，进号为中权大将军。

至德四年（586年），出为持节、都督东扬丰二州诸军事、东扬州刺史，加封侍中，余职并如以前。

祯明元年（587年），母亲严淑媛逝世，因而去职。明年，又起任为镇卫大将军、开府仪同三司，给班剑十人。

祯明三年（589年）正月薨，当时年仅四十岁。

因为陈伯山性格宽厚，风度仪表优美，又于诸王中年岁最长，后主陈叔宝深深敬重他，每当朝廷有冠婚飨宴之事，必定使陈伯山为主。及严淑媛逝世，陈伯山居丧时因为孝顺而出名。陈叔宝曾经驾临吏部尚书蔡征的府第，因此往吊唁严淑媛，陈伯山号恸殆绝，因此，起为镇卫将军，陈叔宝仍谓群臣曰：“鄱阳王至性可嘉，又是西第之长，豫章已兼司空，其亦须迁太尉。”未及下诏而陈伯山逝世，后来正值陈朝覆亡，遂无赠谥号给陈伯山。

辈分关系姓名简介父祖父亲陈蒨即陈文帝，南陈第2位皇帝。母亲严氏即严淑媛。子辈长子陈君范隋朝时温县县令。次子陈君通唐朝时淄州刺史。三子陈君宾唐朝时虔州刺史。孙辈孙子陈矩唐朝时穆州刺史，陈君通之子。