弘治六年（1493）正月，刘大夏被孝宗提升为右副都御史，开始受命治理黄河。弘治五年（1492）七月，黄河在张秋（今山东省阳谷东）决口，泛滥成灾，使漕运断绝。次年，孝宗命刘大夏全面负责治理黄河。刘大夏实地勘察，提出先治上游，分别开新河浚旧河，将水导入黄河故道及淮河。弘治八年（1495）在黄河沿岸筑堤160多里，黄河全部入海，溃决之患长时间内未再发生。