近日,华为云擎天架构调度算法团队打破了51项由全球优化算法领域权威机构SINTEF维护的PDPTW榜单纪录,成为中国研究机构中最多纪录的保持者。
这也是继今年GECCO国际会议摘得运筹优化算法赛道双榜首后,华为云在分布式云资源调度、智能决策与优化等技术领域的再一次突破。
SINTEF PDPTW榜单纪录举例 (其中HW指代华为云擎天架构调度算法团队)
挑战:如何离理论最优解再近一步
科技工业研究院(SINTEF)是欧洲最大的独立研究机构之一,其在1999年发起并管理的PDPTW Benchmark,被认为是VRP(Vehicle Routing Problem)问题领域最权威的算法榜单之一,吸引了来自全球顶尖学者,及Emapa、DELMIA Quintiq、Terasoft等知名厂商参与。
VRP问题作为经典的NP-hard问题,已被学术界研究超过五十年,算法核心是在图网络中寻找满足一系列约束情况下的最优路径,工业上被广泛应用于分布式云资源调度、航线规划、物流配送等领域。而更复杂的约束条件、榜单上几近理论最优值的结果,使得刷新最好记录的难度大幅增加。
VRP问题示意图
突破:云上实践与算法理论的绝佳融合
云上的约束优化问题往往规模更大、约束更多,作为擎天架构的管控面,华为云瑶光智慧云脑通过元启发式及机器学习等算法,构建了“面向云场景的智能决策优化求解引擎框架”,以解决全域资源调度、智能资源碎片整理、边缘站点选址等大规模、复杂约束的多目标决策优化问题。其中的关键算法也运用到了本次打榜当中。
来自华为云擎天架构调度算法团队的天才少年、博士军团,联合华中科技大学吕志鹏教授团队,通过整合自适应大规模邻域搜索、禁忌搜索、引导式局部搜索等传统启发式优化算法,辅以创新的种群管理方法和基于统计模型的禁忌表策略,实现仅靠PC级别的计算资源,刷新SINTEFPDPTW榜单中的多项已知最好解纪录,其中一部分实例的优化幅度甚至超过了5%,实现云上实践赋能算法理论的进一步突破。
运用:极致弹性与智能感知的幕后黑科技
华为云擎天架构调度算法团队通过持续技术创新,除了在决策优化领域,还在实时分布式资源调度,多NUMA容量实时测算、容量预测与扩容管理、亚健康或与故障预测等领域取得了算法突破,最大限度满足用户对资源稳定与弹性的需求。
此外,华为云依托瑶光智慧云脑资源画像与预测能力,实现算力的智能推荐,让应用负载运行在最合适的算力之上。更可智能识别优质资源,针对任务型、可容错的算力密集型场景,提供超高性价比的竞享实例,在保证使用时长的情况下还可节省85%的使用成本。华为云基于擎天架构释放更多技术红利,为各行各业提供极致性能、极致稳定、多样性算力、云边端协同的云基础设施。
未来,华为云将持续发挥全栈技术创新能力,继续探索分布式云形态下全域调度、软硬协同等技术,为企业提供极优极简的云上体验。