首页|必读|视频|专访|运营|制造|监管|大数据|物联网|量子|元宇宙|博客|特约记者
手机|互联网|IT|5G|光通信|人工智能|云计算|芯片报告|智慧城市|移动互联网|会展
首页 >> 人工智能 >> 正文

AI大模型带动存储变革 业界呼吁重视存力建设

2023年8月2日 07:36  21世纪经济报道  

眼下,AI大模型正重塑着千行百业,也包括与之息息相关的算力产业链。

在AI芯片屹立风口之时,业内对存储芯片、存储设备的关注度也直线上升,HBM(高带宽存储)、近存计算等概念大热。

大模型建立在数据和算力之上,而海量数据(20.080, 0.12, 0.60%)(维权)需要更强悍的存储性能,从而更好地释放算力,因此在大模型的推动下,存储产业正在新需求下升级变革。

近日,华为数据存储产品线总裁周跃峰就向记者谈到了存力的重要性:“大模型时代,数据决定AI智能的高度。作为数据的载体,数据存储成为AI大模型的关键基础设施。”

一直以来,计算、存储和网络被视为数据中心三大件,它们是关系紧密的有机体系,分别对应着算力、存力和运力。如今在算力蓬勃发展的同时,存力正越来越受到重视。近年来国内建设了诸多算力中心,现在的新趋势是开始建设大量的存力中心。

打造AI大模型是一个复杂的系统过程,其间面临着不少挑战。在华为看来,企业在开发及实施大模型应用过程中存在四大挑战。

首先,数据准备时间长,数据来源分散,归集慢,预处理百TB数据需10天左右,这不利于系统的高效利用。

其次,如今大模型的规模越来越大,达到千亿甚至万亿的参数级,训练需要海量的计算资源和存储空间。比如多模态大模型以海量文本、图片为训练集,但是当前海量小文件的加载速度不足100MB/s,训练集加载效率低。

其三,大模型参数频繁调优,训练平台不稳定,平均约2天出现一次训练中断,需要Checkpoint机制恢复训练,故障恢复耗时超过一天。

最后,大模型实施门槛高,系统搭建繁杂,资源调度难,GPU资源利用率通常不到40%。比如,它需要非常专业的软件、硬件甚至是维护工程师来进行实施并进行后续的维护。

可以看到,大模型的到来,给数据和存储提出了新的要求。华为分布式存储领域副总裁韩振兴向21世纪经济报道记者表示:“在AI刚兴起的时候,针对小模型,很多客户会找一些服务器的本地盘来解决。但是随着大模型的兴起,需要一个外置的非常灵活扩展的存储。如果数据量载入过慢,会造成建设的算力都在闲置,所以需要一个不仅是外置的存储,而是一个极高性能的新品类和解决方案。”

为了解决这些瓶颈,头部的企业们已经开始牵头进行产业界合作。近期,华为针对不同行业、不同场景大模型应用,推出OceanStor A310深度学习数据湖存储与FusionCube A3000训/推超融合一体机。

其中,前者是面向基础/行业大模型场景,支持96闪存盘,带宽可达400GB/s,IOPS达到1200万;后者面向行业大模型的训练、推理一体化的场景,集成了存储、网络、多样性的计算,降低企业使用AI大模型的门槛。目前,华为的存储产品已在国内的十大模型厂商得到部署,包括科大讯飞(60.850, -2.03, -3.23%)、中国科学院等。

据悉,目前全球高端的存储设备厂商主要有三家,分别是华为、戴尔EMC和日立。随着AI大模型日新月异,企业对于高端存储的需求也将更进一步,华为、戴尔、日立等也将在存储的顶级战场上展开新一轮竞争。

周跃峰向21世纪经济报道记者算了一笔成本账单:在AI的大模型训练过程里,包括数据准备、接入实施等整体成本中,算力的成本占25%左右,即买服务器和GPU;数据准备、清洗与处理这些工作(包括人工)的成本大概占22%。

同时,周跃峰还举了一个例子来说明存储的重要性,由于英文的数字化记录资料远远多于中文,ChatGPT训练英文的效率比中文高很多。他表示,中国如果不重视存力,对未来AI的产业发展以及人工智能的潜力的发挥会有巨大制约作用。

数据显示,预计2025年中国数据量将从7.6ZB增至48.6ZB,超过美国成为全球第一。当前,全球各国都在加快制定国家数据战略,其中,存储技术和产业成为共同关注的战略重点。

虽然AI算力中心不断兴起,但是中国工程院院士、中国科学院计算技术研究所研究员倪光南指出,目前普遍对算力的理解有片面性,广义算力不仅包括算力,还包括存力、运力。当前中国算力中心的存力相对不足,存在重算力轻存力的倾向。

韩振兴也表达了类似观点,他谈道,在算力和存力的建设有一个最佳的算存比,并不是靠推算力就能把AI做好。算力建设过多、存力建设过少,这会导致算力闲置,造成资源的浪费。所以一定要去重视存力,达到一个最佳的整体算存比。

当前国内的存储发展还跟不上数据量的增长。根据倪光南提及的一组数据,中国单位GDP的数据存储量只有美国70%左右,而人均数据存储量,美国是中国的9倍。美国为212GB/人,中国约为25GB/人,说明中国数据存储产业大有可为、前景广阔。

在业界呼吁关注存力建设的同时,国内在政策面也有了更多支持计划。为进一步加快推动我国算力高质量发展,日前工信部新闻发言人赵志国表示,将出台指导算力基础设施高质量发展的政策文件,加大高性能智算供给,加强先进存储产品部署,开展算力网络优化行动,加快构建云边端协同、算存运融合的一体化、多层次的算力基础设施体系。

编 辑:路金娣
声明:刊载本文目的在于传播更多行业信息,本站只提供参考并不构成任何投资及应用建议。如网站内容涉及作品版权和其它问题,请在30日内与本网联系,我们将在第一时间删除内容。本站联系电话为86-010-87765777,邮件后缀为#cctime.com,冒充本站员工以任何其他联系方式,进行的“内容核实”、“商务联系”等行为,均不能代表本站。本站拥有对此声明的最终解释权。
相关新闻              
 
人物
工信部张云明:大部分国家新划分了中频段6G频谱资源
精彩专题
专题丨“汛”速出动 共筑信息保障堤坝
2023MWC上海世界移动通信大会
中国5G商用四周年
2023年中国国际信息通信展览会
CCTIME推荐
关于我们 | 广告报价 | 联系我们 | 隐私声明 | 本站地图
CCTIME飞象网 CopyRight © 2007-2024 By CCTIME.COM
京ICP备08004280号-1  电信与信息服务业务经营许可证080234号 京公网安备110105000771号
公司名称: 北京飞象互动文化传媒有限公司
未经书面许可,禁止转载、摘编、复制、镜像