AI大模型崛起中，被忽略的存力支柱
【资料图】
编者按：本文来自微信公众号 脑极体（ID：unity007），作者：风辞远，创业邦经授权发布。
5月30日，在2023中关村论坛成果发布会上，《北京市加快建设具有全球影响力的人工智能创新策源地实施方案（2023-2025年）》正式发布。《实施方案》要求，支持创新主体重点突破分布式高效深度学习框架、大模型新型基础架构等技术，着力推动大模型相关技术创新。
这被业界视为中国将强力推动大模型发展的又一力证。事实上，近期从中央各部委到地方省、市，对于发展AI技术，把握大模型机遇的政策倾斜度不断上升，无论是政策出台密度还是整体战略高度，都达到了惊人的水平。
有理由相信，中国将实现一场以大模型为突破点的AI狂飙突进。自2017年开启新一代人工智能发展战略以来，中国将在目前机遇窗口中得到再发展，推动AI产业全面爆发。
我们都知道，抓住AI发展机遇，需要以技术突破与基础设施建设为基础，而提到AI产业的基础设施，普遍会提到AI芯片、深度学习框架、预训练大模型，却经常会忽略另一个关键问题：大模型将带来巨大的数据压力，数据存储也是AI发展进程中的支柱。
ChatGPT是这一轮AI爆发的引线，而接下来大模型规模化应用带来的数据难题，其实也早已写在了ChatGPT当中。
面对这种即将到来的压力，中国存力准备好了吗？
从2018年谷歌发布BERT，业界开启了预训练大模型之路。大模型的特点是训练数据规模与模型参数庞大，这将给存储带来严峻考验，这一点在ChaGPT中也展现无疑。
预训练大模型所谓的“大”，体现在模型的深度学习网络层数多、链接多、参数复杂，以及训练所用数据集种类更复杂，数据数量更丰富。在深度学习算法刚刚诞生时，主流模型只有几百万参数，而BERT发布时模型参数就已经过亿，将深度学习推进到了大模型阶段。到了ChatGPT这个阶段，主流模型已经有几千亿参数，甚至业界已经开始规划万亿模型。几年时间里，AI模型的参数提升几千倍，如此庞大的数据与模型都需要进行存储，这就成了AI爆发给存储的第一大考验。
此外，大家目前会广泛提到AI大模型采用了全新的模型结构，因此对非结构化数据会有更好的吸收效果与鲁棒性，这对于AI最终效果非常重要，但也带来一个衍生问题：我们需要妥善处理存储和调用海量的非结构化数据。比如说，ChatGPT在升级后加入了识图等多模态能力，因此其训练数据也需要在文本基础上加入大量图片，再比如自动驾驶车辆，每天要将大量实地测试视频存储起来作为模型训练依据。这些非结构化数据，带来了AI相关数据的海量增长，也带来了存储和处理这些数据的难题。
据统计，当前全球新增数据有80%都是非结构化数据，年复合增长率达到38%，应对多元化的数据激增，已经成为大模型时代必须克服的困难。
还有一个问题，大模型往往需要频繁读取和调用数据。ChatGPT的数据访问使用量达到单月17.6亿次，平均响应速度在10秒以内，并且AI模型的工作流程包括采集、准备、训练、推理四部分，每个阶段需要读写不同类型的数据。因此，大模型对存储性能也带来了要求。
此外，围绕ChatGPT展开的一系列数据主权、数据保护争议，也提醒我们AI大模型带来了数据安全方面新的风险。试想一下，如果不法分子攻击数据库，从而令大语言模型生成错误信息欺骗用户，其危害结果既严重且隐蔽。
综合来看，ChatGPT虽好，但其对数据存储的规模、性能、安全等方面都提出了挑战。当我们致力于发展大模型和类ChatGPT应用的时候，存储这关不得不过。
最近几年，我们都在说算力就是生产力。但有算就要有存，存力的极限，也决定了数字化生产力发展的上限。
那么，在接下来必然出现的中国大模型狂飙突进中，中国存力是否已经做好准备了呢？很遗憾，从几个方面来看，今天中国存力的准备依旧不充分，需要进一步升级和发展。我们可以一同来关注一下中国存力存在的几个问题，看看他们是否对应了大模型带来的数据压力。
1.存力规模不足，限制AI产业发展上限
大模型将带来海量数据，那么第一要务就是将这些数据进行妥善存储。但在目前阶段，中国依旧有着存力不够，大量数据甚至无法进入存储阶段的问题。从2022年数据来看，中国数据生产量已经达到了惊人的8.1ZB，位居全球第二。但中国存力规模只有1000EB左右，这意味着数据可存储率仅为12%，绝大多数数据无法得到有效保存。当中国已经明确数据作为第五生产要素的地位，智能化发展需要依靠数据、充分利用数据，却有海量数据难以完成保存，这之间的问题不可谓不严重。中国仍然需要保持高速、大规模的存力增长，才能把握大模型带来的AI技术发展机遇。
2.海量数据冲击下，管理效率和存取效率低
上文讨论过，AI大模型带来的主要数据挑战，是海量数据的管理效率和处理存取效率低。提升存取效率，要求数据以高效率、低能耗的方式完成存写，但目前在中国仍然有75%的数据在使用机械硬盘。相对于闪存盘，机械硬盘容量密度低、数据读取慢、能耗高、可靠性差，相对来说，全闪存具有高密度、低能耗、高性能、高可靠的一系列优点，但中国全闪存替换依旧有较长的一段路要走。
3.多重数据隐忧，导致存储安全形势严峻
数据安全问题，已经成为AI公司乃至AI产业迫切关注的问题。在2020年美国的Clearview AI公司发生数据安全事故，造成2000多家客户的30亿条数据泄露。这个案例向我们展现了AI产业的数据安全形势十分严峻，我们必须从数据存储阶段开始重视安全。尤其当AI大模型在国计民生中扮演的角色愈发重要，就更需要存储提升安全能力，以应对各种可能存在的风险。
客观来看，中国存力已经保持了较高的发展速度，但在整体规模、全闪存占比以及技术创新能力上，依旧具有一定程度的不足。一场面向产业智能化需求与AI大规模落地的存储升级已经时不我待。
结合ChatGPT所代表的AI大模型带给存储的压力，以及中国存力本身的发展现状，我们可以很清晰得出一个结论：中国存储必须支撑AI崛起，完成大规模的升级。
我们可以清晰看到存储产业的发展方向，这些方向的急迫性与广阔空间，构成了存储产业的重大机遇。
首先，需要扩大存力规模，加速全闪存建设。
全闪存替换机械硬盘的“硅进磁退”，是存储产业多年来的整体发展趋势。面对AI崛起的产业机会，中国存储产业需要加快全闪存替代的实施与落地，最大化发挥出全闪存高性能、高可靠等优势，以应对AI大模型带来的数据存用需求。
此外，还必须注意的一点是全闪存化分布式存储的机会正在加大。随着AI大模型的崛起，非结构化数据的爆发，数据重要性正在显著提升，同时AI已经深入到大型政企的生产核心，更多企业用户倾向进行本地化的AI训练，并且采用基于文件协议的数据存储，而不是数据放到公有云平台，这就导致分布式存储的需求得到提升和加强。
二者结合，持续快速推动存储产业的全闪化落地，就成为了中国存储产业发展的核心赛道。
其次，需要提升存储技术创新，适配AI模型的发展需求。
上文提到，AI带来的数据考验不仅仅是数据规模大，更是数据复杂性与应用流程多样性的挑战，因此存储的先进性必须得到进一步提升。比如说，为了应对AI频繁的数据访问需求，存储的读写带宽和访问效率都需要进行升级。为了配合AI大模型的数据需求，存储产业需要进行全方位的技术升级。
在数据存储格式方面，传统的数据格式，比如“文件”“对象”，最初的设计意图并不是匹配AI模型的训练需求，并且非结构化数据的数据格式不统一，使得在AI模型调用数据的过程中，会产生大量对文件格式进行重新理解、对齐的工作，进而造成模型运行效率下降，训练算力消耗增多。
为此，就需要在存储侧形成新的“数据范式（Data Paradigm）”。以自动驾驶训练为例，不同类型的数据都参与到了数据训练的进程当中，如果在存储侧采用了新的数据范式，就可以帮助各种数据统一起来，更好地适配到AI模型训练当中，从而加速自动驾驶车辆的训练工作。打个比方，如果把AI想象为一种新的动物，它需要吃一种新的饲料，如果把传统格式的数据喂给它，就会产生消化不良的问题，而新数据范式，就是在存储侧构筑完全适合AI的数据，从而让“喂养AI”的过程丝滑顺畅。
在AI开发工作中，数据管理的工作量占比巨大，不同数据集之间还会存在数据孤岛问题，而数据编织技术能够效应对这些问题。通过数据编织，可以让存储内置数据分析能力，把物理逻辑上散布的数据整合起来，形成全局视图化的数据调度和流动能力，从而有效管理AI带来的海量数据，达成数据利用效率的提升。
这些存储侧的技术创新，可以让数据存力与AI发展形成更加紧密的契合关系。
此外，需要将安全能力纳入存储本身，强化主动安全能力。
伴随着AI发挥的价值越来越大，数据安全问题带给企业用户的损失也更多。因此，企业必须提升数据安全能力。其中最重要的一点是要提升数据韧性，让存储本身具有安全能力，从源头上守护数据安全。接下来，更多数据韧性能力将被内嵌到数据存储产品中，例如勒索检测、数据加密、安全快照和AirGap隔离区恢复特征等。
值得注意的是，目前业界已经有了面向AI大模型崛起，进行存储全面升级的探索与尝试。华为存储通过高质量的全闪存产品，融合先进的存储技术、内嵌的安全能力，实现了存储创新与AI发展的紧密契合，相向而行。
整体而言，存储产业的发展与中国存力的进步，对于AI大模型的落地，乃至千行百业的智能化升级，都有着举足轻重的意义。脱离了存储的发展，AI带来的数据洪潮将难以妥善化解，AI技术甚至可能由于缺乏数据支撑，变成无本之源，无根之木。
智能时代的机遇与责任，恰好同时摆在了存储产业面前。在华为等优秀品牌的存力探索下，中国存储正迎来史无前例的机会，也在承担时代给予的责任。
很多业界专家认为，大语言模型是AI历史上的“iPhone时刻”，那么AI技术带来的存力升级潮，或许也将成为中国存储产业的里程碑时刻，成为一个黄金年代的序章。