存储,而非硅,将引发人工智能的下一个突破

关于图形处理能力的辩论早已不新鲜。未来成功的人将是那些掌握数据存储位置的人。随着全球数据创作的持续爆炸,落后的公司将被锁在下一个创新阶段之外。

摘要

  • 数据量正在迅速增长,预计到2025年底,全球数据创建将超过200个zettabytes,超过所有人类之前的输出总和。
  • 中心化云存储是人工智能的瓶颈,因出口费用使成本上涨高达80%,并将大规模数据传输的时间延长至数天。
  • 去中心化存储网络提供了解决方案,通过独立节点对数据进行分片,并嵌入加密证明以满足合规审计要求。
  • 像欧盟人工智能法案这样的监管提高了风险,迫使可证明的数据来源——将存储提升为战略优先事项,而不是背景工具。

到2025年底,全球数据创建预计将达到200泽字节;这足以让每部电影播放超过1000亿次。这个估计涉及的数字内容比人类在之前所有年份中产生的总和还要多。

与这一激增并行,研究团队揭示了第一个公开发布的万亿参数语言模型。这个庞大的模型,其训练语料库本身就足以填满十年前的整个国家档案馆,是这样一个消耗每小时数千兆字节的巨兽的例子。

没有能够以这些新发现的规模摄取、分阶段和流式传输数据的存储管道,即使是最快的处理器也会在闲置中感到沮丧。

集中式云计算是新的瓶颈

大多数组织仍然依赖于为网页应用而设计的一小部分超大规模存储孤岛,而不是前沿科学。财务拖累是非常严峻的。

一项在四月发布的行业审计显示,隐藏的出口和检索费用可能会使实际存储成本增加高达80%,使得常规模型重训练成为预算破坏的努力。更糟糕的是,跨区域移动数十PB的数据可能需要几天时间;在竞争优势以迭代周期来衡量时,这简直是一个永恒。

因此,集中化不仅仅是抬高发票;它直接将不平等嵌入到人工智能经济中,使得拥有更深口袋的现有企业在所有其他企业中自动占据优势。针对这一现实,一种不同的蓝图正在获得动力,因为去中心化存储网络将数据分片到成千上万的独立节点上,为建立在平等基础上的未来铺平了道路。

同样重要的是,需要透明的审计追踪,以满足日益迫切的披露要求,说明交易数据是如何来源、整理和管理的。最终,监管将是决定明天模型是否能够见天日或面临诉讼的关键因素。

存储的新压力测试

实时人工智能现在已远远超出数据中心的范围,将模型推向工厂车间、医院和自动驾驶汽车。在这些边缘,因缓慢的 I/O 而损失的毫秒可能会导致生产故障或安全风险。

最新的MLPerf Storage v2.0基准测试证明了压力:在10,000个加速器上检查一个GPT级工作负载现在需要37秒,即使是一个100,000-GPU超级集群在等待磁盘时仍需停顿4.4秒,而不是进行数学运算。

除非管道能够以突发方式传输PB级数据,并将相同的数据复制到成千上万个微型站点,否则“边缘AI”将仍然是一个更多的主题演讲而非现实。分析师们已经在重复警告,存储吞吐量,而不是内存或网络,将是限制下一代集群的首要瓶颈。

监管增加了另一层紧迫感,例如欧盟的人工智能法案,该法案于8月2日进入第二轮执行——迫使通用模型提供者记录每一片训练数据……否则将面临高达全球营业额7%的罚款。

集中式孤岛难以满足这一要求。重复的副本模糊了来源,而不透明的出口日志使审计痕迹对会计师来说如同噩梦。相比之下,去中心化网络将加密复制证明嵌入其核心,将合规性变为副产品,而不是昂贵的附加功能。

忽视存储的代价是危险

随着边缘延迟以微秒为单位测量,法律惩罚以十亿为单位衡量,存储不再是背景工具;它是明天的人工智能可以合法和物理运行的唯一基础。仍然将容量视为商品项目的公司正在同等程度地冒着技术债务和监管冲击的风险。

计算创新将继续成为头条新闻,但如果不对(数据的存放地点和方式进行同样激进的重新思考,那么最先进的硅片将闲置,因为成本和合规风险不断上升。

人工智能主导权的竞争已经开始,胜利者将是那些将存储提升为一流战略优先事项、拥抱去中心化并建立从核心到边缘的审计准备管道的人。其他所有人将发现,任何数量的GPU性能都无法超越其堆栈基础中的瓶颈。

![凯·瓦兹内克])http://img-cdn.gateio.im/social/moments-d997b656a811b9c50640075883f8b493019283746574839201

凯·瓦夫兹尼克

凯·瓦尔兹尼克是Impossible Cloud和Impossible Cloud Network的共同创始人。他是一位经验丰富的企业家,拥有法律博士学位,并在建立成功企业方面有着良好的业绩记录。凯意识到在web3领域需要企业级解决方案,因此创立了Impossible Cloud Network (ICN),这是一种去中心化的云平台,旨在创建一个去中心化的AWS替代品。在ICN之前,凯创办了Goodgame Studios,一家在线游戏公司,将公司发展到超过1,000名员工,并创造了超过10亿欧元的收入,2018年通过反向合并在纳斯达克上市。

NOT-0.24%
查看原文
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 转发
  • 分享
评论
0/400
暂无评论
交易,随时随地
qrCode
扫码下载 Gate App
社群列表
简体中文
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)