首页 > 爱酱攻略 >AI 训练新利器:EROFS 文件系统支持 48 位寻址,突破 16TiB 容量限制

AI 训练新利器:EROFS 文件系统支持 48 位寻址,突破 16TiB 容量限制

2025-03-24爱酱手游网

本站 3 月 24 日消息,科技媒体 phoronix 昨日(3 月 23 日)发布博文,报道称随着 Linux 6.15 内核周期的临近,开源的只读文件系统 EROFS 将迎来重大升级,新增 48 位寻址支持,以应对 AI 模型训练所需的海量数据处理需求。

当前 EROFS 的 32 位块寻址限制了文件系统,最大容量为 16TiB(使用 4KiB 块)。新增的 48 位寻址支持将大幅扩展文件系统的容量,让其更适合处理 AI 训练中的大规模数据集和对象存储客户端的需求。

本次更新扩展核心磁盘结构(如 inode、设备槽和 inode 块),并引入 32 字节紧凑 inode 的 mtime 字段以支持基本时间戳功能。

本次更新还优化了压缩性能。为提升 Zstd 压缩算法的效率,新版引入了字节导向的编码扩展,允许压缩器保留其当前方法。测试显示,使用 48 位寻址后,Zstd 镜像构建时间显著缩短,在 Intel Xeon Platinum 8163 CPU 上,构建时间从 3 分 52 秒缩短至 12 秒。

本站注:EROFS(Enhanced Read-Only File System,增强型只读文件系统)是一种轻量级的只读文件系统,最初由华为开发,现由全球开源社区维护。它专为各种只读使用场景设计,不仅仅是为了节省存储空间,更是提供高性能的解决方案。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表本站立场。文章及其配图仅供学习分享之

6526
166

同类推荐更多

精品蜜桃秘的一区二区三区差异是什么?如何选择最适合你的蜜桃?

精品蜜桃秘的一区二区三区差异是什么?如何选择最适合你的蜜桃?

最火的爱酱攻略

2025-01-27

精品蜜桃秘,一直是水果界的佼佼者,凭借着甜美多汁的口感和丰富的营养价值,赢得了消费者的喜爱。而在蜜桃的种植和销售过程中,一区、二区、三区的划分,也让这种水果在市场上展现出不同的品质和特色。那么,精品蜜桃秘的一区、二区、三区分别代表着什么?它们之间的差异和优势又是什么呢?本文将为您一一解答。 精品蜜桃秘的区域划分 精品蜜桃秘的种植区域通常分为一区、二区、三区,这种划分是为了根据不同的气候、土壤和种