AI深度学习高性能存储-人工智能-长虹佳华-数字智能

数据是推动AI革命的动力

YRCloudFile通过市场上标准的X86服务器为AI用户构建一套容量与性能可无限水平扩展的分布式文件存储，可承载数百亿个几十KB的小文件，为深度学习平台上万个客户端提供并发访问支持，满足AI训练中GPU或CPU计算集群的高带宽、低延时的小文件访问特性，使GPU等计算资源得到最大程度的利用，在数十亿文件数量下仍然能够提供稳定的数据访问性能，有效提升训练效率。

高性能数据访问缩短训练过程

高性能存储缩短了IO访问路径

支持基于RDMA（远程直接内存访问）协议的网络（如IB网络）,提高了数据并发处理的效率

通过文件系统性能的提升，使GPU持续处于高效率运转状态，从而缩短深度学习训练时间

承载海量文件将不再成为难题

深度学习训练过程以海量文件为基础，数据量的规模是人工智能企业提升模型精度的关键手段，各家人工智能企业通过提取、归类、分析等处理流程对数以亿计的图片和语音文件反复迭代，从而提高模型的准确性。

YRCloudFile元数据集群可按需在线扩展，单集群可承载数百亿文件，文件访问性能在海量文件场景下无衰减，单个文件系统命名空间承载的文件数量不再成为深度学习的瓶颈。

多级智能缓存，减少数据跨网络加载

AI深度学习的模型训练阶段，每个训练集数据量约几百GB到几TB，IO以读为主，传统的分布式文件系统在计算节点客户端只能通过内存缓存来提高客户端的数据加载性能，但内存缓存空间小、成本高、内存置换算法对AI场景没有针对性优化。

YRCloudFile智能缓存技术，对AI训练任务完全透明，结合面向AI场景的置换算法，极大提高训练过程中数据加载的命中率，数据加载性能可提升近500%。

为容器化训练任务提供数据

AI企业越来越多地借助Kubernetes编排平台对训练任务及GPU等资源进行调度，训练任务已经逐步运行在容器中。

YRCloudFile从产品定位上就设计了大量面向容器持久化存储的功能，包括Persistent Volume级别的Quota配置、QoS限速、ACL控制等。

这些功能使Kubernetes能对YRCloudFile存储能力进行规划和调度，使训练任务能通过PV管理和访问YRCloudFile中的训练数据。

YRCloudFile 高性能分布式文件存储产品架构图

相关产品

YRCloudFile 高性能分布式文件存储

YRCloudFile是焱融科技推出的一款高性能分布式文件存储系统，提供高性能、高可用、高扩展的文件访问接口，支持 Kubernetes 等主流容器编排框架，并率先在多种云环境下，提供容器持久化存储。更多

YRCloudFile是焱融科技推出的一款高性能分布式文件存储系统，提供高性能、高可用、高扩展的文件访问接口，支持 Kubernetes 等主流容器编排框架，并率先在多种云环境下，提供容器持久化存储。收起

产品咨询

F8000X 系列全闪存储一体机

全闪分布式存储一体机焱融追光 F8000X 系列，是焱融科技为了完美匹配 GPU 数据处理需求，倾力打造的新一代全闪分布式文件存储一体机产品。搭载第三代 AMD EPYC 计算平台和焱融高性能分布式文件存储系统 YRCloudFile ，采用全 NVMe SSD、InfiniBand 高速网络，支持 RDMA，以极高性能充分释放数据潜力。更多

产品咨询