网站首页 实验室介绍 运行管理 技术研究 合作交流 成果及服务 招聘信息 联系我们
实验室新闻

 
 
 实验室成功举办“AI for Storage”技术培训活动

2021-01-07 11:01:38


1月5日,主机系统国家工程实验室(以下简称“实验室”)在线上举办了“AI for Storage”技术培训活动。本次活动由实验室和存储产业技术创新战略联盟共同主办,邀请华中科技大学、武汉光电国家研究中心王桦副教授就智能存储相关研究展开交流,共吸引190余名科研技术人员参与讨论。

以下为嘉宾演讲内容回顾。

数据量指数级增长,导致数据空间和存储系统的复杂性增大。如何应对两者复杂性增大带来的挑战,成为当下存储系统面临的重大问题。

针对这两个挑战,采用人工智能技术对存储系统运行数据进行分析,以提高海量数据管理和存储系统运维的效率,成为存储系统研究的一种趋势。那么,这种新型智能存储应该具有什么能力,我们需要问几个问题:

一、AI驱动的新型智能存储系统具体能做什么,能为我们提供什么?

二、围绕上个问题提出的顶层目标,新型智能存储的系统结构与工作流程应该怎样设计?

三、其中存在哪些关键技术?

在上述几个问题当中,第一个问题最为核心,它指明了研究的方向。简单归纳一下,AI具有的核心能力主要分为两个方面,一个是针对数据空间的高复杂性挑战,AI赋予数据本身一定的内容认知能力或者说表达能力。在此基础之上,可以实现数据内容查询、数据内容分区存储等功能。此外,针对存储系统本身的高复杂性挑战,AI赋予存储系统一定的感知决策能力,比如我们正在研究的智能缓存、故障预测、自动调参等工作。

当前,产业界和学术界都非常关注存储的智能化发展,AI与存储系统相结合的步伐正在加速,新型智能存储系统呼之欲出。

下面将介绍研究团队近年围绕 AI for storage 所开展的几项关键的实践:内容筛选存储、智能缓存分配、磁盘故障预测。

一、内容筛选存储

分析大规模的图像数据需要首先从磁盘读取所有的图像,这导致了很高的读取延迟。

因此,团队提出了一个内容筛选存储(Content Sifting Storage,CSS)系统,其目的是通过只读取筛选后的相关数据来减少读取延迟。

CSS 通过深度学习生成嵌入的内容元数据,通过语义汉明图(Semantic Hamming Graph)对元数据进行管理,实现了基于内容相似度的数据查询与筛选。大量实验结果表明,与传统的语义存储系统相比,内容筛选存储可以大大减少 82.21% - 94.8% 的读取延迟,召回率达到 98% 以上。

二、智能缓存分配

随着云计算的广泛部署,云租户的数量正在显著增加。为满足不同租户要求,云块存储系统因其高可靠性、通用性、可弹性等特点,已被云计算厂商广泛部署。但是,部署云块存储系统后,动辄就得服务数百万虚拟存储卷,要么还得支撑百万云虚拟机的稳定运行。庞大的存储体量,让云块存储系统压力甚大。想要优化云块存储系统性能,就必须得优化缓存,而缓存性能建模是优化缓存的重要手段。

现有方法都采用树结构来统计数据块历史访问信息,而树结构的搜索复杂度已达到 O (logN),因此当前方法的可优化空间比较有限。

本次研究中,团队解决了云块存储系统(Cloud Block Storage)中多个实例共享的缓存资源管理问题,提出了一种具有缺失率曲线(Miss-Ratio Curve)的动态缓存分配在线模型 OSCA(Online-Model based Scheme for Cache Allocation)。OSCA 能在超低复杂度下,找到一个接近最优的配置方案,从而提高缓存服务器的整体效率。

三、磁盘故障预测

大型数据中心的存储系统通常由成千上万个磁盘组成,如果磁盘发生故障且数据无法恢复,可能导致灾难性的后果。因此,磁盘故障预测越来越受重视。

但随着时间的推移,存储系统中会有一些坏掉的磁盘被替换成新磁盘,这些新磁盘的型号甚至是厂商可能都跟老磁盘不同,使得存储系统出现“异构”状态。由于缺乏足够的训练数据,传统的方法无法有效预测异构系统中的故障。

研究团队提出了一种基于高维磁盘状态嵌入的通用磁盘故障预测(High-Dimensional Disk State Embedding ,HDDse)方法。HDDse 整个架构的核心是 LSTM (Long Short-Term Memory)孪生网络,LSTM 可以在长期状态行为中学到数据分布的变化。试验结果表明,HDDse 在遇到新的磁盘型号数据集时可以不需要重新建立或维护新的模型,因此具有强大的适应性。

随着5G、大数据为代表的新基建不断落地,现代数据中心正迅速崛起,新型的存储器件、软件技术及解决方案的发展使得存储系统愈发复杂,解决存储系统的复杂性需要人工智能技术加持。本次培训活动对AI驱动的新型智能存储系统展开了深入地学术探讨,助力实验室在存储技术领域获得前瞻性的技术创新与突破。

 

[ 字体大小: 14 12 9 ] [ 打印]

主机系统国家工程实验室 | 联系我们 | 鲁ICP备13028953号
© 2016 Hsslab