设为首页
联系站长
加入收藏
 您的位置: Pecker's Home >> 文章频道 >> 业界新闻 >> 计算机 >> 正文
  IBM实验新系统:43分钟扫描百亿文件         
IBM实验新系统:43分钟扫描百亿文件
[ 作者:lxy编译    转贴自:比特网    点击数:402    更新时间:2011-7-25    文章录入:pecker

  基于对未来数据爆炸的担忧,IBM的研究人员近日搭建完成了一个超快速的存储系统,这一系统能够在43分钟内对100亿份文件进行扫描。

  这一新的系统轻而易举地击败了他们此前在Supercomputing 2007上演示的上一代系统。当时,上一代系统能够在三小时内对10亿份文件进行扫描。

  提高性能的关键是应用闪存来存储元数据,元数据主要用于信息定位。元数据一般存储于磁盘上,这也导致整个系统的访问较为缓慢。

  负责搭建这套新系统的IBM Research Almaden存储系统总监Bruce Hillsberg认为:“如果我们有非常快的存储介质的话,那么我们就可以更为迅速的进行数据操作。通过以固态存储介质存储元数据的方式,使我们能够更加快速地进行一些管理任务的操作。”

  IBM预计,其用户在未来几年中将会面对海量信息的挑战。

  “未来用户在存储和处理海量数据方面将花费大量的时间,因此他们将需要更有效的方式管理这些数据。”Hillsberg说。

  IBM为新的演示系统搭建起了一个拥有10颗8核处理器的服务器集群,这一集群配置了6.8TB的固态存储。IBM在新的系统上使用了Violin Memory的四个3205固态存储产品,这使得这一系统能够获得近5 GB/s的文件吞吐量。

  该系统同时还采用了IBM的通用并行文件系统(GPFS)3.4版本。Hillsberg表示,GPFS最初用于高性能计算系统的开发,不过如今,这一文件系统也同其他企业级大数据工作流联系起来。GPFS允许所有的处理器内核并行写入和读取磁盘,这样可以大大提高存储系统的响应速度。

  Hillsberg认为,如今的文件系统已经不仅仅适用于管理像跨多个存储系统形成单一命名空间这类的应用。2007年的那次演示,展示的是像GPFS这类并行文件系统如何用于高度可扩展的存储系统之上。而新的演示则是为了证明固态存储的性能魅力。

  研究人员同时还发布了一份白皮书,这份白皮书描述了系统架构方面的细节,以帮助第三方能够重新搭建类似的系统。

  IBM也可能将这种构思用于自己的产品之上,Hillsberg表示。早年间IBM在建设固态系统方面的研究工作如今已经结出了丰厚的果实,比如说IBM Easy Tier自动分层存储产品,这一产品能够帮助系统对固态硬盘和常规磁盘之间的数据进行自动均衡与迁移。

  “通过本次试验,我认为你会看到一些非常有趣的研究成果。”Hillsberg在谈到本次演示时表示。

  IBM并非唯一一家热衷于通过固态存储来提高性能的机构。在本月Association for Computing Machinery出版的《通讯》刊物上,来自于美国卡内基-梅隆大学和英特尔实验室的研究人员发表文章描述了一个新的服务器架构,这一架构内部整合了低功耗处理器和闪存,其可以显著加速大型网站的日常业务。

  同IBM的配置类似,这一组研究人员所搭建的Fast Array of Wimpy Nodes(FAWN)架构只需要相对更少的闪存来存储最经常被访问的数据。他们表示,尽管固态存储的成本要比传统磁盘贵上10倍,不过其至少可以达到两倍的性能提升。

分享到:
    免责声明:本文仅代表作者个人观点,与Pecker's Home无关。登载目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字和图片(或其他媒体形式内容)的真实性、完整性、及时性本站不作任何保证或承诺。请读者仅作参考,并请自行核实相关内容。如果有侵犯版权事宜,请通知master@peckerhome.com,我们将在第一时间删除该信息。
  • 上一篇文章: asd

  • 下一篇文章: 虚拟机是如何来到这个世界上的
  • 发表评论】【告诉好友】【打印此文】【关闭窗口
     最新5篇热点文章
    处理器架构消亡史[00140]
    通信恩仇,5G江湖[00281]
    官方辟谣扫码支付引爆加油…[00524]
    谷歌搭售是不是作恶?可以…[00285]
    你对Zigbee无线连接了解多…[00515]
     
     最新5篇推荐文章
    Pecker之家开通用于电子元…[02-13]
    印刷电路板图设计经验[04-04]
    基于电力线通信的家庭网络…[03-23]
    利用USB控制器设计的Windo…[01-20]
    基于ARM920T微处理器的IDE…[01-20]
     
     相 关 文 章
    闪存容量突破性进展[00295]
    传IBM将以10亿美元出售芯片…[00309]
    Marvell推出支持SATA Expr…[00314]
    Marvell为快速增长的移动存…[00282]
    联想23亿美元收购IBM X86服…[00332]

      网友评论:(只显示最新10条。评论内容只代表网友观点,与本站立场无关!)
        没有任何评论