浅谈Facebook图片存储系统HayStack概要

张友东 发表于:11年05月16日 00:42 [转载] IT168

  • 分享:
[导读]HayStack是Fackbook用于存储照片的系统,其存储照片的数量在千亿数量级

Haystack Directory的主要功能如下:

1, 提供逻辑卷轴到物理卷轴的映射,为写请求分配图片id;

2, 提供负载均衡,为写操作选择逻辑卷轴,读操作选择物理卷轴;

3, 屏蔽CDN服务,可以选择某些图片请求直接走HayStack Cache;

4, 标记某些逻辑卷轴为read-only;

HayStack中的图片顺序的存放在物理卷中,获取图片在物理卷中的偏移即可读取图片,图片的存储结构如下所示(每张图片称为一个needle)。

其中,key为图片的唯一标示,alternate key为尺寸的标示,flag为删除标志,size为数据大小,data为实际的数据。

HayStack为每张图片在内存中维护图片与其位置的映射表,在图片被写入时更新映射关系,每次系统启动时可通过读取物理卷并构造映射表,但这样做很耗时间,但HayStack通过为每张图片构造index file来简化了系统启动时映射表的构建,index file的结构如下所示:(其主要包含key与对应图片位置的映射关系,系统启动时,通过读取index file便能很快的构造映射表。)

[责任编辑:朱宇]
相信无人不知惠普存储融合之道,作为辐射企业级、消费电子、软件等从基础架构到终端的厂商,惠普融合之道确实搭建了一个非常利于其存储发展的大舞台。为此,在丰富惠普存储王国的过程中,3PAR的进入,不仅带给惠普存储新的力量,同时也带来了新的趋势,完善了惠普在中高端存储领域的阵营,不过,从HP搭台3PAR唱戏到HP和3PAR同台共舞,惠普一直坚持融合存储之道,将瞬捷战略也结合了起来。由此,我们便看到了HP 3PAR给存储业带来的新的惊喜,从而形成了MSA、Lefthand、EVA、XP、3PAR惠普的五虎上将。
官方微信
weixin
精彩专题更多
华为OceanStor V3系列存储系统是面向企业级应用的新一代统一存储产品。在功能、性能、效率、可靠性和易用性上都达到业界领先水平,很好的满足了大型数据库OLTP/OLAP、文件共享、云计算等各种应用下的数据存储需求。
12月15日,中国闪存联盟成立,同时IBM Flash System卓越中心正式启动
DOIT、DOSTOR、易会移动客户端播报中国存储峰会盛况。
 

公司简介 | 媒体优势 | 广告服务 | 客户寄语 | DOIT历程 | 诚聘英才 | 联系我们 | 会员注册 | 订阅中心

Copyright © 2013 DOIT Media, All rights Reserved.