中国数据存储服务平台

亲历英特尔Spark开源训练营

都知道英特尔是一家生产处理器(CPU)的公司,其实,英特尔更是一家软件企业。根据以Apache的数据显示,英特尔在Hadoop社区贡献代码量排名全球第四,在Spark社区排名第三,甚至超过了很多专业的软件企业。

AMPCamp@China训练营现场

AMPCamp@China训练营现场
 
软件也非软件公司
最能够发挥处理器能力的当然非英特尔莫属,因此英特尔具备超强的软件实力,这一点都不奇怪。以英特尔提供的编译器为例,采用其编译软件,性能可以提升30%左右。尽管如此,但英特尔并不算是一家软件公司。究其原因,英特尔并不出售任何软件。
 
英特尔大多数软件来自其系统技术与优化部(STO),该部门的主要职责是为硬件平台和市场上流行或即将流行的主流软件技术提供优化的平台,让英特尔处理器硬件的性能能够得到充分的发挥,换句话说,英特尔要着力打造的不仅产品更包括生态链。一直以来,英特尔都致力于帮助合作伙伴和用户在开放架构上开发多样化、差异化的应用。
 
如今,大数据应用备受青睐。为了实现大数据创新愿景,英特尔开始对Apache Spark、Apache Hadoop等大数据技术开源社区提供全面支持。自2012年起,英特尔与美国加州伯克利大学展开了多个维度的紧密,针对Apache Spark开展技术开发、代码优化和应用拓展,成绩斐然。
 
带来文明的“火种”
 
就像神话中的普罗米修斯盗走火种,带给人类光明,英特尔同样致力于开源技术的推广和普及。 在美国,英特尔连续资助举办了五届AMPCamp大数据金牌训练营。5月23日,英特尔资助将AMPCamp移师中国,为中国企业软件开发人员搭建一个了解、学习和交流大数据前沿技术的平台,并进一步推进大数据技术在中国的技术创新与应用发展。
 
AMPLab开发的基于内存计算的Spark、Tachyon、GraphX、SparkR等大数据处理框架和技术,采用并行处理的编程方式,对于非结构化大数据、分布式内存文件、图计算/挖掘和R数据等复杂数据惕宫快速处理和分析,为大数据应用提供了高性能处理平台。通过举办AMPCamp@China训练营,中国企业的软件开发人员开始对Spark有了更多的认识和了解。
 
亲历AMPCamp@China训练营现场,记者仿佛穿越到了高校的课堂。尽管Spark、Tachyon、GraphX、SparkR等略有深奥,但我还能够听懂其中大部分的讲解。透过AMPCamp@China训练营,记者更加深刻体会了Apache软件基金会总裁Ross Gardler说过的一句话:开源更是一种软件开发方法。
 
何止软件开发人员

AMPCamp@China训练营现场

华东师范大学数据科学与工程研究院院长周傲英教授(右一)、南京大学PASA大数据技术实验室黄宜华教授(左一)、英特尔大数据首席架构师戴金权(中)现场接受媒体采访
 
“我们将进一步拓展和深化与开源社区、产业界、学术界的合作,所有基于开放架构的主流大数据软件技术,特别是开源技术,都是我们提供平台优化和技术支持的目标,”英特尔大数据首席架构师戴金权表示:“我们希望充分利用英特尔开放架构的潜能,并将这些逐步走向成熟的大数据技术推广、应用到广阔的中国市场中,使大数据技术能够真正转化成为各行各业解析数据价值、辅助业务发展的利器。我们也期望用户对大数据技术的更多采纳和应用能够反过来驱动大数据技术创新生态系统的加速发展,激发他们对更多、更具革新力的技术的探索,从而让技术的创新与应用形成互利互助的良性循环。”
 
 
在AMPCamp@China训练营现场,记者也采访到了华东师范大学数据科学与工程研究院院长周傲英教授和南京大学PASA大数据技术实验室黄宜华教授,了解到目前中国高校承担了大量的大数据基础科研项目。如南京大学承担的分布式大数据存储和查询技术、大数据并行计算模式系统、Hadoop系统性能优化、Spark性能优化与功能增强、分布式内存文件系统Tachyon性能优化与功能增强等10多项国家级、部省级、业界合作和自主研发的项目,其中很多研究成果已经发表,有些还申请了发明专利。华东师范大学成立了“数和据科学与工程研究院”,用于促进学科交叉,“用产学研政”协调创新,目前在内存数据库、知识图谱和位置服务等研发工作方面取得了突破性的进展。
 
要将这些科研成果转化为生产力,最重要的还在用户需要转变观念。周傲英教授指出,行业/企业用户长期采用服务外包的方式,为此投入了大量的资金。如果这些用户能够像互联网企业学习,将更多的资金投入到人才队伍建设,依靠自身的力量,通过大量使用开源软件,一定会取得更好的结果。但这个转变需要一个过程。
 
AMPCamp@China应该说是一个不错的开始,它为中国带来最新的技术和应用开发理念。如果说英特尔AMPCamp@China像普罗米修斯为中国用户“盗”来文明的火种,但接纳火种,使用火种,让火种发扬光大,这可就需要人类自身的学习和努力了,从这个意义上来说,所谓AMPCamp@China训练营,要学习的远非Spark、Tachyon、GraphX、SparkR等开源技术,要学习的也不限于企业软件技术开发人员,这也算是AMPCamp@China训练营所带来的一种启示。
 
 
未经允许不得转载:存储在线 » 亲历英特尔Spark开源训练营
分享到: 更多 (0)