一季度大数据热门工具相关事件整理

说到最近的大数据名人，不得不提的是，这几年人气大涨。今年动作比较频繁。1月初大版1.6刚发布，3月即将推出2.0版。

此外，在2月底举行的东部峰会上，硅谷最热门的大数据初创公司也讨论了内存数据处理工具的未来发展方向，并发布了一系列相关提示。该公司是由麻省理工学院的原始团队作为项目背后的核心业务支持者创建的，它在这一技术成就的演变中发挥了重要作用。

Databricks的CTO、Spark的创始人MateiZaharia谈到即将发布的Spark2.0，并提到这个版本将有三个核心变化。利用钨项目的下一个开发阶段，解决Java内存处理的局限性，加快Spark操作；Spark改进为实时数据流系统；将Spark目前使用的结构化数据API(包括数据集和数据框架)统一为单一API。

但是，演讲中没有提到，却被Spark支持者广泛关注的一个细节，就是Spark应该如何进一步与ApacheArrow融合。这个新项目旨在为列数据提供内存版本，以实现快速访问。

3月初，思科宣布计划未来3年在德国投资5亿美元，并设立1.5亿美元的创新基金，帮助加强其Spark服务，挑战企业通信服务提供商SlackTechnologies。思科一直试图让自己的协作工具Spark比流行的Slack服务更好。

3月初，霍顿工程有限公司(Nasdaq :hdp)和惠普企业(NYSE :hpe)的核心研究机构惠普实验室(HewlettPackardLabs)宣布了一项新的合作，以增强ApacheSpark这一最活跃的Apache大数据项目之一。这种合作将侧重于一个新的分析工作类别，这将受益于大量的共享内存。并公布了早期合作成果，更强的传输引擎技术可以更快地在内存中进行排序和计算；更好的内存使用可以实现更大的可扩展性，同时提高性能和使用率。

此外，Hortonworks和HewlettPackardEnterprise计划将新技术引入亚太社区。

去年年底，谷歌开放了深度学习网TensorFlow的源代码。去年12月，Facebook分享了人工智能的硬件设计。今年1月，百度开源关键人工智能(AI)软件Warp-CTC披露了关键代码。同时，微软也开通了类似的网络CNTK。中国搜索引擎巨头百度也披露了深度学习培训软件。