阿里云大数据解决方案 阿里巴巴阿里巴巴大数据最新动态大数据统计

百度网盘课程

通用入口链接！10000G.课程都有！一起学习吧！

立即点击↓ 获取课程！

第四，数据应用

谈了这么多与大数据相关的定义和技术，如何将大数据转化为商业价值是另一个大话题。阿里在大数据应用中最早提出了保存、交流、使用三个概念，但现在大数据的应用更多的是数据反馈的闭环。根据数据反馈闭环，我 . 们将数据使用情况分为以下几个层次来描述：

第一，数据

所谓存储，其实就是大数据的收集和存储，前面一定有数据。其实之前的文章已经介绍过了。很多时候，如果连数据都没有，大数据只能是空中楼阁。所以，企业要想做大数据，首先要想办法拥有数据，或者收集、抓取、购买数据。

我前面说过，主要有两个问题：

第一个是指数据的互操作性。比如一个企业有很多信息孤岛，必须开放才能形成统一的大数据平台。关于沟通，最好的办法是企业建立统一的大数据平台，无论大数据平台是基于私有云(如生态解决方案)还是公共云(如阿里巴巴云数字Plus解决方案)。当所有的数据都上传到这个大数据平台，数据自然就打通了。

二是数据标准。如果你想让不同的数据源相互关联，有更大的作用，就像我上面说的，你必须有一个数据标准。如上所述，数据标准不仅可以指导ETL过程中的数据清理和数据验证，还可以使无线数据和PC数据相互通信，甚至在企业之间通信。

这些过程，我们可以称之为数据化的过程，也就是大数据的基本要素——数据的形成。

二、算法

使用，即大数据的处理和使用，是指采用数据技术的相关技术，对大数据进行处理、分析并最终创造商业价值的过程。在这个过程中，核心是算法。当我们谈到算法的时候，我们经常谈到发动机，但只提到发动机这个词，我们可能会更多地想到汽车的发动机。汽车发动机再复杂，输入输出都很简单。它需要的是汽油空气和输出动力(汽油的能量)。大数据的引擎可能是一套算法的封装，数据就是输入的汽油。通过引擎的转换，将数据中的能量输出并提供给更高层次的数据产品或服务，从而产生商业价值。

算法也是“机器学习”的核心，机器学习也是“人工智能”的核心，是使计算机智能化的根本途径。在过去的十年里，机器学习促进了无人驾驶汽车、高效语音识别、精确网页搜索和人类基因组认知的发展。

不使用数据，世界上的数据就没用了。算法实际上指的是如何在业务流程中有效地扩展人工管理和使用数据。

从根本上说，数据不会说话，只有数据没有价值。如果你有很多数据不知道怎么用，阿里曾经用了一个比喻，“坐在金山上吃馒头”。大数据的真正价值在于算法，算法决定行动。在不久的将来，“所有业务都将成为算法业务”，算法才是真正的价值。世界上所有大规模的东西都会被数据和算法管理。

DT时代的智能业务对算法提出了新的要求：迭代方向、参数工程等。的算法必须与业务逻辑、机制设计甚至价值导向相结合。当算法迭代优化时，它的方向不仅是由数据和机器本身的特性决定的，也是由我们对商业本质的理解、对人性的洞察和我们对未来创造新的商业外观的理想决定的。这就是为什么我们称算法为智能业务的“引擎”而不是“工具”的关键原因，而智能业务是智能的核心。完成“机器学习”，实现基于数据和算法的“人工智能”。

第三，数据产品(或数据应用)

正是数据产品(或数据应用)巧妙地将用户、数据、算法联系起来，这是产品在互联网时代显得尤为重要的根本原因。因此，智能商务成功最关键的一步往往是一款富有想象力和创新性的产品，它为某个用户问题定义了一种全新的用户体验方式，启动数据智能引擎，不断提升用户体验。

智能数据产品的要求非常高，不仅要与终端用户形成个性化、智能化的交互，还要有完善的用户体验和突破性的技术创新，最重要的是要重新记录数据，这样才能出现用户反馈的闭环。

整个过程自动化，智能化，可以通过学习来提高。它是大数据时代的灵魂，是智能商务的基础。智能商务的核心特点是能够主动了解用户，通过学习不断提升用户体验。智能商务成功最关键的一步往往是一个富有想象力和创新性的产品，它为某个用户问题定义了一种全新的用户体验方式，并启动数据智能引擎不断改善用户体验。智能模块和学习功能将成为应用程序的大脑

比如蚂蚁小额贷款，通过数据和产品的紧密集成，基于算法的数据智能可以起到实时的作用，最终可以实现二级借贷，这在传统金融服务中是无法想象的。同时不断收集用户获得贷款后产生的数据，作为以后更多判断的依据。

再比如搜索系统。用户的任何点击行为都被实时记录并反馈给智能算法引擎，智能算法引擎不仅优化了您的搜索结果，还优化了任何搜索此关键词的人获得的搜索结果。

这种智能业务是对传统业务的颠覆，是真正的“降维”攻击，胜者为王。

第四，反馈闭环

上面已经提到了自动化、智能化和学习促进的反馈闭环。闭环的形成决定了智能业务的形成，但闭环的效率决定了大数据的使用效率。因此，一个好的大数据产品不仅需要一个用户反馈闭环，更需要一个高效的用户反馈闭环。

用户行为通过产品实时反馈到数据平台，优化结果通过数据智能算法通过数据产品实时改善。在这样一个反馈闭环中，数据不仅是高速流动的介质，而且不断增值；算法不仅是驱动反馈闭环运行的引擎，而且

五，数据生态

DT时代将催化出大数据生态。DT时代的数据生态，我从如下两个方面来定义：

一、数据交换/交易市场

智能商业的基石就是数据，作为智能商业的第一要务，数据是最重要的。

数据作为生产资料，大数据时代的血液，好比汽车的汽油，没有汽油，再精美高端的汽车也无法运转。而数据的来源往往是多方面的，未来一个企业所用到的数据往往不仅仅是自身的数据，甚至是多个渠道交换、整合、购买过来的数据。对于“羊毛出在猪身上”的大数据商业形态，数据一定是流动的，数据只有整合关联，才能发挥更大的价值。

但是数据要实现交换，交易，正如我上文所言，我们最终所必须解决的是法律法规，数据标准等一系列问题。

二、算法经济/生态

分析认为，算法将形成一个全球性的交易市场，就像当年的App，催生出全新一代的专业技术初创企业，并且革新机器与机器之间的交互方式。

同时，更多的数据将生成更好的模型和用户体验，进而吸引更多的用户以及更多的数据，而这将导致储存和计算数据的成本持续降低。

曾发表报告，对算法经济可能带来的市场影响做出评估。

认为，无可避免地，算法经济将创造一个全新的市场。人们可以对各种算法进行买卖，为当下的公司汇聚大量的额外收入，并催生出全新一代的专业技术初创企业。

想象这样一个市场：数十亿的算法都是可以买卖的，每一个算法代表的是一种软件代码，能解决一个或多个技术难题，或者从物联网的指数级增长中创造一个新的机会。

算法是创造智能应用的基石，是大数据的核心价值。

也就是说，多个机器学习算法可以结合起来成为更强大的算法，从而更好地分析数据，充分挖掘数据里的价值。

在算法经济中，前沿的技术项目，无论是先进的智能助理，还是能够自动计算库存的无人机，最终都将落实成为实实在在的代码，供人们交易和使用。

广义的算法存在于大数据的整个闭环之中，从大数据平台、ETL(数据采集，数据清洗，数据脱敏等)、数据加工、数据产品等的每一个层面都会有算法支持。算法可以直接交易，也可以包装成产品、工具、服务，甚至平台来交易，最终形成大数据生态中的一个重要组成部分。

甚至有人认为好的算法能够摆脱很多公司对大数据的过度依赖。尽管数据在DT时代可能是最昂贵的生产资料，但若算法足够强大，大数据并非必须。如迁移学习能让计算机摆脱对大数据的严重依赖，从而让人工智能不再只是“富人的游戏”。

正如App经济变革了人类与机器的交互方式一样，我们将会看到，算法经济将会促进下一代机器对机器互动演进的巨大飞跃。

人们将会通过产品使用的算法来评价它的性能好坏。企业的竞争力也不仅仅在于大数据，还要有能够把数据转换为实际应用的算法。因此，CEO应该关注公司有产权的算法，而不仅仅是大数据。

正在涌现的机器智能平台可凭借“模型作为服务”的方式，托管预训练过的机器学习模型，从而令企业能够更容易地开启机器学习，快速将其应用从原型转化成产品。当企业们采用了微服务()发展范式后，接入并使用不同的机器学习模型和服务以提供特定功能的能力将变得越来越有价值。

所有的这一切，最终也离不开云计算，数据平台天然就是基于云计算来实现。而数据交换，算法交易则需要一个商店，云端就是目前最好的商店。不管是数据的互通，还是基于云端预训练、托管的机器学习模型，将促使每个公司的数据产品都能大规模地利用算法智能。

六，数加平台

2016年1月20日，阿里云在2016云栖大会上海峰会上宣布开放阿里巴巴十年的大数据能力，发布全球首个一站式大数据平台“数加”。

这一平台承载了阿里云“普惠大数据”的理想，即让全球任何一个企业、个人都能用上大数据。数加平台首批集中发布了20款产品，覆盖数据采集、计算引擎、数据加工、数据分析、机器学习、数据应用等数据生产全链条。

“这是一个人人都在谈大数据的时代，但只有极少数人在用大数据。”阿里云大数据事业部资深总监徐常亮特别强调“这些技术至少领先业界三年”，在输出自身大数据能力的同时，“数加”还向有数据开发能力的团队开放。这些团队可入驻“数加”，借助数加上的工具为各行业提供数据服务。“就像在淘宝开店一样，只是他们售卖的是专业能力。”

那数加到底是什么呢?我们从如下几个方面来分析一下：

一、数加的来世今生

我觉得阿里对数据的重视非常早，而且也是非常愿意投入的。

早在阿里云成立之前，应该是06、07年左右，七公就组建了一只数据平台部的团队，它就是数据事业部(CDO)的前身。在云端、数据魔方、淘宝时光机、淘宝指数、TCIF、阿里妈妈DMP、全景洞察等都是出自这个团队之手，这个团队专业解决淘宝早期数据仓库、数据集市、以及数据分析相关的专业问题。

09年的时候，王坚来到阿里，讲了云计算、大数据未来的愿景，可是当时没有几个人能听懂，但是，我觉得马总还是很厉害的，他信了。然后，阿里提出了云计算、大数据相关战略，阿里云也就在那时成立了。

数据平台事业部最早使用的并不是现在在用的(原ODPS)，而是，原集群令名为云梯1，当时阿里也在研发自己的计算平台，就是原ODPS，并令名为云梯2。

云梯2在开始的时候，并不是很好用，不过，拿到了内部一个很大的客户，就是阿里金融的蚂蚁小贷。基本上也可以这么说，没有蚂蚁小贷的磨合，基本很难有现在的。

云梯1、云梯2在内部争吵了很长一段时间，后来，出于各方的考虑，公司决定，启动登月项目，从云梯1全部迁移到云梯2。

不管是云梯1，还是云梯2，其实，都只是整个大数据技术生态系统中很小的一块，也就是计算引擎那一块，正如我上面所讲的，一个属于hadoop生态系统，一个属于阿里云自建的数加生态系统。

云梯1当时在内部使用也很广泛，所有内部的数据加工，数据应用基本上都是基于云梯1的，而且，云梯1通过5K项目，成功使单集群的规模扩展到了5000台。而云梯2的生态是后来慢慢建立起来的，包括底层计算平台，开发工具/组件，基于各自算法的计算引擎/服务，以及最上层的各种数据应用/产品，是在云梯1迁移到云梯2的过程中，这些工具，引擎，应用才慢慢完善，统一。

当然，现在阿里云的整个系统，包括内部系统，都是应用在数加的技术之上，这个也是阿里历来的习惯，把内部使用、验证过的东西，提供给社会使用。这样的好处在于与单纯做产品的大数据公司相比，胜在有场景，有需求，成熟度更高。

二、数加平台生态的组成

数加平台生态

个人觉得，可以用如下几个层面来描述整个数加生态体系：

1、数加底层技术平台

主要包括：

Maxcompute(原名ODPS)是“数加”底层的计算引擎。有两个维度可以看这个计算引擎的性能，1)6小时处理100PB数据，相当于1亿部高清电影。2)单集群规模过万台，并支持多集群联合计算。

AnalyticDB是实时多维分析引擎，可以实现百亿量级多维查询只需100毫秒。阿里巴巴内部很多面向海量互联网用户的产品的在线大数据查询，很大程度上依赖于AnalyticDB。

流计算(StreamCompute)具有低延时、高性能的特点。每秒查询率可以达到千万级，日均处理万亿条消息、PB量级的数据。

计算引擎之上，“数加”提供了最丰富的云端数据开发套件，开发者可一站式完成数据加工。这些产品包含：数据集成、数据开发、调度系统、数据管理、运维视屏、数据质量、任务监控。

整体来看，大数据开发套件的优势包括：支持100人以上协同设计、开发、运维;具有良好的扩展性;提供各个产品功能模块的OpenAPI，可二次开发;多个数据实例之间的数据授权机制，确保数据只能使用却不可见;提供白屏化的运维能力，以及字段级数据质量监控、机器预警、资源使用率监控等功能，让用户更好的掌控自己的数据及数据任务。

计算引擎与大数据开发套件相互依赖，组成了数加的底层技术平台，对应到我上文提到的Hadoop技术平台。

阿里云的主要目标应该是做好这个技术平台，并将平台的能力更多更快更好地开放出来，这一层才是阿里云大数据的核心竞争力。

2、数加应用平台生态体系

基于上面的技术平台，阿里在数加上还开放了规则引擎、推荐引擎、文字识别、智能语音交互、DataV可视化等数据引擎、服务、产品。这些产品很多都是从阿里自身的业务中提炼出来的，可以直接提供给企业使用，并组合成各种不同的解决方案。

比如：

“数加”发布的机器学习，可基于海量数据实现对用户行为、行业走势、天气、交通等的预测。图形化编程让用户无需编码、只需用鼠标拖拽标准化组件即可完成开发。产品还集成了阿里巴巴核心算法库，包括特征工程、大规模机器学习、深度学习等。

规则引擎是一款用于解决业务规则频繁变化的在线服务，可通过简单组合预定义的条件因子编写业务规则，并做出业务决策。比如，银行会设置如果10分钟内用户在两个省份交易，则需要电话确认。

推荐引擎是一款用于实时预测用户对物品偏好的数据工具，它能够帮助客户发现众多物品中用户最感兴趣什么。

文字识别提供自然场景下拍摄的图片中英文文字检测、识别以及常见的证件类检测和识别。

智能语音交互基于语音和自然语言技术构建的在线服务，为智能手机、智能电视以及物联网等产品提供“能听、会说、懂你”式的智能人机交互体验。

数加最终的目的，不是阿里云自己来研发所有这些数据服务，重点是“数加”大数据平台也将向有数据开发能力的团队开放。这些团队可入驻“数加”，借助数加上的工具为各行各业提供数据服务。阿里云计划用3年时间吸引1000家合作伙伴入驻，共同分享1万亿的大数据蛋糕。

基于底层的技术平台，上层开放则可以形成丰富的生态。通过开放式的平台，凝聚行业的力量，为更多的企业和个人提供大数据服务，这就是普惠的时代。大到行业的数据分析，预测行业发展方向;小到我们每一个个体，都可以享受大数据的服务，方便个人生活。

3、数加交易生态体系

基于技术平台与应用平台，个人觉得，未来可以在数加上构建一个大数据的交易市场，可以包括：

应用交易：上文中，我重点描述了数据生态以及算法经济，算法作为大数据时代的另外一个重要要素，未来也是可交易的。基于算法的各种引擎，服务，应用等，既然可以基于数加来开发，就可以不仅仅是自己用，甚至作为一个公共的服务或者产品来出售。

数据

标签： #阿里巴巴大数据最新动态