大咖直播：如何建设大数据中台

本期大咖直播的嘉宾是易观首席技术官郭伟，他分享了《如何建设大数据中台》的主题，主要涉及三个方面:为什么要设立大数据媒体站，技术大数据媒体站的参考模式和思路，以及技术人员在大、中、小前台场景下应该做些什么。

现在和将来，大多数企业将逐渐成为数据企业，数字用户资产将成为这些企业的核心资产，人工智能和大数据等尖端技术也将成为基础设施，推动每个企业的业务用户和业务线的快速增长。事实上，大数据中心是企业从传统信息化向数字化演进的必然结果。

中国台湾是技术人员从后台到前台的过渡阶段。你为什么这么说？如下图所示，以投资银行为例。

如果您将投资银行的前台、中间和后台的定义映射到互联网或系统，您可以简单地理解前台赚钱，后台支持赚钱，而中间支持更快地赚钱。构建大数据中心站的实质在于将后台过去的工作转移到中心站，以进一步支持前台进行更高效的数据分析。

大数据平台非常流行，为什么需要为大数据构建一个中间平台？这是因为在构建大数据平台时有各种各样的难点。这里有三个要点:

大数据项目难以启动:大数据平台建设周期长，成本高，人员互联网操作经验不足。

大数据项目的效果难以体现:大数据如何解决互联网运营问题，大数据系统建设的结果是更多的商业智能报告，大数据建设的投资回报率无法衡量。

大数据项目难以实施:数据源众多且复杂，原始系统涉及多部门协调和沟通，以及数据治理问题。

整个大数据平台依次包括数据访问、计算、分析和操作。每一层都有各种具体的模块操作流程，如下图所示。

面对如此典型的大数据平台结构，我们如何提高效率？这里有五个想法。

让业务回归业务，尽可能避免业务人员等待技术反馈需求表的耗时过程。

进行实时数据分析，以满足操作员的需求。

可以更好地支持人工智能或增强智能覆盖的流行算法。

数据治理应该在业务方面进行，而不是在技术方面。

让业务人员和数据科学家直接看到反馈，而不是传统的软件处理方法。

从大数据平台到数据中心站是从技术到业务的飞跃。过去，我们只关注技术。在中央车站时期，我们从商业角度看待技术。

大数据媒体站大致可分为两种模式:大媒体站和深媒体站，如下图所示。

BAT类大数据媒体站被称为大媒体站，是一个更宽的数据媒体站。LaaS和PaaS位于底层，各业务线在此基础上进行二次开发。然而，对于小工厂来说，支持每条业务线的人力资源开发通用平台并不多，但每条业务线只能围绕自己的需求开发，这就是所谓的沈重平台(Platform)。

说到深层次的中国-台湾模式，这里需要提到的是数据河理论。什么是数据河理论？

data river理论是相对于数据湖而言的，数据湖收集了过去各种渠道的所有数据，为相关计算提供了便利。然而，随着时间的推移，它将逐渐成为一个数据沼泽，使得数据操作越来越困难。

数据河的出现是为了方便数据操作，使越来越少的数据在数据口径和数据治理中丢失。单个数据模型流经数据河。数据生成实时直接流向用户。不同的数据河流支持企业内数据的水生态。

深中国-台湾模式也是一种数据河流模式，允许数据直接流动。数据河的抽象概念可以在IOTA架构中实现，如下图所示。

IOTA是典型的ETL-remov

在这个易于查看的ARGO免费用户数据示例中，免费的非核心部分被打开，以支持私有化部署、跨终端用户帐户打开、实时复杂计算、深入分析和二次开发。

就像IOTA架构一样，技术人员在生成数据时调节原子口径，并通过实时查询定制索引将业务口径返回给业务人员。

人们会有疑问，数据在台湾很受欢迎，从事数据相关工作的人(如大数据工程师和数据分析师)的风向在哪里？

数据中心(data center)的出现实现了人员技术和业务的结合和飞跃，使数据技术人员不仅能够增加数据技术的广度，而且能够加强他们对前台业务的理解，成为一个新的跨领域“龙”型物种——数据中心工程师。台湾工程师在数据方面需要三种基本技能，即商业模型、交通模型和数据分析系统。

商业模式包括注意力操作、交易操作和利益操作。注意操作，这类产品都试图最大化用户在产品上花费的时间，如媒体、游戏和任何通过广告兑现的产品。关注的指标是粘性，如紫外线、光伏、访问持续时间、访问频率、用户访问周期、访问间隔等。交易操作，帮助用户做出购买决策，如电子商务平台、各种交易平台、生活服务、SaaS等。令人关切的指标是贸易和贸易活动，例如新商品的比例、被搜索商品的比例、GMV和ARPU。高效运行，这种产品帮助用户创建一种简单可靠的方式来完成现有的任务或工作流，如:工具、B2B等。注意力指示器是用户使用的深度指示器，例如用户完成的工作流数量和用户完成工作流的时间。

下图是台湾工程师在数据中必备技能的流程图。