大数据平台
大数据平台
大数据平台是将互联网产品和后台的大数据系统整合起来，将应用系统产生的数据导入大数据平台，经过计算后导出给应用系统使用。大数据平台将互联网应用和大数据产品整合起来，将实时数据和离线数据打通，使数据可以实现更大规模的关联计算，挖掘出数据更大的价值，从而实现数据驱动业务。大数据平台使得大数据技术产品可以落地应用，实现了自身价值。
总体来说：大数据平台可以分为四个部分：数据采集、数据处理、数据输出和任务调度管理。
数据采集
数据库数据
目前比较常用的数据库导入工具有 Sqoop 和 Canal。
Sqoop 是一个数据库批量导入导出工具，可以将关系数据库的数据批量导入到 Hadoop，也可以将 Hadoop 的数据导出到关系数据库。
Sqoop 适合关系数据库数据的批量导入，如果想实时导入关系数据库的数据，可以选择 Canal。Canal 是阿里巴巴开源的一个 MySQLbinlog 获取工具，Binlog 是 MySQL 的事务日志，可用于 MySQL 数据库主从复制，Canal 将自己伪装成 MySQL 从库，从 MySQL 获取 Binlog。
日志数据
日志是大数据平台重要数据来源之一，应用程序日志一方面记录各种程序执行状况，一方面记录用户的操作轨迹。Flume 是大数据日志收集常用的工具。Flume 最早由 Cloudera 开发，后来捐赠给 Apache 基金会作为开源项目运营。
前端程序埋点
所谓前端埋点，是应用前端为了进行数据统计和分析采集数据。
用户的某些前端行为并不会产生后端请求，比如用户页面停留时间、用户浏览速度、用户点选又取消等等。这些信息对于分析用户行为等都很有价值。但是这些数据必须通过前端埋点获得，有些互联网公司会将前端埋点数据当作最主要的大数据来源，用户所有前端行为，都会埋点采集，再辅助结合其他的数据源，构建自己的大数据仓库，进而进行数据分析和挖掘。
对于一个互联网应用，当我们提到前端的时候，可能指的是如下几类：
-
App 程序，比如一个 iOS 应用或者 Android 应用，安装在用户的手机或者平板上；
-
PC Web 前端，使用 PC 浏览器打开；
-
H5 前端，由移动设备浏览器打开；
-
微信小程序，在微信内打开。
这些不同的前端使用不同的开发语言开发，运行在不同的设备上，每一类前端都需要解决自己的埋点问题。埋点的方式主要有手工埋点、自动化埋点和可视化埋点。
-
手工埋点就是前端开发者手动编程将需要采集的前端数据发送到后端的数据采集系统。通常公司会开发一些前端数据上报的 SDK，前端工程师在需要埋点的地方，调用 SDK，按照接口规范传入相关参数，比如 ID、名称、页面、控件等通用参数，还有业务逻辑数据等，SDK 将这些数据通过 HTTP 的方式发送到后端服务器。
-
自动化埋点则是通过一个前端程序 SDK，自动收集全部用户操作事件，然后全量上传到后端服器。自动化埋点有时候也被称作无埋点，意思是无需埋点，实际上是全埋点，即全部用户操作都埋点采集。自动化埋点的好处是开发工作量小，数据规范统一。缺点是采集的数据量大，很多数据采集来也不知道有什么用，白白浪费了计算资源，特别是对于流量敏感的移动端用户而言，因为自动化埋点采集上传花费了大量的流量，可能因此成为卸载应用的理由，这样就得不偿失了。在实践中，有时候只是针对部分用户做自动埋点，抽样一部分数据做统计分析。
-
介于手工埋点和自动化埋点之间的，还有一种方案是可视化埋点。通过可视化的方式配置哪些前端操作需要埋点，根据配置采集数据。可视化埋点实际上是可以人工干预的自动化埋点。
爬虫系统
通过网络爬虫获取外部数据用于行业数据支撑，管理决策等。由于涉及到敏感内容，不做更多的展开。
数据处理
大数据平台的核心，分为离线计算和实时计算两类。
-
离线计算：由 MapReduce、Hive、Spark 等进行的计算处理。
-
实时计算：由 Storm、SparkSteaming 等流式大数据引擎完成，可以在秒级甚至毫秒级时间内完成计算。
数据输出
大数据处理与计算产生的数据写入到 HDFS 中，但应用程序不会到 HDFS 中读取数据，所以必须要将 HDFS 中的数据导出到数据库中。除了给用户提供数据，大数据平台还需要在一些后台系统中给运营和决策层提供各种统计数据，这些数据也写入数据库，被相应的后台系统访问。
任务调度
将上面三个部分有效整合和运转起来的是任务调度管理系统，它的主要作用是：
-
合理调度各种 MapReduce、Spark 任务使资源利用最合理
-
尽快执行临时的重要任务
-
对作业提交、进度跟踪、数据查看等功能
简单的大数据平台任务调度管理系统其实就是一个类似 Crontab 的定时任务系统，按预设时间启动不同的大数据作业脚本。复杂的大数据平台任务调度还要考虑不同作业之间的依赖关系。开源的大数据调度系统有 Oozie，也可以在此基础进行扩展。
Hadoop 不足
虽然 Hadoop 在通过批处理支持大型存储和 ETL（提取、转换和加载）作业以及支持机器学习任务方面大有价值，但它在支持公司和大型组织用来管理日常运营的较为传统的分析工作方面并非最佳选择。Hive、Dremel 和 Spark 等工具在 Hadoop 上面使用以支持分析，但 Hadoop 从未变得足够快，无法真正取代数据仓库。
Hadoop 还面临这样的挑战：NoSQL 数据库和对象存储提供商在解决 Hadoop 最初旨在帮助解决的部分存储和管理难题方面取得了进展。随着时间的推移，在 Hadoop 上支持业务连续性面临挑战，加上支持实时、地理空间及其他新兴的分析使用场合方面缺乏灵活性，这使得 Hadoop 面对海量数据时很难在批处理之外大有作为。
此外，久而久之，许多公司开始发现大数据难题越来越与此有关：支持一系列广泛的数据源，并迅速调整数据模式、查询、定义和上下文，新的应用程序、平台和云基础设施供应商就体现了这一点。为了克服这个挑战，分析、集成和复制就必须变得更敏捷更快速。许多供应商纷纷创办就体现了这个挑战，包括：
-
分析解决方案：比如 ClearStory Data、Domo、Incorta、Looker、FineBI、Microsoft Power BI、Qlik、Sisense、Tableau 和 ThoughtSpot
-
数据管道供应商：比如 Alooma、Attunity、Alteryx、Fivetran 和 Matillion
-
数据集成供应商：包括 Informatica、MuleSoft、SnapLogic、Talend 和 TIBCO（后者还凭借其 Spotfire 产品组合角逐分析领域）。