2014年 ， 马云提出 ， “人类正从IT时代走向DT时代” 。如果说在IT时代是以自我控制、自我管理为主 ， 那么到了DT（Data Technology）时代 ， 则是以服务大众、激发生产力为主 。以互联网（或者物联网）、云计算、大数据和人工智能为代表的新技术革命正在渗透至各行各业 ， 悄悄地改变着我们的生活 。
在DT时代 ， 人们比以往任何时候更能收集到更丰富的数据 。IDC的报告显示：预计到2020年 ， 全球数据总量将超过40ZB（相当于40万亿GB） ， 这一数据量是2011年的22倍！正在呈“爆炸式”增长的数据 ， 其潜在的巨大价值有待发掘 。数据作为一种新的能源 ， 正在发生聚变 ， 变革着我们的生产和生活 ， 催生了当下大数据行业发展热火朝天的盛景 。
但是如果不能对这些数据进行有序、有结构地分类组织和存储 ， 如果不能有效利用并发掘它 ， 继而产生价值 ， 那么它同时也成为一场“灾难” 。无序、无结构的数据犹如堆积如山的垃圾 ， 给企业带来的是令人咋舌的高额成本 。

文章插图
在阿里巴巴集团内 ， 我们面临的现实情况是：集团数据存储达到EB级别 ， 部分单张表每天的数据记录数高达几千亿条；在2016年“双11购物狂欢节”的24小时中 ， 支付金额达到了1207亿元人民币 ， 支付峰值高达12万笔/秒 ， 下单峰值达17.5万笔/秒 ， 媒体直播大屏处理的总数据量高达百亿且所有数据都需要做到实时、准确地对外披露……这些给数据采集、存储和计算都带来了极大的挑战 。
在阿里内部 ， 数据工程师每天要面对百万级规模的离线数据处理工作 。阿里大数据井喷式的爆发 ， 加大了数据模型、数据研发、数据质量和运维保障工作的难度 。
同时 ， 日益丰富的业态 ， 也带来了各种各样、纷繁复杂的数据需求 。如何有效地满足来自员工、商家、合作伙伴等多样化的需求 ， 提高他们对数据使用的满意度 ， 是数据服务和数据产品需要面对的挑战 。
如何建设高效的数据模型和体系 ， 使数据易用 ， 避免重复建设和数据不一致性 ， 保证数据的规范性；如何提供高效易用的数据开发工具；如何做好数据质量保障；如何有效管理和控制日益增长的存储和计算消耗；如何保证数据服务的稳定 ， 保证其性能；如何设计有效的数据产品高效赋能于外部客户和内部员工……这些都给大数据系统的建设提出了更多复杂的要求 。
本书介绍的阿里巴巴大数据系统架构 ， 就是为了满足不断变化的业务需求 ， 同时实现系统的高度扩展性、灵活性以及数据展现的高性能而设计的 。
如图1.1所示是阿里巴巴大数据系统体系架构图 ， 从图中可以清晰地看到数据体系主要分为数据采集、数据计算、数据服务和数据应用四大层次 。
图1.1 阿里巴巴大数据系统体系架构图
1．数据采集层
阿里巴巴是一家多业态的互联网公司 ， 几亿规模的用户（如商家、消费者、商业组织等）在平台上从事商业、消费、娱乐等活动 ， 每时每刻都在产生海量的数据 ， 数据采集作为阿里大数据系统体系的第一环尤为重要 。因此阿里巴巴建立了一套标准的数据采集体系方案 ， 致力全面、高性能、规范地完成海量数据的采集 ， 并将其传输到大数据平台 。

• 风信子的图片大全 好看的风信子图片欣赏
• 什么是疥疮结节图片 啥是疥疮结节
• 小学生精选作文 小学作文素材
• 东南缺角图片 东西两向凹缺角
• 斑鸠豆腐树叶图片 斑鸠豆腐叶是什么树
• 直通车图的制作 直通车神图做法
• 虐心的句子配图片 虐心的说说配伤感图片
• 狮子山风水 狮子山风水分析图解
• 风水尺子 风水学的尺子有多少种图解
• 四十八局水法图解 风水48吉向