创造概念在IT行业并不是一件奇怪的事情。汉语博大精深，新名词新概念往往简洁精准，既能被大众接受，又能被专家把玩，真正做到雅俗共赏，各有所趣。 近年来，数据平台、数据湖、数据集市等的流行。，都被不同的名字搞糊涂了，真让人摸不着头脑...就像我们清楚地知道，一个企业要进行数字化驱动架构之前，必须建立统一的数据标准和规范，用统一的、易懂的语言描述一件事情是多么重要。 同样的道理，在我们了解“大数据”和“数据中心”的相关知识之前，我们有必要一下子把我们经常遇到的概念搞清楚，包括数据仓库、数据集市、数据仓库湖、大数据平台、数据中心，以便在以后的学习和建设中能够清晰的区分开来。 在回答以上问题之前，我们先来看看数据中心应该如何知道。阿里认为数据中心的三大核心能力是:OneModel负责统一的数据建设和管理，OneID负责核心业务元素的资本化，OneService负责提供统一的数据服务。 边肖认为，数据中心的核心能力是数据能力的通用化、共享和重用。他们对数据中心的定义看似差别很大，但仔细分析，几乎是一样的。 换句话说，“通用性”是为了实现“OneModel”，“共享”是为了“OneID”和“重用”，让“OneService”更有意义。 在数字化的不同阶段，管理手段各尽其能。随着大数据技术的不断升级迭代，数据管理工具发展迅速，从数据库、数据仓库、数据集市、数据湖，到大数据平台，再到今天的数据中心。其实，把它们比作一次“数据之旅”，就不难理解，在数字化的不同阶段，每一种管理手段都不确定谁取代了谁。准确地说，它们都有各自的功能和特点。 下面简单总结一下数字化运营不同阶段各种管理方式的作用和亮点。 1.数据库:传统关系数据库的主要应用是基本的日常事务解决方案，如银行事务。 2.数据仓库:数据仓库系统的主要应用是OLAP，支持复杂的数据分析，侧重于决策支持，提供直观易懂的查询结果，可以实现业务的历史快照、汇总数据、高纬度分析。 3.数据集市(Data mart):可以理解为“小型数据仓库”，只包含单个主题，关注范围不是全局的。这些数据是从企业范围的数据库和数据仓库中提取的，以满足专业客户群的特殊需求。它面向部门业务或特定主题，很好地处理了灵活性和性能之间的矛盾。 4.数据湖(Data Lake):存储企业各种原始数据的大型仓库，在这里可以对数据进行访问、求解、分析和传输，主要处理“看数据”的问题。数据湖作为全球数据汇聚和解决方案的核心功能，在数据中间站的建设中至关重要。数据湖除了为数据仓库提供原始数据外，还可以直接为上层数据应用提供服务。 5.大数据平台:个性化、多样化的数据，主要解决海量数据存储、计算、流数据实时计算等场景的一套基础设备。利用大数据平台，企业可以比竞争对手更快地做出数据驱动的决策，更快地推出符合用户需求的产品。 6.数据中心:我们知道所有的数据工具都是为了从数据中提取价值以支持更有效的数据管理而构建的，所以创造具有实际价值的数据和从数据中产生的知识是没有用的，也没有必要在这个系统上花很多钱。 毕竟数据工具的构建还是需要ROI(投资回报率)来支撑的。“数据平台”概念的出现，很大程度上是因为原有大数据系统建设的ROI不理想。企业投入大量的物力、财力、人力搭建大数据平台，却发现并没有给企业带来应用价值，大数据平台更多的变成了一个“形象工程”。甚至产生了新的数据孤岛，更不用说数据能力的全局通用化、重用和共享了。数据中心可以说是这类大数据平台的“补丁”，其全球化的数据仓库、大数据的协调共享等能力，真正处理了重复开发、数据标准不统一、数据孤岛等问题，从而提高了数据价值实现的效率和ROI。 梳理常见的混淆概念:传统大数据平台、硅谷大数据平台、现实中的数据，数字化运营不同阶段的管理方法相对容易理解，但是我们经常会听到几个字面意思差不多的概念，尤其是当我们了解到美国硅谷原来的“中间平台”已经存在的时候。然而，这种方法论引入中国后，被命名为“中间平台”时混乱的概念常常让我们无所适从。 那么，硅谷所谓的“中间平台”是什么？国外大数据平台和国内大数据平台有什么区别？接下来，我们把相关概念统一起来，梳理一下它们的关系，一目了然。 1.大数据平台1.0大数据平台1.0=传统大数据平台1.0时期，其实就是我们通常在国内看到的“传统大数据平台”的概念。此时的大数据平台是一套主要解决海量数据存储、计算、流数据实时计算等场景的基础设备。Hadoop，Spark，Hive等。被用作大数据的基本能力层，包括数据分析和机器学习程序在内的ETL都是建立在大数据组件之上的。 但在大数据平台1.0时期，软硬件开发投入巨大，大大增加了R&D的难度、调试部署的周期、运维的复杂度。而且数据孤岛和应用孤岛往往是由结构缺陷、数据应用开发和运维的难度、多租户资源隔离的复杂性造成的。 传统大数据平台2、大数据平台2.0大数据平台2.0=新一代大数据平台1.0+数据中间平台的功能+数据管理的功能。大数据平台2.0时期充分解释了硅谷由来已久的“中间平台”的说法，但为什么硅谷没有“数据中间平台”的概念？原因是从硅谷公司开始，管理层就把建立数据驱动所需的基础设施作为必要的功课之一。公司里有一个数据平台部门，负责搭建公司的数据平台。它的大数据平台建设大部分是需求驱动的，后续的发展是由这个大数据平台能产生多少价值决定的。 也就是说，在硅谷，大家并没有刻意搭建中间平台，但“避免重复造轮”、“快速迭代”、“数据驱动”、“业务驱动”是硅谷工程师文化的几个核心理念，也是硅谷高效创新的一个核心。大多数公司在开始架构设计时，设计的都是数据泛化、重用和共享的能力，以及管理少量数据的功能。 3.数据中心建设的目标可以简单概括为提供工具、流程和方法论，实现数据能力的通用化、重用和共享，赋能业务部门，提高实现数据价值的效率。 阿里提出数据中台的概念，只是为了强调与国内现有大数据平台的区别，强调处理数据孤岛和重复开发的问题，突出数据共享和复用的概念。 深度探索:数据中心与ta的关系。想必你现在已经从傻傻的迷茫状态中走出来了。接下来，我们就来深入具体的了解一下数据中心和ta的对应关系，看看大家对相关概念的掌握是否游刃有余。数据中心与传统数据仓库、数据集市与数据湖的关系数据仓库和数据集市的出现是为了解决OLTP(联机事务处理)在分析场景中信息阶段的局限性。他们从OLTP中收集数据，并将其制作成少量面向历史、主题和分析的数据集，这样就可以轻松地做出OLTP难以做出的分析。 然而，随着互联网时代的到来，数据仓库的数据源仅仅在业务系统的功能上，提供少量的聚合业务信息，而无法提供个性化信息和少量来自非传统业务数据源的信息。 此外，来自非传统业务数据源的少量信息一般存储在服务器日志中，因此如果在数据仓库中存储大量无效数据，其效率之低、局限性之大是不可想象的。 此时，数据湖和大数据平台的出现改变了上述情况。在这个阶段，数据仓库和数据集市是基于大数据技术发展起来的，也就是说我们用大数据仓库(基于大数据技术的数据仓库)来处理大数据仓库处理不了的问题，我们用大数据平台来处理大数据平台处理不了的问题，所以需要数据中间站来处理。 应该说，数据中心建立在数据仓库和数据平台之上，是为了业务部门更好、更高效地使用数据管理层，它强调的是工具和机制支持数据能力的通用化、共享和重用。 数据平台与大数据平台1.0和2.0的关系很多人会想，大数据平台1.0和数据平台有什么区别？其实两者的目的都是为了挖掘数据的价值，高效实现数字化管理。不同的是，数据中心具有业务属性，输入是原始数据，输出是业务部门可以直接使用的数据能力。 如果要区分数据中间站和大数据平台1.0，可以说数据中间站是基于大数据平台1.0的基础层，强调提供相应的工具和机制，实现数据能力的全局通用、共享和重用。 在国内，为什么很多企业面临数据孤岛和应用孤岛的困境？在硅谷，大部分企业没有数据孤岛和应用孤岛的困扰？由于硅谷的每个公司都在建设大数据平台，大数据平台的运行效率和使用效率是必须考虑的关键问题。 在架构设计之初和后续迭代中，如何最大化投入产出比，让业务部门真正发挥数据的作用是关键。 在这个过程中，有很多尝试和迭代，但最终的结果是，大部分大数据平台自然会提供所谓的“数据中端”功能，成为公司内部的核心价值驱动引擎。 大数据平台1.0和2.0的关系示意图。大数据平台2.0作为新一代大数据平台，是在大数据平台1.0的基础上，增加了数据中心和数据管理的功能。 对于“各部门数据重复开发，浪费存储和计算资源”、“数据标准不统一，数据使用成本高”、“业务数据孤岛问题严重，数据利用效率低”等问题，这些在大数据平台1.0阶段需要处理的问题，在国内企业的大数据平台阶段还没有考虑和处理。 因此，需要一个新的平台来“修补”这个大数据平台，这个新平台就是所谓的“数据中心” 本文从数字化运营的不同阶段，对数据仓库、数据湖、大数据平台、数据中间平台的内涵进行了详细的总结和阐释，让读者更好地理解和掌握数据领域的相关概念，帮助大家更好地理解大数据给我们带来的能力和作用。 需要强调的是，除了理解数据中心的概念，更重要的是它的方法论。数据中心的建设为我们的企业数据服务和共享奠定了重要基础，是企业从“数据”走向“价值”的强大助推器 本文来源:凌志云科技点击关注，第一时间了解华为云鲜科技~