智bg电子游戏平台慧城市背景下数据中台的研究与设计

2024/05/24

　　IBM公司于2008年11月提出“智慧地球”概念以来，“智慧城市”已走过12年历程，智慧城市作为信息技术变革和知识经济发展的产物，是将云计算、物联网、5G、人工智能、大数据、车联网、智能制造等新一代信息技术运用于城市建设和城市治理，促进了城镇化、工业化、信息化和智能化的融合。智慧城市建设离不开信息技术和数据的支撑，当信息技术发展到一定程度、数据达到一定量级时，整个社会将进入数据开放、共享的时代，数据将成为保贵的资产，由此，数据中台应运而生。数据中台有助于打破信息孤岛、消除数据烟囱、快速响应业务需求、提升数据质量和数据利用率，进而实现数据的精细化和高效化管理。

　　2020年4月1日，习在浙江省考察时再次强调要抓住产业数字化、数字产业化赋予的机遇；4月9日，中央、国务院印发《关于构建更加完善的要素市场化配置体制机制的意见》，将数据作为一种新型生产要素，与土地、劳动力、资本、技术等传统要素并列；4月10日，国家发展改革委、中央网信办联合印发了《关于推进“上云用数赋智”行动培育新经济发展实施方案》，该方案明确提出“将在已有工作基础上，大力培育数字经济新业态，深入推进企业数字化转型，打造数据供应链，以数据流引领物资流、人才流、技术流、资金流，形成产业链上下游和跨行业融合的数字化生态体系。

　　数据中台的概念源于互联网市场经济，是企业在复杂的数据生态环境中进行数字化转型时产生的，被誉为大数据的下一站，2015年由阿里率先提出，2018年腾讯数据中台论再次使其成为热点。随着我国数字经济的蓬勃发展，阿里、腾讯、百度、京东、苏宁易购等互联网巨头接连引入中台战略，中国企业数字化转型推动数字中台行业规模不断扩大，iiMedia Research数据显示，2019年中国数据中台规模为36.09亿元，2020年中国企业数字中台预计攀升至72.5亿元。

　　随着四川省大数据技术服务中心bg电子游戏平台、杭州市政府、长沙市大数据中心、青岛市大数据发展管理局、苏州市信息中心等政府部门数据中台项目的开展、实施和建设，各行各业在阿里、腾讯、百度、京东等互联网巨头的带动下，陆续开展了数据中台探索与实践。

　　数据中台是指通过数据技术对海量数据进行采集、计算、存储、加工和分析，并统一标准和口径。它是一个可持续 “让数据用起来”的机制，是一种数字战略和组织形式，是一套不断将数据变成资产并服务于业务的体系。

　　数据中台作为全域数据的共享和交换能力中心，旨在提供数据的采集、计算、存储、治理、融合、分析和运营等一站式服务及全生命周期管理，最终实现数据的“集、存、通、用、智”。

　　建设数据中台的目的是：1)解决数据的“集、存、通、用”难题；2)提升数据资源价值和数据创新能力；3)快速地响应业务需求，为各类应用提供数据交换共享和数据分析能力；4)打造城市数字孪生体，全面赋能惠民服务、bg电子游戏平台生态宜居、社会治理、产业发展等领域，推进数据治理体系及智慧城市建设。

　　1981年8月，国家财政部和中国会计协会正式提出“会计电算化”，拉开了我国信息化建设序幕，随着信息技术的发展，数字信息化历经了文本记录、数据库、数据仓库、数据平台、数据中台五个阶段。

　　文本记录阶段：以文本文档记录为主，此阶段处于信息化建设起步阶段，数据基本不被保存，数据存储量为MB级。

　　数据库阶段：数据来源于单一系统的结构化数据和少量的过程及结果性数据，形成了OLTP（On-Line Transaction Processing联机事务处理）业务场景，数据存储量为GB级。

　　数据仓库阶段：数据仓库最初是基于企业经营决策系统的建设而提出，数据来源多个系统，主要为用户提供分析报表和管理决策分析，形成了大量数据的OLAP（On-Line Analytical Processing联机分析处理）分析场景，数据存储量为TB级。

　　数据平台阶段：数据平台的出现是为了解决数据仓库不能处理非结构化数据和报表开发周期长的问题，其融合了结构化数据和非结构化数据，并对数据进行整合、分析及挖掘，数据存储量介于TB~PB级之间bg电子游戏平台。

　　数据中台阶段：随着大数据技术的发展，在数据平台层面已难以解决多类关联系统数据标准不一、零散、混乱、复用差、安全性低等问题，而数据中台通过采集及存储各类关联系统数据，经加工、治理、融合，将数据服务化后直接提供给业务系统，并进行深度学习、智能化分析，数据存储量为PB级。

　　国务院印发了《促进大数据发展行动纲要》，旨在通过“用数据说话、用数据决策、用数据管理、用数据创新”来实现基于数据的科学决策，智慧城市背景下诞生及成长的数据中台需从政府业务全局出发，通过对政务信息系统前台和后台的彻底解耦，实现政务数据的共享和复用，文章以长沙市大数据中心数据中台建设和贵阳市数据治理经验为参考，以“规划顶层化、数据标准化、建设集约化、服务高效化、数字生态化”为主线，按照“聚焦应用、数据驱动、共建共享、提升智能、形成生态” 的整体思路建设，进行了数据中台的逻辑架构、总体架构、技术架构及体系建设设计，分别如图1、图2、图3。

　　数据中台汇聚基础、主题和专题数据、政务信息系统数据、企事业单位数据、企业和市民填报数据四大类数据；再对这些数据进行加工、分析、融合和管理；然后与政务信息系统、各类智慧应用、企事业单位应用系统实现数据交换共享；并提供给领导做决策分析和进行数据运营；同时，城市综合指挥中心、政务APP等均能通过数据中台调用相关数据进行展示。

　　政府部门信息化基础设施层建设主要有以下几种方式：政务云、行业云、虚拟化平台、物联网、车联网及物理机，各种政务系统运行在基础设施上，各种政务数据流转和保存在基础设施中。基础设施层为数据中台提供了计算、存储、网络、安全等资源。

　　智慧城市数据中台的数据来源有政府各部门数据、企事业单位数据、互联网数据和社会类数据，归结为四大类：1)基础数据、主题数据和专题数据，主要是政府历年沉淀数据，如人口库、法人库、bg电子游戏平台地理空间信息库、房产房屋库、城市部件库、电子证照库、宏观经济库、金融信息库、卫生健康库、文化旅游库、市场监管库等；2)政务信息系统数据，主要来源于政府部门办理业务时系统生成的数据库数据、过程或结果性文档数据；3)企事业单位数据，主要来源于国有企业、事业单位在从事生产经营过程中形成的互联网、车联网、智能制造、政务信息等数据；4)企业和市民数据，企业和市民数据来源于企业、市民在办理行政许可事项时填写或提供的资料信息。政府在建设数据中台时，需将此四大类数据进行归集和存储。

　　将数据作为驱动和优化智慧城市建设的核心要素，健全数据治理体系，推进数据资源高效治理、深度融合和开放共享，提升大数据分析能力和数据价值，深化数据在政府行业的创新应用。在数据中台的建设过程中，将汇聚四大类数据形成数据资源池，通过开发或使用数据采集平台、基础数据支撑平台、元数据管理平台、数据加工平台、大数据分析平台、数据安全管控平台、数据资源管理平台等，对数据进行存储、加工、分析及管理，进而形成数据使用者所需要的高质量数据资源。

　　数据作为新型生产要素，通过对数据的治理、融合、分析、挖掘和探索，形成数据资产及服务目录，使用者可根据服务目录申请与订阅数据资源，通过智能网关或数据交换共享平台来实现各类系统的数据交换共享；政府领导通过领导驾驶舱、综合指挥中心、决策支撑系统、大数据分析系统等来加强城市治理或管理，提高行政管理效率；政务APP通过数据中台调用政务信息数据，为市民“网上办、一次办、指间办”提供便利，真正做到“让数据多跑路、让群众少跑路、数据服务于民”；建立数据生态体系，实现数据的运维运营。

　　数据中台就是通过数据技术对海量数据进行采集、计算、存储、加工和分析，文章基于数据中台总体架构来设计其技术架构，最终以数据内聚、能力集成、快速响应、支撑决策、开放生态的方式持续支撑业务需求。

　　数据采集：通过传统API、Agent、Snmp、Syslog、Sql Loader、Ftp等方式采集“多源多类”海量政务数据，“分类分级”形成数据湖。

　　数据治理：参考《数据管理能力成熟度评估模型》（GB/T36073-2018）、《IBM数据治理成熟度模型》和《DGI数据治理框架》，充分利用ETL、Spark、Storm、MapReduce、元数据治理、数据建模等技术，实现各类政务数据的交换、集成、清洗、转换和治理，并生成数据字典和知识图谱。

　　数据分析：基于Kafka、Flink、Hbase、Hive、Maxcommpute等大数据分析和计算能力，充分利用数据挖掘和智能分析技术，生成满足领导决策分析、政务应用和数据运营所需要的数据。

　　数据融合：项目团队结合OLTP、OLAP、RDS、CMDB、HDFS等主流技术建设主（专）题库、政务信息库、系统数据库、配置管理数据库和数据仓库。

　　数据交换共享：政府各部门通过智能网关、共享交换平台、API网关、服务总线等调用或获取所需政务数据。

　　为了保障数据中台建设的顺利开展和落地，配套标准规范体系、数据安全体系和考核考评体系建设，有利于保障数据的标准化、规范化、成效化、高质量、安全性和价值性，有利于科学管控风险、提升数据管理水平。

　　数据中台建设与传统OA（Office Automation：办公自动化）、ERP(enterprise resource planning：企业资源计划）、CRM (customer relationship management：客户关系管理）等单个政务信息系统建设不同，它是全域数据的体系化建设，建设路径总结为“五化十步”，五化：数据业务化、治理标准化、管理平台化、数据资产化、资产服务化，十步：深调研、理现状、做规划、立架构、制标准、建平台、治数据、融数据、用数据、搞运营，如图3。

　　深调研：数据中台建设的首要工作是深入调研，对政府各部门业务系统、数据情况、技术实力、组织架构等进行全面深入盘点，编制书面调研报告，形成数据资产一本账。

　　理现状：根据调研结果，夯实调研数据，理清政府各部门业务关系、数据现状、关联关系、技术现状、组织现状等。

　　做规划：由于数据中台建设成本高、持续时间长，因此建设前须做好顶层设计，再根据顶层设计编制可实施可落地的深化设计方案，制定整体规划蓝图，明确架构设计和实施路径。

　　立架构：根据顶层设计、深化设计方案和整体规划蓝图，建立或完善业务架构、数据架构、技术架构、组织架构、平台及应用架构。

　　制标准：制定统一的有操作性的高质量的数据标准，建立数据标准规范体系、数据安全体系和考核考评体系，通过数据体系化建设来对项目的建设方、承建方及监理方进行约束和考核考评。

　　建平台：搭建数据采集平台、基础支撑平台、元数据管理平台、数据加工平台、数据分析平台、大数据管理平台等，利用平台来对数据进行治理及管理，可以极大地提高工作效率。

　　治数据：数据治理是为管理和确保政府或企业数据的可用性、可访问性、质量、一致性、可审计性和安全性所需的流程、策略、标准、组织和技术，是对数据进行全局性、综合性的治理，是数据交换共享、分析及运营的前提，最终形成数据治理一本账。

　　融数据：融合政府各部门数据，对数据进行分类整理，形成基础库、主题库、专题库、政务信息数据库、日志数据库等，生成知识图谱。数据融合实现了政府数据的高效整合和统一管理，为政务服务、社会治理、民生服务等提供了多样化的解决方案。

　　用数据： 从应用场景出发，将已构建的数据资产通过服务化方式应用到具体的业务中，发挥数据价值，让使用者从统一的数据出口获得所需数据，节约了人力、物力和精力。

　　搞运营：政府数据通过数据存储、数据加工、数据产品开发和数据交易平台在供应商和用户之间流通，在整个过程中保持并增加价值， 其产生的价值通过运营的能力不断优化迭代，让更多的用户感知到数据的价值点，从财政上也可为政府减轻负担。

　　数据质量（Data Quality）是“数据满足任务需求的程度”，数据质量问题指“给使用这些数据的应用带来潜在影响的一系列数据表现” ，那些不符合要求或标准规范的质量差的数据常常被称为“脏数据”（Dirty Data）或“坏数据”（Bad Data）。在智慧城市建设过程中，数据质量是影响开放数据价值生成的关键因素，数据质量的优劣直接影响到数据中台的建设成效，以及政府的分析决策能力和公信力，因此，要全面保障数据质量。

　　准确性和完整性。保障数据在采集、存储、清洗、加工、分析等过程中的准确和完整，保障数据及时更新，检验是否存在缺失记录或缺失字段。

　　标准性和一致性。按照统一数据标准规范要求，归整多源化、碎片化、零散化数据，保障数据与其对应的客观实体特征一致，保证同一实体的同一属性值在不同的系统或数据集的一致性。

　　可用性和可访问性。数据治理的目的之一就是要将数据“用”起来。进行交换共享的数据，要保障其被数据使用部门正常访问。

　　可扩展性和易维护性。随着政府信息化的建设和发展，数据政府对数据的依赖程度越来越高，但政府各部门的数据种类繁多、数据来源杂乱、数据量巨大，这就要求数据中台具有很好地扩展性和易维护性，以保障数据的及时更新和完善。

　　安全性和可追溯性。加强数据全生命周期安全管理，制定数据安全保护措施，加强信息采集、共享、使用全过程的身份鉴别、授权管理和安全保障，防止被非法获取或篡改、中途截取或监听、私自外传或导出等安全风险。一旦发生数据安全性问题，立即启动应急机制并快速溯源。

　　数据中台在建设过程中会遇到各种各样的问题，项目开展和推进难度大，文章梳理了数据中台在建设过程中的难点、堵点和痛点，并提出相关的解决建议。

　　总体上来说， 数据中台的建设尚处于起步阶段， 还没有形成统一的建设标准、规范和评价指标， 如何建设数据中台正在成为学术界和工业界的一个研究前沿，如何采集、整理、共享、交换、应用政府数据，如何保障政府数据安全和数据隐私，将是建设者面临的挑战和亟待解决的问题，文章通过长沙市大数据中心数据中台建设过程的实践经验，总结出如下难点、堵点和痛点，并形成相应解决建议以供借鉴。

　　政府部门信息化、数字化建设依赖于各种政务数据，如人口库、法人库、地理空间信息库、城市部件库、房产房屋库、宏观经济库、电子证照库、事项管理库、不动产信息库、工商管理库等，这些数据分布于公安、人社、资规、住建、行政审批、工商等行政管理部门，涉及部门多、涵盖范围广、数据体量大，各行政管理部门是否愿意和协助提供数据，将是“获取数据”首要解决的问题。

　　对收集来的各类数据，如何按照标准规范进行数据的归集、治理及加工，进而实现数据标准化，将是数据管理者和技术团队面临的关键问题，此问题是否能解决，将直接影响到数据中台建设的成败。

　　有些政府部门信息化技术实力弱，只知对某些数据的需求，但提不出详细的数据需求说明，造成有数据但无法使用的局面。

　　当数据共享或交换给政务信息系统使用时，如何确保数据的准确性和安全性，将是数据管理者和技术团队面临的重要问题，如不能解决此问题，将会导致数据错误或数据无用，直接影响政府部门公信力，甚至引发。

　　数据中台在建设过程中将面临巨大挑战，管理者和技术团队在数据中台建设前，要重点考虑如何解决数据中台建设过程中的难点、堵点和痛点问题。文章作者结合对数据中台的研究，提出如下建设策略：

　　强化顶层设计，明确战略定位。强化智慧城市顶层设计、数据中台顶层设计，研究数据中台整体规划设计和实施路径，构建数据蓝图；明确数据中台作为数字化转型的核心动力，是政府实施数字战略的重要组成部分。

　　建立管理机制，加强组织保障。建立领导统筹管理及决策机制，完善管理和技术团队密切配合的组织架构体系、激励机制和会议制度。数据中台战略是否能够落实，核心因素是领导机制和组织保障是否有效；好的领导机制和组织保障，可解决项目中的各种摩擦和阻力。

　　制定标准规范，严格考核考评。制定数据的相关标准规范，数据中台建设须严格按照标准规范操作，避免盲人摸象；实施严格的考核考评制度，监督数据中台建设全流程，发现问题及时处理或整改，避免相互推诿、互不作为现象发生。

　　结合业务需求，分期分批建设。数据中台建设是一个复杂的系统工程，其设计、实施需要将业务积累和技术积累相结合，先从小场景、易实现、高需求方面着手，分期分批建设，切勿搞一次性全面建设，规避推倒重来、重复建设。

　　智慧城市为数据中台建设提供了环境与契机，数据中台为智慧城市建设提供了数据支撑与创新动力。长沙市大数据中心通过数据中台建设，在解决信息孤岛、数据烟囱、业务响应慢、数据质量差、数据利用率低等方面取得了一定成效，但还存在一些难点、堵点和痛点，在后续的建设过程中将会有针对性地解决相关问题。

　　总之，数据中台还处于新生状态，存在诸多不足，数据中台的建设也不是一蹴而就、一劳永逸的，它须经历一个持续的、不断完善和发展的过程。因此，要想数据中台建设有成效、达到预期效果，就必须从顶层设计出发，政府“一把手”主抓，政府各部门齐心协力、共同推动，同时配套严格的监督及考核考评机制，这样政府才能真正实现“用数据说话、用数据决策、用数据管理、用数据创新”。