✦工作范围✦

整体遵循电网公司数字化转型的总体技术要求，按照统一标准、规范指导、能力复用的建设原则，重点针对电网大数据分析应用离线数据分析、实时数据分析、融合（实时+离线）数据分析、外部数据联合准实时分析四类业务场景，明确基于双中台的数据接入、处理计算、数据存储、实时服务、应用构建等设计内容，指导后续电网大数据应用设计开发工作。

✦设计原则✦

聚焦数字透明电网、跨专业数据共享、数据价值提炼等迫切需求，以电网业务为导向，基于电网公司业务中台和数据中台，构建企业级数据高速转发、实时计算分析、离线计算分析等服务能力，为业务系统提供数据便捷查询、业务辅助决策等支撑。

电网大数据应用场景多样、数据来源多样、技术路线多样，因此数据接入设计需要兼顾数据时效性及可靠性，合理制定数据接入技术路线，做好准确性、稳定性、高效性的有效平衡。

以“设备图谱”数据开发技术标准及要求为基础，制定公共数据开发规范，持续沉淀设备主体分析业务因子、数据集等基础共性服务能力，建成面向电网公司可复用的设备相关分析服务，支撑统一数据能力底座，为各类相关分析应用赋能。

遵从电网公司整体技术路线规划及“中台融通、数据共享、能力开放”的建设思路，吸收借鉴国内外先进技术路线经验，基于电网云平台、企业级中台的技术能力，构建实用、规范、高效的大数据应用技术体系。

总结提炼多业务应用间需共享的核心数据，实现数据一次输入、多处使用，一处加工、处处共享。同时充分利用大数据技术，提升数据价值利用效率，实现班组赋能、定制服务、风险预测、风险管控等高价值数据应用，提升业务洞察能力和管理决策水平。

✦设计成果✦

基于双中台的电网大数据应用总体架构在设计上充分考虑了业务侧实际应用需求，以电网公司数据中台和业务中台能力作为双驱动，支撑满足两级电网大数据应用离线分析场景、实时分析场景、融合（实时+离线）分析场景、外部数据联合准实时分析场景等多种情况。为避免重复投资且快速见成效，基于双中台的电网大数据应用在技术架构设计上尽量复用了电网公司数据中台和业务中台现有云上技术组件，如：历史数据存储组件、实时数据存储组件、流批计算组件等。

图1 技术架构

离线分析场景构建包含数据接入、两级数据贯通、整合转换、离线分析计算及数据服务封装等环节。

数据接入：包括全量数据接入和增量数据接入。根据数据量大小和源端数据库类型，建议采用Dataworks-DI、OGG+DataHub、DTS等方式实现数据的接入。

两级数据贯通：采用SG-UEP等组件进行数据上传和下发，数据上传将省侧数据中台共享层数据上传至总部交换区，数据下发采用自助式下发方式传输数据，省侧数据中台按需获取总部数据中台数据。

整合转换：建议采用ODPS SQL将贴源层全量表、增量表进行数据抹平后生成最新全量表数据，并按照模型表/标准表将最新全量数据整合到共享层。

离线分析计算：数据中台离线计算场景建议基于MaxCompute开展。

数据服务封装：基于分析层计算结果数据或分析明细数据，建议采用Dataworks数据服务模块按照业务需求封装为数据服务API供应用调用。

实时分析场景构建包含数据实时接入，数据实时处理，数据存储、数据检索、数据服务等环节。

数据实时接入：消息组件选型建议采用云上消息服务组件，在并发度及实时性上满足业务需求，同时支持云上部署。

数据实时处理：实时计算组件选型建议采用流批计算组件，在功能及实时性上满足业务需求，同时支持云上部署。

数据存储：数据缓存建议采用Redis组件，TableStore/OTS分布式列式数据库作为采集库，主要用于存储短周期实时数据；PostgreSQL/MySQL关系型数据库作为模型库及业务库，主要用于存储设备资源、资产及拓扑数据、统计数据、计算结果数据等。

数据检索：建议采用ElasticSearch，可支持千万级数据的秒级搜索。

数据服务：基于实时计算处理后的结果数据在模型库、采集库、业务库以消息订阅及数据服务方式，对外提供实时数据服务，满足上层应用的各种数据获取需求。

融合(实时+离线)分析场景主要是基于业务中台实时数据计算能力和数据中台离线、全量数据计算能力，根据业务需求通过将离线数据分析结果以服务形式定时或按需同步至业务中台后开展融合数据分析，其具体技术路线参考前文所述的离线分析场景和实时分析场景描述。

外部数据联合准实时分析计算场景构建包含数据接入，数据实时处理，实时数据两级贯通、封装数据服务、数据归档等环节。对于来自外部系统的业务数据，建议通过消息队列、数据总线、ETL工具、数据接口、数据在线填报等方式进行获取，再利用VPN接入、专线接入等方式进行高速传输后，通过数据总线（DataHub）写入数据中台贴源层，实现数据接入。其他计算处理环节可参考实时分析场景和离线分析场景描述。

✦小结✦

数据作为新型生产要素，是数字化转型的重要基础。充分发挥电网双中台数据规模庞大、技术组件成熟、应用场景丰富等优势，通过将电网数据与设备运行和业务管理全环节深度融合，利用大数据、人工智能等数字化手段，理清“数据-业务”关系，实现“业务数据化、数据业务化”，不断强化数据资产管理能力和探索能力，提升决策精准度、提高组织效率和生产效益，发挥数据要素价值，推动电网数字资源管理向价值化、专业化转变，赋能业务发展，高质量支撑新型电力系统建设。