2020年全省自然资源系统调研报告评选网络投票
20号 厅科技处
课题简介:
|
关于构建自然资源大数据中心初探 一、福建自然资源数据资源现状 近年来我省通过金土工程、“互联网+国土资源提升”计划、数字海洋、地理国情普查等信息化工程,各自建成了较为完善的信息化体系,为土地、矿产、海洋、测绘等管理工作提供了有力的技术支撑,积累了大量的自然资源数据。已积累和整合涵盖土地、地质、矿产、地质环境与地质灾害等领域的数据资源,汇聚了各类保护区、生态红线、林业资源调查等相关行业数据以及人口、GDP等社会经济数据,初步形成覆盖全省的自然资源“一张图”,初步搭建省国土空间基础信息平台;在数据统一管理的基础上,通过图属关联构建了数据勾稽关系,建成多类专题地图、数据服务及分析工具,为行政审批及综合分析提供丰富的数据及产品服务。建成覆盖全省的测绘基准、系列比例尺基础地理信息数据、地理国情数据、地理空间框架数据、天地图·福建等测绘成果,在政务信息网、互联网、离线不同运行环境下,形成测绘数据采集、处理、管理与服务的运行机制。建立覆盖全省的中、高分辨率卫星遥感影像和航空遥感影像数据。随着海洋动管系统接入,海洋基础数据库,包括全省海域使用现状、海洋功能区划、海岸线、用海审批(宗海数据)等将并入自然资源数据体系。 福建自然资源数据已有一定基础,但还是不能满足日益增长的社会经济和自然资源管理发展的需要,面临严峻的形势。一是部分市、县由于基础差、投入不足,加之人才匮乏、数据管理缺少经验,积累的海量自然资源数据部分还处于单机保存方式,电子信息积累明显不足。二是数据质量检查与评价工作以传统手工工作方式为主,数据库技术应用水平不高;数据管理制度和运行机制不健全,加之缺乏统一领导和协调运作,在一定程度上出现信息孤岛、重复建设的局面,使得数据利用效率不高,数据资源的开发利用困难、数据共享程度较低。三是对信息化建设的基本规律认识不足、缺乏统筹规划和统一的标准,存在重数据轻质量、重成果轻管理的倾向,使数据的建设和应用受到制约,四是大数据格局尚未形成,由于自然资源数据的区域性管理以及自然资源管理上表现为一个自上而下的树状层次结构,上下级数据更新通常采取介质拷贝或在线分发、信息更新不能同步,导致自然资源信息管理决策不能反映真实的数据。随着自然资源数据更新速度和频率的不断提高、数据量的不断扩大、基础测绘等数据的统一管理,充分利用现有的网络资源,建立自然资源网络内不同类型不同功能的系统之间数据的共享,同时进行高质量的地理信息和服务的交流,并能为社会公众提供统一方便的信息服务等需求给信息化发展提出了要求。 二、自然资源大数据业务需求分析 随着电子政务建设的不断深入和发展,自然资源部门内部和相关各部门间信息共享力度加大,自然资源管理数据也呈现不同的特性。 (一)自然资源数据特性 一是静态数据与动态数据。构建自然资源大数据管理必须满足电子政务平台进行数据交换的需要,同时满足在平台上建立的各业务系统进行综合业务处理的要求,并为门户系统提供各种静态和动态的数据、信息。静态信息是指对电子政务的运行中不经常变化,供各个业务系统查询、处理的数据或信息:政策、法规、元数据、资料库、各种多媒体数据等,随着时间而逐步增大。动态数据是指随着运行而增加、修改的数据:审批中文件流转状态数据,专题图形数据等。动态数据同各个部门的信息密切相关,但又是面向主题的,如不动产登记这个主题,实际上同宗地图、宗地属性、审批意见等密切相关。 二是微观应用与宏观应用的数据共享。业务信息应用有微观的应用与宏观应用之分,微观数据的应用主要是针对个案的事务处理。比如采矿权登记、不动产登记等。微观事务处理的业务既包含对社会市场秩序的监管,又包含对企业、对公众的服务。其信息共享的特点,是由来自不同方面的信息要围绕一个主体来整合起来,比如将宗地变更、宗地注销等信息依据宗地号整合起来,这就构成了以宗地为主题的数据库。实际上,微观信息共享的核心是将不同来源的数据资源,整合为主题数据库。 微观数据的收集经常是由不同的主管部门来做的,如土地储备中心、土地交易中心等。根据不同部门收集的数据按照主题(主体)整合,首先要解决主观上的抵制,推进政务改革与利益处置。在技术上,要有标准化的唯一的主体编码,开放数据结构,利于构建可共享的主题数据库。通过一表式的调查、登记,将尽可能多的数据集中地通过一次调查来完成,从而能尽量地节约成本。由于管理的角度不一样,很难通过一个主题数据来集中所有的共享数据,需要几个系统来分别处理各自的业务,但是,经过数据整合设计之后的系统,肯定能够降低数据收集的总成本,并为微观业务提供更有效的服务。 宏观应用的数据共享,主要是为领导层服务,通过共享数据资源来提高决策水平。为了更好地管理和决策,从纷繁庞杂的数据中挖掘出有用的信息进行预测分析,可以选择数据仓库作为决策支持系统的核心。数据仓库可作为支持管理决策过程的、面向主题的、集成的、不可更新的且随时间不断变化的数据集合。利用数据仓库,对源数据经过提取、转换、加载形成统一的数据格式,再利用数据挖掘和 OLAP 分析工具为决策者提供所需的信息。 决策人员可通过使用以业务办公基础数据库为基础的各种层次汇总的仓库数据,进行各种决策支持。特别是面向分析型数据处理,不同于现有的业务型数据库。对多个异构的数据源有效集成,含历史数据,按照主题进行重组,数据仓库中数据一般不再修改。 使用数据仓库主要有三方面的优势:一方面,数据仓库提供了标准的报表和图表功能,数据来源于不同的多个事务处理系统,数据仓库的报表和图表是整个集成信息的报表和图表;另一方面,数据仓库支持多维分析,多维分析是通过把一个实体的多项重要的属性定义为多个维度,使得用户能方便地汇总数据集,简化了数据的分析处理逻辑,对不同维度值的数据进行比较,而维度则表示了对信息的不同理解角度。应用多维分析可以在一个查询中对不同阶段的数据进行纵向或横向比较;最后,数据仓库是数据挖掘技术的关键基础,数据挖掘技术要在已有数据中识别数据的模式,以帮助用户理解现有的信息,并在已有信息的基础上,对未来的状况作出预测。 数据仓库也有面向较长时间的、具有战略定义的主题的定义。根据数据库的操作性、数据的语义,分为三大类:一般意义的数据库即关系数据库、文本数据库(DB);供综合业务系统和门户使用的面向主题的数据库(OSD);数据仓库,是供内部策者使用的数据库(DW)。DB 数据主要分布在各局办,数据中心只有少量的,是集中分布的。面向主题的操作数据库(OSD)是电子政务数据中心的主体,是DB 按主题映射的数据库;数据仓库建立在DB 和 OSD 之上的主题数据库。三类数据库相互关联,相辅相成,面向主题的操作数据库是数据库体系的中间层,包含全局一致的、细节的、当前或接近当前的数据;同时面向主题的,集成的数据环境,数据量小,供各个综合业务系统查询处理使用,主要辅助完成日常决策数据分析处理。 三是集中分布式数据管理。当前数据管理根据技术、经济和实用的角度来分有集中存放集中管理、集中存放分布式管理、分布式存放集中管理三种管理方案。当微观数据规模非常大,不方便依靠集中数据处理,可以将数据库建设分散化,由本地来进行数据收集、整理和数据库更新。数据的使用不能是地区化的,数据的查询应是全国范围的,避免共享数据的管理与共享数据的使用范围的不一致。使用标准的目录数据库,统一结构的目录数据库将允许多层次分布式的建立子系统,自然形成一个整体,以支持统一的数据库查询,有效的建立大规模的主题数据库体系是非常。数据就近的管理与联合统一的使用不仅会大大提高数据共享的范围,而且会有效地降低数据维护管理的成本。 四是数据源的异构性。数据源异构性主要表现在两方面:系统异构,数据源所依赖的应用系统、数据库管理系统乃至操作系统之间的不同构成了系统异构。模式异构,数据源在存储模式上的不同。一般的存储模式包括关系模式、对象模式、对象关系模式和文档嵌套模式等几种,其中关系模式为主流存储模式。即便是同一类存储模式,模式结构可能也存在着差异。 (二)自然资源数据整合和集成 异构数据源的数据整合和集成的目的是为综合应用系统提供集成的、统一的、安全的、快捷的信息查询、数据挖掘和决策支持服务。为了满足这个需求条件,整合、集成后的数据必须保证一定的集成性、完整性、一致性和访问安全性。一是集成性。孤立的业务信息系统数据经过整合、集成后,达到查询一个综合信息不必再到各个业务系统进行分别查询和人工处理,可在数据中心中直接访问,即整合、集成后的数据是各异构业务数据的有机集成和关联存储,而不是简单、孤立的堆放在一个数据库系统里。二是完整性。包括数据完整性和约束完整性两方面。数据完整性是指完整提取数据本身。约束完整性,约束是指数据与数据之间的关联关系,是唯一表征数据间逻辑的特征。保证约束的完整性是良好的数据发布和交换的前提,可以方便数据处理过程,提高效率。三是一致性。不同业务信息资源之间存在着语义上的区别。语义上的不同会引起各种不完整甚至错误信息的产生,从简单的名字语义冲突(不同名字代表相同的概念),到复杂的结构语义冲突(不同模型表达同样的信息)。语义冲突会带来数据集成结果的冗余,干扰数据处理、发布和交换。整合、集成后的数据应该根据一定的数据转换模式和业务规则进行统一数据结构和字段语义编码转换。四是访问安全性。由于数据库资源可能归属不同的单位,各业务数据系统有着各自的用户权限管理模式,访问和安全管理很不方便,不能集中、统一管理。既要保证能访问异构数据源中的数据,又要保障原有数据库的权限不被侵犯,实现对原有数据源访问权限的隔离和控制,就需要设计数据中心统一的用户安全管理模式。 三、构建自然资源大数据中心存在的问题 在机构改革的推动下,对省级自然资源“一张图”数据库和各类国土空间相关数据需要持续聚合集成、共享和利用,建立数据更全面、应用更广泛、共享更顺畅的省级自然资源大数据中心,为规划、管理、决策和服务提供有力的信息支撑,有效提升自然资源治理能力的现代化水平。 自然资源大数据中心是软硬件和数据大集中,提供用户数据信息资源。就是建立一个集中分散、异构、可扩充、可集成、有统一数据模型、有多种角度视图的、可交换的和安全可靠的复合数据库系统。将成为各种业务系统、部门之间协同工作的数据中心,是门户的信息中心,多媒体、文档资料和政策法规的存储中心和预测决策所需的数据仓库中心。与普通数据中心不同,自然资源数据中心又有其特色—自然资源数据中心中存放有海量空间数据,需要提供对空间信息的特殊处理。 目前,自然资源数据中心构建主要存在以下五个问题:一是高密度,大容量。随着数据用户的不断增加和应用类型的丰富,数据中心应用已经扩展到语音、图片、视频等多媒体内容。数据中心网络设备需要满足大量服务器的连接功能以及数据的快速转发要求。二是可靠性,安全性。数据中心的建设尤其需要考虑数据中心的高可靠性和安全性。因此核心网络设备应尽量采用控制与转发完全分离的全分布式体系结构。在可靠性方面,数据中心的核心设备应采用冗余设计,并支持无中断转发技术,保证业务的不中断性。三是异构、多源数据精度。随着自然业务部门的不断深入,信息数据与日俱增,不同时间、不同来源的表达不同属性或同一属性的数据越来越多,数据之间有一定关联性,但数据结构、精度都不同,需以最好的技术手段将数据组织复合。四是时空数据表达与分析。随着自然资源管理工作的发展,要求对地表的空役权、地下权、时间延续及更复杂的情况进行描述,要在多维数据表达分析方面做更深入研究。五是可管理性。数据中心的可管理性主要体现在网络结构的简化和降低管理成本方面。 四、自然资源大数据中心构建的相关建议 (一)进一步提升自然资源调查监测及成果融合的信息化水平。一是自然资源全要素采集(更新)的信息化水平有待提升,标准化、自动化、批量化、可靠提取的信息化采集能力有待加强;二是自然资源动态监测的信息化能力还不够,全要素、空天地一体的监测手段还有待丰富,态势感知的能力还比较薄弱;三是自然资源调查数据有待融合,亟需统一数据标准、统一数据治理,推进自然调查成果与矿产、水、森林、湿地等自然资源调查成果的实质融合。 (二)进一步提升国土空间规划和用途管制的信息化支撑能力。机构改革后,在体制上确保了“多规合一”的实现,但相应的技术支撑体系还未完全建立:一是支撑全省统一的国土空间规划编制审批能力不足,对国土空间总体规划、专项规划、详细规划的辅助编制、成果审批和成果管理的信息化支撑体系尚未建立;二是科学有序统筹布局生态、农业、城镇等功能空间的能力有待加强,亟需以全新的国土空间规划为引领,立足生态保护红线、永久基本农田、城镇开发边界三条控制线,以资源环境承载能力和国土空间开发适宜性评价为基础,建立全省国土空间用途管制和项目审批体系;三是对规划实施情况的监督能力不足,国土空间规划的实时监测、定期评估、及时预警和决策支持的信息化支撑体系尚未建立,依据监督结果对国土空间规划实施责任主体进行绩效考核的机制有待完善。 (三)进一步提升自然资源和空间地理信息的基础支撑能力。自然资源和空间地理基础信息库作为四大国家基础数据库之一,还存在更新频率不足、数据质量和现势性不高等问题,空间地理数据类型有待进一步丰富、空间地理数据应用场景挖掘有待进一步深入。一是以带图审批、带图管理、带图服务为代表的自然资源信息化发展不断推向纵深,对地理信息的采集、整合、加工、应用等全过程各环节都提出了更高要求,尤其是有待进一步优化地理信息数据应用模式,提升基础支撑能力;二是在“位置即服务”的趋势下,各行各业信息化对优质地理信息服务的需求更加迫切,社会公众对地图服务、地图导航等需求更为广泛深入,有待自然资源主管部门强化地理信息数据治理,提升地理信息跨部门共享和为社会服务的能力。 (四)进一步创新数据价值的拓展应用力度。决策应用需要详尽、准确的数据支撑,简单的数据统计、集成和叠加已经不能满足实际工作要求。数据应用需要引进新的智能化技术手段,采用数据挖掘、统计分析等算法进行深度融合、综合分析,以获得更有价值的决策管理信息。一是原有的国土资源、海洋、规划等部门都汇聚了一批基础数据和业务数据,但由于标准不一、格式不一、交叉重叠和分散存储、条块应用的情况,造成了各部门数据之间产生矛盾冲突,相互之间数据难流动、难汇聚、难沉淀、难应用,亟需统一治理,融合至自然资源一体化数据库;二是原有专业应用由多部门、多单位分散建设,自成一套体系,统筹和统一规范的程度不够,导致系统难互联互通、业务难协同联动,无法适应自然资源履行“两统一”核心职责的要求。 (五)进一步建立完整的数据安全管理体系。自然资源数据共享与保密一直是一对矛盾体,由于存在一些涉密和敏感数据,自然资源数据共享和应用受到限制。因此,自然资源数据共享和应用必须采用集中统一的安全管理方式,建立一整套完善的安全管理框架。加强数据共享平台安全防护与管理,考虑云计算和数据泄露防护、数据加密等技术的组合应用,部署统一的安全防护平台。信息基础设施集约化程度和网络安全保障能力有待加强。一是省自然资源厅自建机房数量较多且较为分散,基础设施资源利用效率、运营运维效能、管控服务水平还有待提升,信息基础设施集约效应尚未形成;二是全省自然资源行业政务信息系统受攻击事件时有发生,面临的安全风险不断增多和加大;特别是对照网络安全等级保护2.0 要求,省自然资源厅网络安全体系还不完整,面向自然资源数据安全和业务安全的防护防控、监测预警、追根溯源、应急处置全生命周期综合管控的信息化支撑手段有待进一步加强,纵深网络安全技术手段和合规运营能力有待进一步健全。 |