分布式地理數(shù)據(jù)庫在核心要素的應用

前言：想要寫出一篇引人入勝的文章？我們特意為您整理了分布式地理數(shù)據(jù)庫在核心要素的應用范文，希望能給你帶來靈感和參考，敬請閱讀。

1核心要素數(shù)據(jù)更新現(xiàn)狀分析

“天地圖•福建”核心要素數(shù)據(jù)每年開展一次更新，一般按更新計劃選擇一部分地市城區(qū)或縣域作為更新區(qū)域，交通作為最重要的要素，需要每年對全省的鐵路和縣道以上的等級道路進行更新。核心要素數(shù)據(jù)更新的項目負責人根據(jù)更新計劃，將任務分配給更新作業(yè)員，每個作業(yè)員負責一個區(qū)域的更新。在分配任務時，需要按照作業(yè)員負責的范圍對全省的核心要素數(shù)據(jù)進行裁切（或空間相交），裁切結(jié)果以文件的形式分發(fā)給作業(yè)員，作業(yè)員參考遙感影像、專題數(shù)據(jù)等資料對核心要素數(shù)據(jù)進行更新。所有的作業(yè)員完成更新之后，需要再將數(shù)據(jù)進行拼接和接邊，項目負責人將更新成果發(fā)送給制圖員，制圖員再利用更新成果進行電子地圖的配圖和切片。在整個核心要素數(shù)據(jù)更新的過程中，數(shù)據(jù)以文件的形式流轉(zhuǎn)，裁切、拼接和入庫等操作都影響更新效率。更新過程中數(shù)據(jù)保存在作業(yè)員的工作站上，數(shù)據(jù)安全性不能保證，會出現(xiàn)硬盤損壞導致更新過程數(shù)據(jù)丟失的情況。數(shù)據(jù)更新完成后還需要導入應用服務器的數(shù)據(jù)庫中，用于電子地圖配圖和服務。陳為民等[7]研究了ArcGIS分布式地理數(shù)據(jù)庫技術(shù)，設計分布式地理數(shù)據(jù)庫同步更新系統(tǒng)，實現(xiàn)市級為主庫和區(qū)級為副庫的分布式數(shù)據(jù)庫同步更新機制。李永勝等[8]將Geodatabase復制技術(shù)應用于土地利用數(shù)據(jù)庫的管理，實現(xiàn)了同一數(shù)據(jù)庫平臺下多個地理數(shù)據(jù)庫間的數(shù)據(jù)雙向同步。核心要素數(shù)據(jù)更新項目負責人曾嘗試采用ArcGIS版本化（Versioning）的方法進行更新，數(shù)據(jù)庫部署在部門服務器，10多個作業(yè)員并發(fā)對數(shù)據(jù)進行編輯，但由于硬件資源的限制，會出現(xiàn)無法保存編輯的問題?；诜植际降乩頂?shù)據(jù)庫的更新技術(shù)流程，作業(yè)員編輯數(shù)據(jù)時不需要訪問服務器數(shù)據(jù)庫中的數(shù)據(jù)，降低了服務器的負擔。

2分布式地理數(shù)據(jù)庫

分布式地理數(shù)據(jù)庫就是將主庫中的全部或部分數(shù)據(jù)拷貝到一個或多個副庫中，形成數(shù)據(jù)分散存儲的組織方式，地理數(shù)據(jù)庫復制（GeodatabaseReplication）是實現(xiàn)數(shù)據(jù)分布的方法。分布式地理數(shù)據(jù)庫允許企業(yè)根據(jù)需要將數(shù)據(jù)從中央服務器（centralservers）分發(fā)到處于在線或離線的環(huán)境中，作業(yè)員可以在不同位置編輯同一份數(shù)據(jù)。復本更新后，通過同步（Synchronization）將數(shù)據(jù)變化從一個復本發(fā)送到另一個復本。通過數(shù)據(jù)分布可以緩解服務器爭用以及對中央服務器的網(wǎng)絡訪問速度慢的情況，從而提高數(shù)據(jù)可用性與性能。這有助于企業(yè)在執(zhí)行編輯的用戶與訪問服務器以進行讀取操作的用戶之間實現(xiàn)地理數(shù)據(jù)庫負載均衡。地理數(shù)據(jù)庫復制的類型有3種：①檢入/檢出復制；②單向復制；③雙向復制。雙向復制可多次將數(shù)據(jù)變化從父復本同步到子復本，或子復本同步到父復本，適用于父復本和子復本都需要編輯或僅子復本需要編輯的情景，因此，在核心要素數(shù)據(jù)更新過程中主要使用雙向復制。創(chuàng)建雙向復制的父復本和子復本必須是在ArcSDE地理數(shù)據(jù)庫中。

3更新流程設計

根據(jù)ArcGIS的版本化和分布式地理數(shù)據(jù)庫的功能，通過設計合理的技術(shù)流程，將分布式地理數(shù)據(jù)庫用于“天地圖•福建”核心要素數(shù)據(jù)的更新作業(yè)。

3.1更新技術(shù)流程

參與核心要素更新的人員分為4類：①數(shù)據(jù)庫管理員（負責數(shù)據(jù)庫的運行管理）；②項目負責人（負責任務分配和數(shù)據(jù)沖突協(xié)調(diào)）；③作業(yè)員（負責數(shù)據(jù)的更新作業(yè)）；④質(zhì)檢員（負責數(shù)據(jù)的一級檢查和二級檢查）。1）安裝配置數(shù)據(jù)庫。服務器端和工作站均采用ArcSDE+PostgreSQL地理數(shù)據(jù)庫，由數(shù)據(jù)庫管理員負責安裝。選擇PostgreSQL主要是因為其功能足以支撐千萬級數(shù)據(jù)量的管理，支持ArcSDE的完整功能，而且安裝文件很小，安裝、配置和管理非常方便。數(shù)據(jù)庫管理員負責在PostgreSQL中為更新創(chuàng)建forSDE數(shù)據(jù)庫。2）數(shù)據(jù)入庫及注冊。項目負責人在forSDE中創(chuàng)建要素數(shù)據(jù)集，將核心要素數(shù)據(jù)導入該要素數(shù)據(jù)集中。分布式地理數(shù)據(jù)庫需要依賴GlobalID字段，因此，數(shù)據(jù)導入數(shù)據(jù)庫之后必須添加GlobalID字段并賦值。項目負責人對服務器端的要素數(shù)據(jù)集執(zhí)行注冊版本（RegisterAsVersion），注冊時不能勾選將編輯內(nèi)容移動到基表的功能，將DEFAULT版本設置為受保護（Protected），然后從DEFAULT版本創(chuàng)建forEdit版本，并將forEdit版本設置為受保護（Protected）。3）創(chuàng)建用戶及復本。項目負責人使用創(chuàng)建數(shù)據(jù)庫用戶（CreateDatabaseUser）工具為每一個作業(yè)員創(chuàng)建一個數(shù)據(jù)庫用戶，并使用更改權(quán)限（ChangePrivileges）使工具授權(quán)作業(yè)員可以訪問forSDE中的要素數(shù)據(jù)集。此時每個作業(yè)員可以連接訪問2個數(shù)據(jù)庫：服務器數(shù)據(jù)庫和本地數(shù)據(jù)庫。作業(yè)員連接服務器端數(shù)據(jù)庫，在地理數(shù)據(jù)庫管理中從forEdit版本創(chuàng)建與作業(yè)員用戶名相同的私有（Private）版本。每個作業(yè)員創(chuàng)建完私有版本之后，項目負責人需要檢查版本的組織情況，每個作業(yè)員的私有版本必須按組織，不允許作業(yè)員從DEFAULT創(chuàng)建私有版本。要求每個作業(yè)員必須都創(chuàng)建一個私有版本，是為了數(shù)據(jù)更新之后，數(shù)據(jù)變化將同步到作業(yè)員的私有版本中。作業(yè)員連接服務器端的私有版本，從DEFAULT和forEdit版本創(chuàng)建的復本將無法同步，因為服務器端DEFAULT和forEdit版本已設置為受保護。作業(yè)員執(zhí)行創(chuàng)建復本（CreateReplica）工具將服務器端的數(shù)據(jù)復制到本地ArcSDE中，創(chuàng)建復本時復本類型設置為雙向復制，同時將復本幾何要素（ReplicaGeometryFeatures）設置為每個作業(yè)員負責更新的范圍，子復本就僅包含與作業(yè)范圍相交的數(shù)據(jù)。每個子復本是雙向復制，所以本地子復本與服務器的父復本之間可以相互同步數(shù)據(jù)。數(shù)據(jù)更新作業(yè)。作業(yè)員根據(jù)參考資料對本地數(shù)據(jù)庫的數(shù)據(jù)進行更新。在更新過程中，本地數(shù)據(jù)庫完全可以與服務器斷開，不需要與服務數(shù)據(jù)庫進行同步。2）質(zhì)量檢查。質(zhì)檢員、項目負責人可以在作業(yè)員更新過程中對數(shù)據(jù)進行檢查，提前發(fā)現(xiàn)問題，通知作業(yè)員進行修改，將質(zhì)量問題消除在生產(chǎn)環(huán)節(jié)，保證數(shù)據(jù)更新的質(zhì)量。質(zhì)檢員和項目負責人直接連接每個作業(yè)員的本地數(shù)據(jù)庫進行質(zhì)量檢查，不需要拷貝數(shù)據(jù)。3）同步和協(xié)調(diào)。作業(yè)員通過同步數(shù)據(jù)變化（SynchronizeChanges）工具將本地數(shù)據(jù)庫中的更新數(shù)據(jù)同步到服務器端私有版本，同步的方向是從子復本向父復本，此時，更新的數(shù)據(jù)已經(jīng)同步到服務器端作業(yè)員的私有版本。作業(yè)員在更新過程中，也可以根據(jù)需要定期將數(shù)據(jù)變化同步到服務器，避免本地數(shù)據(jù)出現(xiàn)問題，造成更新過程數(shù)據(jù)丟失。作業(yè)員的私有版本提交到forEdit版本時，必須進行沖突檢測和協(xié)調(diào)。沖突發(fā)生在以下情況：①當前編輯的版本和目標版本中對同一要素進行更新；②某個版本中更新了一個要素，而另一版本中刪除了此要素；③當前編輯的版本和目標版本中修改與要素或關(guān)系類關(guān)聯(lián)的拓撲。開始更新時每個作業(yè)員創(chuàng)建了一個私有版本，更新時作業(yè)員之間相互獨立，跨相鄰2個作業(yè)區(qū)域的要素會存在沖突，特別是交通和水系要素。使用版本管理工具條的協(xié)調(diào)進行沖突檢測，檢測到?jīng)_突時會激活沖突窗口。在同步和協(xié)調(diào)過程中，增量表會不斷增大，狀態(tài)越來越多，數(shù)據(jù)庫性能會慢慢下降。為了提高數(shù)據(jù)庫性能，必須定期對數(shù)據(jù)庫進行壓縮（Compress）。

3.2耗時分析

服務器端是一臺部門用于電子地圖切片的服務器，操作系統(tǒng)采用WindowsServer2008R2，處理器XeonE5-2650V2@2.6GHz×2，內(nèi)存32GB。服務器和工作站均安裝ArcGIS10.2+PostgreSQL9.1.3，福建省核心要素數(shù)據(jù)約714萬個。核心要素數(shù)據(jù)導入服務器數(shù)據(jù)庫耗時34min38s，添加GlobalID字段并賦值耗時18min58s，注冊版本耗時12s。在一臺工作站的數(shù)據(jù)庫中創(chuàng)建尤溪縣的復本耗時3min9s，該縣的總要素個數(shù)為約13萬。從數(shù)據(jù)入庫到創(chuàng)建尤溪縣的復本，整個過程耗時56min57s。因為創(chuàng)建要素數(shù)據(jù)集、創(chuàng)建版本、創(chuàng)建數(shù)據(jù)庫用戶和授權(quán)等操作耗時非常短，因此，不進行耗時統(tǒng)計。在基于分布式地理數(shù)據(jù)庫的更新方法中，數(shù)據(jù)入庫和添加GlobalID字段僅需操作一次，核心要素數(shù)據(jù)將一直存儲在數(shù)據(jù)庫中。作業(yè)員的數(shù)據(jù)庫用戶也僅創(chuàng)建一次。每次需要開展更新任務時，項目負責人僅需將作業(yè)員的更新范圍分發(fā)下去，作業(yè)員自行在服務器forEdit版本上創(chuàng)建私有版本，然后創(chuàng)建復本。創(chuàng)建復本耗時與要素的個數(shù)正相關(guān)，一般來說，作業(yè)員僅需10min左右就可以完成一個縣的原始數(shù)據(jù)的準備?；诜植际降乩頂?shù)據(jù)庫的更新成果存儲在服務器的數(shù)據(jù)庫中，可直接用于服務和電子地圖配圖等。核心要素數(shù)據(jù)需要每年進行全面更新，鐵路、等級公路等重點要素需要實時更新，基于分布式地理數(shù)據(jù)庫的更新方法具有明顯優(yōu)勢。在對重點要素進行實時更新時，每次更新可能僅有幾個要素，但為了保證本地數(shù)據(jù)與服務器數(shù)據(jù)庫中的數(shù)據(jù)一致，每次更新完都需要進行一次入庫，非常耗時。

3.3復雜性分析

采用分布式地理數(shù)據(jù)庫的更新方法比傳統(tǒng)的更新方法復雜一些，對項目負責人和作業(yè)員有一定要求。項目負責人需要掌握數(shù)據(jù)入庫、創(chuàng)建用戶、創(chuàng)建版本、沖突協(xié)調(diào)、數(shù)據(jù)壓縮等操作，但ArcGIS中都提供了相應的工具，不需要掌握與PostgreSQL相關(guān)的操作。作業(yè)員僅需要掌握創(chuàng)建私有版本、創(chuàng)建作業(yè)區(qū)復本和同步數(shù)據(jù)變化等操作，這些操作也都有相應的工具，作業(yè)員僅需要了解每個工具的參數(shù)設置即可。

4結(jié)語

省市天地圖的建成對促進地理信息資源共享，提高測繪地理信息公共服務水平起到了關(guān)鍵作用，各省每年都要開展天地圖數(shù)據(jù)更新工作?；诎姹竞头植际降乩頂?shù)據(jù)庫的更新技術(shù)流程具有很強的可操作性，對軟硬件資源要求不高，能顯著提高效率，對提高天地圖數(shù)據(jù)的現(xiàn)勢性有很好的作用。如果數(shù)據(jù)庫服務器與應用服務器之間建立復本，數(shù)據(jù)成果可以直接從數(shù)據(jù)庫服務器同步到應用服務器。核心要素數(shù)據(jù)更新僅是分布式地理數(shù)據(jù)庫的一種應用場景，版本和分布式地理數(shù)據(jù)庫靈活結(jié)合的數(shù)據(jù)存儲結(jié)構(gòu)支持多種業(yè)務邏輯?？捎糜诳v向的數(shù)據(jù)存儲及聯(lián)動更新，如省、市、縣分級管理的數(shù)據(jù)；也可以用于橫向的數(shù)據(jù)共享及聯(lián)動更新，如不同的行業(yè)部門之間的數(shù)據(jù)共享。

參考文獻

[1]王建麗.地理空間框架數(shù)據(jù)的聯(lián)動更新技術(shù)研究與實現(xiàn)[J].地理空間信息,2015,13(6):167-168

[2]張小波,李新雙,張俊,等.多源數(shù)據(jù)更新空間框架地理信息技術(shù)[J].城市勘測,2016(12):57-59

[3]付榮祥,吳彬卓,葉哲璐.地理空間數(shù)據(jù)庫聯(lián)動更新技術(shù)[J].測繪通報,2017(5):136-138

[4]張應裕,周博,彭雨滕.數(shù)字城市基礎地理數(shù)據(jù)更新升級技術(shù)探討[J].測繪與空間地理信息,2017,40(8):103-105

作者：張壽選 單位：福建省基礎地理信息中心