多模態(tài)數(shù)據(jù)融合護理信息系統(tǒng)架構(gòu)應(yīng)用

前言：想要寫出一篇引人入勝的文章？我們特意為您整理了多模態(tài)數(shù)據(jù)融合護理信息系統(tǒng)架構(gòu)應(yīng)用范文，希望能給你帶來靈感和參考，敬請閱讀。

摘要：分析多模態(tài)數(shù)據(jù)信息源及采集方式，提出一種支持高并發(fā)業(yè)務(wù)的護理信息系統(tǒng)4層構(gòu)架，囊括對護理實踐相關(guān)的多模態(tài)數(shù)據(jù)的采集、分析、應(yīng)用及展示全過程。打破傳統(tǒng)以表單關(guān)聯(lián)實現(xiàn)的數(shù)據(jù)互通，將采集的數(shù)據(jù)先管理再使用，實現(xiàn)數(shù)據(jù)的底層交互與深度學習，思考多模態(tài)數(shù)據(jù)融合技術(shù)在護理信息系統(tǒng)中應(yīng)用的困難與應(yīng)對，推動護理與大數(shù)據(jù)時代的有機融合，從而促進護理工作向“全相護理”轉(zhuǎn)型。

關(guān)鍵詞：護理信息系統(tǒng)；多模態(tài)數(shù)據(jù)融合；健康；全相護理；數(shù)字孿生

一直以來，人們都知道生態(tài)環(huán)境、生活習慣對健康的影響不容忽視，因無法采集這部分數(shù)據(jù)，而沒有納入護理信息系統(tǒng)（NursingInformationSystem，NIS）等醫(yī)療系統(tǒng)中。隨著信息技術(shù)對生活各領(lǐng)域的深入滲透，數(shù)學運算能力的不斷提升，與健康相關(guān)的數(shù)據(jù)將不限于臨床檢驗檢查及各項評估，患者的動態(tài)生命體征、生態(tài)環(huán)境、生活習慣都是數(shù)據(jù)源，數(shù)據(jù)不再只產(chǎn)生于實驗室或醫(yī)務(wù)人員的監(jiān)測，而來自多源多模態(tài)；且將開放給醫(yī)務(wù)人員以外的人員使用。有研究指出，為患者和護理合作伙伴提供訪問醫(yī)生筆記的方式可以改善護患溝通和患者自我健康管理的信心［1］，因此NIS面向的應(yīng)用對象逐漸從單純的護理人員［2］擴展到醫(yī)務(wù)人員、患者等與健康產(chǎn)業(yè)相關(guān)人員。這意味著NIS從數(shù)據(jù)源到最終的展示都將發(fā)生根本性轉(zhuǎn)變。多模態(tài)數(shù)據(jù)融合（Multi－ModalDataFusion）技術(shù)將對非結(jié)構(gòu)化、多源化、多種類的數(shù)據(jù)進行采集、存儲、分析、交互，打破傳統(tǒng)表單關(guān)聯(lián)形式實現(xiàn)數(shù)據(jù)互通，將采集的數(shù)據(jù)先管理再使用，從而實現(xiàn)數(shù)據(jù)的底層交互與深度學習，推動護理與大數(shù)據(jù)時代的有機融合，本文探索基于多模態(tài)數(shù)據(jù)融合技術(shù)的NIS架構(gòu)，并進行應(yīng)用分析，以期為完善NIS的建設(shè)提供參考。

1NIS多模態(tài)數(shù)據(jù)信息源及采集方式

①多模態(tài)數(shù)據(jù)。包括文本、視頻、音頻、圖片等，其信息源類別、采集對象、采集方式和傳統(tǒng)NIS有較大區(qū)別。②多模態(tài)數(shù)據(jù)信息源類別。包括臨床業(yè)務(wù)數(shù)據(jù)（院內(nèi)醫(yī)療過程產(chǎn)生的數(shù)據(jù)，如檢查檢驗、手術(shù)等）和社會數(shù)據(jù)（院內(nèi)醫(yī)療過程以外的數(shù)據(jù)，如飲食、運動、睡眠、氣候、溫濕度等）。③多模態(tài)數(shù)據(jù)信息采集對象。包括患者，與患者醫(yī)療過程／生活相關(guān)的人員（醫(yī)生、護士、家屬等），患者使用的物品（手術(shù)器材、檢查試劑等），患者在醫(yī)療過程中的地點、溫度濕度（嬰兒保溫箱）等。④多模態(tài)數(shù)據(jù)信息采集方式。包括鼠標鍵盤錄入的文本，傳感器采集的文本、攝像錄音機采集的視頻、圖片、音頻等。

2NIS多模態(tài)數(shù)據(jù)融合方法及系統(tǒng)架構(gòu)

2．1多模態(tài)數(shù)據(jù)融合方法

多模態(tài)融合（Multimo－dalFusion）是對多個模態(tài)的信息進行目標預測（分類或者回歸），按照融合的層次，可分為像素層（Pixel－Level），特征層（Feature－level）和決策層（Decision－level）。信息融合方法主要有基于估算、分類和規(guī)則3種方法，見圖1。NIS的用戶包括護士和患者，主要是Web用戶，信息融合方式要便于他們對信息的檢索或信息的精準推送；需要將各種數(shù)據(jù)放在特定護理事件中進行處理，而不是單一圍繞一種模態(tài)信息進行處理；同時要關(guān)注不同模態(tài)數(shù)據(jù)之間的潛在關(guān)聯(lián)性和相同模態(tài)數(shù)據(jù)間底層特征分布的不一致性，通過算法把不同媒介下的信息進行高效整合和串聯(lián)，從而形成一個完整的全方位的護理信息。

2．2多模態(tài)數(shù)據(jù)融合的NIS架構(gòu)基于多模態(tài)數(shù)據(jù)

融合的NIS架構(gòu)方面，可設(shè)計一種支持高并發(fā)業(yè)務(wù)的4層系統(tǒng)架構(gòu)，分別以互聯(lián)網(wǎng)、物聯(lián)網(wǎng)及接口服務(wù)支持的智能設(shè)備為終端的數(shù)據(jù)采集層、采用多模態(tài)數(shù)據(jù)融合分析的數(shù)據(jù)交互層、支持多類型業(yè)務(wù)處理的數(shù)據(jù)應(yīng)用層和滿足異構(gòu)護理數(shù)據(jù)管理的數(shù)據(jù)展示層，囊括對護理實踐相關(guān)的多模態(tài)數(shù)據(jù)的采集、分析、應(yīng)用及展示全過程。與傳統(tǒng)NIS不同之處在于，采集到的多模態(tài)數(shù)據(jù)不是直接應(yīng)用于臨床場景，而是經(jīng)過數(shù)據(jù)交互后再應(yīng)用，也就是說數(shù)據(jù)先管理再使用，保證每個數(shù)據(jù)在系統(tǒng)中擁有“身份證”，數(shù)據(jù)作為獨立的對象進行存儲，并持續(xù)伴隨患者在院內(nèi)、院外參與的各種場景，不斷進行自我更新和跨系統(tǒng)之間的共享；同時應(yīng)用層數(shù)據(jù)可作為一種數(shù)據(jù)源反饋給采集層。如：入院體溫36．5℃，這條文本數(shù)據(jù)被護士錄入傳統(tǒng)NIS的體溫單界面后，畫于體溫單，當護理或醫(yī)療病程記錄需要入院體溫數(shù)據(jù)時，系統(tǒng)將體溫單的入院數(shù)據(jù)編輯為一條文本推送給護理、醫(yī)療病程記錄，形成多個表單之間的關(guān)聯(lián)?；诙嗄B(tài)數(shù)據(jù)融合技術(shù)的NIS，會先將36．5℃作為獨立對象經(jīng)過數(shù)據(jù)交互（存儲、處理、挖掘），賦予其多個“身份證”信息———入院時、靜息狀態(tài)、午后等，再將數(shù)據(jù)由其身份特征與不同場景關(guān)聯(lián)，也就是數(shù)據(jù)與應(yīng)用場景的關(guān)聯(lián)取代表單與表單的關(guān)聯(lián)，通過改變數(shù)據(jù)之間的底層交互規(guī)則，從而打破圍墻、實現(xiàn)共享，見圖2。

3多模態(tài)數(shù)據(jù)融合的NIS應(yīng)用

3．1多模態(tài)數(shù)據(jù)融合的NIS的應(yīng)用

隨著數(shù)字化的廣泛推進，海量多模態(tài)臨床數(shù)據(jù)需求日漸明顯［3］。過去10年，醫(yī)療圖像分析領(lǐng)域呈指數(shù)增長，促進了高通量定量特征提取方法的開發(fā)，多模態(tài)數(shù)據(jù)融合技術(shù)在放射性基因組學、疾病預測等領(lǐng)域成為熱點［4］，但在護理領(lǐng)域的研究尚處于起步階段，最早應(yīng)用于重癥監(jiān)護病區(qū)。Saeed等［5］報道了經(jīng)過7年時間建立的重癥監(jiān)護多參數(shù)智能監(jiān)測II（MultiparameterIntelligentMonitoringinIntensiveCareII，MIMIC－II）研究數(shù)據(jù)庫應(yīng)用情況，這項研究由美國國立衛(wèi)生研究院資助，利用先進的信息技術(shù)和數(shù)據(jù)算法，對患者實驗室數(shù)據(jù)、電子病歷文檔、床旁監(jiān)護儀的數(shù)字及波形進行整合，每2～4周將數(shù)據(jù)從醫(yī)院以物理方式傳輸?shù)綄嶒炇?，并轉(zhuǎn)換為開源數(shù)據(jù)格式，合并到MIMIC－II波形數(shù)據(jù)庫中，為重癥監(jiān)護研究建立了新的公共訪問資源，支持了流行病學、臨床決策規(guī)則開發(fā)和電子病歷研發(fā)等各種分析研究。隨著通訊技術(shù)與機器智能的進步，多模態(tài)數(shù)據(jù)融合技術(shù)開始應(yīng)用于患者生命體征采集和評估，如EmoPain2020挑戰(zhàn)賽創(chuàng)建了一個多模式機器學習和多媒體處理平臺［6］，用于比較人類表達行為對慢性疼痛評估的準確性，以識別與疼痛相關(guān)的行為。挑戰(zhàn)的目標是為了促進通過實時監(jiān)控和反饋來改善慢性疼痛患者生活質(zhì)量的輔助技術(shù)研發(fā)，從而幫助他們管理自己的狀況并保持身體機能。Gruss等［7］研發(fā)壓力、感冒等產(chǎn)生的疼痛，并將記錄數(shù)據(jù)作為“X－ITE疼痛數(shù)據(jù)庫”。國內(nèi)也有學者在糖尿病等領(lǐng)域探索多模態(tài)數(shù)據(jù)監(jiān)測的應(yīng)用［8］，取得顯著效果。本世紀初逐漸興起的數(shù)字孿生技術(shù)（DigitalTwin），為真實的物理世界搭建一個高度鏡像化的數(shù)字世界。通過物理設(shè)備的數(shù)據(jù)，將人類的各種行為數(shù)據(jù)化，在虛擬（信息）空間構(gòu)建一個表征人體的虛擬實體和子系統(tǒng)，也就是搭建一個“數(shù)字克隆”的“孿生體”，依據(jù)對“本體”的傳感器收集的多模態(tài)數(shù)據(jù)，以及“本體”的歷史數(shù)據(jù)進行動態(tài)仿真，提前反映出個體目前生活模式將帶來的健康隱患，從而讓個體與醫(yī)務(wù)人員共同參與到自我健康管理實踐中，目前這一技術(shù)已在社區(qū)老年人監(jiān)測領(lǐng)域開展研究［9］。

3．2多模態(tài)數(shù)據(jù)融合的NIS應(yīng)用存在的困難與應(yīng)對

當前，盡管以患者為中心的醫(yī)療數(shù)據(jù)已非常豐富，但還有大量醫(yī)療場景中的非結(jié)構(gòu)化數(shù)據(jù)未被采集，如手術(shù)過程、睡覺監(jiān)測中患者的鼾聲、住院期間患者的運動軌跡、飲食情況等，這些數(shù)據(jù)都可能影響到患者的診斷與治療方案；此外，護理信息學（NursingIn－formatics，NI）是一門集成護理科學、計算機科學及信息科學的綜合性學科，但因缺乏師資等因素，護理教育中護理信息學課程并未普及，無論護士還是護生的計算機素養(yǎng)能力并不樂觀［10－12］；因NIS數(shù)據(jù)采集方式有限，主要依賴護士操作結(jié)束后通過計算機或移動終端進行記錄，屬于“回憶型”數(shù)據(jù)，其真實性和實時性均存在質(zhì)疑，雖然物聯(lián)網(wǎng)（IOT）技術(shù)讓部分重癥監(jiān)護室采用傳感器收集數(shù)據(jù)，但因投入過大，且設(shè)備不夠便捷，無法在普通病房推廣?？梢?，宏觀層質(zhì)控標準與患者需求脫節(jié)、中觀層信息教育與臨床實踐脫節(jié)、微觀層底層技術(shù)與高層實踐脫節(jié)是當前多模態(tài)數(shù)據(jù)融合NIS的最大障礙。多模態(tài)數(shù)據(jù)融合面對的是海量多源數(shù)據(jù)庫，ICU設(shè)備復雜的接口和專有的數(shù)據(jù)格式，阻礙了設(shè)備與數(shù)據(jù)庫之間無縫聯(lián)結(jié)；數(shù)據(jù)的大量增加也會混淆分析，產(chǎn)生計算瓶頸，并降低得出有效因果推論的能力；用于決策支持的最大挑戰(zhàn)是跨多個站點共享圖像數(shù)據(jù)和元數(shù)據(jù)，而數(shù)據(jù)共享必須克服文化、行政、法規(guī)和個人問題［13］。當人們的健康被時代所影響時，護理信息技術(shù)也應(yīng)從用戶需求出發(fā)，主動擁抱“數(shù)據(jù)密集型”時代，開啟一次對護理的范式轉(zhuǎn)換［14］，邁入“全相護理”（DeepHolographicCare，DHC）［15］時代，一個由數(shù)據(jù)驅(qū)動健康的時代，深挖與健康相關(guān)數(shù)據(jù)需求、開展諸如《實用護理信息技術(shù)》等課程加速提升護理信息能力［16］、以多學科團隊協(xié)作模式推動護理與大數(shù)據(jù)時代的有機融合［17］，促進護理工作向全相護理轉(zhuǎn)型。

作者：肖爽 趙慶華 鄒依然 胡磊 盧燁 王琦 單位：重慶兩江新區(qū)第一人民醫(yī)院護理部