多模態(tài)數(shù)據(jù)融合護(hù)理信息系統(tǒng)架構(gòu)應(yīng)用

前言：想要寫出一篇引人入勝的文章？我們特意為您整理了多模態(tài)數(shù)據(jù)融合護(hù)理信息系統(tǒng)架構(gòu)應(yīng)用范文，希望能給你帶來靈感和參考，敬請閱讀。

摘要：分析多模態(tài)數(shù)據(jù)信息源及采集方式，提出一種支持高并發(fā)業(yè)務(wù)的護(hù)理信息系統(tǒng)4層構(gòu)架，囊括對護(hù)理實(shí)踐相關(guān)的多模態(tài)數(shù)據(jù)的采集、分析、應(yīng)用及展示全過程。打破傳統(tǒng)以表單關(guān)聯(lián)實(shí)現(xiàn)的數(shù)據(jù)互通，將采集的數(shù)據(jù)先管理再使用，實(shí)現(xiàn)數(shù)據(jù)的底層交互與深度學(xué)習(xí)，思考多模態(tài)數(shù)據(jù)融合技術(shù)在護(hù)理信息系統(tǒng)中應(yīng)用的困難與應(yīng)對，推動(dòng)護(hù)理與大數(shù)據(jù)時(shí)代的有機(jī)融合，從而促進(jìn)護(hù)理工作向“全相護(hù)理”轉(zhuǎn)型。

關(guān)鍵詞：護(hù)理信息系統(tǒng)；多模態(tài)數(shù)據(jù)融合；健康；全相護(hù)理；數(shù)字孿生

一直以來，人們都知道生態(tài)環(huán)境、生活習(xí)慣對健康的影響不容忽視，因無法采集這部分?jǐn)?shù)據(jù)，而沒有納入護(hù)理信息系統(tǒng)（NursingInformationSystem，NIS）等醫(yī)療系統(tǒng)中。隨著信息技術(shù)對生活各領(lǐng)域的深入滲透，數(shù)學(xué)運(yùn)算能力的不斷提升，與健康相關(guān)的數(shù)據(jù)將不限于臨床檢驗(yàn)檢查及各項(xiàng)評估，患者的動(dòng)態(tài)生命體征、生態(tài)環(huán)境、生活習(xí)慣都是數(shù)據(jù)源，數(shù)據(jù)不再只產(chǎn)生于實(shí)驗(yàn)室或醫(yī)務(wù)人員的監(jiān)測，而來自多源多模態(tài)；且將開放給醫(yī)務(wù)人員以外的人員使用。有研究指出，為患者和護(hù)理合作伙伴提供訪問醫(yī)生筆記的方式可以改善護(hù)患溝通和患者自我健康管理的信心［1］，因此NIS面向的應(yīng)用對象逐漸從單純的護(hù)理人員［2］擴(kuò)展到醫(yī)務(wù)人員、患者等與健康產(chǎn)業(yè)相關(guān)人員。這意味著NIS從數(shù)據(jù)源到最終的展示都將發(fā)生根本性轉(zhuǎn)變。多模態(tài)數(shù)據(jù)融合（Multi－ModalDataFusion）技術(shù)將對非結(jié)構(gòu)化、多源化、多種類的數(shù)據(jù)進(jìn)行采集、存儲(chǔ)、分析、交互，打破傳統(tǒng)表單關(guān)聯(lián)形式實(shí)現(xiàn)數(shù)據(jù)互通，將采集的數(shù)據(jù)先管理再使用，從而實(shí)現(xiàn)數(shù)據(jù)的底層交互與深度學(xué)習(xí)，推動(dòng)護(hù)理與大數(shù)據(jù)時(shí)代的有機(jī)融合，本文探索基于多模態(tài)數(shù)據(jù)融合技術(shù)的NIS架構(gòu)，并進(jìn)行應(yīng)用分析，以期為完善NIS的建設(shè)提供參考。

1NIS多模態(tài)數(shù)據(jù)信息源及采集方式

①多模態(tài)數(shù)據(jù)。包括文本、視頻、音頻、圖片等，其信息源類別、采集對象、采集方式和傳統(tǒng)NIS有較大區(qū)別。②多模態(tài)數(shù)據(jù)信息源類別。包括臨床業(yè)務(wù)數(shù)據(jù)（院內(nèi)醫(yī)療過程產(chǎn)生的數(shù)據(jù)，如檢查檢驗(yàn)、手術(shù)等）和社會(huì)數(shù)據(jù)（院內(nèi)醫(yī)療過程以外的數(shù)據(jù)，如飲食、運(yùn)動(dòng)、睡眠、氣候、溫濕度等）。③多模態(tài)數(shù)據(jù)信息采集對象。包括患者，與患者醫(yī)療過程／生活相關(guān)的人員（醫(yī)生、護(hù)士、家屬等），患者使用的物品（手術(shù)器材、檢查試劑等），患者在醫(yī)療過程中的地點(diǎn)、溫度濕度（嬰兒保溫箱）等。④多模態(tài)數(shù)據(jù)信息采集方式。包括鼠標(biāo)鍵盤錄入的文本，傳感器采集的文本、攝像錄音機(jī)采集的視頻、圖片、音頻等。

2NIS多模態(tài)數(shù)據(jù)融合方法及系統(tǒng)架構(gòu)

2．1多模態(tài)數(shù)據(jù)融合方法

多模態(tài)融合（Multimo－dalFusion）是對多個(gè)模態(tài)的信息進(jìn)行目標(biāo)預(yù)測（分類或者回歸），按照融合的層次，可分為像素層（Pixel－Level），特征層（Feature－level）和決策層（Decision－level）。信息融合方法主要有基于估算、分類和規(guī)則3種方法，見圖1。NIS的用戶包括護(hù)士和患者，主要是Web用戶，信息融合方式要便于他們對信息的檢索或信息的精準(zhǔn)推送；需要將各種數(shù)據(jù)放在特定護(hù)理事件中進(jìn)行處理，而不是單一圍繞一種模態(tài)信息進(jìn)行處理；同時(shí)要關(guān)注不同模態(tài)數(shù)據(jù)之間的潛在關(guān)聯(lián)性和相同模態(tài)數(shù)據(jù)間底層特征分布的不一致性，通過算法把不同媒介下的信息進(jìn)行高效整合和串聯(lián)，從而形成一個(gè)完整的全方位的護(hù)理信息。

2．2多模態(tài)數(shù)據(jù)融合的NIS架構(gòu)基于多模態(tài)數(shù)據(jù)

融合的NIS架構(gòu)方面，可設(shè)計(jì)一種支持高并發(fā)業(yè)務(wù)的4層系統(tǒng)架構(gòu)，分別以互聯(lián)網(wǎng)、物聯(lián)網(wǎng)及接口服務(wù)支持的智能設(shè)備為終端的數(shù)據(jù)采集層、采用多模態(tài)數(shù)據(jù)融合分析的數(shù)據(jù)交互層、支持多類型業(yè)務(wù)處理的數(shù)據(jù)應(yīng)用層和滿足異構(gòu)護(hù)理數(shù)據(jù)管理的數(shù)據(jù)展示層，囊括對護(hù)理實(shí)踐相關(guān)的多模態(tài)數(shù)據(jù)的采集、分析、應(yīng)用及展示全過程。與傳統(tǒng)NIS不同之處在于，采集到的多模態(tài)數(shù)據(jù)不是直接應(yīng)用于臨床場景，而是經(jīng)過數(shù)據(jù)交互后再應(yīng)用，也就是說數(shù)據(jù)先管理再使用，保證每個(gè)數(shù)據(jù)在系統(tǒng)中擁有“身份證”，數(shù)據(jù)作為獨(dú)立的對象進(jìn)行存儲(chǔ)，并持續(xù)伴隨患者在院內(nèi)、院外參與的各種場景，不斷進(jìn)行自我更新和跨系統(tǒng)之間的共享；同時(shí)應(yīng)用層數(shù)據(jù)可作為一種數(shù)據(jù)源反饋給采集層。如：入院體溫36．5℃，這條文本數(shù)據(jù)被護(hù)士錄入傳統(tǒng)NIS的體溫單界面后，畫于體溫單，當(dāng)護(hù)理或醫(yī)療病程記錄需要入院體溫?cái)?shù)據(jù)時(shí)，系統(tǒng)將體溫單的入院數(shù)據(jù)編輯為一條文本推送給護(hù)理、醫(yī)療病程記錄，形成多個(gè)表單之間的關(guān)聯(lián)?；诙嗄B(tài)數(shù)據(jù)融合技術(shù)的NIS，會(huì)先將36．5℃作為獨(dú)立對象經(jīng)過數(shù)據(jù)交互（存儲(chǔ)、處理、挖掘），賦予其多個(gè)“身份證”信息———入院時(shí)、靜息狀態(tài)、午后等，再將數(shù)據(jù)由其身份特征與不同場景關(guān)聯(lián)，也就是數(shù)據(jù)與應(yīng)用場景的關(guān)聯(lián)取代表單與表單的關(guān)聯(lián)，通過改變數(shù)據(jù)之間的底層交互規(guī)則，從而打破圍墻、實(shí)現(xiàn)共享，見圖2。

3多模態(tài)數(shù)據(jù)融合的NIS應(yīng)用

3．1多模態(tài)數(shù)據(jù)融合的NIS的應(yīng)用

隨著數(shù)字化的廣泛推進(jìn)，海量多模態(tài)臨床數(shù)據(jù)需求日漸明顯［3］。過去10年，醫(yī)療圖像分析領(lǐng)域呈指數(shù)增長，促進(jìn)了高通量定量特征提取方法的開發(fā)，多模態(tài)數(shù)據(jù)融合技術(shù)在放射性基因組學(xué)、疾病預(yù)測等領(lǐng)域成為熱點(diǎn)［4］，但在護(hù)理領(lǐng)域的研究尚處于起步階段，最早應(yīng)用于重癥監(jiān)護(hù)病區(qū)。Saeed等［5］報(bào)道了經(jīng)過7年時(shí)間建立的重癥監(jiān)護(hù)多參數(shù)智能監(jiān)測II（MultiparameterIntelligentMonitoringinIntensiveCareII，MIMIC－II）研究數(shù)據(jù)庫應(yīng)用情況，這項(xiàng)研究由美國國立衛(wèi)生研究院資助，利用先進(jìn)的信息技術(shù)和數(shù)據(jù)算法，對患者實(shí)驗(yàn)室數(shù)據(jù)、電子病歷文檔、床旁監(jiān)護(hù)儀的數(shù)字及波形進(jìn)行整合，每2～4周將數(shù)據(jù)從醫(yī)院以物理方式傳輸?shù)綄?shí)驗(yàn)室，并轉(zhuǎn)換為開源數(shù)據(jù)格式，合并到MIMIC－II波形數(shù)據(jù)庫中，為重癥監(jiān)護(hù)研究建立了新的公共訪問資源，支持了流行病學(xué)、臨床決策規(guī)則開發(fā)和電子病歷研發(fā)等各種分析研究。隨著通訊技術(shù)與機(jī)器智能的進(jìn)步，多模態(tài)數(shù)據(jù)融合技術(shù)開始應(yīng)用于患者生命體征采集和評估，如EmoPain2020挑戰(zhàn)賽創(chuàng)建了一個(gè)多模式機(jī)器學(xué)習(xí)和多媒體處理平臺(tái)［6］，用于比較人類表達(dá)行為對慢性疼痛評估的準(zhǔn)確性，以識(shí)別與疼痛相關(guān)的行為。挑戰(zhàn)的目標(biāo)是為了促進(jìn)通過實(shí)時(shí)監(jiān)控和反饋來改善慢性疼痛患者生活質(zhì)量的輔助技術(shù)研發(fā)，從而幫助他們管理自己的狀況并保持身體機(jī)能。Gruss等［7］研發(fā)壓力、感冒等產(chǎn)生的疼痛，并將記錄數(shù)據(jù)作為“X－ITE疼痛數(shù)據(jù)庫”。國內(nèi)也有學(xué)者在糖尿病等領(lǐng)域探索多模態(tài)數(shù)據(jù)監(jiān)測的應(yīng)用［8］，取得顯著效果。本世紀(jì)初逐漸興起的數(shù)字孿生技術(shù)（DigitalTwin），為真實(shí)的物理世界搭建一個(gè)高度鏡像化的數(shù)字世界。通過物理設(shè)備的數(shù)據(jù)，將人類的各種行為數(shù)據(jù)化，在虛擬（信息）空間構(gòu)建一個(gè)表征人體的虛擬實(shí)體和子系統(tǒng)，也就是搭建一個(gè)“數(shù)字克隆”的“孿生體”，依據(jù)對“本體”的傳感器收集的多模態(tài)數(shù)據(jù)，以及“本體”的歷史數(shù)據(jù)進(jìn)行動(dòng)態(tài)仿真，提前反映出個(gè)體目前生活模式將帶來的健康隱患，從而讓個(gè)體與醫(yī)務(wù)人員共同參與到自我健康管理實(shí)踐中，目前這一技術(shù)已在社區(qū)老年人監(jiān)測領(lǐng)域開展研究［9］。

3．2多模態(tài)數(shù)據(jù)融合的NIS應(yīng)用存在的困難與應(yīng)對

當(dāng)前，盡管以患者為中心的醫(yī)療數(shù)據(jù)已非常豐富，但還有大量醫(yī)療場景中的非結(jié)構(gòu)化數(shù)據(jù)未被采集，如手術(shù)過程、睡覺監(jiān)測中患者的鼾聲、住院期間患者的運(yùn)動(dòng)軌跡、飲食情況等，這些數(shù)據(jù)都可能影響到患者的診斷與治療方案；此外，護(hù)理信息學(xué)（NursingIn－formatics，NI）是一門集成護(hù)理科學(xué)、計(jì)算機(jī)科學(xué)及信息科學(xué)的綜合性學(xué)科，但因缺乏師資等因素，護(hù)理教育中護(hù)理信息學(xué)課程并未普及，無論護(hù)士還是護(hù)生的計(jì)算機(jī)素養(yǎng)能力并不樂觀［10－12］；因NIS數(shù)據(jù)采集方式有限，主要依賴護(hù)士操作結(jié)束后通過計(jì)算機(jī)或移動(dòng)終端進(jìn)行記錄，屬于“回憶型”數(shù)據(jù)，其真實(shí)性和實(shí)時(shí)性均存在質(zhì)疑，雖然物聯(lián)網(wǎng)（IOT）技術(shù)讓部分重癥監(jiān)護(hù)室采用傳感器收集數(shù)據(jù)，但因投入過大，且設(shè)備不夠便捷，無法在普通病房推廣?？梢姡暧^層質(zhì)控標(biāo)準(zhǔn)與患者需求脫節(jié)、中觀層信息教育與臨床實(shí)踐脫節(jié)、微觀層底層技術(shù)與高層實(shí)踐脫節(jié)是當(dāng)前多模態(tài)數(shù)據(jù)融合NIS的最大障礙。多模態(tài)數(shù)據(jù)融合面對的是海量多源數(shù)據(jù)庫，ICU設(shè)備復(fù)雜的接口和專有的數(shù)據(jù)格式，阻礙了設(shè)備與數(shù)據(jù)庫之間無縫聯(lián)結(jié)；數(shù)據(jù)的大量增加也會(huì)混淆分析，產(chǎn)生計(jì)算瓶頸，并降低得出有效因果推論的能力；用于決策支持的最大挑戰(zhàn)是跨多個(gè)站點(diǎn)共享圖像數(shù)據(jù)和元數(shù)據(jù)，而數(shù)據(jù)共享必須克服文化、行政、法規(guī)和個(gè)人問題［13］。當(dāng)人們的健康被時(shí)代所影響時(shí)，護(hù)理信息技術(shù)也應(yīng)從用戶需求出發(fā)，主動(dòng)擁抱“數(shù)據(jù)密集型”時(shí)代，開啟一次對護(hù)理的范式轉(zhuǎn)換［14］，邁入“全相護(hù)理”（DeepHolographicCare，DHC）［15］時(shí)代，一個(gè)由數(shù)據(jù)驅(qū)動(dòng)健康的時(shí)代，深挖與健康相關(guān)數(shù)據(jù)需求、開展諸如《實(shí)用護(hù)理信息技術(shù)》等課程加速提升護(hù)理信息能力［16］、以多學(xué)科團(tuán)隊(duì)協(xié)作模式推動(dòng)護(hù)理與大數(shù)據(jù)時(shí)代的有機(jī)融合［17］，促進(jìn)護(hù)理工作向全相護(hù)理轉(zhuǎn)型。

作者：肖爽 趙慶華 鄒依然 胡磊 盧燁 王琦 單位：重慶兩江新區(qū)第一人民醫(yī)院護(hù)理部