公務(wù)員期刊網(wǎng) 論文中心 正文

跨媒體技術(shù)的發(fā)展和挑戰(zhàn)

前言:想要寫出一篇引人入勝的文章?我們特意為您整理了跨媒體技術(shù)的發(fā)展和挑戰(zhàn)范文,希望能給你帶來靈感和參考,敬請(qǐng)閱讀。

跨媒體技術(shù)的發(fā)展和挑戰(zhàn)

隨著移動(dòng)智能終端設(shè)備的廣泛應(yīng)用和普及,大量的視頻、音頻、文本以及各種傳感數(shù)據(jù)構(gòu)成了目前移動(dòng)互聯(lián)網(wǎng)領(lǐng)域中信息共享的主體內(nèi)容。移動(dòng)化帶來的改變是信息的激增,人們正在借助移動(dòng)智能終端上的各種傳感器———時(shí)間、位置、麥克風(fēng)、攝像頭、溫度傳感和NFC(近場通訊)采集信息并重新繪制這個(gè)世界。然而,信息的爆炸式增長給知識(shí)的獲取帶來了極大的難度,也因此造成了知識(shí)的相對(duì)匱乏。在此過程中,用戶對(duì)信息的采集和分享與傳統(tǒng)方式有著顯著的不同:首先,信息的采集帶有顯著的時(shí)間特征和空間特征;其次,在數(shù)據(jù)分享過程中攜帶了用戶偏好信息;最后,完整分享這些數(shù)據(jù)對(duì)網(wǎng)絡(luò)帶寬和數(shù)據(jù)存儲(chǔ)服務(wù)提出了巨大的挑戰(zhàn)。目前,人們從移動(dòng)互聯(lián)網(wǎng)領(lǐng)域獲得知識(shí)的渠道主要還依賴于信息搜索,一種是以百度和谷歌為代表的傳統(tǒng)文本搜索的服務(wù),另一種是以蘋果的Siri為代表的新型跨媒體(聲音和文本)移動(dòng)搜索體驗(yàn)。

跨媒體技術(shù)發(fā)展現(xiàn)狀

目前,為了實(shí)現(xiàn)同時(shí)對(duì)多種媒體類型的信息檢索,國內(nèi)外學(xué)者的研究工作主要集中在以下幾個(gè)領(lǐng)域:1)基于“詞袋”模型建立多媒體對(duì)象知識(shí)庫此類方法大多通過對(duì)多媒體對(duì)象的語義信息進(jìn)行人工標(biāo)注得到先驗(yàn)知識(shí),結(jié)合“詞袋”模型等為海量多媒體信息建立知識(shí)庫,從而借助知識(shí)庫的橋梁作用實(shí)現(xiàn)跨媒體檢索。顯然,此種方法很大程度上還是一種變相的基于關(guān)鍵字的檢索,需要人工標(biāo)注大量的關(guān)鍵字訓(xùn)練樣本集,雖然它在一定程度上避開了特征向量異構(gòu)和語義鴻溝的問題,但是人工標(biāo)注耗時(shí)耗力且缺乏統(tǒng)一性與客觀性,多媒體對(duì)象的語義信息往往不能夠得到恰當(dāng)描述,因而檢索的準(zhǔn)確性往往不盡如人意。2)基于文檔鏈接關(guān)系或Web鏈接關(guān)系建立多媒體對(duì)象之間的語義關(guān)系。此類方法通過分析多媒體文檔之間的鏈接關(guān)系或者Web網(wǎng)頁中的鏈接跳轉(zhuǎn)關(guān)系建立多媒體對(duì)象之間的語義關(guān)系網(wǎng)(跨媒體關(guān)聯(lián)圖、交叉參照?qǐng)D模型等)從而實(shí)現(xiàn)多媒體對(duì)象之間的相互檢索。該方法有效地避免了媒體對(duì)象之間的語義鴻溝,但是對(duì)鏈接關(guān)系的依賴性太強(qiáng),不具有一般性。3)建立輔助空間解決特征向量異構(gòu)問題。此類方法為解決不同類型媒體對(duì)象之間特征向量異構(gòu)的問題,在計(jì)算特征向量和相似性的度量時(shí),一些方法是基于數(shù)據(jù)集中所有數(shù)據(jù)間的距離度量的,但是在實(shí)際跨媒體數(shù)據(jù)集中:一方面,計(jì)算和存儲(chǔ)所有對(duì)象間的距離尺度是不現(xiàn)實(shí)的;另一方面,距離度量不能有效解決現(xiàn)實(shí)生活中的問題。因此,一些學(xué)者提出采用典型相關(guān)性分析(CCA)、主成分分析(PCA)、獨(dú)立成分分析(ICA)等技術(shù)對(duì)特征向量進(jìn)行降維處理,使得異構(gòu)的特征向量在一個(gè)輔助空間中具有可比性,從而進(jìn)行多媒體對(duì)象之間的相似性度量。此種方法往往在對(duì)特征向量進(jìn)行降維處理的過程中產(chǎn)生“維度災(zāi)難”。4)基于機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)等方法獲取多媒體對(duì)象間的語義關(guān)系。此類方法主要是通過機(jī)器學(xué)習(xí)或神經(jīng)網(wǎng)絡(luò)領(lǐng)域的融合分析、流形學(xué)習(xí)、線性迭代與映射、概率模型、支持向量機(jī)、監(jiān)督分類、非監(jiān)督分類等方式對(duì)異構(gòu)數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系進(jìn)行挖掘,進(jìn)而實(shí)現(xiàn)不同模態(tài)多媒體數(shù)據(jù)之間的相互檢索。總的說來,該類方法檢索效果不錯(cuò),但往往計(jì)算量比較大,實(shí)現(xiàn)過程比較復(fù)雜。5)索引。此類方法一般是通過對(duì)多媒體數(shù)據(jù)進(jìn)行一定預(yù)處理得到相互之間的相似關(guān)系,進(jìn)而根據(jù)相似關(guān)系為海量多媒體對(duì)象建立索引,以提高檢索時(shí)的效率。這是一種輔助型的方法,更多的是關(guān)注如何有效地減少檢索所需要的時(shí)間,提高跨媒體檢索的效率,對(duì)多媒體對(duì)象之間的相似度度量未關(guān)注。6)基于Ontology的檢索。此類方法是建立在基于內(nèi)容檢索的基礎(chǔ)上,用Ontology存儲(chǔ)多媒體對(duì)象語義信息的新型檢索模式。檢索過程中結(jié)合多媒體對(duì)象的底層特征與On-tology表達(dá)的語義信息進(jìn)行跨媒體檢索。該方法對(duì)多媒體對(duì)象的語義信息及空間關(guān)系表達(dá)與處理具有強(qiáng)大的優(yōu)勢(shì),同時(shí),Ontology模型能使檢索系統(tǒng)更加智能化與人性化。然而,現(xiàn)有的跨媒體信息檢索技術(shù)的研究對(duì)象主要是已采集好的各種媒體數(shù)據(jù),較少考慮多用戶分享中的數(shù)據(jù)冗余、網(wǎng)絡(luò)帶寬約束等移動(dòng)互聯(lián)網(wǎng)環(huán)境下面臨的新問題和挑戰(zhàn)。

用戶標(biāo)注和地理本體在跨媒體中的應(yīng)用

移動(dòng)終端能夠幫助人們以各種方式記錄現(xiàn)實(shí)世界,同時(shí)也造成了數(shù)據(jù)的異構(gòu)性、語義的異質(zhì)性以及存儲(chǔ)、傳輸這些數(shù)據(jù)對(duì)網(wǎng)絡(luò)和硬件的挑戰(zhàn)。隨著智能終端處理能力的不斷加強(qiáng),目前已可以實(shí)現(xiàn)在智能終端上對(duì)采集的圖像和影音數(shù)據(jù)進(jìn)行編輯和特征提取。采用本地提取特征再進(jìn)行網(wǎng)絡(luò)分享的方法將大大降低網(wǎng)絡(luò)帶寬的使用。另一方面,由于不同用戶在對(duì)相同內(nèi)容進(jìn)行記錄時(shí)可以選擇不同的媒體類型作為載體,上傳并分享這些內(nèi)容特別是影音圖像資源會(huì)占用較多的服務(wù)器存儲(chǔ)空間。因此,提取資源中的語義信息并通過簡單推理進(jìn)行信息聚合,能夠較好地降低移動(dòng)互聯(lián)網(wǎng)環(huán)境下信息分享的數(shù)據(jù)冗余問題。本體論作為語義模型的新方法,主要用于知識(shí)的共享、交互和重用方面,它具有良好的概念層次結(jié)構(gòu)和邏輯推理。通過對(duì)領(lǐng)域知識(shí)的理解、描述和推理,能夠更好地實(shí)現(xiàn)信息共享和重用的目的。當(dāng)運(yùn)用到信息檢索領(lǐng)域時(shí),具有以下4個(gè)優(yōu)點(diǎn)[3]:(1)本體關(guān)于領(lǐng)域知識(shí)的共同理解和描述可以使得現(xiàn)代網(wǎng)絡(luò)中的信息組織形式從傳統(tǒng)的基于語法逐步轉(zhuǎn)向基于語義;(2)本體對(duì)于概念及其之間關(guān)系的精確描述可以極大地提高信息檢索時(shí)的查全率和查準(zhǔn)率;(3)采用形式化的描述方式使其能被計(jì)算機(jī)所理解以及更好地滿足海量網(wǎng)絡(luò)信息組織的需要;(4)本體能夠很好地支持邏輯推理,使得信息檢索系統(tǒng)更加智能化和人性化。地理本體是將本體論引入到地理信息科學(xué)中,它除了具有本體所具有的優(yōu)點(diǎn)外,在處理對(duì)象空間位置及空間關(guān)系方面具有無法取代的獨(dú)特優(yōu)勢(shì)。隨著以Web2.0技術(shù)為代表的社交網(wǎng)絡(luò)的發(fā)展,用戶的需求從簡單的、被動(dòng)的信息獲取逐步升級(jí)為主動(dòng)參與到信息管理、信息交互的過程中。用戶期待一種不需要精確的預(yù)定義的集成框架甚至不需要原始信息的本地副本,實(shí)現(xiàn)多維、海量信息的快速、低代價(jià)的獲取。用戶標(biāo)注方法在特征提取和語義分析過程中借助人的認(rèn)知過程,提取源數(shù)據(jù)中的知識(shí),對(duì)信息檢索的準(zhǔn)確率提升有著至關(guān)重要的作用。而地理本體,作為一種半自動(dòng)化的語義推理模型,可以有效降低不同用戶標(biāo)注帶來的差異性,同時(shí)更準(zhǔn)確地描述移動(dòng)互聯(lián)網(wǎng)環(huán)境下信息的時(shí)間和空間特征。采用這2種方法相結(jié)合建立本地特征索引副本,能夠有效降低數(shù)據(jù)傳輸對(duì)網(wǎng)絡(luò)帶寬的需求和存放數(shù)據(jù)對(duì)存儲(chǔ)空間的需要。

1用戶標(biāo)注

受限于移動(dòng)終端的大小、網(wǎng)絡(luò)通信能力有限,不適宜采用傳統(tǒng)的方式對(duì)采集的圖像、視頻等多媒體數(shù)據(jù)進(jìn)行完整上傳和統(tǒng)一計(jì)算。實(shí)現(xiàn)在本地的特征提取和用戶標(biāo)注,可以大大減少網(wǎng)絡(luò)通信,節(jié)省用戶分享的代價(jià)。OpenCV作為傳統(tǒng)的視頻、圖像處理工具,目前已被廣泛應(yīng)用在iOS和Android為代表的移動(dòng)終端上,并能獲得較好的特征提取速度和分析結(jié)果。另外,隨著攝像頭、麥克風(fēng)、NFC等傳感器的發(fā)展,基于手機(jī)的增強(qiáng)現(xiàn)實(shí)技術(shù)也取得了長足的進(jìn)步,為用戶的信息標(biāo)注提供了新的手段和方法。采用用戶標(biāo)注和特征提取等方法[4],結(jié)合移動(dòng)終端對(duì)現(xiàn)實(shí)世界的時(shí)間、位置感知,提交較少的描述信息或特征信息,降低了信息和內(nèi)容分享的門檻。如圖1所示,采用增強(qiáng)現(xiàn)實(shí)和用戶標(biāo)注[10]技術(shù)后,用戶僅需上傳簡單的標(biāo)注、位置信息和提取的語義、圖像內(nèi)容特征即可實(shí)現(xiàn)內(nèi)容的分享。對(duì)查詢用戶來說,需要檢索的信息仍然是充分的。

2地理本體

地理信息科學(xué)中的本體論研究是高度跨學(xué)科的交叉研究,與地理信息的認(rèn)知、表達(dá)、互操作,尺度和不確定性密切相關(guān),其最重要的一點(diǎn)是研究空間信息的語義理論?;诘乩肀倔w的語義檢索[5][6]是通過本體構(gòu)建概念層次空間實(shí)現(xiàn)的檢索,它利用本體明確建立了研究對(duì)象的概念、屬性、空間位置等各種關(guān)系,并且可以通過邏輯推理發(fā)掘隱含在概念之間的不明確、非直接的信息,從而可以實(shí)現(xiàn)語義的智能信息檢索。在跨終端、跨媒體環(huán)境中,地理本體模型提供了一個(gè)統(tǒng)一的語義管理平臺(tái)。在移動(dòng)互聯(lián)網(wǎng)環(huán)境下,地理本體模型構(gòu)建完成后,可以基于多種格式標(biāo)準(zhǔn)進(jìn)行,用戶本地采集的數(shù)據(jù)通過用戶標(biāo)注、特征提取等方式按照層次、概念和推理結(jié)果向現(xiàn)有的本體模型中進(jìn)行映射,構(gòu)建新的結(jié)點(diǎn)和數(shù)據(jù)內(nèi)容。這樣,用戶采集的多媒體數(shù)據(jù)可以分布式地存放在各自的終端上,通過更新本體模型建立快速、有效的索引,提供統(tǒng)一的跨媒體、跨終端的服務(wù)標(biāo)準(zhǔn),有效降低分享和檢索帶來的網(wǎng)絡(luò)資源消耗和源數(shù)據(jù)的冗余存放。為了幫助本體開發(fā)人員和領(lǐng)域?qū)<覍?duì)領(lǐng)域知識(shí)進(jìn)行建模,斯坦福大學(xué)主導(dǎo)開發(fā)了一個(gè)基于java的開源本體編輯工具Protégé[13]。該工具使得構(gòu)建本體知識(shí)庫的過程易于操作和管理,降低了本體構(gòu)建的高昂成本和維護(hù)代價(jià)。它不但支持復(fù)雜的知識(shí)表示,還支持簡單的邏輯推理。Protégé支持對(duì)多種推理引擎的調(diào)用,如Jena,Racer,F(xiàn)aCT,Pellet等,由于Protégé本身是在Jena的基礎(chǔ)上開發(fā)的,ProtégéOWLAPI相當(dāng)于對(duì)Jena的包裝,為了支持推理,Protégé接口中包含了Jena的開源開發(fā)包,將Jena推理功能嵌入到了Protégé的API中。Jena提供了可擴(kuò)展的類包提供基于規(guī)則的推理機(jī),包括RDF推理機(jī),OWL推理機(jī)等,在基于規(guī)則的推理機(jī)中包含了一般的推理功能,這些方法都遵循W3C的標(biāo)準(zhǔn)。

跨媒體技術(shù)的發(fā)展和挑戰(zhàn)

1多模態(tài)信息檢索系統(tǒng)

1)麻省理工學(xué)院“基于圖片的問答系統(tǒng)”。該系統(tǒng)作為多模態(tài)、跨媒體檢索領(lǐng)域的先驅(qū),支持用戶以更加直接的方式檢索不同類型媒體數(shù)據(jù),以克服傳統(tǒng)搜索引擎依賴于文本匹配的檢索方式。整個(gè)系統(tǒng)通過3層架構(gòu)實(shí)現(xiàn)對(duì)圖像和文本的交互檢索:(1)模版問答(templatebased),根據(jù)圖像的預(yù)分類信息進(jìn)行檢索;(2)歷史庫問答(internalrepositorybased),根據(jù)內(nèi)建的歷史問答庫進(jìn)行檢索;(3)用戶指導(dǎo)問答(humanbased),當(dāng)檢索內(nèi)容過于復(fù)雜時(shí)采用用戶指導(dǎo)的交互方式進(jìn)行檢索[7]。2)新加坡國立大學(xué)的“多媒體問答系統(tǒng)”(mul-timediaquestion-answering)。該系統(tǒng)解決了網(wǎng)絡(luò)跨媒體搜索中的三個(gè)主要問題:(1)大規(guī)模的可視化概念標(biāo)注,用于區(qū)分一種媒體實(shí)體是否包含一個(gè)或多個(gè)預(yù)定義概念標(biāo)簽的;(2)支持大規(guī)模KNN內(nèi)容搜索的索引方法;(3)用戶反饋的交互檢索方法[8]。3)I-SEARCH項(xiàng)目。該項(xiàng)目有歐洲多個(gè)研究機(jī)構(gòu)和包括Google,EMC2在內(nèi)的多個(gè)IT領(lǐng)軍企業(yè)共同合作研發(fā)。該項(xiàng)目旨在研發(fā)一種針對(duì)多模態(tài)內(nèi)容數(shù)據(jù)的通用框架提供索引、共享、查詢和檢索等功能。目前,該項(xiàng)目已經(jīng)取得較好的成果,能夠結(jié)合現(xiàn)實(shí)世界信息有效管理和利用多種類型的媒體數(shù)據(jù)和多模態(tài)數(shù)據(jù),包括文本、2D圖像、草圖、視頻、3D對(duì)象和音頻文件等。整個(gè)項(xiàng)目較好的解決了多媒體查詢和檢索、相關(guān)反饋、多模態(tài)交互、個(gè)性化設(shè)置和可視化分析等諸多方面的難題[11]。圖3為I-SEARCH系統(tǒng)原理架構(gòu)圖、整個(gè)系統(tǒng)主要包括三層:描述符提取層、檢索交互層和可視化表現(xiàn)層。

2跨媒體檢索面臨的挑戰(zhàn)

多媒體檢索領(lǐng)域中面臨的挑戰(zhàn)可以歸結(jié)為“7個(gè)千年問題”:語義鴻溝、機(jī)器學(xué)習(xí)、人機(jī)交互、多媒體水印、數(shù)據(jù)挖掘、性能評(píng)估以及基于互聯(lián)網(wǎng)的多媒體標(biāo)注與檢索[12]。隨著網(wǎng)絡(luò)技術(shù)的發(fā)展和智能終端的普及,跨媒體在移動(dòng)互聯(lián)網(wǎng)搜索領(lǐng)域?qū)⒃絹碓街匾?。今后幾年值得關(guān)注的幾個(gè)問題如下:1)在多媒體的語義理解過程中,結(jié)合地理本體在處理空間和語義推理方面的優(yōu)勢(shì),提高語義理解的性能和檢索的精度。同時(shí),用戶的反饋和交互知識(shí)仍然起著重要作用,是不可或缺的。2)實(shí)現(xiàn)移動(dòng)互聯(lián)網(wǎng)環(huán)境下的個(gè)性化檢索,通過手機(jī)用戶偏好和情景信息感知用戶意圖,提高檢索精度,目前,個(gè)性化檢索技術(shù)已成為下一代搜索引擎提供服務(wù)的突破所在[13]。3)多種媒體流的同步問題。每種模態(tài)的多媒體信息有其自身的粒度級(jí)別,如視頻的幀級(jí)別、剪輯級(jí)別,圖像的像素級(jí)別、區(qū)域級(jí)別等。不同模態(tài)的媒體以其自身的粒度等級(jí)作為一個(gè)處理單元[14],因此在連續(xù)的跨媒體檢索中如何實(shí)現(xiàn)同步、同期化處理多模態(tài)數(shù)據(jù)而不丟失語義信息是一個(gè)新的研究領(lǐng)域。4)由于移動(dòng)智能終端的計(jì)算能力和網(wǎng)絡(luò)傳輸能力有限,多媒體數(shù)據(jù)的源數(shù)據(jù)只能是分布式的存放在不同用戶的終端上,能否建立快速、有效的索引,提供統(tǒng)一的跨媒體、跨終端的服務(wù)標(biāo)準(zhǔn),將是制約移動(dòng)互聯(lián)網(wǎng)環(huán)境下跨媒體信息共享服務(wù)發(fā)展的瓶頸。

結(jié)論

本文對(duì)現(xiàn)有跨媒體數(shù)據(jù)的智能處理和信息檢索研究中的若干問題進(jìn)行了綜述,并針對(duì)移動(dòng)互聯(lián)網(wǎng)環(huán)境這一典型應(yīng)用領(lǐng)域進(jìn)行了討論分析,討論了基于用戶標(biāo)注和地理本體的實(shí)現(xiàn)方法。最后分析了目前的典型應(yīng)用系統(tǒng)并指出了未來研究的發(fā)展方向。(本文作者:張旭、羅詩妍、金京培、裴海英 單位:韓國仁荷大學(xué)數(shù)據(jù)庫實(shí)驗(yàn)室、重慶郵電大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院)