采集技術(shù)精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的采集技術(shù)主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：采集技術(shù)范文

關(guān)鍵字 蜜罐，交互性，入侵檢測(cè)系統(tǒng)，防火墻

1引言

現(xiàn)在網(wǎng)絡(luò)安全面臨的一個(gè)大問題是缺乏對(duì)入侵者的了解。即誰正在攻擊、攻擊的目的是什么、如何攻擊以及何時(shí)進(jìn)行攻擊等，而蜜罐為安全專家們提供一個(gè)研究各種攻擊的平臺(tái)。它是采取主動(dòng)的方式，用定制好的特征吸引和誘騙攻擊者，將攻擊從網(wǎng)絡(luò)中比較重要的機(jī)器上轉(zhuǎn)移開，同時(shí)在黑客攻擊蜜罐期間對(duì)其行為和過程進(jìn)行深入的分析和研究，從而發(fā)現(xiàn)新型攻擊，檢索新型黑客工具，了解黑客和黑客團(tuán)體的背景、目的、活動(dòng)規(guī)律等。

2蜜罐技術(shù)基礎(chǔ)

2.1 蜜罐的定義

蜜罐是指受到嚴(yán)密監(jiān)控的網(wǎng)絡(luò)誘騙系統(tǒng)，通過真實(shí)或模擬的網(wǎng)絡(luò)和服務(wù)來吸引攻擊，從而在黑客攻擊蜜罐期間對(duì)其行為和過程進(jìn)行分析，以搜集信息，對(duì)新攻擊發(fā)出預(yù)警，同時(shí)蜜罐也可以延緩攻擊和轉(zhuǎn)移攻擊目標(biāo)。

蜜罐在編寫新的IDS特征庫、發(fā)現(xiàn)系統(tǒng)漏洞、分析分布式拒絕服務(wù)（DDOS）攻擊等方面是很有價(jià)值的。蜜罐本身并不直接增強(qiáng)網(wǎng)絡(luò)的安全性，將蜜罐和現(xiàn)有的安全防衛(wèi)手段如入侵檢測(cè)系統(tǒng)(IDS)、防火墻(Firewall)、殺毒軟件等結(jié)合使用，可以有效提高系統(tǒng)安全性。

2.2 蜜罐的分類

根據(jù)蜜罐的交互程度，可以將蜜罐分為3類：

蜜罐的交互程度（Level of Involvement）指攻擊者與蜜罐相互作用的程度。

⑴ 低交互蜜罐

只是運(yùn)行于現(xiàn)有系統(tǒng)上的一個(gè)仿真服務(wù)，在特定的端口監(jiān)聽記錄所有進(jìn)入的數(shù)據(jù)包，提供少量的交互功能，黑客只能在仿真服務(wù)預(yù)設(shè)的范圍內(nèi)動(dòng)作。低交互蜜罐上沒有真正的操作系統(tǒng)和服務(wù)，結(jié)構(gòu)簡單，部署容易，風(fēng)險(xiǎn)很低，所能收集的信息也是有限的。

⑵ 中交互蜜罐

也不提供真實(shí)的操作系統(tǒng)，而是應(yīng)用腳本或小程序來模擬服務(wù)行為，提供的功能主要取決于腳本。在不同的端口進(jìn)行監(jiān)聽，通過更多和更復(fù)雜的互動(dòng)，讓攻擊者會(huì)產(chǎn)生是一個(gè)真正操作系統(tǒng)的錯(cuò)覺，能夠收集更多數(shù)據(jù)。開發(fā)中交互蜜罐，要確保在模擬服務(wù)和漏洞時(shí)并不產(chǎn)生新的真實(shí)漏洞，而給黑客滲透和攻擊真實(shí)系統(tǒng)的機(jī)會(huì)。

⑶ 高交互蜜罐

由真實(shí)的操作系統(tǒng)來構(gòu)建，提供給黑客的是真實(shí)的系統(tǒng)和服務(wù)。給黑客提供一個(gè)真實(shí)的操作系統(tǒng)，可以學(xué)習(xí)黑客運(yùn)行的全部動(dòng)作，獲得大量的有用信息，包括完全不了解的新的網(wǎng)絡(luò)攻擊方式。正因?yàn)楦呓换ッ酃尢峁┝送耆_放的系統(tǒng)給黑客，也就帶來了更高的風(fēng)險(xiǎn)，即黑客可能通過這個(gè)開放的系統(tǒng)去攻擊其他的系統(tǒng)。

2.3蜜罐的拓?fù)湮恢?/p>

蜜罐本身作為一個(gè)標(biāo)準(zhǔn)服務(wù)器對(duì)周圍網(wǎng)絡(luò)環(huán)境并沒有什么特別需要。理論上可以布置在網(wǎng)絡(luò)的任何位置。但是不同的位置其作用和功能也是不盡相同。

如果用于內(nèi)部或私有網(wǎng)絡(luò)，可以放置在任何一個(gè)公共數(shù)據(jù)流經(jīng)的節(jié)點(diǎn)。如用于互聯(lián)網(wǎng)的連接，蜜罐可以位于防火墻前面，也可以是后面。

⑴ 防火墻之前：如見圖1中蜜罐（1），蜜罐會(huì)吸引象端口掃描等大量的攻擊，而這些攻擊不會(huì)被防火墻記錄也不讓內(nèi)部IDS系統(tǒng)產(chǎn)生警告，只會(huì)由蜜罐本身來記錄。

因?yàn)槲挥诜阑饓χ?，可被視為外部網(wǎng)絡(luò)中的任何一臺(tái)普通的機(jī)器，不用調(diào)整防火墻及其它的資源的配置，不會(huì)給內(nèi)部網(wǎng)增加新的風(fēng)險(xiǎn)，缺點(diǎn)是無法定位或捕捉到內(nèi)部攻擊者，防火墻限制外向交通，也限制了蜜罐的對(duì)內(nèi)網(wǎng)信息收集。

⑵ 防火墻之后：如圖1中蜜罐（2），會(huì)給內(nèi)部網(wǎng)帶來安全威脅，尤其是內(nèi)部網(wǎng)沒有附加的防火墻來與蜜罐相隔離。蜜罐提供的服務(wù)，有些是互聯(lián)網(wǎng)的輸出服務(wù)，要求由防火墻把回饋轉(zhuǎn)給蜜罐，不可避免地調(diào)整防火墻規(guī)則，因此要謹(jǐn)慎設(shè)置，保證這些數(shù)據(jù)可以通過防火墻進(jìn)入蜜罐而不引入更多的風(fēng)險(xiǎn)。

優(yōu)點(diǎn)是既可以收集到已經(jīng)通過防火墻的有害數(shù)據(jù)，還可以探查內(nèi)部攻擊者。缺點(diǎn)是一旦蜜罐被外部攻擊者攻陷就會(huì)危害整個(gè)內(nèi)網(wǎng)。

還有一種方法，把蜜罐置于隔離區(qū)DMZ內(nèi)，如圖1中蜜罐（3）。隔離區(qū)只有需要的服務(wù)才被允許通過防火墻，因此風(fēng)險(xiǎn)相對(duì)較低。DMZ內(nèi)的其它系統(tǒng)要安全地和蜜罐隔離。此方法增加了隔離區(qū)的負(fù)擔(dān)，具體實(shí)施也比較困難。

3 蜜罐的安全價(jià)值

蜜罐是增強(qiáng)現(xiàn)有安全性的強(qiáng)大工具，是一種了解黑客常用工具和攻擊策略的有效手段。根據(jù)P2DR動(dòng)態(tài)安全模型，從防護(hù)、檢測(cè)和響應(yīng)三方面分析蜜罐的安全價(jià)值。

⑴ 防護(hù) 蜜罐在防護(hù)中所做的貢獻(xiàn)很少，并不會(huì)將那些試圖攻擊的入侵者拒之門外。事實(shí)上蜜罐設(shè)計(jì)的初衷就是妥協(xié)，希望有人闖入系統(tǒng)，從而進(jìn)行記錄和分析。

有些學(xué)者認(rèn)為誘騙也是一種防護(hù)。因?yàn)檎T騙使攻擊者花費(fèi)大量的時(shí)間和資源對(duì)蜜罐進(jìn)行攻擊，從而防止或減緩了對(duì)真正系統(tǒng)的攻擊。

⑵ 檢測(cè) 蜜罐的防護(hù)功能很弱，卻有很強(qiáng)的檢測(cè)功能。因?yàn)槊酃薇旧頉]有任何生產(chǎn)行為，所有與蜜罐的連接都可認(rèn)為是可疑行為而被紀(jì)錄。這就大大降低誤報(bào)率和漏報(bào)率，也簡化了檢測(cè)的過程。

現(xiàn)在的網(wǎng)絡(luò)主要是使用入侵檢測(cè)系統(tǒng)IDS來檢測(cè)攻擊。面對(duì)大量正常通信與可疑攻擊行為相混雜的網(wǎng)絡(luò)，要從海量的網(wǎng)絡(luò)行為中檢測(cè)出攻擊是很困難的，有時(shí)并不能及時(shí)發(fā)現(xiàn)和處理真正的攻擊。高誤報(bào)率使IDS失去有效的報(bào)警作用，蜜罐的誤報(bào)率遠(yuǎn)遠(yuǎn)低于大部分IDS工具。

另外目前的IDS還不能夠有效地對(duì)新型攻擊方法進(jìn)行檢測(cè)，無論是基于異常的還是基于誤用的，都有可能遺漏新型或未知的攻擊。蜜罐可以有效解決漏報(bào)問題，使用蜜罐的主要目的就是檢測(cè)新的攻擊。

⑶ 響應(yīng) 蜜罐檢測(cè)到入侵后可以進(jìn)行響應(yīng)，包括模擬回應(yīng)來引誘黑客進(jìn)一步攻擊，發(fā)出報(bào)警通知系統(tǒng)管理員，讓管理員適時(shí)的調(diào)整入侵檢測(cè)系統(tǒng)和防火墻配置，來加強(qiáng)真實(shí)系統(tǒng)的保護(hù)等。

4 蜜罐的信息收集

要進(jìn)行信息分析，首先要進(jìn)行信息收集，下面分析蜜罐的數(shù)據(jù)捕獲和記錄機(jī)制。根據(jù)信息捕獲部件的位置，可分為基于主機(jī)的信息收集和基于網(wǎng)絡(luò)的信息收集。

4.1 基于主機(jī)的信息收集

基于主機(jī)的信息收集有兩種方式，一是直接記錄進(jìn)出主機(jī)的數(shù)據(jù)流，二是以系統(tǒng)管理員身份嵌入操作系統(tǒng)內(nèi)部來監(jiān)視蜜罐的狀態(tài)信息，即所謂“Peeking”機(jī)制。

⑴ 記錄數(shù)據(jù)流

直接記錄數(shù)據(jù)流實(shí)現(xiàn)一般比較簡單，主要問題是在哪里存儲(chǔ)這些數(shù)據(jù)。

收集到的數(shù)據(jù)可以本地存放在密罐主機(jī)中，例如把日志文件用加密技術(shù)放在一個(gè)隱藏的分區(qū)中。本地存儲(chǔ)的缺點(diǎn)是系統(tǒng)管理員不能及時(shí)研究這些數(shù)據(jù)，同時(shí)保留的日志空間可能用盡，系統(tǒng)就會(huì)降低交互程度甚至變?yōu)椴皇鼙O(jiān)控。攻擊者也會(huì)了解日志區(qū)域并且試圖控制它，而使日志文件中的數(shù)據(jù)不再是可信數(shù)據(jù)。

因此，將攻擊者的信息存放在一個(gè)安全的、遠(yuǎn)程的地方相對(duì)更合理。以通過串行設(shè)備、并行設(shè)備、USB或Firewire技術(shù)和網(wǎng)絡(luò)接口將連續(xù)數(shù)據(jù)存儲(chǔ)到遠(yuǎn)程日志服務(wù)器，也可以使用專門的日志記錄硬件設(shè)備。數(shù)據(jù)傳輸時(shí)采用加密措施。

⑵ 采用“Peeking”機(jī)制

這種方式和操作系統(tǒng)密切相關(guān)，實(shí)現(xiàn)相對(duì)比較復(fù)雜。

對(duì)于微軟系列操作系統(tǒng)來說，系統(tǒng)的源代碼是很難得到，對(duì)操作系統(tǒng)的更改很困難，無法以透明的方式將數(shù)據(jù)收集結(jié)構(gòu)與系統(tǒng)內(nèi)核相結(jié)合，記錄功能必須與攻擊者可見的用戶空間代碼相結(jié)合。蜜罐管理 員一般只能察看運(yùn)行的進(jìn)程，檢查日志和應(yīng)用MD-5檢查系統(tǒng)文件的一致性。

對(duì)于UNIX系列操作系統(tǒng)，幾乎所有的組件都可以以源代碼形式得到，則為數(shù)據(jù)收集提供更多的機(jī)會(huì)，可以在源代碼級(jí)上改寫記錄機(jī)制，再重新編譯加入蜜罐系統(tǒng)中。需要說明，盡管對(duì)于攻擊者來說二進(jìn)制文件的改變是很難察覺，一個(gè)高級(jí)黑客還是可能通過如下的方法探測(cè)到：

·MD-5檢驗(yàn)和檢查：如果攻擊者有一個(gè)和蜜罐對(duì)比的參照系統(tǒng)，就會(huì)計(jì)算所有標(biāo)準(zhǔn)的系統(tǒng)二進(jìn)制文件的MD-5校驗(yàn)和來測(cè)試蜜罐。

·庫的依賴性和進(jìn)程相關(guān)性檢查：即使攻擊者不知道原始的二進(jìn)制系統(tǒng)的確切結(jié)構(gòu)，仍然能應(yīng)用特定程序觀察共享庫的依賴性和進(jìn)程的相關(guān)性。例如，在UNIX操作系統(tǒng)中，超級(jí)用戶能應(yīng)用truss或strace命令來監(jiān)督任何進(jìn)程，當(dāng)一個(gè)象grep（用來文本搜索）的命令突然開始與系統(tǒng)日志記錄進(jìn)程通信，攻擊者就會(huì)警覺。庫的依賴性問題可以通過使用靜態(tài)聯(lián)接庫來解決。

轉(zhuǎn)貼于

另外如果黑客攻陷一臺(tái)機(jī)器，一般會(huì)安裝所謂的后門工具包，這些文件會(huì)代替機(jī)器上原有的文件，可能會(huì)使蜜罐收集數(shù)據(jù)能力降低或干脆失去。因此應(yīng)直接把數(shù)據(jù)收集直接融入U(xiǎn)NIX內(nèi)核，這樣攻擊者很難探測(cè)到。修改UNIX內(nèi)核不象修改UNIX系統(tǒng)文件那么容易，而且不是所有的UNIX版本都有源代碼形式的內(nèi)核。不過一旦源代碼可用，這是布置和隱藏?cái)?shù)據(jù)收集機(jī)制有效的方法。

4.2 基于網(wǎng)絡(luò)的信息收集

基于主機(jī)的信息收集定位于主機(jī)本身，這就很容易被探測(cè)并終止?；诰W(wǎng)絡(luò)的信息收集將收集機(jī)制設(shè)置在蜜罐之外，以一種不可見的方式運(yùn)行，很難被探測(cè)到，即使探測(cè)到也難被終止，比基于主機(jī)的信息收集更為安全?？梢岳梅阑饓腿肭謾z測(cè)系統(tǒng)從網(wǎng)絡(luò)上來收集進(jìn)出蜜罐的信息。

⑴ 防火墻

可以配置防火墻記錄所有的出入數(shù)據(jù)，供以后仔細(xì)地檢查。用標(biāo)準(zhǔn)文件格式來記錄，如Linux系統(tǒng)的tcpdump兼容格式，可以有很多工具軟件來分析和解碼錄制的數(shù)據(jù)包。也可以配置防火墻針對(duì)進(jìn)出蜜罐數(shù)據(jù)包觸發(fā)報(bào)警，這些警告可以被進(jìn)一步提煉而提交給更復(fù)雜的報(bào)警系統(tǒng)，來分析哪些服務(wù)己被攻擊。例如，大部分利用漏洞的程序都會(huì)建立一個(gè)shell或打開某端口等待外來連接，防火墻可以記錄那些試圖與后門和非常規(guī)端口建立連接的企圖并且對(duì)發(fā)起源的IP告警。防火墻也是數(shù)據(jù)統(tǒng)計(jì)的好地方，進(jìn)出數(shù)據(jù)包可被計(jì)數(shù)，研究黑客攻擊時(shí)的網(wǎng)絡(luò)流量是很有意義的。

⑵ 入侵檢測(cè)系統(tǒng)

網(wǎng)絡(luò)入侵檢測(cè)系統(tǒng)NIDS在網(wǎng)絡(luò)中的放置方式使得它能夠?qū)W(wǎng)絡(luò)中所有機(jī)器進(jìn)行監(jiān)控?？梢杂肏IDS記錄進(jìn)出蜜罐的所有數(shù)據(jù)包，也可以配置NIDS只去捕獲我們感興趣的數(shù)據(jù)流。

在基于主機(jī)的信息收集中，高明的入侵者會(huì)嘗試闖入遠(yuǎn)程的日志服務(wù)器試圖刪除他們的入侵記錄，而這些嘗試也正是蜜罐想要了解和捕獲的信息。即使他們成功刪除了主機(jī)內(nèi)的日志，NIDS還是在網(wǎng)內(nèi)靜靜地被動(dòng)捕獲著進(jìn)出蜜罐的所有數(shù)據(jù)包和入侵者的所有活動(dòng)，此時(shí)NIDS充當(dāng)了第二重的遠(yuǎn)程日志系統(tǒng)，進(jìn)一步確保了網(wǎng)絡(luò)日志記錄的完整性。

當(dāng)然，不論是基于誤用還是基于異常的NIDS都不會(huì)探測(cè)不到所有攻擊，對(duì)于新的攻擊方式，特征庫里將不會(huì)有任何的特征，而只要攻擊沒有反常情況，基于異常的NIDS就不會(huì)觸發(fā)任何警告，例如慢速掃描，因此要根據(jù)蜜罐的實(shí)際需要來調(diào)整IDS配置。

始終實(shí)時(shí)觀察蜜罐費(fèi)用很高，因此將優(yōu)秀的網(wǎng)絡(luò)入侵檢測(cè)系統(tǒng)和蜜罐結(jié)合使用是很有用的。

4.3 主動(dòng)的信息收集

信息也是可以主動(dòng)獲得，使用第三方的機(jī)器或服務(wù)甚至直接針對(duì)攻擊者反探測(cè)，如Whois，Portscan等。這種方式很危險(xiǎn)，容易被攻擊者察覺并離開蜜罐，而且不是蜜罐所研究的主要范疇。

5 蜜罐的安全性分析

5.1 蜜罐的安全威脅

必須意識(shí)到運(yùn)行蜜罐存在的一定的風(fēng)險(xiǎn)，有三個(gè)主要的危險(xiǎn)是：

⑴ 未發(fā)現(xiàn)黑客對(duì)蜜罐的接管

蜜罐被黑客控制并接管是非常嚴(yán)重的，這樣的蜜罐已毫無意義且充滿危險(xiǎn)。一個(gè)蜜罐被攻陷卻沒有被蜜罐管理員發(fā)現(xiàn)，則蜜罐的監(jiān)測(cè)設(shè)計(jì)存在著缺陷。

⑵ 對(duì)蜜罐失去控制

對(duì)蜜罐失去控制也是一個(gè)嚴(yán)重的問題，一個(gè)優(yōu)秀的蜜罐應(yīng)該可以隨時(shí)安全地終止進(jìn)出蜜罐的任何通訊，隨時(shí)備份系統(tǒng)狀態(tài)以備以后分析。要做到即使蜜罐被完全攻陷，也仍在控制之中。操作者不應(yīng)該依靠與蜜罐本身相關(guān)的任何機(jī)器。虛擬機(jī)同樣存在危險(xiǎn)，黑客可能突破虛擬機(jī)而進(jìn)入主機(jī)操作系統(tǒng)，因此虛擬蜜罐系統(tǒng)的主機(jī)同樣是不可信的。

失去控制的另一方面是指操作者被黑客迷惑。如黑客故意制造大量的攻擊數(shù)據(jù)和未過濾的日志事件以致管理員不能實(shí)時(shí)跟蹤所有的活動(dòng)，黑客就有機(jī)會(huì)攻擊真正目標(biāo)。

⑶ 對(duì)第三方的損害

指攻擊者可能利用蜜罐去攻擊第三方，如把蜜罐作為跳板和中繼發(fā)起端口掃描、DDOS攻擊等。

5.2 降低蜜罐的風(fēng)險(xiǎn)

首先，要根據(jù)實(shí)際需要選擇最低安全風(fēng)險(xiǎn)的蜜罐。事實(shí)上并不總是需要高交互蜜罐，如只想發(fā)現(xiàn)公司內(nèi)部的攻擊者及誰探查了內(nèi)部網(wǎng)，中低交互的蜜罐就足夠了。如確實(shí)需要高交互蜜罐可嘗試?yán)脦Х阑饓Φ拿劬W(wǎng)而不是單一的蜜罐。

其次，要保證攻擊蜜罐所觸發(fā)的警告應(yīng)當(dāng)能夠立即發(fā)送給蜜罐管理員。如探測(cè)到對(duì)root權(quán)限的嘗試攻擊就應(yīng)當(dāng)在記錄的同時(shí)告知管理員，以便采取行動(dòng)。要保證能隨時(shí)關(guān)閉蜜罐，作為最后的手段，關(guān)閉掉失去控制的蜜罐，阻止了各種攻擊，也停止了信息收集。

相對(duì)而言保護(hù)第三方比較困難，蜜罐要與全球的網(wǎng)絡(luò)交互作用才具有吸引力而返回一些有用的信息，拒絕向外的網(wǎng)絡(luò)交通就不會(huì)引起攻擊者太大的興趣，而一個(gè)開放的蜜罐資源在黑客手里會(huì)成為有力的攻擊跳板，要在二者之間找到平衡，可以設(shè)置防火墻對(duì)外向連接做必要的限定：

⑴ 在給定時(shí)間間隔只允許定量的IP數(shù)據(jù)包通過。

⑵ 在給定時(shí)間間隔只允許定量的TCP SYN數(shù)據(jù)包。

⑶ 限定同時(shí)的TCP連接數(shù)量。

⑷ 隨機(jī)地丟掉外向IP包。

這樣既允許外向交通，又避免了蜜罐系統(tǒng)成為入侵者攻擊他人的跳板。如需要完全拒絕到某個(gè)端口的外向交通也是可以的。另一個(gè)限制方法是布置基于包過濾器的IDS，丟棄與指定特征相符的包，如使用Hogwash包過濾器。

6 結(jié)語

蜜罐系統(tǒng)是一個(gè)比較新的安全研究方向。相對(duì)于其它安全機(jī)制，蜜罐使用簡單，配置靈活，占用的資源少，可以在復(fù)雜的環(huán)境下有效地工作，而且收集的數(shù)據(jù)和信息有很好的針對(duì)性和研究價(jià)值。既能作為獨(dú)立的安全信息工具，還可以與其他的安全機(jī)制協(xié)作使用，取長補(bǔ)短地對(duì)入侵進(jìn)行檢測(cè)，查找并發(fā)現(xiàn)新型攻擊和新型攻擊工具。

蜜罐也有缺點(diǎn)和不足，主要是收集數(shù)據(jù)面比較狹窄和給使用環(huán)境引入了新的風(fēng)險(xiǎn)。面對(duì)不斷改進(jìn)的黑客技術(shù)，蜜罐技術(shù)也要不斷地完善和更新。

參考文獻(xiàn)

[1] 熊華，郭世澤等.網(wǎng)絡(luò)安全—取證與蜜罐[M].北京人民郵電出版社，2003，97-136

[2] Lance Spitzner.Definitions and Value of Honeypots.[EB/OL]. spiter.net.2002.

[3]趙偉峰，曾啟銘．一種了解黑客的有效手段—蜜罐(Honeypot) [J]．計(jì)算機(jī)應(yīng)用，2003，23(S1):259-261．

[4]馬曉麗，趙站生，黃軒.Honeypot—網(wǎng)絡(luò)陷阱．計(jì)算機(jī)工程與應(yīng)用，2003.39(4):162-165．

第2篇：采集技術(shù)范文

[關(guān)鍵詞] 松花粉；采集；貯藏

馬尾松是我國南方特有的鄉(xiāng)土樹種，廣泛分布于秦嶺、淮河以南，云貴高原以東的 17 個(gè)省、自治區(qū)、直轄市范圍內(nèi)，其面積居全國針葉林之首，蓄積居第四位，是我國南方亞熱帶地區(qū)分布最廣、資源最多的森林群落。也是貴州省分布最廣，森林面積最大的主要樹種，馬尾松松花粉資源十分豐富。

一、花粉的營養(yǎng)成分和保健功效

松花粉是我國醫(yī)藥寶庫中的傳統(tǒng)藥材，被列入《中國藥典》，自古以來被視為食療珍品。據(jù)《神農(nóng)草本》、《本草綱目》等多種醫(yī)學(xué)典籍記載：松花粉具有潤心肺、益氣、祛風(fēng)止血、狀顏益志、強(qiáng)身健體之功效。經(jīng)測(cè)定，松花粉營養(yǎng)素全面，蛋白質(zhì)含量較高，脂肪酸組成主要為不飽和脂肪酸，占脂肪酸總量的 72.5%，尼克酸（維生素BS）含量較高，這些成分對(duì)防治心血管疾病是非常有利的。松花粉的氨基酸總量為9%-12%，其中水溶性氨基酸量較高，含有人體不可缺少的精氨酸、賴氨酸、天門冬氨酸、谷氨酸、組氨酸等，對(duì)增強(qiáng)體質(zhì)、護(hù)肝和治療前列腺疾病是大有益處的。松花粉中多種營養(yǎng)元素對(duì)人體是必需的，鐵、磷、錳、鈣、鋅含量多，鎂更為豐富。松花粉中鎂元素含量比一般植物中鎂元素含量要高。松花粉中黃酮含量也較高，現(xiàn)已了解到，一定量的植物激素對(duì)人體生理功能有奇妙的調(diào)節(jié)作用，可強(qiáng)化人體的新陳代謝作用。

松花粉是精細(xì)胞，起著傳種接待的重要作用，又是豐富的天然營養(yǎng)庫，營養(yǎng)十分豐富。它能促使人體內(nèi)元素平衡，從而強(qiáng)化人體新陳代謝，并能調(diào)節(jié)人體內(nèi)分泌系統(tǒng)，使替代性排泄系統(tǒng)得到運(yùn)動(dòng)，增強(qiáng)人體內(nèi)的自然治療能力，使人體達(dá)到健康的目的。

試驗(yàn)證實(shí)，松花粉能防止細(xì)胞衰老，有減少老年斑的功能，對(duì)老年性疾病均有療效。外用松花粉可祛風(fēng)止血，爽身消炎，對(duì)皮膚無刺激、無過敏等副作用。

二、松花粉利用現(xiàn)狀和意義

長期以來，由于技術(shù)原因，包括保鮮、儲(chǔ)存、破壁等世界性難題，雖然松花粉含有大量的營養(yǎng)物質(zhì)和醫(yī)藥保健價(jià)值，卻一直未能大規(guī)模開發(fā)利用。直到20世紀(jì) 80 年代，人們才真正重視這一寶貴資源。作為藥用與食用的松花粉開發(fā)上除了科研院所單位外開發(fā)利用的企業(yè)并不多，開發(fā)利用前景極為廣闊。

松花粉的是人工采集容易，品種單一、性質(zhì)穩(wěn)定。在品質(zhì)和營養(yǎng)成分上可以和蜂花粉媲美，加之松花粉的采集方式衛(wèi)生環(huán)保、種源純天然無毒、資源廣泛等條件都優(yōu)于蜂花粉，其經(jīng)濟(jì)效益、社會(huì)效益必然高于蜂花粉。

松花粉的開發(fā)利用不但提高森林的經(jīng)濟(jì)效益而且增加林農(nóng)的經(jīng)濟(jì)收入。林農(nóng)的經(jīng)濟(jì)收入增加的同時(shí)也增強(qiáng)他們對(duì)森林的保護(hù)意識(shí)，調(diào)動(dòng)了林農(nóng)參與生態(tài)建設(shè)的積極性，從而達(dá)到生態(tài)效益、社會(huì)效益和經(jīng)濟(jì)效益三者共贏的和諧局面。

三、松花粉的采集與貯藏

1.采集林分的選擇

在商品林中選擇環(huán)境無污染的，樹體矮化，光照充足，松花粉產(chǎn)量高，質(zhì)量好而且便于采集的馬尾松林。

2.工序流程

場地及物料準(zhǔn)備成熟松花穗雄球采集陽光下晾曬粉或在通風(fēng)干燥的室內(nèi)散粉花粉收集過篩除雜花粉干燥簡易包裝貯存。

3.場地及物料準(zhǔn)備

采集前，首先應(yīng)選擇好晾曬場地，晾曬場地環(huán)境要求：向陽、避風(fēng)、衛(wèi)生。為了防此泥沙的污染最好采用大棚晾曬。物料準(zhǔn)備：主要準(zhǔn)備較厚的聚乙烯膜（一式兩塊，用于鋪底和遮蓋），另外還要準(zhǔn)備除雜工具（米絲篩、細(xì)籮80-100目），食品塑料袋等物品。

4.松花穗的采集時(shí)機(jī)及方法

松花開放的時(shí)間一般在4-5月，但因緯度、海拔、氣溫、雨水等自然環(huán)境和生長情況不同而花期不一。同一株樹，從開始散粉到花粉散盡一般只有4-6d，最佳采集期往往只有1-2d。因此，采集以前必須密切注視采集地的物修期變化，作好采集前的準(zhǔn)備工作，以免延誤最佳采集期。采集以雄球花中雄蕊開始分離還未散粉到剛開始散粉為最佳采集期（即：要勤觀察陽坡面或山脊的松花穗發(fā)育成熟狀況，當(dāng)觀察到松花穗開始有少量散粉時(shí)，用手?jǐn)D壓雄花球花苞，無漿液溢出，呈濕粉狀，此時(shí)正在采集松花穗的開始時(shí)間）。抓住時(shí)機(jī)，采集成熟的松花穗，是提高松花穗出粉的關(guān)鍵。采集太早花粉尚未發(fā)育成熟，營養(yǎng)物質(zhì)積累還夠充分，采集太遲則花粉散失較多。

采集時(shí)用食品塑料袋套住新梢整簇雄球花，將整簇雄球花抹下，使之全部落入袋中，但不能損傷新枝，并須防止花粉飄出袋外。將采集到的雄球花帶回室內(nèi)，攤放在室內(nèi)，攤8-11cm，太厚易發(fā)霉變質(zhì)。在通風(fēng)干燥的室內(nèi)散粉或者在陽光下曬粉。無論哪種方式，風(fēng)都不能太大，以免吹走花粉。輕輕揉搓雄花球使花粉充分散出，收集的花粉要及時(shí)曬干，用塑料薄膜墊曬，厚度0.5-1cm，做到薄攤、勤翻、防潮，以加快晾干速度。要曬2-3d，含水量要達(dá)到3%-5%，否則易發(fā)霉變質(zhì)。收集散出的花粉過100目的篩，取篩下部分即為純凈的松花粉。純凈的松花粉應(yīng)該是色澤黃亮、質(zhì)地純正、手感爽滑。

第3篇：采集技術(shù)范文

關(guān)鍵詞:識(shí)別 指紋采集 指紋傳感器 u.are.u2000 fps200

近年來,越來越多的個(gè)人、消費(fèi)者、公司和政府機(jī)關(guān)都認(rèn)為現(xiàn)有的基于智能卡、身份證號(hào)碼和密碼的身份識(shí)別系統(tǒng)很繁瑣而且并不十分可靠。生物識(shí)別技術(shù)為此提供了一個(gè)安全可靠的解決方案。識(shí)別技術(shù)根據(jù)人體自身的生理特征來識(shí)別個(gè)人的身份,這種技術(shù)是目前最為方便與安全的識(shí)別系統(tǒng),它不需要你記住象身份證號(hào)碼和密碼,也不需隨身攜帶像智能卡之類的東西。

生物識(shí)別技術(shù)[1]包括虹膜識(shí)別技術(shù)、視網(wǎng)膜識(shí)別技術(shù)、面部識(shí)別技術(shù)、聲音識(shí)別技術(shù)、指紋識(shí)別技術(shù)[2]。其中指紋識(shí)別技術(shù)是目前最為成熟的、應(yīng)用也最為廣泛的識(shí)別技術(shù)。每個(gè)人的包括指紋在內(nèi)的皮膚紋路在圖案、斷點(diǎn)和交叉點(diǎn)上各不相同,也就是說,這些指紋特征是唯一的,并且終生不變。依靠這種唯一性和穩(wěn)定性,我們就可以把一個(gè)人同他的指紋對(duì)應(yīng)起來,通過比較他的指紋和預(yù)先保存的指紋進(jìn)行比較,就可以驗(yàn)證他的真實(shí)身份。

指紋識(shí)別系統(tǒng)[3]是通過指紋采集、分析和對(duì)比指紋特征來實(shí)現(xiàn)快速準(zhǔn)確的身份認(rèn)證。指紋識(shí)別系統(tǒng)框圖如圖1所示。

指紋采集器采集到指紋圖像后,才能被計(jì)算機(jī)進(jìn)行識(shí)別、處理。指紋圖像的質(zhì)量會(huì)直接影響到識(shí)別的精度以及指紋識(shí)別系統(tǒng)的處理速度,因此指紋采集技術(shù)是指紋識(shí)別系統(tǒng)的關(guān)鍵技術(shù)之一。本文著重分析比較不同的指紋采集技術(shù)及其性能。

1 指紋采集技術(shù)

指紋的表面積相對(duì)較小,日常生活中手指常常會(huì)受到磨損,所以獲得優(yōu)質(zhì)的指紋細(xì)節(jié)圖像是一項(xiàng)十分復(fù)雜的工作。當(dāng)今所使用的主要指紋采集技術(shù)有光學(xué)指紋采集技術(shù),半導(dǎo)體指紋采集技術(shù)和超聲波指紋采集技術(shù)。

1.1 光學(xué)指紋圖像采集技術(shù)

光學(xué)指紋采集技術(shù)是最古老也是目前應(yīng)用最廣泛的指紋采集技術(shù),光學(xué)指紋采集設(shè)備始于1971年,其原理是光的全反射(ftir)。光線照到壓有指紋的玻璃表面,反射光線由ccd去獲得,反射光的量依賴于壓在玻璃表面指紋的脊和谷的深度以及皮膚與玻璃間的油脂和水分。光線經(jīng)玻璃照射到谷的地方后在玻璃與空氣的界面發(fā)生全反射,光線被反射到ccd,而射向脊的光線不發(fā)生全反射,而是被脊與玻璃的接觸面吸收或者漫反射到別的地方,這樣就在ccd上形成了指紋的圖像。如圖2所示。

光學(xué)采集設(shè)備有著許多優(yōu)勢(shì):它經(jīng)歷了長時(shí)間實(shí)際應(yīng)用的考驗(yàn),能承受一定程度溫度變化,穩(wěn)定性很好,成本相對(duì)較低,并能提供分辨率為500dpi的圖像。

光學(xué)采集設(shè)備也有不足之處,主要表現(xiàn)在圖像尺寸和潛在指印兩個(gè)方面。臺(tái)板必須足夠大才能獲得質(zhì)量較好的圖像。潛在指印是手指在臺(tái)板上按完后留下的,這種潛在指印降低了指紋圖像的質(zhì)量。嚴(yán)重的潛在指印會(huì)導(dǎo)致兩個(gè)指印的重疊。另外臺(tái)板上的涂層(膜)和ccd陣列隨著時(shí)間的推移會(huì)有損耗,精確度會(huì)降低。

隨著光學(xué)設(shè)備技術(shù)的革新,光學(xué)指紋采集設(shè)備的體積也不斷減小?，F(xiàn)在傳感器可以裝在6x3x6英寸的盒子里,在不久的將來更小的設(shè)備是3x1x1英寸。這些進(jìn)展得益于多種光學(xué)技術(shù)的發(fā)展。例如:可以利用纖維光束來獲取指紋圖像。纖維光束垂直照射到指紋的表面,他照亮指紋并探測(cè)反射光。另一個(gè)方案是把含有一微型三棱鏡矩陣的表面安裝在彈性的平面上,當(dāng)手指壓在此表面上時(shí),由于指紋脊和谷的壓力不同而改變了微型三棱鏡的表面,這些變化通過三棱鏡光的反射而反映出來。

美國digitaipersona[4]公司推出的u.are.u系列光學(xué)指紋采集器是目前應(yīng)用比較廣泛的光學(xué)指紋采集器,主要用于用戶登錄計(jì)算機(jī)windows系統(tǒng)時(shí)確認(rèn)身份,它集成了精密光學(xué)系統(tǒng)、led光源和cmos攝像頭協(xié)同工作,具有三維活體特點(diǎn),能夠接受各個(gè)方向輸入的指紋,即使旋轉(zhuǎn)180度亦可接受,是目前市場上最安全的光學(xué)指紋識(shí)別系統(tǒng)之一。u.are.u光學(xué)指紋采集器按照人體工學(xué)設(shè)計(jì),帶有usb接口,是用戶桌面上緊鄰鍵盤的新型智能化外設(shè)。

1.2 半導(dǎo)體指紋采集技術(shù)

半導(dǎo)體傳感器是1998年在市場上才出現(xiàn)的,這些含有微型晶體的平面通過多種技術(shù)來繪制指紋圖像。

(1)硅電容指紋圖像傳感器

這是最常見的半導(dǎo)體指紋傳感器,它通過電子度量來捕捉指紋。在半導(dǎo)體金屬陣列上能結(jié)合大約100,000個(gè)電容傳感器,其外面是絕緣的表面。傳感器陣列的每一點(diǎn)是一個(gè)金屬電極,充當(dāng)電容器的一極,按在傳感面上的手指頭的對(duì)應(yīng)點(diǎn)則作為另一極,傳感面形成兩極之間的介電層。由于指紋的脊和谷相對(duì)于另一極之間的距離不同(紋路深淺的存在),導(dǎo)致硅表面電容陣列的各個(gè)電容值不同,測(cè)量并記錄各點(diǎn)的電容值,就可以獲得具有灰度級(jí)的指紋圖像。

(2)半導(dǎo)體壓感式傳感器

其表面的頂層是具有彈性的壓感介質(zhì)材料,它們依照指紋的外表地形(凹凸)轉(zhuǎn)化為相應(yīng)的電子信號(hào),并進(jìn)一步產(chǎn)生具有灰度級(jí)的指紋圖像。

(3)半導(dǎo)體溫度感應(yīng)傳感器

它通過感應(yīng)壓在設(shè)備上的脊和遠(yuǎn)離設(shè)備的谷溫度的不同就可以獲得指紋圖像。

半導(dǎo)體指紋傳感器采用了自動(dòng)控制技術(shù)(agc技術(shù)),能夠自動(dòng)調(diào)節(jié)指紋圖像像素行以及指紋局部范圍的敏感程度,在不同的環(huán)境下結(jié)合反饋的便可產(chǎn)生高質(zhì)量的圖像。例如,一個(gè)不清晰(對(duì)比度差)的圖像,如干燥的指紋,都能夠被感覺到,從而可以增強(qiáng)其靈敏度,在捕捉的瞬間產(chǎn)生清晰的圖像(對(duì)比度好);由于提供了局部調(diào)整的能力,圖像不清晰(對(duì)比度差)的區(qū)域也能夠被檢測(cè)到(如:手指壓得較輕的地方),并在捕捉的瞬間為這些像素提高靈敏度。

半導(dǎo)體指紋采集設(shè)備可以獲得相當(dāng)精確的指紋圖像,分辨率可高達(dá)600dpi,并且指紋采集時(shí)不需要象光學(xué)采集設(shè)備那樣,要求有較大面積的采集頭。由于半導(dǎo)體芯片的體積小巧,功耗很低,可以集成到許多現(xiàn)有設(shè)備中,這是光學(xué)采集設(shè)備所無法比擬的,現(xiàn)在許多指紋識(shí)別系統(tǒng)研發(fā)工作都采用半導(dǎo)體采集設(shè)備來進(jìn)行。早期半導(dǎo)體傳感器最主要的弱點(diǎn)在于:容易受到靜電的影響,使得傳感器有時(shí)會(huì)取不到圖像,甚至?xí)粨p壞,手指的汗液中的鹽分或者其他的污物,以及手指磨損都會(huì)使半導(dǎo)體傳感器的取像很困難。另外,它們并不象玻璃一樣耐磨損,從而影響使用壽命。隨著各種工藝技術(shù)的不斷發(fā)展,芯片的防靜電性能和耐用度得到了很大的改善。

從lucent公司中分離出來的veridicom[5]公司,從1997年開始就一直致力于半導(dǎo)體指紋采集技術(shù)的研發(fā),迄今已研制出fpsll0、fps200等系列cmos指紋傳感器產(chǎn)品,并被一些商品化的指紋識(shí)別系統(tǒng)所采用。其核心技術(shù)是基于高可靠性硅傳感器芯片設(shè)計(jì)。

fps200是veridicom公司在吸收了已廣泛應(yīng)用的fpsll0系列傳感器優(yōu)點(diǎn)的基礎(chǔ)上,推出的新一代指紋傳感器。fps200[6]表面運(yùn)用vefidicom公司專利技術(shù)而制成,堅(jiān)固耐用,可防止各種物質(zhì)對(duì)芯片的劃傷、腐蝕、磨損等,fps200能承受超過8kv的靜電放電(esd),因此fps200可應(yīng)用在苛刻的環(huán)境下。該產(chǎn)品融合了指紋中不同的脊、谷及其他紋理,通過高可靠性硅傳感器芯片的圖像搜索功能,無論手指是干燥、潮濕、粗糙都可以從同一手指采集的多幅指紋圖像中選擇一幅最佳圖像保 存在內(nèi)存中,指紋分辨率可達(dá)500dpi,大大降低了傳感器芯片識(shí)別過程中誤接受與誤拒絕情況的發(fā)生。

fps200是第一個(gè)內(nèi)置三種通信接口的指紋設(shè)備:usb口、微處理器單元接口(mcu)、串行外設(shè)接口(sn),這使得fps200可以與各種類型的設(shè)備連接,甚至不需要外部接口設(shè)備的支持。外形封裝尺寸(24mmx24mmxl.4mm),只有普通郵票大小。由于它的高性能、低功耗、低價(jià)格、小尺寸,可以很方便地集成到各種intemet設(shè)備,如:便攜式電腦、個(gè)人數(shù)字助理(pda)、移動(dòng)電話等。

1.3 超聲波指紋圖像采集技術(shù)

ultra-scan公司首開超聲波指紋圖像采集設(shè)備產(chǎn)品先河。超聲波指紋圖像采集技術(shù)被認(rèn)為是指紋采集技術(shù)中最好的一種,但在指紋識(shí)別系統(tǒng)中還不多見,成本很高,而且還處于實(shí)驗(yàn)室階段。超聲波指紋取像的原理是:當(dāng)超聲波掃描指紋的表面,緊接著接收設(shè)備獲取的其反射信號(hào),由于指紋的脊和谷的聲阻抗的不同,導(dǎo)致反射回接受器的超聲波的能量不同,測(cè)量超聲波能量大小,進(jìn)而獲得指紋灰度圖像。積累在皮膚上的臟物和油脂對(duì)超聲波取像影響不大。所以這樣獲取的圖像是實(shí)際指紋紋路凹凸的真實(shí)反映。

總之,這幾種指紋采集技術(shù)都具有它們各自的優(yōu)勢(shì),也有各自的缺點(diǎn)。超聲波指紋圖像采集技術(shù)由于其成本過高,還沒有應(yīng)用到指紋識(shí)別系統(tǒng)中。通常半導(dǎo)體傳感器的指紋采集區(qū)域小于1平方英寸,光學(xué)掃描的指紋采集區(qū)域等于或大于1平方英寸,可以根據(jù)實(shí)際需要來選擇采用哪種技術(shù)的指紋采集設(shè)備。

表1給出三種主要技術(shù)的比較。

表1

光學(xué)掃描技術(shù) 半導(dǎo)體傳感技術(shù) 超聲波掃描技術(shù)

成像能力 干手指差,汗多的和稍脹的手指成像模糊。易受皮膚上的臟物和油脂的影響。 干手指好,潮溫、粗糙手指亦可成像。易受皮膚上的臟物和油脂的影響。 非常好

成像區(qū)域 大 小 中

分辨率 低于500dpi 可高達(dá)600dpi 可高達(dá)1000dpi

設(shè)備體積 大 小 中

耐用性 非常耐用 較耐用 一般

功耗 較大 小 較大

成本 較高 低 很高

2 應(yīng)用與發(fā)展前景

第4篇：采集技術(shù)范文

關(guān)鍵詞：數(shù)據(jù)采集系統(tǒng)；屏蔽；接地；干擾

中圖分類號(hào)：TP 309.1 文獻(xiàn)標(biāo)識(shí)碼：A DoI: 10.3969/j.issn.1003-6970.2012.03.020

干擾電壓的強(qiáng)度是與a回路至b回路的磁通密度成正比的，而這個(gè)磁通密度與a回路內(nèi)的電流量成正比，并與兩回路間的距離成反比。不難看出，有效抑制磁場耦合干擾的方法，依然是采用回路間遠(yuǎn)離同時(shí)避免平行走線的設(shè)計(jì)原則。

1.3 屏蔽線的使用

在復(fù)雜電磁環(huán)境中，為防止出現(xiàn)電磁干擾的出現(xiàn)經(jīng)常會(huì)使用屏蔽線，其常見的使用方式有3種，分別如圖1、圖2、圖3所示。

圖1中屏蔽層是單端接地方式，i1是信號(hào)電流，從芯線流入，流過包含負(fù)載電阻RL的屏蔽線后通過屏蔽層接地。不難看出i1與i2大小相等、方向相反且為同一軸線上中心對(duì)稱的，所以它們產(chǎn)生的環(huán)形磁場將相互抵消，這是一個(gè)抑制磁場干擾效果很好的措施。

圖2中屏蔽層是兩端接地方式，由于屏蔽層上流過的電流i2受地環(huán)電流IG的制約，i2 < i1，所以這種方式不能完全屏蔽信號(hào)電流所產(chǎn)生的磁場干擾，因此，它抑制磁場耦合干擾的能力比圖1所示方法差。

圖3中屏蔽層懸浮，因此屏蔽層只具有屏蔽電場耦合干擾能力，降低導(dǎo)線外部電場的電勢(shì)能，而不具備抑制磁場耦合干擾能力。

1.4 雙絞線的使用

如果雙絞線的絞扭方向一致的話，兩條絞合線產(chǎn)生的電磁場大小相等，方向相反，因此兩絞線產(chǎn)生的磁場可以相互抵消[3]。但雙絞線本身存在電場耦合干擾的可能，所以需要給雙絞線加上屏蔽層，來抑制其電場干擾。為了使屏蔽層取得好的抗干擾效果，屏蔽層需做接地處理。在傳輸?shù)皖l信號(hào)時(shí)，可采用單端接地方式，如圖4所示；在傳輸高頻信號(hào)時(shí)，可采用雙端接地方式，如圖5所示。

根據(jù)雙絞線抗干擾特點(diǎn)而言，最好的應(yīng)用是作為平衡式傳輸線路，因?yàn)閮蓷l線的阻抗大致相等，抑制自身產(chǎn)生的磁場干擾或抵抗外部環(huán)境的磁場干擾效果都很好。同時(shí)，平衡式傳輸又獨(dú)具很強(qiáng)的抗共模干擾能力，因此成為大多數(shù)弱電信號(hào)的傳輸線來被廣泛應(yīng)用。

2 接地抗干擾技術(shù)

第5篇：采集技術(shù)范文

關(guān)鍵詞：多媒體；音視頻；數(shù)據(jù)采集；非線性編輯；多媒體設(shè)施

目前，實(shí)時(shí)音視頻的數(shù)據(jù)采集和傳輸技術(shù)應(yīng)用十分廣泛，例如公司里常用的視頻會(huì)議、學(xué)校中常見的遠(yuǎn)程教育、超市里的視頻監(jiān)控、大家常用的視頻通話等。因?yàn)樵诓煌膱龊蠈?duì)于實(shí)時(shí)音視頻數(shù)據(jù)采集和傳輸技術(shù)的要求也有所不同，所以根據(jù)實(shí)際問題選擇合適的技術(shù)設(shè)計(jì)是非常重要的。人們之前使用的采集設(shè)備雖然使用方便，但是由于硬件的相關(guān)性強(qiáng)，使用起來會(huì)發(fā)生運(yùn)用不靈活的現(xiàn)象，在一些比較復(fù)雜的場合就不太適合應(yīng)用?，F(xiàn)下使用率最高的就是WindowsMedia、VFW和DirectShow三種技術(shù)軟件，下面本文就針對(duì)這三種技術(shù)進(jìn)行簡單的介紹，希望可以為人們更好地使用提供方法。

1使用VFW進(jìn)行音視頻數(shù)據(jù)采集

VFW是在1992年由微軟公司推出的一項(xiàng)新的音視頻方面的技術(shù)手段，主要是為了解決當(dāng)時(shí)存在的數(shù)學(xué)音視頻中遇到的問題。VFW的使用極大地方便了音視頻的數(shù)據(jù)采集，不僅可以對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)采集、編輯和播放的功能，還能開發(fā)其他復(fù)雜的應(yīng)用。VFW的不同模塊具有不同的功能，其中最常用的就是VFW中的AVICAP模塊，它可以用來實(shí)現(xiàn)視頻捕捉的功能。首先，我們要在應(yīng)用程序中創(chuàng)建一個(gè)AVICAP的窗口；其次，可以通過向這個(gè)窗口發(fā)送消息來實(shí)現(xiàn)對(duì)窗口的控制。AVICAP的優(yōu)點(diǎn)是可以對(duì)數(shù)據(jù)實(shí)現(xiàn)全面的捕捉，并將捕捉到的數(shù)據(jù)寫入磁盤中，可以給用戶提供預(yù)覽的功能；缺點(diǎn)是不擅長使用非文件型的視頻、軟件等，在程序的運(yùn)行過程中，不能通過改編程序?qū)@些視頻、軟件的格式及屬性進(jìn)行更改，而只能像平常一樣，在對(duì)話框里設(shè)置這些格式和屬性。在把音視頻的數(shù)據(jù)轉(zhuǎn)化為文件的時(shí)候，VFW最擅長的就是對(duì)AVI文件的轉(zhuǎn)換。VFW進(jìn)行音視頻捕捉的過程可以簡單地概括成：創(chuàng)建需要進(jìn)行捕捉的窗口、對(duì)需要回調(diào)的函數(shù)進(jìn)行注冊(cè)處理、獲得需要捕捉的窗口的設(shè)置功能、設(shè)置參數(shù)等，將這些工作處理完畢后，就要斷開主機(jī)與捕獲設(shè)備的連接，以防數(shù)據(jù)的丟失。VFW還具有對(duì)音視頻數(shù)據(jù)的壓縮和解壓、對(duì)文件信息的更改、控制圖像顯示等主要功能?，F(xiàn)如今，VFW的使用已經(jīng)遠(yuǎn)遠(yuǎn)不能滿足人們的需求，尤其是在微軟已經(jīng)放棄了對(duì)VFW的后續(xù)開發(fā)之后，它在應(yīng)用方面存在的不足也越來越明顯。所以在現(xiàn)在的工程應(yīng)用中，除非我們只有VFW這一個(gè)設(shè)備可以使用或是只是利用VFW就可以完成我們需要處理的工作之外，已經(jīng)很少使用VFW了。替代它在工程中地位的是DirectShow，下面我們就對(duì)DirectShow的性能進(jìn)行簡單的介紹。

2使用DirectShow進(jìn)行音視頻數(shù)據(jù)采集及傳輸

很多種Filter組成的，在應(yīng)用程序工作的時(shí)候就需要DirectShow中的Filter支持它的運(yùn)行，不過Filter并沒有限定的條件，程序員可以根據(jù)需要編制不同的Filter。應(yīng)用程序運(yùn)行過程中涉及到的FilterGraph，就是由很多Filter組成的，我們可以將這些Filter根據(jù)用途進(jìn)行分類，大致的分為源Filter、傳輸Filter和渲染Filter三部分。為源Filter提供數(shù)據(jù)的數(shù)據(jù)源來自于文件系統(tǒng)，也可以通過互聯(lián)網(wǎng)、采集設(shè)備等獲取，源Filter中的數(shù)據(jù)在經(jīng)過傳輸Filter時(shí)會(huì)得到一些處理，處理后由渲染Filter輸出，數(shù)據(jù)在經(jīng)這三方面的處理后，輸出的就不再是原來的數(shù)據(jù)，而是一些聲卡、顯卡或者是文件。隨著高科技的發(fā)展，視頻采集設(shè)備也得到了逐步的完善。目前，常用的視頻采集的設(shè)備有視頻采集卡、USB攝像頭等，無論是哪種設(shè)備，都可以使用DirectShow進(jìn)行音視頻的處理工作。當(dāng)視頻采集卡不具備對(duì)音頻的信息采集功能時(shí)，可以用計(jì)算機(jī)自帶的聲卡替代視頻采集卡的不足。采集到的數(shù)據(jù)可以利用上述所說的辦法進(jìn)行處理，轉(zhuǎn)化原有的格式，得到想要的文件。這種辦法可以將數(shù)據(jù)處理的工作最大限度的簡單化，不過在對(duì)這些數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)傳輸時(shí)，卻因?yàn)镈irectShow中沒有相應(yīng)的Filter，而無法進(jìn)行網(wǎng)絡(luò)傳輸。除了上面所說的三種常用的Filter外，還有一種Filter叫做包裝Filter，它的工作主要是在內(nèi)部完成與硬件的交互工作。其中經(jīng)常使用的是在實(shí)時(shí)音視頻中針對(duì)聲卡和WDM驅(qū)動(dòng)的包裝Filter，而在VFW視頻采集卡只是有時(shí)會(huì)用到。DirectShow還有一個(gè)優(yōu)點(diǎn)就是，由于它自身支持對(duì)內(nèi)核模式下的數(shù)據(jù)傳輸，而減少了數(shù)據(jù)從內(nèi)核到用戶，不同模式間轉(zhuǎn)換的計(jì)算量，避免了不必要的麻煩，提高了工作效率。實(shí)時(shí)采集到的音視頻數(shù)據(jù)如果在傳輸過程中有特殊的要求，比如需要在IP網(wǎng)絡(luò)上傳輸、對(duì)傳輸?shù)臅r(shí)間有嚴(yán)格的控制等，在這時(shí)，就需要程序員靠自身的技能編寫程序，而不能運(yùn)用以往的程序來完成任務(wù)。用于數(shù)據(jù)流的廣播和接收的Filter只在很少的地方能夠直接進(jìn)行應(yīng)用，一般情況下，使用這類的Filter時(shí)，需要首先對(duì)其中的Sample進(jìn)行編譯連接，在生成DLL后，利用regsvr32的命令行狀態(tài)，對(duì)生成的DLL進(jìn)行注冊(cè)，注冊(cè)完成后就可以直接投入使用了。因?yàn)閷?shí)時(shí)音視頻的信息量大、涉及范圍廣，再加上它自身的實(shí)用性很強(qiáng)的特點(diǎn)，導(dǎo)致在TCP網(wǎng)絡(luò)中的通信狀態(tài)不太好，常常會(huì)遇到信號(hào)不良的狀況。為了解決這種問題，就需要在運(yùn)輸層加上RTP和RTCP來保障數(shù)據(jù)傳輸?shù)馁|(zhì)量，這樣無疑會(huì)加大我們的工作量。在這種情況下，使用DirectShow就顯得不太合適，而WindowsMedia的優(yōu)勢(shì)就凸現(xiàn)出來了。下文對(duì)WindowsMedia的功能及用途進(jìn)行簡要的介紹。

3使用WindowsMedia進(jìn)行音視頻數(shù)據(jù)采集及傳輸

WindowsMedia是微軟專門針對(duì)流媒體開發(fā)的一項(xiàng)應(yīng)用，包括Audio、Video、Encoder、Services等主要組成部分。這些主要組成部分各有各的用途，其中WindowsMediaEncode可以直接對(duì)音視頻中的數(shù)據(jù)進(jìn)行編碼、格式轉(zhuǎn)換等，除此之外，還可以利用WindowsMediaEncode實(shí)現(xiàn)一些特殊的功能；WindowsMediaServices主要用做流媒體信息的，常常與微軟公司內(nèi)部的服務(wù)器捆綁在一起，用來獲取流媒體的內(nèi)容，并將其傳播出去。這些WindowsMedia的組成部分形成了一個(gè)完整的工作系統(tǒng)，可以對(duì)實(shí)時(shí)音視頻的數(shù)據(jù)進(jìn)行不同階段的處理工作。為了保證信息傳輸過程中的安全，微軟公司還為此專門開發(fā)了MMS協(xié)議，為網(wǎng)絡(luò)安全提供了很好的QOS保障，對(duì)于需要在網(wǎng)上進(jìn)行傳輸?shù)膶?shí)時(shí)音視頻數(shù)據(jù)而言，相比于前面介紹的兩種方法，WindowsMedia相對(duì)更安全一些。WindowsMedia在構(gòu)建實(shí)時(shí)音視頻數(shù)據(jù)的采集及傳播時(shí)，有一個(gè)特定的過程。我們可以將這個(gè)過程簡單地概括為：運(yùn)行WindowsMediaEncoder軟件，在資源屬性中選擇相關(guān)設(shè)備的屬性，在Output中選擇目標(biāo)的文件名，在Compression中選擇需要壓縮的文件的格式，在完成這些設(shè)置之后，就可以開始實(shí)施音視頻的數(shù)據(jù)采集了。數(shù)據(jù)采集成功后，在計(jì)算機(jī)中點(diǎn)開WindowsMediaPlayer，然后選擇File-OpenURL就可以查看已經(jīng)采集到的信息。進(jìn)行屏幕捕捉和進(jìn)行信息采集的步驟有所不同，它是在Source中選擇Video和ScreenCapture，然后在下拉菜單中選擇需要捕捉的區(qū)域，在不做特殊選擇的情況下，捕捉到的是整個(gè)屏幕的內(nèi)容，為了方便以后的查看，可以將捕捉的內(nèi)容以文件的格式保存下來。4結(jié)語根據(jù)本文的論述可以知道，在實(shí)施音視頻的數(shù)據(jù)采集過程中使用VFW的情況越來越少，目前替代它的數(shù)據(jù)采集功能的是DirectShow。DirectShow不僅在非線性編輯方面的功能十分強(qiáng)大，而且任何一種設(shè)備和數(shù)據(jù)源都可以利用它實(shí)現(xiàn)數(shù)據(jù)采集的目的。不過在利用網(wǎng)絡(luò)將多媒體的數(shù)據(jù)進(jìn)行流式傳輸方面，DirectShow還存在很多弊端，這時(shí)就需要運(yùn)用WindowsMedia解決數(shù)據(jù)在網(wǎng)絡(luò)傳輸中遇到的難題，作為微軟專門為此設(shè)計(jì)的一項(xiàng)應(yīng)用，WindowsMedia在數(shù)據(jù)傳輸?shù)倪^程中，可以更好地保障數(shù)據(jù)的質(zhì)量安全，網(wǎng)絡(luò)協(xié)議與網(wǎng)絡(luò)傳輸方面都為它的數(shù)據(jù)傳輸提供了絕對(duì)的便利，可以收到事半功倍的良好效果。

參考文獻(xiàn)

[1]張紅林，馬永濤，劉開華．基于LabWindows/CVI的音視頻實(shí)時(shí)采集壓縮系統(tǒng)[J]．電視技術(shù)，2014，（5）．

[2]范晨．基于嵌入式系統(tǒng)的危險(xiǎn)區(qū)域探測(cè)機(jī)器人數(shù)字音視頻實(shí)時(shí)傳輸系統(tǒng)設(shè)計(jì)[D]．山東大學(xué)，2010．

第6篇：采集技術(shù)范文

關(guān)鍵詞：三分量 地震采集 發(fā)展

Abstract：The 3-component data acquisition technology is improving and getting into application as the seismic data acquisition technology is developing. This article is focused on the development of 3-component data acquisition project and guessing . The purpose is promoting the 3-component seismic data acquisition technology with managers.

Key words：3-component seismic data acquisition development

近幾年，針對(duì)川西成熟油田探區(qū)，特別是川西地區(qū)裂縫性油氣探區(qū)，都在嘗試和探索開展三分量地震勘探資料采集。作為近年來地震勘探采集技術(shù)發(fā)展的前沿技術(shù)，本人結(jié)合目前開展的三分量地震采集現(xiàn)狀，從觀測(cè)系統(tǒng)如何優(yōu)化、飽和激發(fā)控制、低信噪比地區(qū)攻關(guān)嘗試以及制約三分量采集技術(shù)推廣的瓶頸等等多個(gè)方面，提出個(gè)人認(rèn)識(shí)和廣大三分量地震采集技術(shù)管理者探討。

1、三分量地震采集技術(shù)簡介

根據(jù)橫波分裂理論,當(dāng)橫波通過方位各向異性介質(zhì)時(shí),會(huì)分裂成兩個(gè)偏移方向正交的橫波,一個(gè)與裂縫走向平行的快橫波,另一個(gè)與裂縫方向垂直的慢橫波。三分量地震勘探就是指利用地震激發(fā)來獲取P波、PSV波、PSH轉(zhuǎn)換橫波共三個(gè)分量的勘探資料。結(jié)合目前橫波激發(fā)震源的研制以及勘探效益而言，目前主要是利用縱波激發(fā)來進(jìn)行三分量采集，不需要特殊的橫波震源，就可以采集到S波的資料，施工成本低、工作效率高、操作方便。和常規(guī)三維勘探相比較而言，三分量勘探可獲得三個(gè)分量含有縱、橫波和轉(zhuǎn)換波資料，而常規(guī)三維勘探只有垂直分量，在所有采集狀態(tài)一致時(shí)三分量地震呢采集可多獲得兩倍的地下信息量，該技術(shù)在近年內(nèi)成為多波地震勘探方法中的主流技術(shù)。

三分量地震勘探資料用于解決的問題已不再只限于裂隙檢測(cè)、巖性預(yù)測(cè)以及變化、油氣檢測(cè)、還可以通過三分量地震勘探判別真假亮點(diǎn)，甚至確定地下流體的性質(zhì)、含量、陡傾角界面成像等等?；谒拇ㄌ厥獾牡卣鸬刭|(zhì)條件及裂縫性氣藏的情況，三分量勘探有著更好應(yīng)用性，S波對(duì)裂縫性儲(chǔ)層更有著P波無可比擬的優(yōu)越性！因此對(duì)三分量采集技術(shù)發(fā)展的提升顯得極為重要！

2、如何優(yōu)化三分量地震采集觀測(cè)系統(tǒng)

通過三分量三維地震勘探的實(shí)施，如何優(yōu)化三分量地震采集觀測(cè)系統(tǒng)也必須考慮如下因素：

①根據(jù)影響CCP迭次的有關(guān)參數(shù)，翔實(shí)收集勘探區(qū)內(nèi)地震資料、實(shí)際鉆井資料、VSP資料，特別是勘探主要目的層縱橫波速度（圖2-1）等構(gòu)建地球物理模型，在此基礎(chǔ)上進(jìn)行精細(xì)的參數(shù)論證。

②接收線距越小，CCP覆蓋次數(shù)的差異越小，分布更均勻。小滾動(dòng)距離有利于CCP覆蓋縱、橫向分布的均勻性，并使炮檢距分布得到改善。因此選擇線距、束間滾動(dòng)距離不能過大，避免影響CCP的覆蓋次數(shù)分布的均勻性。

③結(jié)合勘探目的層，選擇好炮檢距的分布。為確保CCP疊加成像效果，選擇合理的最大炮檢距（縱波勘探炮檢距的1.5-2倍）。根據(jù)轉(zhuǎn)換波傳播特點(diǎn)以及轉(zhuǎn)換點(diǎn)的規(guī)律（圖2-3、2-4），首選非正交觀測(cè)系統(tǒng)，結(jié)合設(shè)備的局限性，為了盡可能確保有效的最深目的層的CCP迭次，炮點(diǎn)盡可能布設(shè)在在排列的四周。

④觀測(cè)系統(tǒng)參數(shù)論證應(yīng)以最深目的層為目標(biāo)，以地質(zhì)模型為基礎(chǔ)，進(jìn)行射線追蹤或波場模擬來論證（圖2-2）。

⑤各方位扇區(qū)內(nèi)的炮檢距分布平衡，避免導(dǎo)致不同方位角疊加成像效果差異大（圖2-5），影響勘探精度。

⑥結(jié)合地質(zhì)任務(wù)及施工條件，做好經(jīng)濟(jì)和技術(shù)的統(tǒng)一

對(duì)于三分量地震采集觀測(cè)系統(tǒng)的優(yōu)化是需要從很多方面來綜合考慮的。項(xiàng)目部署前須結(jié)合勘探地質(zhì)目標(biāo)需求以及勘探投資等實(shí)際情況來綜合優(yōu)化，做好了觀測(cè)系統(tǒng)的優(yōu)化，能夠起到較好的勘探效益。

3、對(duì)“飽和激發(fā)”的理解

要想獲取信噪比較高的轉(zhuǎn)換波資料，通過針對(duì)性的試驗(yàn)來進(jìn)行對(duì)比是必須的。因?yàn)榭v波速度大于橫波速度（與巖石物性參數(shù)有關(guān)），且縱波頻率比橫波頻率高。即S波的吸收系數(shù)比P波大。根據(jù)這種認(rèn)識(shí)我們就可以通過Z分量試驗(yàn)資料以及X分量資料來確定選取合理的激發(fā)藥量，以便獲取相對(duì)P波和S波均信噪比較高的地震資料。

以某地區(qū)三分量三維藥量試驗(yàn)為例，采用16m的激發(fā)井深，分別進(jìn)行了4kg、6kg、8kg、10kg、12kg、14kg、16kg、18kg、20kg的不同激發(fā)藥量試驗(yàn)。

從Z分量原始單炮AGC顯示看，16kg-20kg藥量激發(fā)記錄有效波連續(xù)性較好，同相軸清晰，有效反射信息較為豐富，10kg-14kg次之，4kg-8kg較差（圖3-1）。

從Z分量原始單炮固定增益顯示看，隨著藥量的增加，激發(fā)能量逐漸增大，12kg以上能量變化不是很大且趨于穩(wěn)定（圖3-2）。

通過Z分量試驗(yàn)記錄以上定性對(duì)比可以看出12kg激發(fā)是飽和激發(fā)的界限。接下來主要是通過定量分析來對(duì)比分析飽和和過飽和激發(fā)對(duì)于P波勘探的影響。

從定量分析顯示，隨著藥量的增加，記錄能量具有逐漸增強(qiáng)的趨勢(shì)，12kg之后變化趨于平緩，到16kg藥量激發(fā)時(shí)，記錄的能量和信噪比較高，主頻和頻寬也具有優(yōu)勢(shì)（圖3-3、3-4）。從初至波能量分析看， 12kg之后變化趨于平緩（圖3-5）。

從上述Z分量資料定性、定量分析可以得出結(jié)論：對(duì)于Z分量資料而言，12kg是P波勘探的飽和藥量的界限。因此主要對(duì)比飽和激發(fā)和過飽和激發(fā)資料，也就是重點(diǎn)定量對(duì)比12kg―20kg激發(fā)轉(zhuǎn)換波資料信噪比的變化來確定對(duì)轉(zhuǎn)換波勘探有利的激發(fā)藥量。

選擇X分量原始單炮、分頻掃描記錄AGC顯示看，4-12kg較差，信噪比相對(duì)較低；16-20kg藥量激發(fā)記錄的信噪比和有效反射連續(xù)性較好，能量較強(qiáng)，信噪比較高，針對(duì)X分量資料而言16kg激發(fā)已經(jīng)達(dá)到飽和（圖3-6至圖3-7）。

從上述X分量資料定性、定量分析可以得出結(jié)論：對(duì)于X分量資料而言，16kg是飽和藥量界限。想要獲得信噪比較高的S波勘探資料，須采用16kg激發(fā)藥量。

從以上藥量試驗(yàn)分析我們得出如下結(jié)論：相對(duì)三分量地震采集而言，飽和激發(fā)也是一個(gè)相對(duì)概念。因此，要想確保轉(zhuǎn)換波資料的信噪比，就需采取相對(duì)P波勘探而言適當(dāng)?shù)摹斑^飽和激發(fā)”來選取針對(duì)轉(zhuǎn)換波勘探而采用的“飽和藥量”激發(fā)更為合理。

4、低信噪比地區(qū)能否開展三分量地震采集

針對(duì)P波勘探低信噪比地區(qū)能否通過開展三分量地震采集來獲取一定信噪比的轉(zhuǎn)換波資料呢？我個(gè)人認(rèn)為在低信噪比地區(qū)還是可以通過取得的三分量地震采集技術(shù)認(rèn)識(shí)來適當(dāng)開展轉(zhuǎn)換波勘探嘗試的。

首先縱波速度大于橫波速度（與巖石物性參數(shù)有關(guān)，如圖4-1），且縱波頻率比橫波頻率高，即S波的吸收系數(shù)比P波大。雖然S波勘探深度不如P波，但是針對(duì)適中的勘探深度而言轉(zhuǎn)換波勘探對(duì)于構(gòu)造刻劃方面是否較縱波勘探更為精細(xì)呢？因此在理論上而言對(duì)于勘探深度適中的低信噪比地區(qū)開展橫波勘探是可行的，也就是說嘗試三分量地震采集從技術(shù)上是可以進(jìn)行嘗試的。

其次結(jié)合前面關(guān)于“飽和激發(fā)”的理解，針對(duì)低信噪比地區(qū)同樣可以依據(jù)飽和激發(fā)理論來尋求合理的相對(duì)轉(zhuǎn)換波勘探而言適中的激發(fā)藥量來確保轉(zhuǎn)換波資料的信噪比。根據(jù)S波在不同低信噪比構(gòu)造響應(yīng)以及成像精度略高于P波勘探的特點(diǎn)，結(jié)合國內(nèi)外一些應(yīng)用實(shí)例，特別是在縱波弱反射界面、高陡構(gòu)造帶等等證明轉(zhuǎn)換波成像的效果對(duì)于P波勘探勘探相對(duì)而言是否更具有一定優(yōu)勢(shì)呢（圖4-2至4-3）？

從上面的資料對(duì)比來看，縱波資料成像精度就明顯較轉(zhuǎn)換波資料，個(gè)人認(rèn)為針對(duì)低信噪比、勘探深度適中的地區(qū)，可以嘗試結(jié)合轉(zhuǎn)換波資料來輔助解決低信噪比地區(qū)的勘探問題，因此在低信噪比地區(qū)還是可以做一些技術(shù)嘗試的。

5、多波低測(cè)采集技術(shù)的瓶頸影響三分量地震采集技術(shù)的發(fā)展

多波低測(cè)調(diào)查能夠?yàn)楹罄m(xù)轉(zhuǎn)換波資料處理能夠提供準(zhǔn)確的靜校正量。眾所周知，對(duì)于三分量地震采集而言ps波的靜校正問題是石特別突出的。在前期川西淺丘地區(qū)實(shí)施的三分量地震采集項(xiàng)目開展的多波微測(cè)井采集技術(shù)攻關(guān)已經(jīng)取得了一些認(rèn)識(shí)和進(jìn)展，比如使用較低頻的井下井下檢波器接收、不同方向的激發(fā)試驗(yàn)、橫波初至的有效判別以及拾取技術(shù)等（圖5-1），但是受川西卵石區(qū)成單深井難度極大且無法保井的現(xiàn)實(shí)條件限制，需要打破多波采集技術(shù)的瓶頸，開展如多波小折射采集技術(shù)攻關(guān)等。

對(duì)于多波小折射采集技術(shù)攻關(guān)主要面臨以下幾個(gè)方面的困難：①繼續(xù)改進(jìn)和研制適宜的、較為穩(wěn)定的多波小折射激發(fā)裝置，利用多次疊加技術(shù)，進(jìn)一步增加橫波信號(hào)強(qiáng)度，爭取獲得容易識(shí)別的橫波初至；②借鑒多波微測(cè)井技術(shù)的成功經(jīng)驗(yàn)，如嘗試低主頻檢波器接收來進(jìn)行采集攻關(guān)等；③加強(qiáng)多波小折射資料處理技術(shù)研究工作，如更加有效的橫波初至拾取技術(shù)等，獲取多波小折射解釋的可靠方法。

6、建議

通過對(duì)前期實(shí)施的三分量地震采集項(xiàng)目技術(shù)發(fā)展以及遇到的實(shí)際問題，個(gè)人小結(jié)了未來三分量地震采集技術(shù)發(fā)展的幾點(diǎn)建議：

⑴三分量地震采集觀測(cè)系統(tǒng)的優(yōu)化是很有必要的，是項(xiàng)目實(shí)施的技術(shù)依據(jù)和基礎(chǔ)。

⑵三分量地震采集激發(fā)藥量實(shí)施，對(duì)于縱波勘探而言屬于略過飽和激發(fā)，但是對(duì)于轉(zhuǎn)換波勘探而言是飽和激發(fā)，能夠有利地確保轉(zhuǎn)換波資料的信噪比。

⑶轉(zhuǎn)換波資料本來就具有頻帶較窄，主頻較低的特點(diǎn)，但是結(jié)合轉(zhuǎn)換波的特點(diǎn)以及國外應(yīng)用實(shí)例，個(gè)人認(rèn)為針對(duì)勘探深度適中的低信噪比地區(qū)可以嘗試開展三分量地震采集工作。

⑷多波低測(cè)采集技術(shù)制約著轉(zhuǎn)換波資料的靜校正處理，是制約三分量地震采集技術(shù)發(fā)展的瓶頸。因此針對(duì)川西平壩卵石區(qū)開展多波低測(cè)采集技術(shù)的攻關(guān)極為迫切。

以上是個(gè)人對(duì)于未來三分量地震采集技術(shù)發(fā)展的一些看法，謹(jǐn)代表個(gè)人觀點(diǎn)，僅供與技術(shù)管理者進(jìn)行交流和探討。如有不妥之處，請(qǐng)指正！

參考文獻(xiàn)：

⑴《石油物探工程監(jiān)督》 沈 琛 著 2004年

⑵《多分量地震勘探技術(shù)理論與實(shí)踐》－趙邦六等著，石油工業(yè)出版社，2007年

⑶《多分量地震技術(shù)》－黃中玉等著，石油工業(yè)出版社，2007年2008年

⑷《多分量地震采集技術(shù)實(shí)踐》－劉勝著，內(nèi)部培訓(xùn)教材

⑸《合興場―高廟子地區(qū)三分量三維地震勘探項(xiàng)目技術(shù)設(shè)計(jì)》 劉 勝等著 2008年

⑹目前多分量地震勘探中的幾個(gè)關(guān)鍵問題－地球物理學(xué)報(bào)，2004年1月，第47卷第1期

第7篇：采集技術(shù)范文

關(guān)鍵詞：用電信息采集；電力企業(yè)；電網(wǎng)系統(tǒng)；關(guān)鍵技術(shù)

中圖分類號(hào)： TM93 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1673-1069（2016）35-159-2

0 引言

隨著我國社會(huì)經(jīng)濟(jì)的發(fā)展，社會(huì)生產(chǎn)對(duì)電網(wǎng)系統(tǒng)不斷提出更高的要求。智能電網(wǎng)的構(gòu)建是為了滿足電力用戶的更多需求，實(shí)現(xiàn)電力運(yùn)輸以及電力控制的信息化、智能化，提高電網(wǎng)運(yùn)行系統(tǒng)的安全可靠性，提升電力行業(yè)的經(jīng)濟(jì)效益。更進(jìn)一步地說，我國在推行智能電網(wǎng)這一標(biāo)準(zhǔn)方案下，全力建設(shè)用電信息采集系統(tǒng)，以實(shí)現(xiàn)及時(shí)的采集數(shù)據(jù)、準(zhǔn)確的數(shù)據(jù)計(jì)量、高效的服務(wù)方式等，全方位地實(shí)現(xiàn)電網(wǎng)系統(tǒng)與用電用戶之間實(shí)時(shí)互動(dòng)的電力信息業(yè)務(wù)。

1 用電信息采集系統(tǒng)基本概述

用電信息采集系統(tǒng)是電力系統(tǒng)營銷管理體系中的重要環(huán)節(jié)，也是該體系中關(guān)鍵的自動(dòng)化系統(tǒng)部分，主要負(fù)責(zé)監(jiān)測(cè)用電用戶的實(shí)時(shí)用電情況。其主要功能包括：電力數(shù)據(jù)的自動(dòng)采集、數(shù)據(jù)計(jì)量、數(shù)據(jù)處理、數(shù)據(jù)在線監(jiān)測(cè)以及電力質(zhì)量的在線管控等。依據(jù)系統(tǒng)的構(gòu)成劃分，用電信息采集系統(tǒng)主要由主站系統(tǒng)、終端設(shè)備、電能表以及通信系統(tǒng)構(gòu)成。主站系統(tǒng)是集“集抄系統(tǒng)、負(fù)控系統(tǒng)、配變檢測(cè)系統(tǒng)”于一體的，滿足“全覆蓋、全采集、全預(yù)付費(fèi)”功能需求的系統(tǒng)。終端設(shè)備包括負(fù)控終端、集中器、采集器。電能表包括變電站關(guān)口表、臺(tái)區(qū)表和居民用戶表[1]。

2 用電信息采集系統(tǒng)關(guān)鍵技術(shù)分析

2.1 通信技術(shù)

2.1.1 本地通信技術(shù)

本地通信網(wǎng)絡(luò)用于現(xiàn)場終端與電表計(jì)量的通信連接，主要包括RS485通信、低壓電力線載波、M-BUS總線和微功率無線通信四種方式。下面依次做出簡要介紹。①RS485通信。此種通信應(yīng)用較為廣泛，是采用電表與多個(gè)采集的并向連接，通過兩條RS485線將計(jì)量表與終端設(shè)備直接連接在一起，實(shí)現(xiàn)采集設(shè)備與電表之間的通信。其優(yōu)點(diǎn)是：傳輸速率高、抗干擾性好，可應(yīng)用于多種傳輸系統(tǒng)。其不足之處是：如長距離布線帶來的不便、線路容易受損而很難定位故障點(diǎn)等。②低壓電力載波。在用電信息采集系統(tǒng)中，對(duì)電能表中數(shù)據(jù)的采集時(shí)依靠載波采集設(shè)備進(jìn)行采集的，低壓電力載波將采集到的數(shù)據(jù)傳輸?shù)街髡鞠到y(tǒng)進(jìn)行數(shù)據(jù)的處理。此種通信具有投入成本低、維護(hù)成本低的優(yōu)點(diǎn)，其缺點(diǎn)是受負(fù)載影響大、信號(hào)衰減大等，此種通信適用于偏遠(yuǎn)農(nóng)村或偏僻的別墅區(qū)。③M-BUS總線通信。此種通信方式較為開放，可實(shí)現(xiàn)電能計(jì)量表的自動(dòng)抄表，與RS485較為類似，且具有通信效率高、抗干擾性強(qiáng)等優(yōu)點(diǎn)。④微功率無線通信。此種通信與低壓電力載波相似，采用數(shù)字信號(hào)單片射頻收發(fā)芯片將數(shù)據(jù)信號(hào)通過調(diào)制、解調(diào)、放大、濾波等數(shù)字處理后轉(zhuǎn)換為高頻交流的電磁波進(jìn)行傳輸。主要適用于農(nóng)村中單戶單表的情況。

2.1.2 遠(yuǎn)程通信技術(shù)

遠(yuǎn)程通信網(wǎng)絡(luò)主要應(yīng)用于集中采集器與主站系統(tǒng)之間的傳輸，目前較為廣泛應(yīng)用的是無線公網(wǎng)、有線通信和光纖通信，下面做出具體介紹：首先是無線公網(wǎng)。無線公網(wǎng)即GPRS通信技術(shù)，在用電信息采集終端安裝SIM卡，便可產(chǎn)生通信編號(hào)與地址，來進(jìn)行與主站系統(tǒng)之間的通信，并可快速與主站進(jìn)行數(shù)據(jù)傳輸。此種通信技術(shù)具有廣闊的發(fā)展前景。其次是有線通信。有線通信即有線電話通信，是利用分頻技術(shù)將電話線分為三個(gè)獨(dú)立的通道，增加其抗干擾能力，通過調(diào)制調(diào)節(jié)器撥號(hào)有線電話，將采集到的電能數(shù)據(jù)傳送至主站系統(tǒng)，同時(shí)等待主站系統(tǒng)下達(dá)的指令。最后是光纖通信技術(shù)。此種技術(shù)是具有光波載體的信號(hào)傳輸，可有效滿足電能數(shù)據(jù)的大量傳輸以及長距離傳輸，并且具有很好的抗干擾能力，保證電能的傳輸質(zhì)量。無線通信和光線通信也是智能電網(wǎng)發(fā)展的主流方向。

2.2 數(shù)據(jù)處理技術(shù)

2.2.1 集群技術(shù)

集群技術(shù)同樣是輸用電信息采集系統(tǒng)中的核心環(huán)節(jié)，通過集群技術(shù)將多立網(wǎng)絡(luò)中的計(jì)算機(jī)連接成整體，進(jìn)行統(tǒng)一管控，最終實(shí)現(xiàn)電能數(shù)據(jù)的大運(yùn)量計(jì)算，可面對(duì)大量數(shù)據(jù)的共同訪問，對(duì)數(shù)據(jù)流量進(jìn)行合理分配，有效提升了信息數(shù)據(jù)的計(jì)算效率，并可保證其準(zhǔn)確性。

2.2.2 內(nèi)存數(shù)據(jù)庫技術(shù)

內(nèi)存數(shù)據(jù)庫技術(shù)是提升對(duì)信息采集數(shù)據(jù)處理能力的有效途徑，內(nèi)存數(shù)據(jù)庫技術(shù)即從內(nèi)存中直接進(jìn)行采集數(shù)據(jù)的存儲(chǔ)，優(yōu)化了采集數(shù)據(jù)的信息讀寫能力，有效提升了數(shù)據(jù)信息的訪問性能，最終實(shí)現(xiàn)電能數(shù)據(jù)的實(shí)時(shí)查詢，很好地完善了用電信息采集系統(tǒng)的數(shù)據(jù)處理能力，尤其是對(duì)大批量數(shù)據(jù)的集中處理。在對(duì)大批量數(shù)據(jù)進(jìn)行集中處理的同時(shí)，還要對(duì)數(shù)據(jù)庫的SQL語句以及數(shù)據(jù)庫的表結(jié)構(gòu)進(jìn)行優(yōu)化處理，比如說，對(duì)每個(gè)數(shù)據(jù)表格中的數(shù)據(jù)限定在2GB的存量范圍，并將數(shù)據(jù)信息進(jìn)行分類存盤保管，以方便后期的查詢等。

2.3 設(shè)備關(guān)鍵技術(shù)

在設(shè)備關(guān)鍵技術(shù)中重點(diǎn)介紹用電信息的安全防護(hù)技術(shù)。用電信息采集系統(tǒng)所面對(duì)的電力數(shù)據(jù)信息量較大、其覆蓋范圍較廣，在系統(tǒng)運(yùn)行過程中可能會(huì)接觸到眾多的安全隱患問題，因此，針對(duì)系統(tǒng)各階段面臨的安全隱患，對(duì)用電信息采集系統(tǒng)攝入了安全防護(hù)技術(shù)。此項(xiàng)技術(shù)主要是由系統(tǒng)主站、密碼機(jī)和采集終端三部分構(gòu)成。在系統(tǒng)主站中設(shè)置具有高速運(yùn)行特點(diǎn)的密碼機(jī)，用來完成主站系統(tǒng)數(shù)據(jù)的加密、解密，具體是進(jìn)行身份識(shí)別認(rèn)證、核心數(shù)據(jù)的加密解密、密鑰的協(xié)商和更新以及數(shù)據(jù)信息的校驗(yàn)等功能。除此之外，還要對(duì)系統(tǒng)的采集終端、智能電表和集中器中設(shè)置密碼加密模塊，用來完成主站、采集終端和電表之間的身份認(rèn)證、核心數(shù)據(jù)的傳輸，以及系統(tǒng)內(nèi)部數(shù)據(jù)的加密、解密等，總體來講就是保證了系統(tǒng)數(shù)據(jù)的安全性和保密性。這里密碼加密機(jī)和終端系統(tǒng)的加密塊都是由國家密碼管理局認(rèn)定的密鑰加密算法和硬件加密，此外，安全防護(hù)系統(tǒng)使得采集終端的監(jiān)控功能、數(shù)據(jù)傳輸功能以及數(shù)據(jù)交換功能等更加完善，有效起到了防御預(yù)警作用。

2.4 業(yè)務(wù)處理技術(shù)

業(yè)務(wù)處理技術(shù)主要介紹智能費(fèi)控技術(shù)和移動(dòng)作業(yè)技術(shù)。第一，智能費(fèi)控技術(shù)。用電信息采集系統(tǒng)中智能費(fèi)控技術(shù)的運(yùn)用主要是實(shí)現(xiàn)用電用戶先交費(fèi)后用電的管理模式，通過系統(tǒng)對(duì)用戶用電量的采集監(jiān)控，在電費(fèi)余額不足時(shí)提醒用戶充值繳費(fèi)，并在余額為零時(shí)自動(dòng)跳閘停止使用。智能費(fèi)控技術(shù)與安全防護(hù)技術(shù)同樣，貫穿系統(tǒng)主站、采集終端和智能電表中，其中主站費(fèi)控技術(shù)主要適用于居民用戶和各類專變用戶，采集終端費(fèi)控技術(shù)適用于專變用戶，智能電表費(fèi)控技術(shù)適用于居民用戶，并在用電量大的情況下減輕主站的壓力。除此之外，費(fèi)控技術(shù)對(duì)本地通信的電力線載波通信的工作要求較高，載波通信工作必須具有極強(qiáng)的可靠性、穩(wěn)定性以及實(shí)時(shí)性，才能為費(fèi)控技術(shù)提供有效的技術(shù)支持。第二，移動(dòng)作業(yè)技術(shù)。傳統(tǒng)的電表計(jì)量作業(yè)是在打印好工作單的基礎(chǔ)上采用人工抄表的形式進(jìn)行數(shù)據(jù)登錄，其工作效率低，且不能保證準(zhǔn)確性，而現(xiàn)階段廣泛應(yīng)用的是移動(dòng)作用支持系統(tǒng)，移動(dòng)作業(yè)平臺(tái)可實(shí)現(xiàn)電表抄收、電表計(jì)量以及業(yè)務(wù)辦理等功能，有效降低人員的勞動(dòng)力，提升了工作效率，實(shí)現(xiàn)了計(jì)量作業(yè)的精細(xì)化管理。

3 結(jié)束語

本文通過對(duì)用電信息采集系統(tǒng)的各環(huán)節(jié)以及各項(xiàng)關(guān)鍵技術(shù)的研究得出，用電信息采集系統(tǒng)是構(gòu)建智能電網(wǎng)系統(tǒng)的必然要求，可更好地實(shí)現(xiàn)電力營銷業(yè)務(wù)的自動(dòng)化處理，做到優(yōu)化資源配置，提升電力企業(yè)的工作效率。因此，繼續(xù)加強(qiáng)用電信息采集系統(tǒng)的技術(shù)研究具有重要的現(xiàn)實(shí)意義。

第8篇：采集技術(shù)范文

【關(guān)鍵詞】網(wǎng)絡(luò)爬蟲；社交網(wǎng)絡(luò)；web信息抽?。籄JAX

1.引言

隨著信息技術(shù)的發(fā)展，各種新聞、論壇和博客網(wǎng)站為人們提供了發(fā)表評(píng)論的平臺(tái)，對(duì)相關(guān)部門掌握輿情的走向起著重要作用，使得輿情研究變得有價(jià)值。由于Ajax技術(shù)的廣泛使用，用于信息搜索的常規(guī)網(wǎng)絡(luò)爬蟲技術(shù)面臨嚴(yán)重挑戰(zhàn)，出現(xiàn)了針對(duì)Ajax技術(shù)的爬蟲。2007年，瑞士蘇黎世聯(lián)邦理工學(xué)院的Gianni Frey[1,2]通過解析網(wǎng)頁中的腳本，實(shí)現(xiàn)了Ajax動(dòng)態(tài)信息的采集；隨后Cristian[3]等人提出了基于腳本函數(shù)以及參數(shù)的熱點(diǎn)檢測(cè)機(jī)制，減少了重復(fù)信息的采集；2008年，荷蘭理工大學(xué)的Ali[4]等人利用瀏覽器接口模擬用戶對(duì)頁面元素操作獲取動(dòng)態(tài)信息。在我國，2007年浙江大學(xué)的羅兵[5]在普通爬蟲的基礎(chǔ)上增加了JS(JavaScript)解析和DOM(Document Object Model)操作模塊，實(shí)現(xiàn)了對(duì)JavaScript代碼的解析和JavaScript代碼中相關(guān)DOM操作的支持，完成了對(duì)Ajax加載內(nèi)容的分析；2009年，中國科學(xué)技術(shù)大學(xué)的曾偉輝[6]采用改進(jìn)動(dòng)態(tài)腳本分析方法，實(shí)現(xiàn)了基于對(duì)象的程序切片算法達(dá)到抓取Ajax站點(diǎn)URL的目的；同年，袁小節(jié)[7]以采集新聞主題信息為例，采用基于協(xié)議驅(qū)動(dòng)采集和事件驅(qū)動(dòng)采集相結(jié)合的方法完成了聚焦信息的采集。2010年，夏天[8]對(duì)Ajax站點(diǎn)數(shù)據(jù)采集進(jìn)行了總結(jié)，分析了采集Ajax網(wǎng)頁動(dòng)態(tài)信息的研究重點(diǎn)以及發(fā)展趨勢(shì)。本文在分析研究了現(xiàn)有爬蟲技術(shù)后，針對(duì)微博類網(wǎng)站設(shè)計(jì)了支持Ajax技術(shù)的爬蟲，該爬蟲將爬取分為用戶爬取和內(nèi)容爬取兩部分，采用協(xié)議驅(qū)動(dòng)和事件驅(qū)動(dòng)結(jié)合的采集策略以及基于模板的抽取方法，實(shí)現(xiàn)了對(duì)微博內(nèi)容的抽取和保存，提高了信息采集的覆蓋率。

2.面向微博的Web爬蟲設(shè)計(jì)與實(shí)現(xiàn)

微博在網(wǎng)絡(luò)事件中對(duì)輿論的導(dǎo)向起到重要作用[9]。網(wǎng)絡(luò)輿情具有源數(shù)據(jù)針對(duì)性、時(shí)效性、后續(xù)更新連續(xù)性等特點(diǎn)。本文設(shè)計(jì)時(shí)，將要爬取的空間限制在微博網(wǎng)站中，考慮微博的時(shí)間、內(nèi)容、評(píng)論和轉(zhuǎn)發(fā)數(shù)等，以最大限度的信息采集量為目標(biāo)進(jìn)行設(shè)計(jì)，保證獲取新增評(píng)論內(nèi)容。

2.1 面向微博的網(wǎng)絡(luò)爬蟲框架

微博網(wǎng)站的更新是通過用戶在自己的微博上發(fā)表文章來實(shí)現(xiàn)。由于沒有包含所有文章的列表，在設(shè)計(jì)該類爬蟲時(shí)，必須以用戶為單位，先找到用戶，再進(jìn)入其微博主頁獲取微博的內(nèi)容、時(shí)間、評(píng)論和轉(zhuǎn)發(fā)數(shù)等。

根據(jù)以上思路，將基于微博的網(wǎng)絡(luò)爬蟲程序分為兩個(gè)模塊：獲取用戶信息模塊和獲取微博內(nèi)容模塊，基本框架如圖2-1所示。

圖2-1 基于微博的網(wǎng)絡(luò)爬蟲框架

在獲取用戶信息模塊中，由于信息數(shù)量過大，嚴(yán)重影響信息獲取的速度，而實(shí)際運(yùn)用中，大多信息是無用信息。因此，根據(jù)信息的重要程度，將用戶分為普通用戶和重點(diǎn)用戶。在獲取用戶信息時(shí)，先從重點(diǎn)用戶出發(fā)，盡可能多的獲取用戶列表；更新用戶列表時(shí)，以最近一次的用戶列表作為本次爬取的初始化用戶。為保證用戶獲取時(shí)分布均勻，在得到用戶列表后，根據(jù)已獲取的URL結(jié)構(gòu)，使用隨機(jī)函數(shù)產(chǎn)生用戶ID, 構(gòu)造出微博的訪問URL。

在獲取微博內(nèi)容模塊中，采用多線程爬取策略，每個(gè)線程負(fù)責(zé)一個(gè)用戶的URL爬取，直至隊(duì)列中的所有URL都被爬取過或者遇到終止條件結(jié)束。當(dāng)爬蟲進(jìn)入到用戶微博后，首先判斷該用戶是否已經(jīng)被爬取過，如果己經(jīng)爬取過，則轉(zhuǎn)到該用戶的微博頁面爬取最新的微博；如果尚未被爬取，則從微博主頁開始爬取，依次獲取所有文章信息，并對(duì)用戶狀態(tài)進(jìn)行更新。

2.2 支持Ajax的爬蟲實(shí)現(xiàn)

目前廣泛使用的Ajax技術(shù)使用局部刷新和異步讀取的方法，使得服務(wù)器不需要存儲(chǔ)大量靜態(tài)網(wǎng)頁數(shù)據(jù)，節(jié)約了存儲(chǔ)空間，提升了用戶的使用體驗(yàn)[7]。但是，這種技術(shù)也導(dǎo)致了普通爬蟲無法得到完整的網(wǎng)頁信息，如異步請(qǐng)求動(dòng)態(tài)信息、網(wǎng)頁中的觸發(fā)事件等等。

使用了Ajax技術(shù)的網(wǎng)頁，通常是從數(shù)據(jù)庫中提取相應(yīng)的數(shù)據(jù)填充到指定的模板，并將其顯示在網(wǎng)頁上，如新浪微博的評(píng)論信息頁面，評(píng)論的內(nèi)容是動(dòng)態(tài)加載的，當(dāng)評(píng)論內(nèi)容被分成多頁顯示時(shí)，不同的評(píng)論內(nèi)容頁共用同一個(gè)URL。由于這些評(píng)論網(wǎng)頁的結(jié)構(gòu)十分相似，且在每一個(gè)動(dòng)態(tài)頁面中都包含多個(gè)觸發(fā)元素，若要爬取到完整的評(píng)論信息，就需要用戶對(duì)這些元素進(jìn)行操作。

基于Ajax技術(shù)的微博網(wǎng)頁，其首頁的用戶信息、用戶微博的各個(gè)鏈接、微博內(nèi)容都能在HTML源文件中查看到。針對(duì)這一特點(diǎn)，本研究采用協(xié)議驅(qū)動(dòng)的方法，采集用戶信息；采用事件驅(qū)動(dòng)的方法，采集微博評(píng)論信息。

2.2.1 數(shù)據(jù)預(yù)處理

預(yù)處理階段的任務(wù)是通過對(duì)樣本網(wǎng)頁進(jìn)行分析，提出采集規(guī)則，提高對(duì)評(píng)論信息的采集效率。在運(yùn)行時(shí)，使用Ajax狀態(tài)表示一個(gè)動(dòng)態(tài)網(wǎng)頁的信息，采用全探測(cè)算法[6]查找頁面中的有效觸發(fā)元素，算法如下：

初始狀態(tài)

構(gòu)建關(guān)于狀態(tài)的DOM Tree

儲(chǔ)存狀態(tài)標(biāo)識(shí)至標(biāo)識(shí)庫，狀態(tài)編號(hào)及內(nèi)容至內(nèi)容庫

If 第一次處理 then

遍歷DOM Tree

獲取觸發(fā)事件列表

Else

查詢觸發(fā)事件列表

Endif

If 有未處理事件 then

獲取事件狀態(tài)

添加新狀態(tài)至相應(yīng)庫

Else

結(jié)束

endif

上述算法中，在判斷Ajax狀態(tài)是否有效時(shí)，采用樹匹配算法[10]，即遞歸比較兩棵樹的第一層子樹，求最大的匹配節(jié)點(diǎn)對(duì)。若兩棵樹的根節(jié)點(diǎn)不同，則這兩棵樹的最大匹配為零，不再比較子樹，否則順序比較每個(gè)子節(jié)點(diǎn)，最后得到兩棵樹的最大匹配節(jié)點(diǎn)數(shù)。

對(duì)于DOM Tree為T的HTML文檔，假設(shè)其每個(gè)結(jié)點(diǎn)標(biāo)記對(duì)應(yīng)一個(gè)HTML標(biāo)簽，則任意兩棵樹的相似度可按如下公式計(jì)算：

相似度 = 最大匹配節(jié)點(diǎn)數(shù) / 平均節(jié)點(diǎn)數(shù)

兩棵樹的最大匹配節(jié)點(diǎn)樹越大，則兩棵樹越相似。在判斷時(shí)，若兩棵樹的DOM結(jié)構(gòu)相似度大于90%，則需要重新遍歷并比較兩棵樹中各個(gè)節(jié)點(diǎn)的文本信息，若發(fā)生變化的節(jié)點(diǎn)數(shù)小于節(jié)點(diǎn)總數(shù)的15%，則認(rèn)為新得到的Ajax狀態(tài)是重復(fù)的，該狀態(tài)無效，否則，新得到的Ajax狀態(tài)是有效的。

2.2.2 信息采集

為了能夠快速地采集主題信息，采用協(xié)議驅(qū)動(dòng)和事件驅(qū)動(dòng)相結(jié)合的采集方式，并將采到的信息存入數(shù)據(jù)庫中。

協(xié)議驅(qū)動(dòng)采集時(shí)，根據(jù)HTTP協(xié)議獲取網(wǎng)頁，并對(duì)網(wǎng)頁中的信息進(jìn)行處理，提取網(wǎng)頁中的鏈接。使用WinInet（Windows Internet）庫提供的方法，根據(jù)給定的URL快速獲得網(wǎng)頁的HTML源文件，使用正則表達(dá)式提取網(wǎng)頁中的超鏈接。

事件驅(qū)動(dòng)采集時(shí)，根據(jù)預(yù)處理模塊得到的采集規(guī)則，完成該模塊中地址隊(duì)列的動(dòng)態(tài)評(píng)論信息采集。

事件驅(qū)動(dòng)采集流程如圖2-2所示。

圖2-2 事件驅(qū)動(dòng)采集流程

2.2.3 信息采集數(shù)據(jù)存儲(chǔ)

在將Web信息存入數(shù)據(jù)庫前，必須對(duì)微博內(nèi)容、微博評(píng)論信息進(jìn)行格式化處理，以保證所抽取信息的一致性。鑒于模板匹配算法抽取精確、部署快速的特點(diǎn)，本系統(tǒng)采用了模板匹配的方式進(jìn)行信息處理。操作時(shí)，先對(duì)所采集到的網(wǎng)頁進(jìn)行分析，找出最佳匹配模板，使模板的數(shù)據(jù)信息與該模塊所對(duì)應(yīng)的數(shù)據(jù)庫字段相對(duì)應(yīng)，再將數(shù)據(jù)保存至數(shù)據(jù)庫中。配置模板的流程如圖2-3所示。

圖2-3 數(shù)據(jù)存儲(chǔ)流程

3.實(shí)驗(yàn)結(jié)果及分析

3.1 面向微博的網(wǎng)絡(luò)爬蟲框架

本文以/1738289495為例，主要抽取微博內(nèi)容、時(shí)間、轉(zhuǎn)發(fā)數(shù)和評(píng)論數(shù)和評(píng)論內(nèi)容，原文和抽取結(jié)果如圖3-1、3-2所示。

圖3-1 微博原文

從圖中可以看出，通過結(jié)合協(xié)議驅(qū)動(dòng)采集和事件驅(qū)動(dòng)采集、模板匹配算法設(shè)計(jì)的網(wǎng)絡(luò)爬蟲，成功地抽取到了微博內(nèi)容，同時(shí)刪除了引用等其他無關(guān)信息。

圖3-2 抽取結(jié)果

3.2 數(shù)據(jù)比對(duì)與分析

微博信息抽取的性能可以定義以下兩個(gè)衡量指標(biāo)：微博主題內(nèi)容的正確提取率（IAR）、微博評(píng)論內(nèi)容的正確提取率（IDI）。

（1）

微博內(nèi)容總數(shù)是指某賬戶在某時(shí)刻登錄微博首頁所能查看到的所有微博主題內(nèi)容的總數(shù)；抽取到的微博主題內(nèi)容總數(shù)是指爬蟲所抓取的正確的微博主題內(nèi)容總數(shù)。

（2）

微博評(píng)論總數(shù)是指所有微博主題內(nèi)容的評(píng)論數(shù)的總和；抽取的微博評(píng)論總數(shù)是爬蟲正確抽取的微博評(píng)論總數(shù)。

為了對(duì)算法進(jìn)行性能分析比較，本實(shí)驗(yàn)使用同一賬號(hào)在同一時(shí)間登錄微博，以保證起始頁面相同。實(shí)驗(yàn)數(shù)據(jù)統(tǒng)計(jì)有460條微博和31482條評(píng)論信息，分別使用本文爬蟲和BFS（Best First Search）算法爬取的信息量作比較，如表3-1所示。

表3-1 信息爬取量對(duì)比表

微博內(nèi)容總數(shù) 正確抓取微博內(nèi)容 IAR(%)

BFS 460 46 10%

本文爬蟲 460 424 92.17%

微博評(píng)論總數(shù) 正確抓取

評(píng)論數(shù) IDI(%)

BFS 31482 0 0%

本文爬蟲 31482 29543 93.84%

表3-1的數(shù)據(jù)表明，本文設(shè)計(jì)的爬蟲能夠采集動(dòng)態(tài)信息，相對(duì)于普通的爬蟲提高了信息采集的覆蓋率。

表3-2 觸發(fā)次數(shù)對(duì)比表

評(píng)論

頁數(shù) 未制定觸發(fā)約束（觸發(fā)次數(shù)） 有約束條件

（觸發(fā)次數(shù)）

微博1 3 23 2

微博2 7 67 6

微博3 11 136 10

微博4 17 167 16

微博5 25 243 24

另外，針對(duì)有效觸發(fā)元素的設(shè)計(jì)，本文隨機(jī)選擇了5篇新浪微博的評(píng)論信息進(jìn)行抓取，以驗(yàn)證約束條件觸發(fā)的高效性，觸發(fā)次數(shù)對(duì)比如表3-2所示。

表3-2的數(shù)據(jù)表明，本文通過對(duì)觸發(fā)設(shè)定約束條件，僅針對(duì)翻頁信息觸發(fā)，減少了無效觸發(fā)，提高了采集動(dòng)態(tài)信息的效率。

4.結(jié)論

Ajax技術(shù)通過異步方式向服務(wù)器發(fā)送并獲取數(shù)據(jù)，減少了時(shí)間開銷，降低了數(shù)據(jù)流量，受到國內(nèi)外學(xué)術(shù)及商業(yè)領(lǐng)域的關(guān)注。本文通過分析Ajax技術(shù)在微博等評(píng)論頁面的應(yīng)用現(xiàn)狀，設(shè)計(jì)了針對(duì)微博類網(wǎng)站的支持Ajax技術(shù)的爬取策略。

本文的主要貢獻(xiàn)如下：

（1）通過分析協(xié)議驅(qū)動(dòng)采集和事件驅(qū)動(dòng)采集的特點(diǎn)以及適用領(lǐng)域，本文提出了根據(jù)微博信息的特點(diǎn)，采用了協(xié)議驅(qū)動(dòng)采集和事件驅(qū)動(dòng)采集相結(jié)合的方法，保證了信息獲取的效率和完整性。

（2）在分析現(xiàn)有的Ajax信息采集技術(shù)研究之上，本文提出了對(duì)Ajax網(wǎng)頁觸發(fā)元素設(shè)置約束條件，根據(jù)約束條件完成規(guī)約，對(duì)網(wǎng)頁中得翻頁元素進(jìn)行分類處理，為動(dòng)態(tài)信息的快速采集提供規(guī)則。實(shí)驗(yàn)結(jié)果表明該方法能顯著提高采集效率。

然而，隨著網(wǎng)絡(luò)開發(fā)技術(shù)的發(fā)展，網(wǎng)頁的DOM Tree變得越來越復(fù)雜，利用網(wǎng)頁的DOM Tree進(jìn)行動(dòng)態(tài)信息的采集將面臨挑戰(zhàn)，設(shè)計(jì)更加靈活的動(dòng)態(tài)信息采集方法成為下一步研究的重點(diǎn)。

參考文獻(xiàn)

[1]Gianni Frey.Indexing AJAX Web Application.30.11.2007.

[2]Cristian Duda, Cianni Frey, Donald Kossmann.AJAX Search : Crawling, Indexing and Searching Web 2.0 Applications.ACM 2008 2008 VLDB Endowment:1440-1443.

[3]Cristian Duda, Cianni Frey, Donald Kossmann.AJAX Crawl: Making AJAX Application Searchable.IEEE .DOI I 0.1109/ICDE.2009.90:78-89.

[4]Ali Mesbah, Engin Bozdag, Arie van Deursen.Crawling AJAX by Inferring User Interface State Changes.IEEE.DOI 10.1109/ICWE.2008.24:122-134.

[5]羅兵.支持AJAX的互聯(lián)網(wǎng)搜索引擎爬蟲設(shè)計(jì)與實(shí)現(xiàn)[D].浙江大學(xué),2007:41-54.

[6]曾偉輝.支持AJAX的網(wǎng)絡(luò)爬蟲系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]中國科學(xué)技術(shù)大學(xué),2009:50-54.

[7]袁小節(jié).基于協(xié)議驅(qū)動(dòng)與事件驅(qū)動(dòng)的綜合網(wǎng)絡(luò)爬蟲研究與實(shí)現(xiàn)[D].國防科學(xué)技術(shù)大學(xué)技研究生院工學(xué)碩士學(xué)位論文,2009:32-36.

[8]夏天.Ajax站點(diǎn)數(shù)據(jù)采集研究綜述[J].情報(bào)分析與研究,2010:52-57.

[9]樓玲娣,周小斌.網(wǎng)絡(luò)輿情的運(yùn)行狀態(tài)分析[J].特區(qū)實(shí)踐與理論,2009:22-25.

[10]何昕,謝志鵬.基于簡單樹匹配算法的Web頁而結(jié)構(gòu)相似性度量[J].計(jì)算機(jī)研究與發(fā)展,2007:1-6.

[11]C.Chang,M.Kayed,M.R.Girgis and K.F.Shaalan.A Survey of Web Information Extraction Systems[J].IEEE Transactions on Knowledge and Data Engineering, 2006,18(10):1411-1428.

[12]Junfeng Wang,Chun Chen,Jian Pei.Can we learn a template-independent wrapper for news article extraction from a single training site[C].Proceedings of the 15th ACM SIGKDD international conference on Knowledge discovery and data mining,2009:1154-1163.

[13]H Zhao,W Meng,C Yu.Mining templates from search result records of search engines[C].International Conference on Knowledge Discovery and Data Mining,2007:623-632.

基金項(xiàng)目：湖南省教育廳科研項(xiàng)目（30972362）；國家自然科學(xué)基金項(xiàng)目（30972362，31070568）；湖南省自然科學(xué)基金重點(diǎn)項(xiàng)目（10JJ2020）。

作者簡介：

第9篇：采集技術(shù)范文

數(shù)據(jù)采集合并系統(tǒng)是數(shù)字化變電站中電子式互感器和二次設(shè)備之間的重要接口，針對(duì)其多任務(wù)、大流量、高可靠性和強(qiáng)實(shí)時(shí)性等要求，本文提出了一種基于FPGA的高速數(shù)據(jù)采集合并系統(tǒng)設(shè)計(jì)方案。系統(tǒng)利用FPGA的快速數(shù)據(jù)處理能力，實(shí)現(xiàn)了多任務(wù)、大流量并行處理以及多路采樣信號(hào)的實(shí)時(shí)同步，節(jié)省了通信開銷，增強(qiáng)了實(shí)時(shí)性。系統(tǒng)可并行處理最多16路數(shù)據(jù)任務(wù)，總數(shù)據(jù)吞吐率可達(dá)50Mb/s，系統(tǒng)平均延時(shí)低于1us，均高于國家標(biāo)準(zhǔn)。本系統(tǒng)已裝備某型電力設(shè)備，投入應(yīng)用。

【關(guān)鍵詞】FPGA 數(shù)據(jù)采集 差值同步

隨著計(jì)算機(jī)，通信，自動(dòng)化等技術(shù)在電力工業(yè)的應(yīng)用，電網(wǎng)的智能化水平得到了極大地提升，全數(shù)字化變電站自動(dòng)化系統(tǒng)即將得到廣泛的應(yīng)用。數(shù)字化變電站是以標(biāo)準(zhǔn)的通信規(guī)約為基礎(chǔ)，通過電子式互感器（ECT/EVT）、智能化一次設(shè)備、網(wǎng)絡(luò)化二次設(shè)備分層構(gòu)建，建立全站統(tǒng)一的數(shù)據(jù)模型和數(shù)據(jù)通信平臺(tái)，實(shí)現(xiàn)變電站內(nèi)設(shè)備數(shù)字化通信和互操作、以及信息全網(wǎng)共享的現(xiàn)代化變電站。數(shù)字化變電站的關(guān)鍵點(diǎn)在于電子式互感器同步采集多路（最多12路）信號(hào)的幅值和相位數(shù)據(jù)后按照規(guī)定的格式發(fā)送給二次設(shè)備，這些數(shù)據(jù)一般都是來自不同間隔，而又必須保證這些數(shù)據(jù)是同步的。所以本文設(shè)計(jì)了一個(gè)具有多任務(wù)處理、通信流量大、高可靠性和強(qiáng)實(shí)時(shí)性等特點(diǎn)數(shù)據(jù)采集合并系統(tǒng)，使其滿足對(duì)電子式互感器的接口要求。

1 設(shè)計(jì)方案

各類文獻(xiàn)中針對(duì)數(shù)據(jù)采集合并系統(tǒng)的實(shí)現(xiàn)方法主要大致有兩種：一種是基于FPGA+DSP結(jié)構(gòu)的同步采樣方法；另一種是基于FPGA+ARM結(jié)構(gòu)的同步采樣方法。這兩種方法都是利用FPGA進(jìn)行采樣數(shù)據(jù)的接收和處理，利用DSP或ARM芯片實(shí)現(xiàn)通信的功能，將采樣數(shù)據(jù)按格式打包發(fā)送給二次設(shè)備。為了保證數(shù)據(jù)的同步，兩種方法都采用了同步采樣法，即按設(shè)定的采樣速率由FPGA產(chǎn)生采樣脈沖發(fā)送給電子式互感器，互感器接收到采樣信號(hào)后開始進(jìn)行采樣動(dòng)作并將數(shù)據(jù)發(fā)送給FPGA，由FPGA將數(shù)據(jù)整理后才傳送至主控芯片。這兩種方法實(shí)現(xiàn)的合并單元有一定的局限性：

（1）由FPGA+DSP或FPGA+ARM組成的系統(tǒng)雖然資源豐富，可以滿足多任務(wù)、大流量、高可靠性的特點(diǎn)，但開發(fā)這樣的裝置需要兩個(gè)龐大的系統(tǒng)，與接口電路也會(huì)很復(fù)雜，設(shè)備開發(fā)成本高、經(jīng)濟(jì)性差。

（2）由于采樣方式是同步采樣，電子式互感器和采集合并系統(tǒng)之間需要上行和下行兩條通信線路，增加了線路的架設(shè)成本。

（3）同步采樣的可靠性不能保證，由于線路的延時(shí)不同，即使是FPGA向多個(gè)電子式互感器同時(shí)發(fā)送了同步采樣信號(hào)，但互感器的采樣不能保證絕對(duì)的同步，為后面測(cè)量和保護(hù)數(shù)據(jù)的計(jì)算帶來了誤差。

針對(duì)上述系統(tǒng)的局限性，本文提出了一種基于FPGA的多路數(shù)據(jù)高速異步采集合并系統(tǒng)。該系統(tǒng)利用FPGA芯片的強(qiáng)大功能，以一片F(xiàn)PGA芯片為核心取代了上述系統(tǒng)的雙核結(jié)構(gòu)，實(shí)現(xiàn)了實(shí)時(shí)接收電子式互感器采集的數(shù)字信號(hào)，并利用插值運(yùn)算將采集的數(shù)據(jù)進(jìn)行同步，使系統(tǒng)無需使用同步采用，大大提高了系統(tǒng)的實(shí)時(shí)性和可靠性，降低了系統(tǒng)的設(shè)計(jì)和運(yùn)營成本。

2 系統(tǒng)實(shí)現(xiàn)

2.1 系統(tǒng)的硬件組成

本設(shè)計(jì)主控芯片采用altera公司的低功耗、高性能FPGA芯片EP4CE40F23C7。該芯片具有39600個(gè)邏輯單元（Logic Elements， LE）、232個(gè)M9K程序存儲(chǔ)模塊，4個(gè)鎖相環(huán)，1161216位片上RAM資源，最多329個(gè)用戶定義I/O，芯片資源非常豐富，完全符合設(shè)計(jì)要求。整個(gè)硬件系統(tǒng)以該芯片為核心，通過光纖通信，將采集來的數(shù)據(jù)分通道送入FPGA中，由FPGA對(duì)各個(gè)通道的數(shù)據(jù)進(jìn)行并行處理，最后按照標(biāo)準(zhǔn)組合成數(shù)據(jù)幀通過光纖傳送給二次設(shè)備。硬件構(gòu)成框圖如圖1所示：

為了給硬件生產(chǎn)提供方便，本文在硬件設(shè)計(jì)中加入了兼容性設(shè)計(jì)，如表1所示。表1中三種FPGA芯片其資源均可滿足本系統(tǒng)的要求，而且封裝皆為484腳BGA封裝。通過比對(duì)三個(gè)芯片的管腳，可以看到除了表1中所列出的21個(gè)管腳功能不一樣以外，這三個(gè)芯片其余管腳功能完全一模一樣。在PCB設(shè)計(jì)時(shí)，按照表1中兼容后管腳定義一列來設(shè)計(jì)硬件，就可以完成三個(gè)芯片的兼容性設(shè)計(jì)。這樣在生產(chǎn)時(shí)三個(gè)芯片皆可以使用，避免了因芯片市場波動(dòng)所造成的生產(chǎn)中斷和成本波動(dòng)，保障了生產(chǎn)效率。

2.2 系統(tǒng)的軟件設(shè)計(jì)

系統(tǒng)的主要工作任務(wù)是接收最多12路的采樣信號(hào)，對(duì)采樣信號(hào)進(jìn)行同步處理，然后按照約定格式組幀并發(fā)送到二次設(shè)備。根據(jù)系統(tǒng)要求，按照自頂向下的模塊化軟件設(shè)計(jì)思路將整個(gè)系統(tǒng)分為兩個(gè)核心模塊：串行數(shù)據(jù)接收模塊、數(shù)據(jù)同步模塊。

2.2.1 串行數(shù)據(jù)接收模塊

本模塊實(shí)現(xiàn)接收遠(yuǎn)方一次設(shè)備通過光纖傳來的串行數(shù)據(jù)幀。數(shù)據(jù)幀格式如圖2所示，1位起始位，8位數(shù)據(jù)位，1位停止位，1位空閑位，無奇偶校驗(yàn)位。雙字節(jié)數(shù)據(jù)，高字節(jié)先發(fā)，低字節(jié)后發(fā)，通信波特率為2M。一個(gè)完整的數(shù)據(jù)包包含10幀數(shù)據(jù)，每幀數(shù)據(jù)11位，總計(jì)110位數(shù)據(jù)，可以一次傳輸4路采樣信號(hào)。串行數(shù)據(jù)接收模塊流程圖如圖3所示。

2.2.2 數(shù)據(jù)同步模塊

一次設(shè)備AD采樣點(diǎn)數(shù)是一個(gè)周波（50Hz）采200個(gè)點(diǎn)，而二次設(shè)備利用測(cè)量和保護(hù)數(shù)據(jù)進(jìn)行計(jì)算時(shí)只需要80采樣點(diǎn)。而且許多二次設(shè)備需要的采樣信號(hào)來自不同設(shè)備、不同間隔的電流和電壓信息，如圖5所示，因此，必須使不同協(xié)議規(guī)則的電流和電壓信息同步到統(tǒng)一的時(shí)間間隔上。

本系統(tǒng)利用差值同步法，將不同間隔的數(shù)據(jù)同步到同一間隔上，差值同步法計(jì)算公式如圖6所示。本模塊的目的就是找到同步點(diǎn)的左右時(shí)標(biāo)和左右通道數(shù)據(jù)，然后帶入公式計(jì)算得到同步點(diǎn)的差值數(shù)據(jù)。

3 實(shí)驗(yàn)結(jié)果與分析

將以上兩個(gè)關(guān)鍵模塊設(shè)計(jì)好后，在頂層將這些模塊聯(lián)合起來，就組成了數(shù)據(jù)采集合并系統(tǒng)總模塊，如圖6所示。經(jīng)過編譯，可以看到總模塊共消耗3240個(gè)邏輯單元和48個(gè)M9K程序存儲(chǔ)模塊。一個(gè)數(shù)據(jù)采集合并系統(tǒng)模塊可以并行處理4路采樣數(shù)據(jù)，而整個(gè)系統(tǒng)最多有12路采樣數(shù)據(jù)，需要用到3個(gè)這樣的模塊，芯片硬件資源消耗不到25%，芯片的資源完全滿足系統(tǒng)的要求。

我們得到了總模塊的時(shí)序仿真圖如圖7所示。從時(shí)序圖中可以看出，遠(yuǎn)方一次設(shè)備每隔100us采樣一次，一個(gè)完整的數(shù)據(jù)包總計(jì)110位數(shù)據(jù)，按照2M波特率計(jì)算，需要55us時(shí)間來傳送，剩余45us為空閑時(shí)間。利用FPGA并行工作的特點(diǎn)，可以同時(shí)對(duì)12路數(shù)據(jù)進(jìn)行差值同步，從而保證了在45us的時(shí)間內(nèi)完成數(shù)據(jù)的同步和交互的任務(wù)，滿足了系統(tǒng)實(shí)時(shí)性和高可靠性的要求。

4 總結(jié)

本文設(shè)計(jì)了一個(gè)基于FPGA的高速數(shù)據(jù)采集同步系統(tǒng)，用FPGA作為核心處理器，實(shí)現(xiàn)了數(shù)據(jù)接收、數(shù)據(jù)同步和數(shù)據(jù)通信的三大功能，仿真實(shí)驗(yàn)表明：基于FPGA的多路數(shù)據(jù)采集合并系統(tǒng)方法可行，可以滿足合并單元多任務(wù)、大流量、高可靠性的需求。此外，系統(tǒng)硬件簡單，通用性好，成本低廉，具有廣闊的應(yīng)用前景。

參考文獻(xiàn)

[1]胡國，唐成國，徐子安.數(shù)字化變電站新型合并單元的研制[J].電力系統(tǒng)自動(dòng)化，2010，34（24）.

[2]金午橋，洪憲平.變電站自動(dòng)化新技術(shù)的應(yīng)用研究[J].電網(wǎng)技術(shù)，2000，24（5）.

[3]郭志忠.電子式電流互感器研究評(píng)述[J].繼電器，2005，33（14）.

[4]殷志良，劉萬順，秦應(yīng)力.一種基于FPGA技術(shù)的電子式互感器接口實(shí)現(xiàn)新方法[J].電力系統(tǒng)自動(dòng)化，2004，28（14）.

[5]劉琨，周有慶，張午陽.電子式互感器合并單元時(shí)間同步問題的解決方法[J].電力系統(tǒng)通信，2006，27（161）.

[6]求是科技.CPLD/FPGA應(yīng)用開發(fā)技術(shù)與工程實(shí)踐[M].北京：人民郵電出版社，2005.

作者簡介

魏欣（1981-），男，江蘇省揚(yáng)州市人。碩士學(xué)位。工程師。現(xiàn)為南京信息職業(yè)技術(shù)學(xué)院講師。主主要研究方向?yàn)榍度胧较到y(tǒng)、信號(hào)處理。

孫（1982-），女，江蘇省泰州市人。碩士學(xué)位。工程師?，F(xiàn)為南京信息職業(yè)技術(shù)學(xué)院講師。主要研究方向?yàn)橥ㄐ艂鬏敿夹g(shù)、信號(hào)處理。