摘要:簡要介紹機(jī)器視覺系統(tǒng)的構(gòu)成,機(jī)器視覺系統(tǒng)圖像處理與模式識別的基礎(chǔ)、研究進(jìn)展,最后通過實(shí)例分析機(jī)器視覺系統(tǒng)的應(yīng)用。
關(guān)鍵詞:機(jī)器視覺;模式識別;圖像
Abstract: This paper describes the machine vision system briefly, including the theories and basis of the image processing and pattern recognition. Also the research development is introduced. In the last part, an application system is analyzed.
Key words: Machine vision; Pattern recognition; Image
1 機(jī)器視覺基礎(chǔ)概述
機(jī)器視覺是研究計(jì)算機(jī)模擬生物宏觀視覺功能的科學(xué)和技術(shù),即用攝像機(jī)和計(jì)算機(jī)等機(jī)器代替人眼對目標(biāo)進(jìn)行測量、跟蹤和識別,并加以判斷。主要應(yīng)用于如工業(yè)檢測、工業(yè)探傷、精密控制、自動生產(chǎn)流水線、郵政自動化、糧食優(yōu)選、顯微醫(yī)學(xué)操作,以及各種危險(xiǎn)場合工作的機(jī)器人等[1]。機(jī)器視覺,是人工視覺,又可稱作工業(yè)視覺,或計(jì)算機(jī)視覺,與人類視覺或動物視覺有著本質(zhì)的不同。也有人認(rèn)為機(jī)器視覺是計(jì)算機(jī)視覺工業(yè)應(yīng)用的一個分支。但無論怎樣理解,機(jī)器視覺系統(tǒng)主要有三個部分:圖像獲取、圖像分析和處理、輸出顯示或控制,如圖1所示。
圖1 機(jī)器視覺系統(tǒng)模塊構(gòu)成
1.1 圖像獲取 表1 線陣CCD參數(shù)
圖像的獲取,是任何機(jī)器視覺的基礎(chǔ),實(shí)際上是將被測物體的可視化圖像和內(nèi)在特征轉(zhuǎn)換成能被計(jì)算機(jī)處理的一系列數(shù)據(jù)。場景中設(shè)置的攝像機(jī)提供了一維的或二維的圖像信息,調(diào)制后提供給圖像采集裝置,在計(jì)算機(jī)中形成為數(shù)字圖像信息或數(shù)據(jù)。圖像獲取裝置主要是由攝像機(jī)、圖像傳輸變換系統(tǒng)和圖像的計(jì)算機(jī)采集裝置等構(gòu)成。從所使用的攝像機(jī)來分類,則主要由CCD[3]、CMOS等光學(xué)敏感原理構(gòu)成的圖像傳感器構(gòu)成,從圖像獲取的形式來看,主要有線陣、面陣兩種類型。
圖像獲取,由三部分組成:照明系統(tǒng)、圖像聚焦光學(xué)系統(tǒng)、圖像敏感元件和視頻調(diào)制。
照明和影響機(jī)器視覺系統(tǒng)輸入的重要因素,因?yàn)樗苯佑绊戄斎霐?shù)據(jù)的質(zhì)量和至少30%的應(yīng)用效果。通用的機(jī)器視覺照明設(shè)備難以形成,在工業(yè)應(yīng)用中,針對每個特定的應(yīng)用場景,選擇相應(yīng)的照明裝置。最初的機(jī)器視覺系統(tǒng)用可見光作為光源,常用的可見光源是日光燈、水銀燈、白熾燈和鈉光燈。但是,這些光源的一個最大缺點(diǎn)是光能不能保持穩(wěn)定,且環(huán)境光將改變這些光源照射到物體上的總光能。以日光燈為例,在使用的第一個100小時(shí)內(nèi),光能將下降15%,隨著使用時(shí)間的增加,光能將不斷下降。對于某些要求高的工業(yè)檢測任務(wù),常采用X射線、超聲波[2]等不可見光作為光源,單波長的激光也已得到大量應(yīng)用,不過價(jià)格較高。
圖像聚焦光學(xué)系統(tǒng),即被測物的圖像通過一個光學(xué)系統(tǒng),透鏡聚焦在敏感元件上。機(jī)器視覺系統(tǒng)使用CCD、CMOS等圖像傳感器來捕捉圖像,傳感器將可視圖像轉(zhuǎn)化為電信號,便于計(jì)算機(jī)處理。
圖像敏感元件是一個光電轉(zhuǎn)換裝置,將傳感器所接收到的物體成像,轉(zhuǎn)化為計(jì)算機(jī)能處理的電信號。現(xiàn)代工業(yè)、民用主要使用CCD、CMOS等攝像機(jī)。主要將在成像單元上形成的光學(xué)信號轉(zhuǎn)換為電信號,成像單元可以線陣列或面陣列構(gòu)成,通過按一定順序每個單元的電荷輸出,實(shí)現(xiàn)將成像單元上的光信號轉(zhuǎn)換成電信號的目的。輸出的像元序列電荷,可以直接調(diào)制成標(biāo)準(zhǔn)的PAL、NTSC等制式的電視信號,即視頻信號,視頻信號可傳輸?shù)綐?biāo)準(zhǔn)的電視接收機(jī)顯示或通過圖像采集裝置把視頻信號變換為離散的陣列數(shù)字信號,存入計(jì)算機(jī)中,進(jìn)行后續(xù)處理。
在某些工業(yè)應(yīng)用中,使用攝像機(jī)陣列,形成多攝像機(jī)或雙攝像機(jī)的多目或雙目視覺系統(tǒng),從而得到絕對的深度信息。
1.2 圖像分析和處理
機(jī)器視覺系統(tǒng)中,主要強(qiáng)調(diào)用計(jì)算機(jī)實(shí)現(xiàn)人的視覺功能,視覺信息的分析與處理技術(shù)主要使用圖像對象。所以機(jī)器視覺需要運(yùn)用圖像分析、處理以及圖像理解方法這三個層次的多種技術(shù)手段,它包括圖像增強(qiáng)、數(shù)據(jù)編碼和傳輸、平滑、邊緣銳化、分割、特征抽取、圖像識別與理解等內(nèi)容。經(jīng)過這些處理后,輸出圖像的質(zhì)量得到相當(dāng)程度的改善,既改善了圖像的視覺效果,又便于計(jì)算機(jī)對圖像進(jìn)行分析、處理和識別。在建立視覺信息系統(tǒng),用計(jì)算機(jī)協(xié)助人類完成各種視覺任務(wù)方面,圖像理解和視覺都需要用到攝影幾何學(xué)、概率論與隨機(jī)過程、人工智能等理論。例如,它們都要借助兩類智能活動:① 感知,如感知場景中可見部分的距離、朝向、形狀、運(yùn)動速度、相互關(guān)系等;② 思維,如根據(jù)場景結(jié)構(gòu)分析物體的行為,推斷場景的發(fā)展變化,決定和規(guī)劃主體行動等。最終,完成工業(yè)控制的目的。
1.3 輸出顯示或控制
視覺信息處理的目標(biāo)往往圍繞一定的工業(yè)控制進(jìn)行的,在對距離、尺寸、形狀、姿態(tài)、顏色、速度等做出判別后,進(jìn)而根據(jù)判別的結(jié)果來控制現(xiàn)場的設(shè)備動作。如,姿態(tài)調(diào)整、零件剔除、速度調(diào)節(jié)等。實(shí)現(xiàn)控制,是機(jī)器視覺的根本目標(biāo)。
2 機(jī)器視覺的研究和發(fā)展動態(tài)
機(jī)器視覺的研究、發(fā)展和應(yīng)用還遠(yuǎn)沒有達(dá)到成熟的程度。機(jī)器視覺從誕生到今天才只有短短的三十多年時(shí)間,在機(jī)器視覺中承擔(dān)“大腦”作用的圖像分析處理、圖像理解和模式識別理論和技術(shù)基礎(chǔ)還非常不完善[4]。甚至,機(jī)器視覺的圖像獲取系統(tǒng)也存在許多局限,比如高速圖像采集實(shí)現(xiàn)困難、價(jià)格過高,圖像分辨率、靈敏度等不高,敏感元件的制造困難,視覺系統(tǒng)的體積較大,自適應(yīng)的圖像獲取無法實(shí)現(xiàn)等。
本文從這幾個方面介紹機(jī)器視覺的最新發(fā)展情況:圖像獲取、圖像處理與模式識別理論。
2.1 圖像獲取技術(shù)的最新發(fā)展
圖像獲取技術(shù)的發(fā)展迅猛,CCD、CMOS等固體器件已經(jīng)變成成熟應(yīng)用的技術(shù)。首先來看,線陣圖像敏感器件,像元尺寸不斷減小,陣列像元數(shù)量不斷增加,像元電荷傳輸速率得到極大提高。如表1所示,為一種高性能線陣CCD器件的參數(shù)[5]。從中可以看到,目前的線陣器件的性能和參數(shù)發(fā)生了根本的變化,主要表現(xiàn)在像元數(shù)和數(shù)據(jù)率得極大提高,而且器件設(shè)計(jì)集成了新的功能,具有可編程能力,如增益調(diào)整、曝光時(shí)間選擇、速率調(diào)節(jié),以及維護(hù)等。在機(jī)器視覺中,高速器件應(yīng)用的場合在不斷拓展,如高速掃描圖像獲取,在集成電路檢查、零件姿態(tài)識別、快速原型中的逆向工程、紡織、色選等,都是高速器件的用武之地。
在線陣器件性能提高的同時(shí),高速面陣圖像器件性能也在快速提高。某種超高速面陣CCD器件,允許的最大分辨率達(dá)1 280×1 024像素,最大幀率1MHz時(shí)可采集4幀圖像,且像素靈敏度達(dá)12bits。
在提高諸如分辨率、速率、靈敏度等性能的同時(shí),也在發(fā)展一些用途和使用場合特殊的器件,如對紅外敏感的或微光攝像機(jī),對其他射線和超聲波敏感的器件等。
此外,其他類型的圖像獲取器件的研究也展露頭角,比如,光纖視覺傳感器,結(jié)合其他光電技術(shù),以及構(gòu)成陣列器件已經(jīng)有報(bào)道。
作為圖像獲取裝置的組成部分,嵌入式系統(tǒng)、DSP對圖像獲取起著圖像采集與時(shí)序控制的作用。大量的工業(yè)圖像處理系統(tǒng)中采用嵌入式系統(tǒng)或DSP,也有部分系統(tǒng)采用工業(yè)PC機(jī)作為主控機(jī)器,完成圖像采集、處理和識別,并完成控制的功能。嵌入式系統(tǒng)或嵌入式微控制器(Embedded MCU)芯片技術(shù)發(fā)展迅速,主要的工業(yè)應(yīng)用采用8位、16位芯片,高端應(yīng)用已經(jīng)采用32位芯片。在高精度的運(yùn)動檢測和控制領(lǐng)域,32位嵌入式微控制器應(yīng)用報(bào)道也不鮮見。在機(jī)器視覺系統(tǒng)中,對嵌入式系統(tǒng)性能的要求比一般的工業(yè)控制、機(jī)器人控制等場合要高。如,某種32位嵌入式微控制器芯片,內(nèi)嵌大容量的Flash ROM和SRAM,其主頻達(dá)到700MHz,帶豐富的DSP指令系統(tǒng),高速并行接口、通信接口齊備,提供可視化編程,支持匯編、ANSI C以及Visual C++等語言編程,支持在線仿真和調(diào)試等,使得開發(fā)應(yīng)用的周期大大縮短。
2.2 圖像處理、圖像理解與模式識別理論研究及最新發(fā)展
前面已經(jīng)述及,機(jī)器視覺是針對工業(yè)應(yīng)用領(lǐng)域。但作為視覺系統(tǒng),所采用的圖像處理、圖像理解與模式識別的基礎(chǔ)理論和技術(shù)是相同的。
數(shù)字圖像處理、圖像理解與模式識別,這是當(dāng)今計(jì)算機(jī)視覺研究的熱點(diǎn)。這既表明,圖像處理與模式識別在現(xiàn)代信息技術(shù)中的重要作用,同時(shí)也說明,該研究領(lǐng)域仍然存在大量沒有解決的研究難題。
圖像的增強(qiáng)、圖像的平滑、圖像的數(shù)據(jù)編碼和傳輸、邊緣銳化、圖像的分割等在不同的研究目標(biāo)和應(yīng)用中會采取不同的方法,也在不斷出現(xiàn)新的研究成果,本文不述及。作為機(jī)器視覺能否得到應(yīng)用,關(guān)鍵在于圖像的識別。
圖像的模式識別過程實(shí)際上可以看作是一個標(biāo)記過程,即利用識別算法來辨別景物中已分割好的各個物體,給這些物體賦予特定的標(biāo)記,它是機(jī)器視覺系統(tǒng)必須完成的一個任務(wù)。什么是模式和模式識別?廣義地說,存在于時(shí)間和空間中可觀察的事物,如果可以區(qū)別它們是否相同或相似,都可以稱之為模式;狹義地說,模式是通過對具體的個別事物進(jìn)行觀測所得到的具有時(shí)間和空間分布的信息;把模式所屬的類別或同一類中模式的總體稱為模式類(或簡稱為類)。而“模式識別”則是在某些一定量度或觀測基礎(chǔ)上把待識模式劃分到各自的模式類中去[6]。
模式識別的方法,即數(shù)據(jù)聚類、神經(jīng)網(wǎng)絡(luò)、統(tǒng)計(jì)分類和結(jié)構(gòu)(句法)模式識別方法。用于圖像識別的方法主要分為決策理論和結(jié)構(gòu)方法。決策理論方法的基礎(chǔ)是決策函數(shù),利用它對模式向量進(jìn)行分類識別,是以定時(shí)描述(如統(tǒng)計(jì)紋理)為基礎(chǔ)的;結(jié)構(gòu)方法的核心是將物體分解成了模式或模式基元,而不同的物體結(jié)構(gòu)有不同的基元串(或稱字符串),通過對未知物體利用給定的模式基元求出編碼邊界,得到字符串,再根據(jù)字符串判斷它的屬類。這是一種依賴于符號描述被測物體之間關(guān)系的方法。
廣泛應(yīng)用于統(tǒng)計(jì)模式識別中密度估計(jì)的方法之一是基于混合密度模型的。根據(jù)期望最大(EM)算法得到了這些模型中有效的訓(xùn)練過程。按照共享核函數(shù)可以得出條件密度估計(jì)的更一般的模型,類條件密度可以用一些對所有類的條件密度估計(jì)產(chǎn)生作用的核函數(shù)表示。提出了一個模型,該模型對經(jīng)典徑向基函數(shù)(RBF)網(wǎng)絡(luò)進(jìn)行了修改,其輸出表示類條件密度。與其相反的是獨(dú)立混合模型的方法,其中每個類的密度采用獨(dú)立混合密度進(jìn)行估計(jì)。提出了一個更一般的模型,共享核函數(shù)模型是這個模型的特殊情況。
在20世紀(jì)70年代,波蘭學(xué)者Pawlak Z和一些波蘭的邏輯學(xué)家們一起從事關(guān)于信息系統(tǒng)邏輯特性的研究。粗糙集理論就是在這些研究的基礎(chǔ)上產(chǎn)生的。1982年,Pawlak Z發(fā)表了經(jīng)典論文Rough Sets,宣告了粗糙集理論的誕生。此后,粗糙集理論引起了許多科學(xué)家、邏輯學(xué)家和計(jì)算機(jī)研究人員的興趣,他們在粗糙集的理論和應(yīng)用方面作了大量的研究工作。1991年,Pawlak Z的專著和1992年應(yīng)用專集的出版,對這一段時(shí)期理論和實(shí)踐工作的成果作了較好的總結(jié),同時(shí)促進(jìn)了粗糙集在各個領(lǐng)域的應(yīng)用。此后召開的與粗糙集有關(guān)的國際會議進(jìn)一步推動了粗糙集的發(fā)展。越來越多的科技人員開始了解并準(zhǔn)備從事該領(lǐng)域的研究。目前,粗糙集已成為人工智能領(lǐng)域中一個較新的學(xué)術(shù)熱點(diǎn),在模式識別、機(jī)器學(xué)習(xí)、知識獲取、決策分析、過程控制等許多領(lǐng)域得到了廣泛的應(yīng)用。
參考文獻(xiàn)[7]提出了一種模式識別理論的新模型,它是基于“認(rèn)識”事物而不是基于“區(qū)分”事物為目的。與傳統(tǒng)以“最佳劃分”為目標(biāo)的統(tǒng)計(jì)模式識別相比,它更接近于人類“認(rèn)識”事物的特性,故稱為“仿生模式識別”。它的數(shù)學(xué)方法在于研究特征空間中同類樣本的連續(xù)性(不能分裂成兩個彼此不鄰接的部分)特性。文中用“仿生模式識別”理論及其“高維空間復(fù)雜幾何形體覆蓋神經(jīng)網(wǎng)絡(luò)”識別方法,對地平面剛性目標(biāo)全方位識別問題作了實(shí)驗(yàn)。對各種形狀相像的動物及車輛模型作全方位8 800次識別,結(jié)果正確識別率為99.75%,錯誤識別率與拒識率分別為0與0.25%。
在特征生成上,發(fā)展出許多新的技術(shù),包括基于小波、小波包、分形的特征,以及獨(dú)立分量分析。其他研究,也都取得了長足的進(jìn)展,諸如關(guān)子支持向量機(jī),變形模板匹配,線性以及非線性分類器的設(shè)計(jì),包括貝葉斯分類器、多層感知器,決策樹和RBF網(wǎng)絡(luò),獨(dú)立于上下文的分類,包括動態(tài)規(guī)劃和隱馬爾科夫建模技術(shù)。
2.3 機(jī)器視覺領(lǐng)域應(yīng)用的拓展
機(jī)器視覺的應(yīng)用研究,已經(jīng)拓展到幾乎每個可能的工業(yè)領(lǐng)域。最主要的應(yīng)用行業(yè),為汽車、制藥、電子與電氣、制造、包裝/食品/飲料、醫(yī)學(xué)等。在現(xiàn)代工業(yè)自動化生產(chǎn)中,涉及到各種各樣的檢查、測量和零件識別應(yīng)用,例如汽車零配件尺寸檢查和自動裝配的完整性檢查、電子裝配線的元件自動定位、飲料瓶蓋的印刷質(zhì)量檢查、產(chǎn)品包裝上的條碼和字符識別等。這類應(yīng)用的共同特點(diǎn)是連續(xù)大批量生產(chǎn)、對外觀質(zhì)量的要求非常高。這種帶有高度重復(fù)性和智能性的工作,過去是靠人工檢測來完成。人工執(zhí)行這些工序,在給工廠增加巨大的人工成本和管理成本的同時(shí),仍然不能保證100%的檢驗(yàn)合格率(即“零缺陷”)。0.1%的缺陷的存在,對企業(yè)在市場上的競爭也是極為不利的。有些時(shí)候,如微小尺寸的精確快速測量、形狀匹配、顏色辨識等,用人眼根本無法連續(xù)穩(wěn)定地進(jìn)行。機(jī)器視覺的引入,代替?zhèn)鹘y(tǒng)的人工檢測方法,避免了人眼的視覺疲勞。由于機(jī)器視覺系統(tǒng)可以快速獲取大量信息,而且易于自動處理,也易于同設(shè)計(jì)信息以及加工控制信息集成,因此,在現(xiàn)代自動化生產(chǎn)過程中,機(jī)器視覺系統(tǒng)廣泛地應(yīng)用于工況監(jiān)視、成品檢驗(yàn)和質(zhì)量控制等領(lǐng)域。機(jī)器視覺系統(tǒng)的特點(diǎn)是提高生產(chǎn)的柔性和自動化程度。在一些不適合人工作業(yè)的危險(xiǎn)工作環(huán)境或人工視覺難以滿足要求的場合,常用機(jī)器視覺來替代人工視覺;同時(shí)在大批量工業(yè)生產(chǎn)過程中,用人工視覺檢查產(chǎn)品質(zhì)量效率低且精度不高,用機(jī)器視覺檢測方法可以大大提高生產(chǎn)效率和生產(chǎn)的自動化程度。而且機(jī)器視覺易于實(shí)現(xiàn)信息集成,是實(shí)現(xiàn)計(jì)算機(jī)集成制造的基礎(chǔ)技術(shù),極大地提高了投放市場的產(chǎn)品質(zhì)量,提高了生產(chǎn)效率。典型的線徑的在線檢測與控制,如被加工工件的直徑測量、銅線的拉線線徑測量與控制,傳統(tǒng)的接觸式測量方法存在缺陷,人工在線測量是不可能的。采用線陣CCD線徑測量方法,是較早期機(jī)器視覺成功應(yīng)用的例證。機(jī)器視覺的特點(diǎn)是自動化、客觀、非接觸和高精度,與一般意義上的圖像處理系統(tǒng)相比,機(jī)器視覺強(qiáng)調(diào)的是精度和速度,以及工業(yè)現(xiàn)場環(huán)境下的可靠性。機(jī)器視覺極適用于大批量生產(chǎn)過程中的測量、檢查和辨識。線陣CCD在連續(xù)、掃描在線測量中的應(yīng)用非常具有優(yōu)勢,如面積測量[8],不僅得到的結(jié)果準(zhǔn)確,而且實(shí)時(shí)、快捷。再如,零件裝配完整性、裝配尺寸精度、零件加工精度、位置/角度測量、零件識別、特性/字符識別等。在零售業(yè)界,POS的終端設(shè)備,如條碼識讀機(jī),也是線陣CCD在機(jī)器視覺上的典型應(yīng)用。連續(xù)流動流體測量,如,透明管道水的澄清度、異物測量,為自來水、工業(yè)污水水質(zhì)測量與控制,江河污染監(jiān)測;此外,如在線食用油品油質(zhì)監(jiān)測,為保證生產(chǎn)出合格的油品提供保障。
隨著圖像處理和模式識別理論研究的進(jìn)展,采用二維圖像的機(jī)器視覺系統(tǒng)在最近幾年得到了成功應(yīng)用。如指紋、掌紋、虹膜和人臉等食物特征識別的機(jī)器視覺系統(tǒng),已經(jīng)在機(jī)場、車站安檢、考勤、門禁認(rèn)證、海關(guān)通關(guān)等場合使用;在恐怖主義威脅下,不僅對人的識別更加重視,貨物運(yùn)輸中也逐步考慮使用更加先進(jìn)的機(jī)器視覺系統(tǒng),如,采用計(jì)算機(jī)斷層掃描技術(shù)的貨物安檢和成分識別研究正在開展。
在醫(yī)學(xué)診療過程中,病癥的識別離不開機(jī)器視覺系統(tǒng)的使用。如,超聲波、CT、磁共振、基于CCD的內(nèi)窺鏡等裝備,在大、中型醫(yī)院已經(jīng)獲得普遍推廣。
目前,國際上視覺系統(tǒng)的應(yīng)用方興未艾,國內(nèi),機(jī)器視覺系統(tǒng)也進(jìn)入應(yīng)用的快速發(fā)展期,主要的視覺系統(tǒng)采用進(jìn)口,不同類型的應(yīng)用,均可以采取購買成熟系統(tǒng)的方法。國內(nèi)形成產(chǎn)品的視覺系統(tǒng)主要有,用于糧食的色選機(jī)、線徑測量系統(tǒng)等。
3 機(jī)器視覺系統(tǒng)及典型應(yīng)用分析
機(jī)器視覺系統(tǒng)形式多樣,在不同的場景中應(yīng)用所采用攝像裝置也是不同的。主要區(qū)分為,線陣和面陣兩類。工業(yè)視覺大多數(shù)使用線陣系統(tǒng)。下面列出部分使用線陣和面陣視覺系統(tǒng)的應(yīng)用。
3.1 機(jī)器視覺的典型應(yīng)用
(1) 紡織與服裝
? 斷紗檢測;
? 織染檢測;
? 布料、皮革形狀檢測。
(2) 食品與糧食
? 糧食異物檢測、分揀與色選;
? 飲料液位檢測;
? 生產(chǎn)日期、保質(zhì)期字符識別;
? 灌裝線上空瓶的破損、潔凈檢測。
(3) 特種檢驗(yàn)
? 纜繩磨損與破損檢測;
? 容器與管道探傷;
? 游樂設(shè)施速度檢測;
? 危險(xiǎn)裝備的在線狀態(tài)檢測。
(4) 包裝
? 外觀完整性檢測;
? 條碼識別;
? 嘜頭、密封性檢測。
(5) 機(jī)械制造
? 零部件外形尺寸檢測;
? 裝配完整性檢測;
? 部件的定位與姿態(tài)識別;
? 零件、發(fā)動機(jī)、底盤等編號的同色凹字符識別。
(6) 郵政分揀
? 郵政編碼識別;
? 包裹物品檢測。
(7) 海關(guān)與口岸
? 指紋、掌紋、虹膜與人臉識別;
? 貨物識別;
? 安檢危險(xiǎn)物品檢測。
此外,機(jī)器視覺還廣泛應(yīng)用于集成電路檢測、航空航天、軍事國防、消防和公路交通等。下面通過一個具體的視覺系統(tǒng)來說明。
3.2 機(jī)器視覺在汽車輔助自動駕駛中的應(yīng)用
在汽車的輔助自動駕駛中,機(jī)器視覺系統(tǒng)的典型應(yīng)用,如圖2所示。機(jī)器視覺系統(tǒng)在其中的主要任務(wù)在于,完成對車輛前方、車輛后方和兩側(cè),以及車內(nèi)駕駛員行為等各種視覺信息的獲取和處理,并完成輔助駕駛指令的發(fā)出。其中前方車輛和路況信息對安全駕駛起著關(guān)鍵作用。汽車輔助自動駕駛,是未來發(fā)展智能汽車的前提和基礎(chǔ)。
著重介紹該立體視覺系統(tǒng),該系統(tǒng)已經(jīng)完成實(shí)驗(yàn)室研究[9]。示意圖如圖3所示。在車輛前向?qū)ΨQ位置,左右裝置雙目視覺的立體視覺系統(tǒng)。獲取前方的車輛和路況信息,也包括道路標(biāo)志信息。其基本原理是用兩臺CCD攝像機(jī)以不同角度獲取物體圖像,通過空間物點(diǎn)在兩幅圖像中對應(yīng)像點(diǎn)之間的幾何位置關(guān)系來重構(gòu)該物點(diǎn)的空間三維坐標(biāo)。根據(jù)本車的速度和與前方車輛的相對位置或距離,不斷檢測前方視場范圍內(nèi)的車輛和環(huán)境信息,得到前方車輛的速度、車輛的高寬尺寸,并獲取前方路況其他信息,如道路標(biāo)志信息,路面障礙物信息等。根據(jù)得到的綜合信息,輔助駕駛?cè)藛T采取安全、有效的操控方式。達(dá)到高精度三維定位的一個關(guān)鍵前提是特征向量的選取以及高精度立體匹配。
圖2 輔助自動駕駛的路況示意圖
過程如下:首先完成對采集到的圖像進(jìn)行灰度變換、直方圖增強(qiáng)、平滑濾波等必要的預(yù)處理。需要指出的是,由于序列圖像本身含有各種噪聲干擾,且當(dāng)目標(biāo)運(yùn)動速度過快時(shí)可能產(chǎn)生圖像的“拉毛”現(xiàn)象,所以需要對圖像進(jìn)行平滑濾波。應(yīng)用較多的高斯濾波器雖然能抑制高斯噪聲,但它不能消除任何毛刺現(xiàn)象。考慮這種情況,系統(tǒng)采用了快速中值濾波(FM)算法。它的思想是,把數(shù)字圖像中一個像素點(diǎn)的灰度值,用該點(diǎn)鄰域中各點(diǎn)的中值替代,其中每次窗口沿著行平移一列后進(jìn)行排序時(shí),實(shí)際窗口內(nèi)容變化的只是丟棄了最左側(cè)的列取而代之的是一個新的右側(cè)列,而其余的窗口下的像素值沒有改變。該算法是一種很好的非線性濾波方法,可極大減小運(yùn)算量,能消除脈沖干擾造成的孤立噪聲,以及疊加白噪聲和長尾疊加噪聲,并可克服線性濾波器濾波結(jié)果中細(xì)節(jié)模糊的問題,能較好地保護(hù)邊界信息。經(jīng)過預(yù)處理后的圖像序列成為可供計(jì)算機(jī)分析處理的圖像。
圖3 輔助自動駕駛的立體視覺系統(tǒng)示意圖
接下來是圖像分割。主要實(shí)現(xiàn)運(yùn)動區(qū)域、前方各種目標(biāo)信息的檢測。圖像采集是在自然條件下進(jìn)行的,考慮圖像采集時(shí)間間隔短且總的采集時(shí)間不長,因此可以忽略視場內(nèi)光線、背景等變化因素的干擾。實(shí)際工作中對于精確性和實(shí)時(shí)性的要求,采用了計(jì)算量小并且檢測結(jié)果不受運(yùn)動目標(biāo)速度限制的差影法來進(jìn)行運(yùn)動檢測,再利用迭代求得最佳灰度閾值對結(jié)果幀分割并二值化。
分割后的圖像仍有可能含有少量的背景噪聲干擾,進(jìn)一步用形態(tài)學(xué)方法對其進(jìn)行去噪。采用的結(jié)構(gòu)元素是3×3的中心對稱結(jié)構(gòu)。經(jīng)過先閉后開(經(jīng)實(shí)驗(yàn)驗(yàn)證:這比先開后閉得到的圖像目標(biāo)連通區(qū)域更光滑)的運(yùn)算后的圖像中基本上只留下完整的運(yùn)動目標(biāo)。
還需要通過提取適當(dāng)?shù)奶卣飨蛄恳约傲Ⅲw匹配來實(shí)目標(biāo)的精確定位。主要步驟如下:
特征提取和目標(biāo)分類,先采用串行邊界分割技術(shù)對圖像中所有連通器區(qū)域進(jìn)行邊界跟蹤運(yùn)算,再求出各個連通區(qū)域的外接矩形和灰度面積等參數(shù)。對于多個運(yùn)動目標(biāo)的檢測,可在求外接矩形的過程中,根據(jù)實(shí)際目標(biāo)的形狀大小、外接矩形尺寸和灰度面積進(jìn)行匹配,以區(qū)分不同物體;
立體匹配是立體視覺中最重要,也是最困難的步驟,是個不適定問題。當(dāng)空間三維場景被投影為二維圖像時(shí),同一景物在不同視點(diǎn)下的圖像中會有很大的不同。為了求解對應(yīng),人們通過增加適當(dāng)?shù)募s束條件(如外極線約束、一致性約束、唯一性約束、連續(xù)性約束等)來減少誤匹配。本系統(tǒng),在外極線約束的條件下再給出兩個約束:
? 方向性約束 由立體成像的幾何特性知,對于場景中的同一空間物體點(diǎn),其在左圖像中的透視投影將相對于右圖像水平方向移動距離d。基于該特性,在尋求左(右)圖像中各特征點(diǎn)在右(左)圖像中的對應(yīng)點(diǎn)時(shí),只需在右(左)圖像中其對應(yīng)的外極線上,向左(右)一定范圍內(nèi)搜索。而由于攝像機(jī)位置及其方向的測量誤差和不確定性,匹配點(diǎn)可能不會準(zhǔn)確地出現(xiàn)在右(左)圖像平面中的外極線上,因此有必要在外極線的一個小鄰域內(nèi)進(jìn)行搜索。
? 視差范圍約束 在運(yùn)動檢測之前的攝像機(jī)現(xiàn)場標(biāo)定環(huán)節(jié)中,利用每個標(biāo)定點(diǎn)在左右圖像中形成的視差,可以得到一個大致的視差范圍,從而給出一個視差范圍約束。倘若特征點(diǎn)的視差超出這一范圍,就認(rèn)為是誤匹配加以舍去。
有了以上幾個附加約束,就可以把每一時(shí)刻物體在左右攝像機(jī)中的信息綜合起來,圖像中對應(yīng)的一小段極線附近搜索匹配點(diǎn),而不是在整個對應(yīng)圖像上搜索。這樣可以有效避免誤匹配,縮短匹配時(shí)間。
4 結(jié)語
機(jī)器視覺是圖像技術(shù)、模式識別技術(shù),以及計(jì)算機(jī)技術(shù)發(fā)展的新的產(chǎn)物,是實(shí)現(xiàn)智能化、自動化、信息化的先進(jìn)技術(shù)領(lǐng)域。機(jī)器視覺系統(tǒng)的應(yīng)用,大大提高裝備的智能化、自動化誰拼,提高裝備的使用效率、可靠性等性能。隨著新的技術(shù)、新的理論在機(jī)器視覺系統(tǒng)中的應(yīng)用,機(jī)器視覺將在國民經(jīng)濟(jì)的各個領(lǐng)域發(fā)揮更大的作用,一方面可以帶來新的產(chǎn)業(yè)增長點(diǎn),向市場推廣滿足各種需求的機(jī)器視覺系統(tǒng)產(chǎn)品,產(chǎn)生直接的經(jīng)濟(jì)效益;另一方面,通過機(jī)器視覺系統(tǒng)的應(yīng)用,更加有效地發(fā)揮自動化裝備的效能,提升自動化生產(chǎn)水平,提高產(chǎn)品質(zhì)量,帶動整個產(chǎn)業(yè)的生產(chǎn)效率大幅提高。
參考文獻(xiàn):
[1] David A. Forsyth, Jean Ponce. Computer Vision[M]. Prentice Hall, Inc.,2003.
[2] 劉艾, 馬偉方, 施文康. 基于聲表面波傳感的無線標(biāo)簽識別系統(tǒng)[J]. 上海交通大學(xué)學(xué)報(bào),2001,35(5).
[3] 王慶有. CCD應(yīng)用技術(shù)[M].天津大學(xué)出版社, 2000,11.
[4] 章毓晉. 圖像理解與計(jì)算機(jī)視覺[M] 清華大學(xué)出版社,2000.
[5] 顏發(fā)根,丁少華,陳樂,劉建群. 基于PC的機(jī)器視覺系統(tǒng)[J]. PLC& FA,2004,7.
[6] 邊肇其,張學(xué)工. 模式識別[M]. 清華大學(xué)出版社,1999.
[7] 王守覺. 仿生模式識別(拓?fù)淠J阶R別)―一種模式識別新模型的理論與應(yīng)用[J]. 電子學(xué)報(bào),2002,30(10).
[8] 關(guān)勝曉. 不規(guī)則形體面積的CCD測量研究[J]. 儀表技術(shù)與傳感器,1998(11).