機器視覺系統是指用計算機來實現人的視覺功能，也就是用計算機來實現對客觀的三維世界的識別。按現在的理解，人類視覺系統的感受部分是視網膜，它是一個三維採樣系統。三維物體的可見部分投影到網膜上，人們按照投影到視網膜上的二維的像來對該物體進行三維理解。所謂三維理解是指對被觀察對象的形狀、尺寸、離開觀察點的距離、質地和運動特徵（方向和速度）等的理解。
機器視覺系統的輸入裝置可以是攝像機、轉鼓等，它們都把三維的影像作爲輸入源，即輸入計算機的就是三維管觀世界的二維投影。如果把三維客觀世界到二維投影像看作是一種正變換的話，則機器視覺系統所要做的是從這種二維投影圖像到三維客觀世界的逆變換，也就是根據這種二維投影圖像去重建三維的客觀世界。
機器視覺系統主要由三部分組成：圖像的獲取、圖像的處理和分析、輸出或顯示。
將近80%的工業視覺系統主要用在檢測方面，包括用於提高生產效率、控制生產過程中的產品質量、採集產品數據等。產品的分類和選擇也集成於檢測功能中。下面通過一個用於生產線上的單攝像機視覺系統，說明系統的組成及功能。
視覺系統檢測生產線上的產品，決定產品是否符合質量要求，並根據結果，產生相應的信號輸入上位機。圖像獲取設備包括光源、攝像機等；圖像處理設備包括相應的軟件和硬件系統；輸出設備是與製造過程相連的有關係統，包括過程控制器和報警裝置等。數據傳輸到計算機，進行分析和產品控制，若發現不合格品，則報警器告警，並將其排除出生產線。機器視覺的結果是CAQ系統的質量信息來源，也可以和CIMS其它系統集成。
圖像的獲取
圖像的獲取實際上是將被測物體的可視化圖像和內在特徵轉換成能被計算機處理的一系列數據，它主要由三部分組成：照明、圖像聚焦形成、圖像確定和形成攝像機輸出信號。
1、照明
照明和影響機器視覺系統輸入的重要因素，因爲它直接影響輸入數據的質量和至少30%的應用效果。由於沒有通用的機器視覺照明設備，所以針對每個特定的應用實例，要選擇相應的照明裝置，以達到最佳效果。
過去，許多工業用的機器視覺系統用可見光作爲光源，這主要是因爲可見光容易獲得，價格低，並且便於操作。常用的幾種可見光源是白幟燈、日光燈、水銀燈和鈉光燈。但是，這些光源的一個最大缺點是光能不能保持穩定。以日光燈爲例，在使用的第一個100小時內，光能將下降15%，隨着使用時間的增加，光能將不斷下降。因此，如何使光能在一定的程度上保持穩定，是實用化過程中急需要解決的問題。
另一個方面，環境光將改變這些光源照射到物體上的總光能，使輸出的圖像數據存在噪聲，一般採用加防護屏的方法，減少環境光的影響。
由於存在上述問題，在現今的工業應用中，對於某些要求高的檢測任務，常採用X射線、超聲波等不可見光作爲光源。但是不可見光不利於檢測系統的操作，且價格較高，所以，目前在實際應用中，仍多用可見光作爲光源。
照明系統按其照射方法可分爲：背向照明、前向照明、結構光和頻閃光照明等。其中，背向照明是被測物放在光源和攝像機之間，它的優點是能獲得高對比度的圖像。前向照明是光源和攝像機位於被測物的同側，這種方式便於安裝。結構光照明是將光柵或線光源等投射到被測物上，根據它們產生的畸變，解調出被測物的三維信息。頻閃光照明是將高頻率的光脈衝照射到物體上，照像機拍攝要求與光源同步。
2、圖像聚焦形成
被測物的圖像通過一個透鏡聚焦在敏感元件上，如同照像機拍照一樣。所不同的是照像機使用膠捲，而機器視覺系統使用傳感器來捕捉圖像，傳感器將可視圖像轉化爲電信號，便於計算機處理。
選取機器視覺系統中的攝像機應根據實際應用的要求，其中攝像機的透鏡參數是一項重要指標。透鏡參數分爲四個部分：放大倍率、焦距、景深和透鏡安裝。
3、圖像確定和形成攝像機輸出信號
機器視覺系統實際上是一個光電轉換裝置，即將傳感器所接收到的透鏡成像，轉化爲計算機能處理的電信號、攝像機可以是電子管的，也可是固體狀態傳感單元。
電子管攝像機發展較早，20世紀30年代就已應用於商業電視，它採用包含光感元件的真空管進行圖像傳感，將所接收到的圖像轉換成模擬電壓信號輸出。具有RS-170輸出制式的攝像機可直接與商用電視顯示器相連。
固體狀態攝像機是在20世紀60年代後期，美國貝爾電話實驗室發明了電荷耦合裝置（CCD），而發展起來的。它上分佈於各個像元的光敏二極管的線性陣列或矩形陣列構成，通過按一定順序輸出每個二極管的電壓脈衝，實現將圖像光信號轉換成電信號的目的。輸出的電壓脈衝序列可以直接以RS-170制式輸入標準電視顯示器，或者輸入計算機的內存，進行數值化處理。CCD是現在最常用的機器視覺傳感器。
圖像處理技術
機器視覺系統中，視覺信息的處理技術主要依賴於圖像處理方法，它包括圖像增強、數據編碼和傳輸、平滑、邊緣銳化、分割、特徵抽取、圖像識別與理解等內容。經過這些處理後，輸出圖像的質量得到相當程度的改善，既改善了圖像的視覺效果，又便於計算機對圖像進行分析、處理和識別。
1、圖像的增強
圖像的增強用於調整圖像的對比度，突出圖像中的重要細節，改善視覺質量。通常採用灰度直方圖修改技術進行圖像增強。
圖像的灰度直方圖是表示一幅圖像灰度分佈情況的統計特性圖表，與對比度緊密相連。
通常，在計算機中表示的一幅二維數字圖像可表示爲一個矩陣，其矩陣中的元素是位於相應座標位置的圖像灰度值，是離散化的整數，一般取0，1，……，255。這主要是因爲計算機中的一個字節所表示的數值範圍是0~255。另外，人眼也只能分辨32個左右的灰度級。所以，用一個字節表示灰度即可。
但是，直方圖僅能統計某級灰度像素出現的概率，反映不出該像素在圖像中的二維座標。因此，不同的圖像有可能具有相同的直方圖。通過灰度直方圖的形狀，能判斷該圖像的清晰度和黑白對比度。
如果獲得一幅圖像的直方圖效果不理想，可以通過直方圖均衡化處理技術作適當修改，即把一幅已知灰度概率分佈圖像中的像素灰度作某種映射變換，使它變成一幅具有均勻灰度概率分佈的新圖像，實現使圖象清晰的目的。
2、圖像的平滑
圖像的平滑處理技術即圖像的去噪聲處理，主要是爲了去除實際成像過程中，因成像設備和環境所造成的圖像失真，提取有用信息。衆所周知，實際獲得的圖像在形成、傳輸、接收和處理的過程中，不可避免地存在着外部干擾和內部干擾，如光電轉換過程敏感元件靈敏度的不均勻性、數字化過程的量化噪聲、傳輸過程中的誤差以及人爲因素等，均會使圖像變質。因此，去除噪聲，恢復原始圖像是圖像處理中的一個重要內容。
3、圖像的數據編碼和傳輸
數字圖像的數據量是相當龐大的，一幅512*512個像素的數字圖像的數據量爲256 K字節，若假設每秒傳輸25幀圖像，則傳輸的信道速率爲52.4M比特/秒。高信道速率意味着高投資，也意味着普及難度的增加。因此，傳輸過程中，對圖像數據進行壓縮顯得非常重要。數據的壓縮主要通過圖像數據的編碼和變換壓縮完成。
圖像數據編碼一般採用預測編碼，即將圖像數據的空間變化規律和序列變化規律用一個預測公式表示，如果知道了某一像素的前面各相鄰像素值之後，可以用公式預測該像素值。採用預測編碼，一般只需傳輸圖像數據的起始值和預測誤差，因此可將8比特/像素壓縮到2比特/像素。
變換壓縮方法是將整幅圖像分成一個個小的（一秀取8*8或16*16）數據塊，再將這些數據塊分類、變換、量化，從而構成自適應的變換壓縮系統。該方法可將一幅圖像的數據壓縮到爲數不多的幾十個特傳輸，在接收端再變換回去即可。
4、邊緣銳化
圖像邊緣銳化處理主要是加強圖像中的輪廓邊緣和細節，形成完整的物體邊界，達到將物體從圖像中分離出來或將表示同一物體表面的區域檢測出來的目的。它是早期視覺理論和算法中的基本問題，也是中期和後期視覺成敗的重要因素之一。
5、圖像的分割
圖像分割是將圖像分成若干部分，每一部分對應於某一物體表面，在進行分割時，每一部分的灰度或紋理符合某一種均勻測度度量。某本質是將像素進行分類。分類的依據是像素的灰度值、顏色、頻譜特性、空間特性或紋理特性等。圖像分割是圖像處理技術的基本方法之一，應用於諸如染色體分類、景物理解系統、機器視覺等方面。
圖像分割主要有兩種方法：一是鑑於度量空間的灰度閾值分割法。它是根據圖像灰度直方圖來決定圖像空間域像素聚類。但它只利用了圖像灰度特徵，並沒有利用圖像中的其它有用信息，使得分割結果對噪聲十分敏感；二是空間域區域增長分割方法。它是對在某種意義上（如灰度級、組織、梯度等）具有相似性質的像素連通集構成分割區域，該方法有很好的分割效果，但缺點是運算複雜，處理速度慢。其它的方法如邊緣追蹤法，主要着眼於保持邊緣性質，跟蹤邊緣並形成閉合輪廓，將目標分割出來；錐體圖像數據結構法和標記鬆弛迭代法同樣是利用像素空間分佈關係，將邊鄰的像素作合理的歸併。而基於知識的分割方法則是利用景物的先驗信息和統計特性，首先對圖像進行初始分割，抽取區域特徵，然後利用領域知識推導區域的解釋，最後根據解釋對區域進行合併。
6、圖像的識別
圖像的識別過程實際上可以看作是一個標記過程，即利用識別算法來辨別景物中已分割好的各個物體，給這些物體賦予特定的標記，它是機器視覺系統必須完成的一個任務。
按照圖像識別從易到難，可分爲三類問題。第一類識別問題中，圖像中的像素表達了某一物體的某種特定信息。如遙感圖像中的某一像素代表地面某一位置地物的一定光譜波段的反射特性，通過它即可判別出該地物的種類。第二類問題中，待識別物是有形的整體，二維圖像信息已經足夠識別該物體，如文字識別、某些具有穩定可視表面的三維體識別等。但這類問題不像第一類問題容易表示成特徵矢量，在識別過程中，應先將待識別物體正確地從圖像的背景中分割出來，再設法將建立起來的圖像中物體的屬性圖與假定模型庫的屬性圖之間匹配。第三類問題是由輸入的二維圖、要素圖、2·5維圖等，得出被測物體的三維表示。這裏存着如何將隱含的三維信息提取出來的問題，當是今研究的熱點。
目前用於圖像識別的方法主要分爲決策理論和結構方法。決策理論方法的基礎是決策函數，利用它對模式向量進行分類識別，是以定時描述（如統計紋理）爲基礎的；結構方法的核心是將物體分解成了模式或模式基元，而不同的物體結構有不同的基元串（或稱字符串），通過對未知物體利用給定的模式基元求出編碼邊界，得到字符串，再根據字符串判斷它的屬類。這是一種依賴於符號描述被測物體之間關係的方法。
那麼，機器視覺系統設計的難點都有哪些？本文主要總結了一下五點，
第一：打光的穩定性
工業視覺應用一般分成四大類：定位、測量、檢測和識別，其中測量對光照的穩定性要求最高，因爲光照只要發生10-20%的變化，測量結果將可能偏差出1-2個像素，這不是軟件的問題，這是光照變化，導致了圖像上邊緣位置發生了變化，即使再厲害的軟件也解決不了問題，必須從系統設計的角度，排除環境光的干擾，同時要保證主動照明光源的發光穩定性。當然通過硬件相機分辨率的提升也是提高精度，抗環境干擾的一種辦法了。比如之前的相機對應物空間尺寸是1個像素10um，而通過提升分辨率後變成 1個像素5um，精度近似可以認爲提升1倍，對環境的干擾自然增強了。
第二：工件位置的不一致性
一般做測量的項目，無論是離線檢測，還是在線檢測，只要是全自動化的檢測設備，首先做的第一步工作都是要能找到待測目標物。每次待測目標物出現在拍攝視場中時，要能精確知道待測目標物在哪裏，即使你使用一些機械夾具等，也不能特別高精度保證待測目標物每次都出現在同一位置的，這就需要用到定位功能，如果定位不準確，可能測量工具出現的位置就不準確，測量結果有時會有較大偏差
第三：標定
一般在高精度測量時需要做以下幾個標定，一光學畸變標定（如果您不是用的軟件鏡頭，一般都必須標定），二投影畸變的標定，也就是因爲您安裝位置誤差代表的圖像畸變校正，三物像空間的標定，也就是具體算出每個像素對應物空間的尺寸。
不過目前的標定算法都是基於平面的標定，如果待測量的物理不是平面的，標定就會需要作一些特種算法來處理，通常的標定算法是解決不了的。
此外有些標定，因爲不方面使用標定板，也必須設計特殊的標定方法，因此標定不一定能通過軟件中已有的標定算法全部解決。
第四：物體的運動速度
如果被測量的物體不是靜止的，而是在運動狀態，那麼一定要考慮運動模糊對圖像精度（模糊像素=物體運動速度*相機曝光時間），這也不是軟件能夠解決的。
第五：軟件的測量精度
在測量應用中軟件的精度只能按照1/2—1/4個像素考慮，最好按照1/2，而不能向定位應用一樣達到1/10-1/30個像素精度，因爲測量應用中軟件能夠從圖像上提取的特徵點非常少。