車牌識(shí)別系統(tǒng)采用高度模塊化的設(shè)計(jì)，將車牌識(shí)別過(guò)程的各個(gè)環(huán)節(jié)各自作為一個(gè)獨(dú)立的模塊，其系統(tǒng)框架如下所示。

　　1、車輛檢測(cè)跟蹤模塊

　　車輛檢測(cè)跟蹤模塊主要對(duì)視頻流進(jìn)行分析，判斷其中車輛的位置，對(duì)圖像中的車輛進(jìn)行跟蹤，并在車輛位置最佳時(shí)刻，記錄該車輛的特寫圖片，由于加入了跟蹤模塊，系統(tǒng)能夠很好地克服各種外界的干擾，使得到更加合理的識(shí)別結(jié)果，可以檢測(cè)無(wú)牌車輛并輸出結(jié)果。

　　2、車牌定位模塊

　　車牌定位模塊是一個(gè)十分重要的環(huán)節(jié)，是后續(xù)環(huán)節(jié)的基礎(chǔ)，其準(zhǔn)確性對(duì)整體系統(tǒng)性能的影響巨大。車牌系統(tǒng)完全摒棄了以往的算法思路，實(shí)現(xiàn)了一種完全基于學(xué)習(xí)的多種特征融合的車牌定位新算法，適用于各種復(fù)雜的背景環(huán)境和不同的攝像角度。

　　3、車牌矯正及精定位模塊

　　由于受拍攝條件的限制，圖像中的車牌總不可避免存在一定的傾斜，需要一個(gè)矯正和精定位環(huán)節(jié)來(lái)進(jìn)一步提高車牌圖像的質(zhì)量，為切分和識(shí)別模塊做準(zhǔn)備。使用精心設(shè)計(jì)的快速圖像處理濾波器，不僅計(jì)算快速，而且利用的是車牌的整體信息，避免了局部噪聲帶來(lái)的影響。使用該算法的另一個(gè)優(yōu)點(diǎn)就是通過(guò)對(duì)多個(gè)中間結(jié)果的分析還可以對(duì)車牌進(jìn)行精定位，進(jìn)一步減少非車牌區(qū)域的影響。

　　4、車牌切分模塊

　　車牌系統(tǒng)的車牌切分模塊利用了車牌文字的灰度、顏色、邊緣分布等各種特征，能較好地抑制車牌周圍其他噪聲的影響，并能容忍一定傾斜角度的車牌。這一算法有利于類似移動(dòng)式稽查這種車牌圖像噪聲較大的應(yīng)用。

　　5、車牌識(shí)別模塊

　　在車牌識(shí)別系統(tǒng)中，通常采用多種識(shí)別模型相結(jié)合的方法來(lái)進(jìn)行車牌識(shí)別，構(gòu)建一種層次化的字符識(shí)別流程，可有效地提高字符識(shí)別的正確率。另一方面，在字符識(shí)別之前，使用計(jì)算機(jī)智能算法對(duì)字符圖像進(jìn)行前期處理，不僅可盡可能保留圖像信息，而且可提高圖像質(zhì)量，提高相似字符的可區(qū)分性，保證字符識(shí)別的可靠性。

　　6、車牌識(shí)別結(jié)果決策模塊

　　識(shí)別結(jié)果決策模塊，具體地說(shuō)，決策模塊利用一個(gè)車牌經(jīng)過(guò)視野的過(guò)程留下的歷史記錄，對(duì)識(shí)別結(jié)果進(jìn)行智能化的決策。其通過(guò)計(jì)算觀測(cè)幀數(shù)、識(shí)別結(jié)果穩(wěn)定性、軌跡穩(wěn)定性、速度穩(wěn)定性、平均可信度和相似度等度量值得到該車牌的綜合可信度評(píng)價(jià)，從而決定是繼續(xù)跟蹤該車牌，還是輸出識(shí)別結(jié)果，或是拒絕該結(jié)果。這種方法綜合利用了所有幀的信息，減少了以往基于單幅圖像的識(shí)別算法所帶來(lái)的偶然性錯(cuò)誤，大大提高了系統(tǒng)的識(shí)別率和識(shí)別結(jié)果的正確性和可靠性。

　　7、車牌跟蹤模塊

　　車牌跟蹤模塊記錄下車輛行駛過(guò)程中每一幀中該車車牌的位置以及外觀、識(shí)別結(jié)果、可信度等各種歷史信息。由于車牌跟蹤模塊采用了具有一定容錯(cuò)能力的運(yùn)動(dòng)模型和更新模型，使得那些被短時(shí)間遮擋或瞬間模糊的車牌仍能被正確地跟蹤和預(yù)測(cè)，最終只輸出一個(gè)識(shí)別結(jié)果。

　　8、在線學(xué)習(xí)模塊

　　在以上各個(gè)模塊中，使用了大量基于學(xué)習(xí)的算法，系統(tǒng)特別添加在線學(xué)習(xí)模塊，采用最新的反饋型學(xué)習(xí)模型，利用決策模塊和跟蹤模塊得到的車牌質(zhì)量、車輛軌跡、速度等反饋信息，智能化地更新一些算法參數(shù)，使得系統(tǒng)能快速適應(yīng)新的應(yīng)用環(huán)境。該算法作為已有算法的一個(gè)有力補(bǔ)充，將進(jìn)一步提高系統(tǒng)性能。