摘要：出勤率對于企業，辦公場所，大學課堂十分重要，良好的出勤率既可以保證工作穩定有序的運行，也能提高成員的工作熱情^[1]；同時這些場所也是安全意識亟待提高的重災區，在大學的實驗室，企業的辦公樓失竊事件屢見不鮮。本文針對實驗室成員考勤以及實驗室安全的具體場景，在MTCNN訓練模型上增強魯棒性，在傳統的優秀視覺算法局部二進制編碼直方圖（LBPH）的基礎上，加以改進，提出基于敏感特征識別的SLBPH算法，在數據測試集FEI和CASIA FACEV5上識別率均有明顯提高，可以在CPU上高速準確識別多數人員，并進行后臺簽到；對于陌生成員，有提取面部圖像功能并標識。

關鍵詞：MTCNN；SLBPH；敏感特征；塊特征匹配

（Southwest Jiaotong University）

Abstract: Attendance is very important for enterprises, office places, and university classrooms. Good attendance can not only ensure stable and orderly work, but also enhance the enthusiasm of members. At the same time, these places are also the hardest hit areas for security awareness. In the laboratory, the theft of corporate office buildings is not uncommon. In this paper, based on the specific scenes of laboratory members' attendance and laboratory safety, the robustness is enhanced on the MTCNN training model. Based on the traditional excellent visual algorithm local binary coding histogram (LBPH), the improved feature recognition is proposed. The SLBPH algorithm has significantly improved recognition rates on the data test set FEI and CASIA FACEV5. It can accurately identify most people on the CPU and perform background check-in. For the stranger, the facial image function is extracted and identified.

多人臉檢測識別首先需要有效的檢測，能否最多的檢測出人臉是識別正確率的重要保障，在非限制人臉的條件下，由于人的面部姿態各異，存在光照，遮擋，圖像的分辨率等給人臉的檢測識別造成很大困難，檢測正確率十分不理想^[1]；此外，人臉識別雖然是一個非�；馃岬难芯空n題，但多數成果都是基于靜態，限制人臉狀態下的識別，隨著神經網絡的深入研究，目前在該條件下單一人臉的識別率可以達到99.65%^[10]，蘋果，谷歌等一些科技公司的識別率甚至可以達到99.99%。但在訓練神經網絡需要海量的數據，昂貴的硬件設備以及長時間的參數調試，這為后續的實際應用帶來諸多不便。傳統的機器算法局部二進制編碼直方圖(LBPH)因其原理簡單，結構清晰，計算復雜度適中，且在硬件設備上方便實現的特點，得到廣泛應用^[3]。本文在充分研究LBPH算法后，受深度學習神經網絡中的多卷積核啟發，改變LBPH算法在匹配過程中的權重問題，提出基于敏感特征識別的SLBPH算法。實驗表明，在FEI數據集上使用改進后的算法較原始LBPH算法識別率提高了1.5%，在CASIA FACEV5數據集上提高了3.2%。并在實驗室考勤的具體場景中取得良好效果。

最初的LBP算子為3*3窗口，以中心像素為閾值，鄰域的八個像素與之比較，小于置為0，大于或等于置為1。然后從左上角開始形成八位二進制碼，再轉換為十進制數值，即得到中心像素LBP碼，如圖2-1。

 

 

 

此外該算法最大的優點是對光照強度不敏感，能夠很好的從不同光照強度中提取紋理特征。仿真結果如圖2-2所示。

 

但是算法存在旋轉改變性以及局部紋理描述固定性的缺點，此外編碼模式較多也是原始算法的一個重要弊端。

隨后Timo Ojala等人在LBPH算法上進行改進，他們的一系列思路改進是具有里程碑意義的:1、提出圓形算子計算模型，改變局部的紋理描述范圍以及采樣點的個數；2、對采樣點進行循環移位，取最小LBP碼作為該局部紋理的表達值，以此解決了圖像旋轉改變性的缺點；3、提出等價模式的思想，從根本上減少編碼的種類，極大的縮減的算法的計算量^[3]。

隨后由于LBPH算法對光照的魯棒性較強，計算速度較快，得到諸多研究人員的應用；2017年Xuemei Zhang等人在原始算法基礎上提出基于領域像素中值的方法（MLBPH），即不再使用紋理中心像素的灰度值作為與采樣點比較的閾值，而是采用周圍領域采樣值的中值來代替紋理中心的灰度值，然后用該中值再與采樣值比較，使用該方法后，得到的二進制編碼0和1的數量分布總是相等的，作者實驗表明該方法優于原有LPBH算法^[4]。

接著Rudy Hartanto等人深入研究了人臉識別認證系統，將LBPH算法應用于用戶識別認證，實驗結果表明，LBPH算法識別速度較快，但是由于采用的人臉檢測算法魯棒性較差，導致識別結果較低^[2]。

2018年O.S.Kulkarni等人采用LBP提取特征，采用KNN分類器進行人臉識別，在正常光照和改變光照強度條件下進行了兩組實驗，分別取得90%和80%的識別正確率，然而KNN分類器極易受到k值的影響，識別結果很不穩定^[5]。

張偉等作者提出了基于Gabor小波和LBPH聯合應用的算法，采用Gabor小波核函數進行卷積計算，得到人臉的多張特征圖像，再將所有的特征圖像串聯在人臉特征空間，在此基礎上配合局部二進制編碼直方圖提取特征，采用數據相似度進行人臉分類,最后在嵌入式系統進行實現，達到實時識別人臉的效果^[6]。

MOHANNAD A.ABUZNEID和AUSIF MAHMOOD在人臉識別實時應用的基礎上為了提高識別正確率，提出了增強型的人臉識別框架，采用LBPH描述器，multi-KNN以及BPNN神經網絡。作者的主要貢獻是通過原始訓練數據制作了全新的數據集Y-Dataset，用于BPNN網絡學習，此外作者還指出，目前大多數KNN分類器使用的是歐氏距離，而不同的相似度距離公式對結果會有很大的影響。此外文章的亮點是作者將機器學習算法與神經網絡相結合并取得較高的識別正確率^[7]。

基于上述的研究與討論，為了更好的應用于實驗室成員識別認證的問題，本文的工作主要從提高人臉檢測魯棒性和人臉識別率兩個方面進行。

2016年，張等人認為人臉檢測和人臉對齊存在潛在聯系，將其聯合起來同時進行取得了最優的檢測效果。在訓練階段主要集中在三個任務：人臉/非人臉的二分類為題、邊界框回歸、人臉特征點定位。人臉檢測可以看成一個二分類問題，針對識別系統要求，提高樣本多樣性復雜性，尤其是人臉發生偏轉的樣本比例，可以很好的改善人員檢測效果，同時采用經典的交叉熵函數計算損失：

為圖像是人臉的概率值， 為人臉圖像標簽， 。

邊界框回歸相量是預測候選框到真實框的接近程度，為四維相量，采用歐式距離計算：

為候選框回歸的目標框， 為樣本的真實框。

MTCNN包含三個子網絡也是檢測的三個階段，Proposal Network(P-Net)首先獲得人臉區域的候選框和邊界回歸向量，并利用后者對候選框進行校準，通過非極大值抑制(NMS)高度合并候選框；Refine Network(R-Net)進一步通過邊界回歸和NMS去掉假陽性區域得到唯一準確的候選框；最后Output Network(O-Net)輸出人臉的五個關鍵點。后續的人臉識別算法改進正是基于五個特征點展開的。效果如圖3-1所示：

 

 

由于MTCNN在640*480大小的圖像上可以快速捕捉20*20的微小面部^[9]，可以極大的提高人臉檢測的召回率。由于該算法對面部遮擋，旋轉的魯棒性較差。采用FEI dataset訓練網絡，將訓練樣本進行隨機裁剪，旋轉后得到擴充的數據集，強化訓練，最后得到適合本實驗場景的訓練模型，新的訓練模型對于面部位姿傾斜，表情各異的人臉，都可以有效檢測。部分樣圖及修正如圖3-2所示。

 

 

 

 

與人臉檢測不同，人臉識別重點在于特征的匹配，更具體的說是一種分類任務，通過提取當前人臉的特征，然后同數據庫中數據匹配，距離最小且在規定閾值范圍內的人臉被認為可識別。LBPH算法更注重局部特征的提取，對光照變化有很強的魯棒性。

對于整幅原始圖像得到的LBP碼構成的依然是一幅圖，如圖3-4所示，依然不能直接提取特征，需要將整幅圖分割成若干子塊（分割方式不唯一，此處以10*10為例），對每一個子塊進行像素統計得到局部像素分布直方圖，這樣便可以得到一個10*10維特征的相量，該相量反應了原始圖全部的紋理信息。圖3-5是從LBP圖（360*260）中提取的100個局部像素直方圖，每一個直方圖都可以十分精確的刻畫圖像的一部分。

 

 

人臉識別的關鍵是找到相同人臉的的共同點，區分不同人臉的特點。難點在于同一張人臉具有多樣的表情變化，拍攝角度或姿態的差異，眼鏡等飾品的遮擋，這些改變可以輕易的影響到相似度判別，圖3-6展示了采用LBPH算法計算時，隨著識別樣本增加，不同人臉的歐式距離出現了小于相同人臉的歐氏距離，根據距離最小匹配原則，則會出現識別錯誤。因此進一步縮小同類距離，擴大異類距離^[10]，增加不同人臉的區分度是提高識別率的關鍵。

從圖3-6中不難發現同一人臉不同表情的歐式距離大多數情況下小于不同人臉，但是這種差異隨著人臉增多而逐漸減小，甚至消失。為了增加人臉區分度。本文提出局部敏感紋理加權（SLBPH）的方法可以極大提升差異度，即縮小類內距離，擴大類間距離[5]。實驗表明，像素直方圖的差異主要集中在眼睛，眉毛，鬢角，鼻子，嘴角等這些紋理突出的特征，而MTCNN在人臉檢測的同時采用對準算法，標記出人臉的左右眼，鼻子及左右嘴角，而這些特征也正是人臉被識別最顯著的特征；LBPH算法著重采集人臉的局部信息相量，結合MTCNN和LBPH將重要信息相量進行加權，即提高眼部，鼻子，嘴角等面部信息的重要度，而圖像邊緣的信息減少相量權重甚至忽略，這樣可以極大提高識別率，在限制人臉的數據集中，滿足實時性的同時，相比LBPH算法提高了1.50%的識別正確率。

我們將輸入的人臉分為（4*4）區塊，提高局部信息的靈敏度，并標記編號0-15，采用圓形算子計算LBP碼。眼部，鼻子，嘴角等面部信息主要集中在圖中紅色編號標注的10個區域如圖3-7，我們將這些區域特征抽取出來轉化為塊相量與數據庫信息比對，10個塊特征相量作為10處局部敏感紋理信息。計算時，有一個特征吻合則標志位flag加一，否則flag減一，以此類推，若十個特征全部吻合，則意味著比對的兩張人臉具有100%的可能為同一張人臉，考慮到吻合閾值誤差記為90%，若九個特征吻合，一個不吻合則代表80%的可能，兩個塊特征的距離差小于一定的閾值便視為吻合，根據flag計算的系數a與塊特征距離差(dis)的乘積作為敏感紋理信息的距離差，參加最后的人臉距離計算，系數a見公式(3)，最后的人臉距離差見公式(4)，敏感紋理信息直方圖如圖3-8所示。算法的其他內容不做修改。

 

 

我們在FEI數據集和CASIA FACEV5數據集上進行實驗測試，FEI數據集包含200個人的共計400張正面人臉照片，每人兩張，且存在細微的表情差異，屬于限制人臉狀態；CASIA FACEV5數據集(樣例如圖4-1)包含了500個人的共計2500張人臉照片，每人五張，且面部表情，面部姿態，光照條件各不相同，屬于非限制人臉狀態。

 

 

 

 

 

 

我們做如下三組實驗測試：

實驗三：

將改進的算法用于實時檢測，每幀的用時在0.2s-0.3s之間滿足實時性要求。在限制人臉狀態下取得理想的識別效果，實驗結果如圖4-2。

 

 

 

本文主要做了兩方面的內容：

1重新訓練MTCNN人臉識別模型，增加樣本實例，包括人臉部分遮擋，以及人臉偏轉的圖片樣例，極大滿足實驗室人臉檢測識別的魯棒性，

2在視覺算法LBPH基礎上提出了基于敏感特征加權的改進算法SLBPH，在FEI數據集和CASIA FACEV5數據集上分別取得了1.5%和3.2%的提高并滿足實時性要求。

3、聯合MTCNN和LBPH進行仿真實驗。

本文依然存在有待提高改進的地方，在計算系數a時涉及到塊匹配閾值的設定仍然需要進一步實驗研究。

 

[6] 張偉，程剛等. 基于Gabor小波和LBPH的實時人臉識別系統[D]. 蘭州大學.2018.

[8] Patrik Kamencay et al. Accurate Wild Animal Recognition Using PCA,LDA and LBPH[J]. University of Zilina ,Univerzitna IEEE 2016.

 

作者簡介：

張玉云，西南交通大學信息科學與技術學院，從事通信信息研究，網絡基礎，計算機視覺研究。