摘 要：隨著移動設備和技術的發展，在這類通用性高、普及率大、便攜性好、能耗低的手持設備上設計開發增強現實系統對增強現實技術的推進和發展具有重要的理論意義和現實意義。針對手持設備處理能力、存儲空間等不足，提出并實現了一種手持設備上基于增強現實的運動目標識別。提出了一種通過運動目標速度自適應調整幀間隔的自適應三幀差分檢測方法實現人手識別，本文方法能夠快速準確的定位運動目標區域，有效降低手持設備處理延遲性，適合計算性能較低的手持設備。同時，將Surendra背景更新算法，與自適應三幀差分和背景差分法相結合，解決了因手持設備抖動而引起的檢測誤差問題，提高檢測精度和效果。實驗表明，識別算法能夠很好的應用于手持設備上，并滿足增強現實系統的應用要求。
關鍵詞：增強現實；手持設備；手勢識別；幀間差分法；背景差分法
Augmented reality interactive technology on handheld devices
Li Kexin
（Information Engineering, Qingdao University, Shangdong Qingdao266071）
Abstract: As the development of mobile devices and technology, design augmented reality system on such handheld device of high universality, high diffusion rate, portable, low energy consumption will promote the development of augmented reality technology and bring important theoretical significance and practical significance. A new algorithm based on moving target rate which could adaptive adjust frame interval is proposed to detect hands. The experiments show that this algorithm is faster than other existed methods used aimed at moving target detection. Therefore it is feasible for end-users’ devices with low computational performance effectively and reduce the processing delays of handheld devices. Surendra’s algorithm which could achieve adaptive update the background, combined with adaptive three frame difference and background difference solved detection error problems be caused by jitter on hand-held device. It can improve the detection accuracy and effectiveness. The experiments show that algorithms can be applied in a hand-held devices and meet the application requirements of augmented reality systems.
Key words: Augmented Reality; Handheld Device; Hand Gesture Recognition; Temporal Difference; Background Subtraction
1 序言
增強現實技術[1]（Augmented Reality，簡稱AR），作為在虛擬現實技術[2]（Virtual Reality, 簡稱VR）的基礎上發展起來的一個新的研究領域，是近年來國內外眾多知名大學和研究機構的研究熱點之一，成為人機界面技術發展的一個重要方向。
AR技術與傳統的、以完全沉浸感、交互性和構想為基礎特征的VR技術達到的效果有所區別，AR技術通過計算機系統提供的輔助信息來增強用戶對現實世界的感知，借助計算機圖形技術、界面可視化技術[3]、計算機輔助設計技術、圖像處理技術構造出現實環境中不存在的虛擬對象，并通過傳感技術將計算機生成的虛擬對象及其相關信息準確實時的疊加到真實環境中，為人們帶來一個視覺效果更真實、場景信息更豐富的新環境，使體驗者從感官和心理上確定虛擬對象是真實環境的組成部分，實現兩者的完美結合。
2 增強現實運動目標識別
在現實生活中，人通過視覺、觸覺和力覺可以用手任意操縱空間中的真實物體，人的雙手已成為人類與第三方世界交流最直觀、最自然、最現實的媒介[4]。在增強現實環境下，以攝像頭為輸入設備采集圖像，通過人手對現實環境中疊加的虛擬對象進行交互，并允許人手實時地操縱和控制三維虛擬物體，實現三維虛擬物體的選擇、移動等動作，使用戶在半沉浸式的手持設備增強現實交互環境中產生更真實的實景感受，更好的融入到增強現實系統中去，增加沉浸感。
2.1人手的檢測與識別
人手的檢測與識別是增強現實中虛實交互的關鍵技術，也是進行人手分析的第一步，直接影響著整個虛實交互的反饋效果[5]。其涉及了計算機圖像處理技術、視頻檢測技術等多個領域。目前較常用的運動圖像檢測與分割方法主要包括光流法[6]、背景差分法[7]和幀間差分法[8] 等。光流法太復雜，對硬件設備性能有較高的要求；背景差分法對外界環境的變化非常敏感，需要建立高效實用的背景模型并對其進行實時更新；幀間差分法具有很強的自適應性，但是對做差分的連續幀選擇要求很高，而且有賴于運動目標的速度，這是幀間差分法檢測的瓶頸[9]。
2.2 自適應三幀差分與背景差分相結合的目標檢測算法（Adaptive Three Frame and Backgroud Difference，ATBD）
本文針對固有算法的不足及手持設備存儲容量小，處理能力有限的特性，提出了一種自適應三幀差分檢測算法，并結合Surendra算法[10]對手持設備增強現實中的人手進行分割。流程如圖2.1所示，其分別采用自適應的三幀差分法和Surendra背景差分法提取運動目標，然后綜合獲取準確的運動目標，并實時更新背景，具體過程如下：
圖1 手持設備上ATBD算法流程圖
(1) 自適應三幀差分檢測算法提取運動目標
該算法的思想是消減三幀差分法中運動目標速度對檢測效果的影響，即能夠根據運動目標的速度自適應的測算選取下面的哪一幀進行差分運算，既適用于運動目標勻速運動檢測也適用于變速運動檢測。具體算法流程如下：
第一步： 取連續的五幀圖像第 
幀、第
幀、第
幀、第
幀、第
幀，對應的圖像序列分別為
、
、
、
、
。根據三幀差分法原理，每三幀為一組做差分，得到二值圖像序列
、
、
。
第二步：通過二值圖像序列和確定兩圖像序列中運動目標之間的距離，同理也確定和中運動目標之間距離公式如下：
2-（1）
其中，
表示由和二值圖像序列確定的運動目標之間的距離，
表示兩幀圖像序列中運動目標重心間距離。
第三步：由于幀速確定，每幀圖像的時間確定，根據如下公式可以得到運動目標的平均速度 
，
2-（2）
其中，
表示幀速，
表示每一幀運行時間。
第四步：根據運動物體加速度計算公式，可以得到運動目標的平均加速度，公式如下：
2-（3）
2-（4）
第五步：設定一個變量
，表示下一個要取的第
幀，與根據運動目標平均加速度測算的下幀平均速度成線性關系，公式如下：
2-（5）
其中，
為系數，
為常數。
第六步：迭代運用三幀差分法的運動目標提取算法，對第
幀、第幀、第幀進行三幀差分法。
(2) Surendra算法提取運動目標
具體算法流程如下：
第一步：通過攝像頭采集運動視頻圖像，根據Surendra算法提取背景模型，得到背景圖像序列
，并實時更新；
第二步：在圖像處理過程中，調用背景差分檢測算法，得到差分后檢測到運動目標的圖像序列
；
(3) 綜合獲取準確運動目標
將通過背景差分法[10]得到的二值差分圖像與自適應三幀差分法得到的二值差分圖像
進行邏輯與運算，獲得最終精確的運動檢測結果。
2-（6）
根據背景差分法易受到光照變化、噪音等外在因素的干擾，自適應三幀差分法能夠有效的降低這些外在干擾，將兩種目標檢測算法進行融合，既保留兩種算法各自的優勢，又消除兩者的缺陷，更準確的檢測運動目標。
2.3算法性能分析
下面是利用自適應三幀差分與背景差分相結合的目標檢測算法ATBD實現的人手在復雜背景下的分割效果圖。
圖2人手檢測識別效果圖
實驗結果表明，自適應三幀差分和背景差分相結合的目標檢測算法，將二值化后的圖像進行濾波去噪等圖像處理，有效克服光照變化、噪音等外在因素的干擾，能夠實現人手的精確分割，并實時跟蹤人手位置，完成人手的檢測與識別。該方法應用于處理能力有限的手持設備上，能夠提高跟蹤效率，降低幀處理延遲性。
3 結語
人手識別與檢測是基于手持設備的AR虛實交互技術中的關鍵部分，本文提出的自適應三幀差分與背景差分相結合的目標檢測方法，能夠實時跟蹤運動的人手，并識別出人手的特征區域，為虛實交互的實現打好基礎，實驗證明，這種方法能夠有效應用在手持設備上，具有魯棒性，能夠滿足一定的實時性要求，克服手持設備處理能力有限的問題，間接的提高處理能力，進步一步的工作是研究在手持設備上實現多樣化手勢識別交互將有助于增加AR系統的功能性。
參考文獻
[1] Azuma, R., Baillot, Y., Behringer, R., Feiner, S., Julier, S., MacIntyre, B.. Recent Advances in Augmented Reality. Computer Graphics and Application, IEEE Volume 21, Issue 6, Nov/Dec 2001 Page(s): 34-47
[2] Bimber. O. and Raskar. R., Spatial Augmented Reality Merging Real and Virtual Worlds. 2005: A. K. Peters Ltd.
[3] Billinghurst, M.. Research Directions in Augmented Reality. In Proc. of 16th International Conf. on Artificial Reality and Telexistence (ICAT’06). 2006
[4] 任海兵, 祝遠新, 徐光, 張曉平, 林學誾. 復雜背景下的手勢分割與識別. 自動化學報, 2002.3(28): 256-261
[5] Lew, Y. P, Ramli, A. R, Koay, S. Y, Ali, R. and Prakash, V. A Hand Segmentation Scheme Using Clustering Technique in Homogeneous Background[A]. Student Conference Research and Development Proceedings. 2002, 305-308
[6] 李清水, 方志剛等. 手勢識別技術及其在人機交互中的應用[J]. 人類工效學, 2002, 80
[7] 郝志成，朱明。智能目標檢測與跟蹤系統的設計與實現[J]。光電工程，2007，34（1）：27-3
[8] 付萍，方帥，徐心和等，視頻監控系統中運動目標檢測的陰影去除方法。計算機工程，2007，33(10)：22-24
[9] 秦濤，周澤魁。一種檢測序列圖像中運動目標的新方法[J]。計算機應用與軟件。2004，21（9）：105-107
[10] 王陳陽，周明全，耿國華�；谧赃m應背景模型運動目標檢測[J]。計算機技術與發展，2007，17（4）：21-23
作者簡介：
李可歆，青島大學計算機軟件與理論碩士，主要研究方向是基于手持設備的增強現實虛實交互系統的研究。參與青島市科技發展計劃項目，信息獲取與處理網絡關鍵技術研究——基于增強現實的網絡游戲虛擬實境技術。
10340
