|
1 引言 全國有線廣播電視監測網是基于國家廣電骨干網和省級干線網而建設的大型監測網絡系統；隨著地面無線電視納入其監測范圍，使得監測規模越來越大被監測的頻道和電視節目數越來越多。視頻信息技術的發展導致多媒體數據庫日益龐大，一些特殊應用需要快速地完成特定目標視頻片斷的檢索查詢，特別作為廣播電視監測部門，更要面對與日俱增的廣告、視頻節目及特定內容的快速檢索。在一個視頻節目中，如何快速查找某段節目(或某幾幀)是否存在、播放的起止時間等信息、傳統的方法是靠人工將視頻節目文件逐一播放，查找所要的內容，整個過程耗時費事，效率低，勞動強度大。因而人工檢索方式無法滿足多媒體信息快速檢索需求，特別是對在存儲的視頻節目中尋找指定的視頻片斷這樣的應用需求。因此，需要建立一套快速的智能視頻檢索系統．以提高有線電視監測數據統計、分析和報告的質量和效率。 2 視頻檢索技術簡介 視頻檢索技術是世界各國學者研究的熱點問題之一，如基于壓縮域的視頻檢索、基于語義的視頻檢索以及動態特征的提取等。目前，國內外已研究出多個視頻檢索系統，如：IBM Almaden研究中心開發的QBIC(Query ByImage Content)系統，美國哥倫比亞大學電子工程系與電信研究中心圖像和高級電視實驗室共同研究的、一種在互聯網上使用的"基于內容"的檢索系統VisualSeek，清華大學開發的視頻節目管理系統TV-FI(Tsinghua videoFind lt)等。 視頻檢索把圖像檢索、模式識別、圖像數據庫等技術成果結合了起來，會有廣闊的發展前景。 視頻檢索是從大量的視頻數據中找到所需的視頻片斷及自動統計出所需要的信息。用戶提供的例子(模板)或特征描述，系統就能夠自動地找到所需的視頻片斷點，即實現基于內容的視頻檢索。通常，一段視頻可以劃分為幾個場景，每個場景包含一個或多個鏡頭，每個鏡頭又由一系列連續記錄的圖像幀組成。因此，原始視頻可以按照由粗到細的順序劃分為幾個層次結構：視頻(video)、場景(scene)、鏡頭(shot)和圖像幀(frame)。視頻和圖像幀是視頻本身就具有的結構，而鏡頭和場景是人為分離出來的結構。鏡頭一般是由攝像機一次攝像的開始和結束的所有幀構成，表示一個物理概念。而場景是指一連串語義相關的鏡頭，一般發生在相同的時間和地點，出現相同的人物或事件，表示的是一個語義概念。通過視頻解析技術提取出鏡頭和場景后，可以用一幀或幾幀來表示它們，這樣當檢索需要視頻資料時，就不用從頭到尾地查找一段視頻，而是通過關鍵幀的非線性瀏覽來快速定位查詢的內容，同時這種方式也有助于我們快速理解一段原始視頻的內容，以決定是否是需要的資料。 根據有線電視監測的應用需求．首先利用抽取關鍵幀的方法，將視頻檢索轉化為圖像檢索，基于內容的圖像檢索理論和方法便可以很方便地應用于圖像檢索當中。基于內容的圖像檢索，是指通過對圖像視覺特征和上下文聯系的分析，提取出圖像的內容特征作為圖像索引來得到所需圖像，然后通過視頻片斷的匹配定位出需要查找的視頻片斷的位置，為查詢、下載、觀看所用。 3 視頻檢索的關鍵技術 視頻檢索的關鍵技術主要有：圖像特征提取、圖像特征的相似性度量、關鍵幀提取、視頻片斷匹配和評價指標等。 (1)圖像特征提取 圖像特征提取是針對圖像內容的底層物理特征進行提取．如顏色直方圖、圖像輪廓特征等。特征的表示方式有三種：數值信息、關系信息和文字信息。目前，多數系統采用的都是數值信息。 (2)圖像特征的相似性度量 相似性度量在鏡頭檢索上，早期的工作主要是從鏡頭中提取關鍵幀，把鏡頭檢索轉化為圖像檢索。例如，在通常情況下，圖像的特征向量可看作是多維空間中的一點，因此，用特征空間中點與點之間的距離來代表它們的匹配程度。距離度量是一個比較常用的方法，還有相關計算、關聯系數計算等。此外，目前研究的問題還在于怎樣對視頻中的時間信息充分進行利用。 相似性度量在片段檢索上，把視頻片段分為片段、幀兩層考慮，片段的相似性利用組成幀的相似性來直接度量，缺點在于限制相似的片段必須遵守同樣的時間順序，這種基于每幀的比較，也使得檢索速度比較慢。 (3)關鍵幀提取 關鍵幀是用于描述一個鏡頭的關鍵圖像幀，它反映一個鏡頭的主要內容。關鍵幀的選取一方面必須能夠反映鏡頭中的主要事件，因而描述應盡可能準確完全；另一方面，為便于管理，數據量應盡量小，且計算不宜太復雜。 關鍵幀的選取方法很多，比較經典的有幀平均法和直方圖平均法。幀平均法是從鏡頭中取所有幀在某個位置上像素值的平均值，然后將鏡頭中該點位置的像素值最接近平均值的幀作為關鍵幀；直方圖平均法則是將鏡頭中所有幀的統計直方圖取平均，然后選擇與該平均直方圖最接近的幀作為關鍵幀。 (4)視頻片斷匹配 先找出視覺上相似的片段，再根據不同的因子計算相似片段的相似度，最后按照相似度的大小從高到低排列它們。這種方法不會造成相似片段的遺漏，同時又能根據不同的因子度量相似片段的相似度。已經有研究提出了最優匹配法、最大匹配法和動態規劃算法等。 (5)評價指標 查準率和查全率是視頻檢索常用的兩個評價指標，描述了檢索結果的準確性。此外，檢索效率也是一個重要的衡量指標。影響這些指標的因素有很多，例如源流文件質量、匹配度、服務器性能、檢索鏡頭數等。 4 基于內容的圖像檢索常用算法 圖像檢索就是根據對圖像內容的描述，在目標圖像集合中找到具有指定特征或包含指定內容的圖像。圖像的內容可以分為兩類：視覺內容和信息內容。視覺內容對應圖像的物理表示，如顏色、形狀、紋理等。信息內容對應圖像的語義，如主題、人物、場景等。圖像比對是圖像檢索的核心算法之一，即判斷原圖片與目標圖片是否一致。常用的圖像比對算法主要有直接比較法、顏色特征法、紋理特征法、形狀特征法、以及壓縮域的圖像比對算法等。 (1)直接比較法 直接比較法就是將兩幀圖像的像素點的值直接進行比較，方法簡單易行，但是效率低且魯棒性能差。 (2)顏色特征法 顏色特征是圖像最直觀、最明顯的特征，一般用直方圖描述。直方圖的橫軸表示顏色等級，縱軸表示在某一個顏色等級上具有該顏色的像素在整幅圖像中所占的比例。以直方圖為特征的常用的匹配方法有：矢量距離法、直方圖交叉法和直接差值法。 (3)紋理特征法 紋理是圖像中一個重要而又難以描述的特性。很多圖像在局部區域內可能呈現出不規則性，而在整體上卻表現出某種規律性。習慣上把圖像中這種局部不規則而整體有規律的特性稱之為紋理。從人類的感知經驗出發，紋理特征主要有粗糙性、方向性和對比度，這也是用于檢索的主要特征。 (4)形狀特征法 形狀特征是圖像目標的一個顯著特征，很多查詢可能并不針對圖像的顏色，因為同一物體可能有各種不同的顏色，但其形狀總是相似的。如檢索某輛汽車的圖像，汽車可以是紅的、綠的等，但形狀決不會與飛機外形相似。另外，對于圖形來說，形狀是它唯一重要的特征。從圖像中提取的目標邊緣稱為輪廓。基于形狀或輪廓的檢索是基于內容檢索的一個重要方面，它能使用戶通過勾勒圖像的形狀或輪廓，從圖像庫中檢索出形狀相似的圖像。 (5)壓縮域的圖像比對算法 基于壓縮域的圖像比對技術，實際上是把圖像的壓縮技術與比對技術融合在一起，能夠在不解碼(或不完全解碼)的情況下抽取到圖像可用于比對的信息特征。對于這種信息特征的提取，可以利用離散余弦變換DCT(Discrete CosineTransform)域的一些特征，主要包括顏色特征、輪廓特征和輪廓直方圖等。基于DCT壓縮域的圖像比對算法，能夠大大縮短檢索用時，是現階段視頻檢索的研究熱點，但是實際應用還不夠成熟，有待于進一步研究。 (6)基于模糊的塊圖像比對算法 考慮到有線電視信號的特殊性，針對監測網的信號特征提出了一種模糊的塊圖像比對算法。即將一幀圖像的YUV彩色模型(Y代表亮度分量，U、V代表兩個色差分量)分量分為固定大小的小塊，然后將原圖像幀與目標圖像幀一小塊為單位分別進行對比，統計相似個數，作為兩幅圖像的相似性度量。通過與顏色直方圖法的比較，可以看出，在有線電視信號檢索中，該算法能夠增大比對算法的魯棒性且提高檢索速度。 5.1 系統功能 有線電視視頻檢索系統的主要功能包括：樣本制作和管理、任務下發和管理、結果查詢和系統管理等。 (1)樣本制作和管理 樣本制作和管理包括錄像下載、源文件庫、樣本幀制作和樣本幀庫管理等模塊。在樣本制作時，支持MP4、WMV等多種視頻格式；制作完成后還可根據用戶需要進行分類管理，如廣告類、電視劇類等。 (2)任務下發和管理 任務下發和管理包括單任務、多任務并發、特定內容任務下發和管理模塊。用戶可根據任務需要設定相應的匹配度。所謂匹配度，就是檢索結果幀數與樣本幀數的百分比值。因此，匹配度低．漏報少，但可能會產生誤報；反之，漏報可能增加，誤報減少。 (3)結果查詢 結果查詢包括檢索結果查看和管理、結果下載和報表管理等模塊。 (4)系統管理 系統管理包括用戶管理、權限管理、設備管理、系統運行狀態和基礎信息管理等。 5.2 系統工作原理 系統工作原理如圖1所示，分為中心系統、前端設備和傳輸網絡三部分。用戶通過WEB服務器下發檢索任務至數據庫服務器，調度服務器實時輪巡數據庫，一旦發現新的檢索任務，調度服務器自動提取任務通過廣電專用網絡下發到前端檢索服務器；檢索服務器收到檢索任務后，同時向中心系統存儲服務器和有線電視前端分別調取樣本文件和目標文件進行比對，比對完成后，檢索服務器將結果及下載錄像路徑通過調度服務器回傳至數據庫服務器，最終將結果回傳到客戶端。 5.3 圖像比對原理 本系統采用的是基于模糊的塊圖像比對算法。 可以從底層分解和高層分解兩部分來理解，底層分解包括視頻解碼、圖像比對、檢索結果分析和數據存儲等算法；高層分解可將系統分為生成樣本投影、解析樣本投影空間和檢索信息存儲三部分。 首先從樣本源流文件中抽取所需的樣本幀，生成樣本序列，將目標流文件進行視頻解碼，解碼后逐幀與樣本序列幀進行圖像比對，將所有相似幀放入樣本投影空間，再根據樣本的其他信息(例如：時間戳等)進行有效性校驗、片斷統計和結果篩選，最終檢索出目標視頻片斷。 視頻檢索技術引入到有線電視監測系統，建立了一種快速的智能視頻檢索手段。通過系統運行測試．對于普通新聞、廣告、電視劇等類型的視頻，可以檢索出幾乎全部的視頻片斷；對于一些特殊視頻，也能夠檢索出大部分的視頻片斷，其檢索準確度大于90％。單機單任務檢索效率大于1：10，單機多任務檢索效率大于1：20，與人工回放檢索相比大大節省了時間，理論上系統可支持分布式檢索前端大于1000個。 通過系統建設的實踐，有以下幾個問題是值得注意的： (1)由于有線電視信號在傳輸過程中存在衰減，各個前端由于距離、設備等因素不同，對信號的衰減補償產生的機械噪聲也不同，導致不同前端的信號會有所差異。再者，有線電視信號的衰減是非線性的，很難找到一個合適的補償算法使信號強弱都一樣。因此會影響到檢索結果的準確性。 (2)視頻檢索是針對已經存儲的視頻文件，在對信號進行采集、壓縮和存儲的過程中會產生部分損耗，也會影響檢索結果的準確性。 (3)系統采用大型網絡進行傳輸且帶寬有限，因而采用系統分布式的檢索模型和"短鏈接"通訊模式。所謂"短鏈接"，就是在沒有檢索任務時，中心系統與檢索前端服務器問不保持通訊連接，一旦有檢索任務時，則在兩者間建立臨時性的TCP通道連接，檢索任務完成后，檢索前端自動拆除該連接。 由于上述原因，給系統的架構和檢索算法帶來了很大困難，造成了檢索準確度不能達到100％，因而，對于非常重要的檢索任務，仍需人工輔助核實。 在電視監測領域中建立快速智能的視頻檢索方法和視頻監測數據的快速處理機制，為安全播出和行業管理提供了又一種監測的重要應急手段。實際證明，雖然有線電視信號的特殊性與檢索算法有限的實用性，使得查全率還未能達到100％，但是該視頻檢索系統為滿足監測工作日益增長的要求提供了一種有效的解決方案，已經能夠有效幫助監測工作人員完成大部分的檢索任務，大大提高了檢索效率。 |
