多媒體資源中心服務系統

應用場景：

多媒體資源中心服務系統可用于廣播局，電視臺，各大視頻內容提供網站等需要管理海量視頻的部門。

多媒體資源中心服務系統針，可取代目前媒資管理系統需要通過人工編目、打點的方式進行索引，然后通過關鍵字的方式進行檢索的工作方式。基于視頻內容智能識別的系統，通過技術手段實現視頻內容的自動分析、自動標注、自動分類和檢索。對視頻中的重復內容進行自動識別和標注，避免大量重復界面。對視頻在轉碼中出現的質量問題進行自動識別，包括黑屏、花屏、綠屏、馬賽克、模糊等。

功能介紹

一、媒體資源處理

圖片、視頻數據轉碼: 所有的媒體文件，無論在原始狀態下是什么樣，在系統中歸檔以后，都被轉換成為了統一的格式。但是，在實際的使用過程中，系統的應用者需要使用的文件格式和歸檔的格式很可能不一樣。比如，對于圖片文件，系統歸檔使用的“TGA”格式，如果實際需要“BMP”格式，在這種情況下，就需要啟用系統內置的“轉碼”功能，即將歸檔媒體文件格式，轉換為實際所需要的另外一種格式。

分布式轉碼技術: 對于視頻數據的轉碼，對計算資源的開銷非常巨大，如果使用單一的進行服務器轉碼，轉碼時間較長，效率非常低。本系統采用分布式轉碼技術，通過搭建轉碼服務器集群實現轉碼的分布式并行處理，其工作原理如下圖所示：

• 1）把輸入的視頻文件分解為多個視頻片段；
• 2）把每個視頻片段通過消息組件發送到一個轉碼服務器進行轉碼；
• 3）每個轉碼服務器把轉碼后的視頻片段發送到合并服務器；
• 4）由合并服務器進行視頻組裝，完成整個視頻的轉碼

高性能編碼: 2013年3月，國際標準化組織（ISO/IEC)和國際電信聯盟（ITU-T)共同批準了由合作專家組專家參與制定的國際視頻標準H.265/HEVC。比較目前市場上通用的H.264/AVC，H.265/HEVC 能夠在節省50%帶寬的基礎上提供相同的視頻質量。HEVC如此出色的性能為高清視頻的網絡普及應用奠定了基礎。我司自主研發實現了H.265標準編解碼技術，可在保證視頻質量的同時節省50%的帶寬。

視頻摘要:系統支持對視頻文件提取關鍵幀，將提取出來的關鍵幀作為視頻摘要，便于用戶在極短時間內了解整個視頻內容。
視頻摘要由以下兩種內容組成：

1. 關鍵幀(Key Frame)．是指從原視頻中抽取或生成一幅或幾幅靜態圖像，能夠部分地表達視頻的語義信息。基于關鍵幀的摘要比標題形式的摘要更能從視覺的角度為用戶提供更加直觀的可視信息。
2. 場景轉移圖(STG)。場景轉移圖反映了視頻內容的場景轉移，它用一種簡潔可視的方式來表現視頻數據，可以對視頻進行層次化的非線性的瀏覽。

文本摘要:
文本摘要采用向量空間模型VSM技術，提取文本中能代表全文主題的句子序列組成。由于主題句由詞語組成，而主題句的重要性也由它在文本中的位置所確定。主題句由以下特點：

• 1)句子中所含詞語對文本的影響較大（即詞語權重較大）。
• 2)句子所在段落在文本中的位置權重較大。
• 3)句子在本段落中的位置權重較大。
• 4)標題詞的影響。

本系統采用以下幾步進行文本摘要提取：

• 1．對文本進行分詞，并將文本用VSM形式表示。
• 2．計算特征詞的權值。
• 3．通過特征詞和句子的物理位置計算句子的權值。
• 4．判斷標題對文本主題是否有影響。
• 5．將備選摘要句列表中的句子進行相似性計算，出去相似性較高的句子，并輸出結果。

文字句法分析: 文字處理技術室網絡輿情信息監控系統中核心的技術，在網絡輿情中人名、機構名、地名等信息構成了輿情的主題，對于人名、機構名、地名等信息的識別提取對于輿情分析非常重要，是一系列關聯分析的基礎。本系統采用基于層疊隱馬爾可夫模型的中文實體名識別技術實現對實體名的識別與提取。

電子書、文字類圖片處理:當前存在大量電子書、印刷品類影印資料，對于這類媒體資源，需要通過一定的技術提取圖像中的文字內容，然后進行關鍵詞索引。本系統采用的圖片OCR技術，具備以下特點：

1. 快速驗證圖片中是否包含文字內容
2. 識別宋體、楷體、仿宋等主流的字體
3. 自動去噪技術，系統自動掃描正在圖片，提取包含文字的區域。可以有效處理長微博中經常出現的文字和圖片混排的情況。（本技術已經申請專利）
4. 數據處理性能高，單幅圖片的處理時延<20ms

數據審核:視頻在采集、轉碼、編輯、拷貝等過程中因為各種原因導致視頻內容出現問題，在視頻歸檔前，需要對視頻的質量進行自動分析。系統支持對導入的視頻文件進行質量檢測。當出現黑屏、分辨率錯誤、畫面模糊、視頻變形、馬賽克等質量缺陷時可以報警并在元數據中記錄質量信息。同時可使用系統的不良信息掃描功能，對視頻進行自動檢測，看媒體資源中是否含有不良信息，包括反動、暴力、群體事件等。

二、媒體資源管理

數據編目: 系統采用基于視頻摘要的編目方式，用戶不需要對原始視頻進行逐幀瀏覽，而只需要瀏覽視頻摘要文件，然后完成編目工作。嚴格而準確地對數據進行歸檔和編目，是保證日后精確檢索的關鍵。當大量的媒體數據被存放到系統中以后，能否精確地定位到期望的數據，就完全取決于歸檔編目的方式和精度了。

這個過程可以通過系統以“人工智能”的方式自動來完成，但是人工的介入是必須的，因為在歸檔的精準度和可靠性等方面，在目前所能達到的技術水準，機器還代替不了人工。

其工作流程如下圖所示：

• 1) 關鍵信息提取：包括關鍵幀提取、場景變化識別、鏡頭變化識別；
• 2) 視頻摘要：基于關鍵信息提取，系統生成視頻摘要；
• 3) 視頻分段：基于系統生成的視頻摘要，系統提供自動視頻分段功能；
• 4) 視頻編目：用戶基于視頻分段結果，完成視頻的快速瀏覽，并為每段視頻錄入基本描述信息，完成視頻編目工作；

數據歸檔: 系統根據存檔的內容采用不同的存儲策略，實現分層存儲的管理系統。

1. 在線儲存：系統支持硬盤、磁盤陣列等在線儲存方式。系統將索引、元數據等重要數據放入在線數據庫。對于經常需要重復使用的素材系統生成低碼率副本或視頻摘要，供在線查詢及調用。
2. 近線儲存：系統支持流媒體磁帶庫作為近線存儲系統。高分辨率、高質量的媒體素材將被遷移到近線儲存設備中。
3. 資料遷移管理：根據預先制定的遷移策略和優先級別，集中處理分發遷移任務。系統具備自動遷移與手動遷移功能。每一類進入到系統中的資料，可根據預先定義的遷移策略，在規定時間自動遷移到規定位置。同時，可根據用戶端檢索的結果向選定的素材發出遷入/遷出命令，完成手動遷移工作。

文本分類: 在互聯網中，存在大量重復或者相似內容的數據，對于此類數據，需要采用內容聚合技術進行聚合，以便提高數據的利用效率。相似的文本內容除了通過文章正文進行分析，還可以通過標題進行分析。本算法使用Levenshtein距離計算文章的相似性，編輯距離指的是兩個字符串之間，由一個轉換成另一個所需的編輯操作次數。許可的編輯操作包括將一個字符替換成另一個字符，插入一個字符，刪除等。

圖片、視頻數據分類: 系統提供了媒體數據的自動分類功能，在進行媒體數據編目時，用戶可以通過手工的方式對視頻進行分類。系統在保留手工分類的基礎上，加入了基于視頻內容的自動分類功能。其流程如下圖所示：

視頻自動分類流程

• 1)通過視頻特征提取和標注，訓練基本的視頻分類；
• 2)事件定義：如飛機起飛、導彈發射。事件都包含特定的事件
• 3)基于分類對所有的視頻進行特征提取和索引；
• 4)利用機器學習技術，對新錄入的視頻自動進行分類；

三、媒體資源服務

全文檢索: 系統使用全文檢索技術，對科技文獻、電子書、論文、視頻、圖片描述信息進行抽取、分詞、索引等操作。

系統支持以下的關鍵詞檢索功能：

1. 支持按照關鍵詞的與或非等操作組合查詢
2. 支持按照文章的時間段范圍條件進行查詢
3. 支持按照文章的來源分類進行查詢

全文檢索流程如下圖所示：

全文索引技術原理圖

內容智能檢索: 視頻搜索功能具有如下特點：

1. 提取圖像的局部特征，其對旋轉、尺度縮放、亮度變化保持不變性，對視角變化、仿射變換、噪聲也保持一定程度的穩定性。
2. 獨特性好，信息量豐富，適用于在海量特征數據庫中進行快速、準確的匹配。
3. 多量性，即使少數的幾個物體也可以產生大量的特征向量。
4. 高速性，算法可以達到實時搜索的要求。
5. 可擴展性，可以很方便的與其他形式的特征向量進行聯合。

1）視頻往往會對原始視頻進行各種剪輯和變化，衍生出各種相關的版本。本系統可完美解決變化后視頻與原始視頻的匹配問題。

內容智能搜索效果

視頻指紋技術，能夠快速有效的識別視頻內容。可滿足版權保護取證需求。

其特點如下：

• 1.識別準確率高: >99%@5000小時視頻庫
• 2.識別速度快: <60s@5000小時視頻庫
• 3.抗干擾能力強: 能夠解決其他系統不能解決的拉伸、裁剪、旋轉等干擾

視頻指紋對比流程

2）可以使用畫面的局部特征作為條件進行視頻搜索，可以搜索視頻中是否包含某些特定內容等。如下圖所示，用一張圖片可以搜索到經過各種后期處理后的相關視頻。

內容智能搜索

權限控制: 系統基于用戶、用戶組、角色、權限四個維度進行用戶及權限管理。

1. 支持按照角色定義權限操作集合。
2. 支持對于不同的用戶分配不同的角色，即操作權限。
3. 每個用戶可以屬于多個不同用戶組，每個用戶組包含多個用戶。
4. 支持按照不同的業務數據對象對用戶進行權限分配。
5. 支持用戶強口令驗證功能。

內容發布:系統支持媒體數據的在線發布功能，其功能包括信息編輯、靜態頁面生成、相關文章天機、多欄目發布。

1. 信息編輯功能 ：信息記錄的增加、修改和刪除，是信息管理基本的功能。增刪改的操作直接更新數據庫記錄。 用修改功能可實現校對人員從數據庫中將信息調出，與原文件進行校對并修改錯誤信息。可根據需要在中文信息編輯后各安排多次信息校對與糾錯。
2. 靜態頁面的生成 ：數據在存入數據庫的同時，按編輯錄入的格式生成XML靜態頁面，并提供在網站上實際發布效果的預覽功能。格式效果由XML模版文件提供，無需編輯人員對格式進行編輯。
3. 相關文章的添加 ：提供站內相關信息的鏈接，按照編輯人員提供的關鍵字，從數據庫中查詢出符合條件的記錄，再由編輯根據需要添加鏈接到主文章。
4. 頻道欄目管理：系統提供欄目的增加、刪除、修改功能，用戶可以動態管理欄目信息。
5. 多欄目發布：對于一篇文章在多個欄目下發布，可以同時選中多個欄目，無需在每個欄目下多次編輯。