【摘要】高性能計算在快速數據處理和海量數據高速分析方面的特點與監管業務的信息化發展相契合，更容易實現大時間和地域跨度的及時監管和及時處理。本文詳細介紹了高性能計算在廣播電視廣告監管方面的應用。

　　【關鍵字】 計算機集群　海量數據　資源利用交　互效率

一.引言

　　高性能計算（High performan cecomputing，縮寫HPC，也稱“超算”）【1】通常指多處理器集群或多臺計算機集群計算的系統和環境，通過軟件系統和硬件環境的完美配合實現在單位機房面積內運算效能最大化的系統。高性能計算分很多類型，包括通過高性能網絡互聯的通用計算機集群系統或專用計算機集群到天河之類的巨型機系統，系統運算核心從十幾顆到上萬顆不等。

　　隨著信息技術發展，高性能計算已經不單指大規模通用CPU或重核CPU集群計算系統，基于GPU集群和X86服務器集群的高性能計算系統也日趨成熟。通過高速網絡連接，用戶可以根據業務需要搭建規模不一，價格相對低廉的超算系統提升單位機房面積綜合計算效能。高性能計算應用領域非常廣泛，傳統的應用領域包括：量子化學、分子模擬、氣象預報、天氣研究、油氣勘探、流體力學、結構力學、核反應等。隨著經濟發展和社會進步，人們需要更深入、更精細和更大規模的對研究對象進行分析和計算模擬，高性能計算成為在發現新現象、認識科學規律、進行工程設計中不可替代的手段。應用范圍從傳統領域不斷擴大到資源環境、航空航天、新材料、新能源、醫療衛生、金融、文化產業等經濟和社會發展的眾多領域。

　　在海量數據大規模分析應用系統中，在每天PB級的數據承載壓力下，由于節省了大量的硬件設備和配套資源高性能計算系統是一個合適的選擇。中國是人口大國，社會基礎信息量極大，大量高性能計算已經應用在重要部門的海量信息融合性監管和分析系統中，隨著國家信息化管理要求的不斷提高，高性能計算對推動各級管理部門的信息自動化、智能化、融合化發展起著決定性作用。

二.高性能計算主要技術特點

　　相對于傳統應用系統，高性能計算系統主要解決了：提高系統資源的利用率和加快運算節點間的交互效率。

　　運行在單臺X86平臺上的傳統應用系統屬于多線程串行工作模式，即系統按照標準的系統資源分配原則將任務分配到不同的物理核，將不同物理核的計算結果保存在內存或硬盤。傳統環境下的應用服務器的平均資源利用率通常不超過30%。

　　云計算很好地解決了快速部署和硬件資源共享，可以大幅減少云平臺的資源浪費，將不同節點的處理器、內存、存儲等資源統一分配的網格計算技術，以及為了減少落盤次數發展起來的內存運算技術（即所有計算結果和交互數據都存放在內存中）都是為了最大限度提升系統整體效能。

并行計算是高性能計算的一種，通常我們也把運算能力較強的定制化服務器稱為HPC（High performan cecomputer），隨著應用需求的發展，目前我們所描述的HPC（High performan cecomputing）系統已經不單單指一臺定制化設備，而是通過高速網絡連接起來的多服務器機群和底層資源控制系統之間的完美組合。

圖1HPC系統架構

　　圖1顯示了一標準化網狀HPC系統。在網狀網絡拓撲中，該結構支持通過縮短網絡節點之間的物理和邏輯距離來加快跨主機的通信，而控制服務器通過任務和運算服務器資源的狀況進行統籌安排，先進的底層控制技術可以按照CPU時鐘來分配每個物理核在不同的時間段完成指定的任務。典型HPC環境中的任務執行，有兩個模型：單指令/多數據(SIMD)和多指令/多數據(MIMD)【2】。以視聽節目數據分析HPC系統為例，由于系統要進行視聽節目的轉碼、元數據提取、拆幀、圖像內容分析、語音內容分析等，但同時又需要多路視頻實時并發，實際上是一個典型的MIMD系統。

　　對于數據運算復雜、數據總量大的系統來說，HPC因為單位資源效率的數倍甚至數十倍提高，可以大幅降低硬件投入成本、機房建設成本和維護成本，滿足信息化快速發展需求。

　　由于對系統底層資源控制技術研究的不斷深入和高速網絡的發展，利用通用服務器構建HPC系統已經日趨成熟，用戶可以根據信息處理需求定制化不同規模的HPC系統。HPC相對于巨型機來說，更加實用、部署靈活、價格低廉，相對于云計算來說，運算更快、空間更小、節能環保。

三.廣播電視廣告監管的現狀

　　當前，電臺電視臺播放虛假醫藥廣告問題比較突出，屢禁不止。這些虛假廣告既損害了人民群眾的切身利益，也嚴重影響了廣播電視媒體的形象。國家新聞出版廣電總局先后下發了《關于做好養生類節目制作播出工作的通知》、《關于進一步加強醫療養生類節目和醫藥廣告播出管理的通知》等行業法規。堅持以宣傳普及疾病預防、控制、治療和養生保健等科學知識為主體內容，堅持真實、科學、權威、實用的原則，不得夸大夸張或虛假宣傳、誤導受眾。做好醫療養生類節目和醫藥廣告播出對于宣傳國家醫藥衛生政策，傳播醫學科學知識，引導民眾增強健康意識、養成健康生活方式，促進醫患和諧，為健康中國創造良好氛圍，培育厚田沃土，具有十分重要的意義。

　　一方面要求各級新聞出版廣電播出機構自覺遵守、執行，落實《通知》精神，開展自查自糾、認真整改；另一方面應依據法律法規對近千套的有線電視節目實現廣告節目的實現有效的監聽監看及研判。前者是相信廣播電視播出機構具有自覺性，后者是實現管理的必要監督手段。

　　如何利用新技術來實現對海量節目內容的排查、定位、數據統計是擺在監管面前的問題。但是由于目前監管技術手段較為單一，需要借助于新技術手段利用機器協助人工達到對已知違規內容實時發現、快速檢索、快速取證等功能，還需要借助機器學習技術能夠自動發現有明顯違規現象的違規廣告內容。

四.高性能計算在廣播電視廣告監管應用研究

　　國內的電視節目信號有數千路，要實現在全國電視網絡中做到自動、快速發現違規廣告內容需要解決如下三個問題：

　　快速數據處理能力：電視節目數據屬于非結構化數據，相對于結構化數據庫，數據量比較大，滿足數千路數據的實時處理需要耗費大量的系統資源，傳統的多線程串行系統設計思路需要數以千計的設備才能將所有電視信號進行深度內容分析。

　　海量數據高速分析能力：視聽節目數據在結構化之后，數據量非常大，100路數據1年的結構化數據總條目就可以達到30多億條，在違規廣告監管中如果需要大時間和地域跨度做分析，系統分析的綜合效率需要大幅提升，才能滿足監管業務的時效性要求。

　　信息標準化：數據處理、數據分析、違規節目庫、違規分類分級等都需要對信息資源進行標準化管理。比如將所有違規樣本和視聽節目的內容屬性按照統一標準進行分析，所提取的內容屬性滿足內容檢索要求，即通過現有樣本可以與實時信號流進行圖像和聲音的內容比對而實現對相似節目實時發現，或者可以從海量數據資源中快速篩選出與違規樣本相似的歷史節目數據。只有實現了信息標準化之后，監管信息系統才能明確相對穩定的技術方向，保證系統業務的持續發展。

　　在解決這三個問題中，高性能計算在快速數據處理和海量數據高速分析方面可以大幅提供系統性能的同時可以節省大量的硬件資源，相對較少的環境空間需求和設備需求可以加速監管業務的信息化發展。同時在日益緊迫的違規廣告監管中，更容易實現大時間和地域跨度的及時監管和及時處理。

　　資源粒化和智能分析系統是目前國家新聞出版廣電總局正在進行系統實驗的一個應用平臺，在該平臺中很好的解決了上述問題，并提出了自動化、高融和監管設計思路，通過一次粒化、自適應分析系統總體設計，可以滿足日常和突發監管業務需求。

　　在下述的資源粒化與智能分析平臺介紹中，系統在數據加工、管理、分析、應用等不同環節，在信息高度標準化的前提下，結合行業知識充分利用信息之間的關聯關系形成可被機器認知的知識化信息資源體系，從而可以承載智能分析、自主學習等智能應用系統。

五.資源粒化與智能分析平臺

　　資源粒化與智能分析總體架構

　　空間資源粒化：是對空間資源的知識化屬性提取過程；多源粒化適應性體系結構：是指由用戶自主對各類業務資源（含信息、知識、過程等）進行知識化屬性提取，并可實時、簡便地進行相應調整；雙空間構造技術：具體在軟件系統設計、開發過程中，將硬件環境與軟件結構、模型算法、控制反饋等方面進行統一的規劃、集成，達到高效、低耗、自適應穩定工作的目的。

圖2空間資源粒化與智能分析架構

　　主要技術構成

　　列式數據庫：是大數據平臺中結構化/元數據管理的基礎部件；文字智能引擎：針對多語言文字內容，基于信息論、概率論的數學模型，提供各種處理、分析、關聯、聚類等功能；視頻智能引擎：針對幀圖像中顏色、紋理和形狀等特征建立其高維度空間的數學模型，實現鏡頭、關鍵幀、視頻摘要、幀圖像索引、相似查詢與分析；音頻智能引擎：針對音頻信號，基于多種數學模型與方法，提供編解碼、語種識別、聲紋識別、語音識別（語音轉文字）、音頻短語識別等功能；流式數據處理引擎：將內存處理、事務、歷史數據與流式分析相結合，對臨界點進行實時計算，達到每秒百萬條信息量的分析效率，處理遲延毫秒級；超算結構：基于x86聚合技術架構，支持向量計算AVX和多處理器并行計算。

　　資源粒化集群示意圖

圖3資源粒化集群

　　資源粒化集群和智能分析集群都采用了高性能運算集群架構，系統將實時流經過轉碼、分鏡頭和拆幀等數據歸一化處理后，還要做元數據屬性和傳播屬性提取、圖像內容分析及屬性提取、聲音內容分析及屬性提取、語音轉文字等工作并將結果數據入庫。因為采用了HPC集群架構，系統可以將任務分配到不同系統單元的時間窗口上，從數據流進入到產生結果數據之前始終不落盤，并且每個計算資源都按照計算任務的復雜程度安排了合理的時間窗，從而保證計算資源最大化利用，數倍以上的提升了系統的綜合效率。

　　在圖3所示的硬件環境下，具有以下功能：100路節目轉碼、鏡頭分拆、關鍵幀、圖像內容結構化、元數據提取、語音轉文字等屬性提取并實時入庫。其中鏡頭及關鍵幀提取能夠實時提取100路鏡頭及關鍵幀；語音轉文字能夠對100路節目實時進行中、英文語音轉文字，新聞類節目準確率90%以上。

　　通過對原始視頻的資源粒化處理，形成以元數據、關鍵幀、圖像特征屬性（臺標、人物、物品、場景、標識、紋理、字幕等）、聲音屬性（聲紋、語音、語種、語音轉文字）、關鍵字等構成的結構化數據，通過系統學習在列式數據庫中形成特定的關聯性數據，即知識型數據引擎，在分析層中可以通過任意屬性組合快速、準確定位原始視頻文件。

　　在違規廣告監管業務中，我們可以通過關鍵字、圖像特征和聲紋快速找到相似的廣告信息，在以廣告片斷為樣本的檢索實驗中，違規節目的篩選和攔截率甚至可以接近100%。以目前比較經常出現的虛假廣告為例，一些虛假廣告主采取多種手段躲避廣播電視監管，先是以節目形式播出廣告，從節目包裝、節目名稱到節目形式都是一部專題片，比如：某衛視播出的《走進科學之解讀白癜風》和《走進科學之解密甲狀腺》，實際播出的是違規醫療廣告，一旦被國家新聞出版廣電總局叫停后，它會在地方有線頻道播出。在實驗中，我們將違規視頻放入違規樣本庫，系統對34家上星衛視節目進行布控，看看在此廣告被叫停后是否還有別的頻道播出此廣告。系統能夠準確找到同樣節目在個別臺播出，同樣，我們也可以按照“白癜風”、“甲狀腺”、“王克珍”等關鍵字檢索是否還有類似內容播出。

　　通過實驗，我們發現利用資源粒化和智能分析系統，在違規廣告監管中系統可以提供如下手段實現違規廣告監管：

　　（1）將違規廣告作為樣本，在電視節目流上進行實時攔截，時效性為秒級，相同節目內容攔截率100%，可以進行多樣本同時攔截。

　　（2）按照特定的違規廣告樣本，在歷史節目中進行查詢，根據資源庫的大小，效率從十幾秒到數分鐘不等，相同節目內容準確率接近100%。

　　（3）根據違規廣告特點，通過機器學習將聲紋、人像和關鍵字等進行相似節目檢索和攔截，系統根據內容相近程度提供結果，人工甄別后可確定新的違規樣本，維護進樣本庫后可按照第1種方式自動攔截，提高準確率。

六.結束語

　　隨著新一代信息技術在各行各業的大量應用，面對海量內容數據，智能、高效的信息化技術手段應用在廣告監管業務上是必然趨勢，為了保證系統資源被最大限度利用，在數據集中處理和分析系統中應用超算架構搭建數據中心是非常適合的。隨著技術發展，超算架構可以采用通用X86平臺實現數倍甚至數十倍性能的提升，建設和維護成本大幅下降，已經成為新信息化應用系統核心。

　　國家新聞出版廣電總局監管業務對新型內容監管系統的需求越來越迫切，就廣告監管業務來說，搭建新型廣告監管系統需要大量的運算資源，而超算架構可以利用成熟技術，減少機房面積和環境資源，能夠及早實現更大規模、更智能、自動化更高的全國廣告及其它視聽節目內容監管體系。B&P

參考文獻

　　【1】https://baike.baidu.com/item/高性能計算/329249

　　【2】《并行處理基本原理》，作者：（美）HarryF.Jordan，翻譯：遲利華，出版：清華大學出版社2004年出版