NEC與東京工業大學聯合開發“多模圖像融合技術”,以AI技術大幅提高惡劣條件下視覺識別度
～自動合成可見光與非可見光～

　　NEC與日本國立大學法人東京工業大學工學院奧富正敏教授、田中正行特定副教授的研究團隊（以下簡稱東京工業大學）共同開發了“多模（注1）圖像融合技術”，通過AI技術將一般攝像頭拍攝的可見光圖像與熱成像相機拍攝的非可見光圖像進行自動高效合成，且提高了單個圖像拍攝時的視覺識別度。
　　在需要瞬時視覺識別的各個領域中利用此項技術，即便在惡劣條件下也可以實現正確判斷。例如，夜間或濃霧等惡劣天氣條件下也可以正常進行的設施監控；即便迎面行駛汽車的刺眼的車燈及黑暗造成視覺死角也可以使用的自動駕駛支持；不僅可以監測建筑表面的裂縫，還可以監測其內部異常的基礎設施點檢等。
　　以往想要合成不同種類攝像頭拍攝的圖像需要專家進行復雜的手動合成作業。而此技術則將各種攝像頭采集的圖像通過AI技術自動高效合成，無需手工操作。并且充分利用可見光圖像和非可見光圖像各自的優勢，即便是以往人眼難以看清的場景也可以獲得較高的視覺識別度。
　　NEC與東京工業大學今后也將繼續通過產學合作形式共同研發支撐各項社會基礎設施安心安全運轉的圖像處理以及AI相關技術。
【背景】
　　近年來，在圖像傳感器的不斷升級及成本持續下降的背景下，將熱成像攝像頭及可捕捉物體內部構造的X光?太赫茲波?毫米波攝像頭等非可見光攝像頭應用到夜間、濃霧等惡劣天氣、逆光、遮蔽等不利條件下的監控及診斷的情況越來越普及。但是這些非可見光攝像頭比可見光攝像頭的分辨率和畫質都要低，視覺識別起來很困難，因此需要將可見光攝像頭與之配合在一起使用，通過對比雙方的圖像進行監視和診斷。因此，想要快速精準地判斷對象物體的狀況是比較困難的。為解決這個課題，最好的辦法就是將兩種圖像合成一個圖像，但是過去的合成辦法需要精通攝像頭和攝影環境的專家親自手動調整，從各自單獨的圖像中抽取出適于合成的部分，一邊注意防止過度曝光和曝光不足以及噪點增強破壞圖像等問題，一邊進行復雜的圖像合成作業。另外，在非可見光中包含的用于判斷異常及危險物的特征很可能因為合成造成丟失，這也是一個重要課題。
　　NEC與東京工業大學通過學習了專家的變換技能的AI技術，將可見光攝像頭與非可見光攝像頭拍攝的圖像自動高效統合，提高對象物?狀況的視覺識別度，共同開發了即便在惡劣環境下也可以快速判斷是否存在異?；蛭ｋU物的“多模圖像融合技術”。

【新技術的優點】
　　AI技術自動從多個圖像中選擇出視覺識別度高的圖像，并在強調非可見光中包含的細小特征的同時進行圖像合成，從而實現打破以往局限性的高度視覺識別。
　　AI技術會根據熱成像攝像頭、太赫茲攝像頭等攝像頭種類、環境特征（亮度、光線方向、有無障礙物）等不同條件，對圖像內各部分的視覺識別度的高低進行評價，從而從各個圖像中自動抽取出最適宜的部分。
　　此外，AI技術在處理非可見光攝像頭拍攝的圖像時，會針對異常及危險物的細小特征進行解析，進行適當的強弱調整以避免因過度曝光及曝光不足而破壞圖像，從而自動生成以往無法實現的高視覺識別度的多模（可見光-非可見光）融合圖像。
(注1) Multimodal（多模）
多種模式、形態。本文中提到的多模是指可見光攝像頭拍攝的圖像和紅外線攝像頭等非可見光攝像頭拍攝的圖像。
(注2) 獲得創新研發推進項目（ImPACT）Tough Robotics Challenge關于惡劣環境模擬設備的許可并使用。