華為語音語義首席科學(xué)家劉群：自然語言處理，究竟有多難？

有請華為諾亞方舟實驗室

語音語義首席科學(xué)家劉群

為我們一一解答

自然語言處理：AI皇冠上的明珠

自然語言處理，既是一門科學(xué)，也是一門應(yīng)用技術(shù)，試圖讓機器去模擬人類的語言能力。

自然語言處理的研究對象是人類語言，如詞語、短語、句子、篇章等。通過對這些語言單位的分析，不僅要理解字面含義，還希望能理解說話人所表達的情感，以及傳達的意圖。

沒有成功的自然語言處理，就不會有真正的認知智能。因此，自然語言處理被視為人工智能的核心問題之一，也被喻為“AI皇冠上的明珠”。

兩大挑戰(zhàn)，仍待突破

隨著人類進入智能時代，智能設(shè)備和數(shù)據(jù)量都空前增長，自然語言處理領(lǐng)域經(jīng)過多年發(fā)展，雖然取得了長足的進步，但面臨很多挑戰(zhàn)，其中最主要的主要問題有兩個：

一是語義理解，即知識、常識的學(xué)習(xí)問題。

盡管常識的理解對人類來說不是問題，但是它卻很難被教給機器。比如我們可以對手機助手說“查找附近的餐館”，手機就會在地圖上顯示出附近餐館的位置。但你如果說“我餓了”，手機助手可能就無動于衷，因為它缺乏“餓了需要就餐”這樣的常識。

大量的這種常識都潛藏在我們意識的深處，AI系統(tǒng)的設(shè)計者幾乎不可能把所有這樣的常識都總結(jié)出來，并灌入到系統(tǒng)中。

二是低資源問題。

面對標注數(shù)據(jù)資源貧乏的問題，譬如小語種的機器翻譯、特定領(lǐng)域?qū)υ捪到y(tǒng)、客服系統(tǒng)、多輪問答系統(tǒng)等，自然語言處理尚無通用的高效解決辦法。

在工程實踐中，我們除了設(shè)法引入領(lǐng)域知識（詞典、規(guī)則）以增強數(shù)據(jù)能力之外，還可以基于主動學(xué)習(xí)的方法來增加更多的人工標注數(shù)據(jù)，以及采用無監(jiān)督和半監(jiān)督的方法來利用未標注數(shù)據(jù)，或者采用多任務(wù)學(xué)習(xí)的方法來使用其他任務(wù)，甚至其他語言的信息，還可以使用遷移學(xué)習(xí)的方法來利用其他的模型。

如何改變我們的生活？

華為諾亞方舟實驗室的自然語言處理研究主要包括三個大的方向：語音技術(shù)、機器翻譯和對話。

華為的手機語音助手就集成了諾亞方舟的語音識別和對話技術(shù)。諾亞方舟的機器翻譯技術(shù)支持了華為內(nèi)部海量的技術(shù)資料的翻譯。諾亞方舟基于知識圖譜的問答技術(shù)為華為的全球技術(shù)支持系統(tǒng)（GTS），提供了快速準確地回答復(fù)雜技術(shù)問題的能力。

在金融、法律、醫(yī)療健康等領(lǐng)域，自然語言處理技術(shù)也得到了越來越廣泛的應(yīng)用。

例如，自然語言處理可以為證券投資提供各種分析數(shù)據(jù)，進行金融風(fēng)險分析、欺詐識別等；可以幫助進行法律工作者進行案例搜索、判決預(yù)測、法律文書自動生成、法律文本翻譯、智能問答等；還可以幫助醫(yī)生進行病歷的輔助錄入、醫(yī)學(xué)資料的檢索和分析、輔助診斷等等。