AI學腦補 打造聊愈系機器人

看圖說故事對人類來說是輕鬆好玩的事，但對毫無想像力的AI人工智慧而言，卻是巨大挑戰，必須理解圖片意義、生成字句，還要看懂圖片中的因果邏輯。中央研究院資訊科學研究所副研究員古倫維開發獨創模型，教AI看圖說出「好看」的故事，讓機器更有溫度。

電腦如何學會「看圖說故事」？古倫維指出，目前學界使用機器學習的方式，把圖和對應的文字丟進電腦，讓電腦從大量的圖文搭配組合，從中學習看到怎樣的圖片，應該說出怎樣的故事。這個方法儼然成爲軍備競賽，「誰的電腦計算能力強，得到的模型更復雜，生成的文字就會更好。」

在這樣競爭環境下，古倫維改採不同策略，把生成故事過程拆成「語意抽取」和「生成文本」兩階段。第一階段利用精熟的圖片辨識技術和資料庫，抽取故事概念。例如圖片中有小男孩、天空、腳踏車三個概念，AI最後可能生成「一個小男孩在天空下」故事大綱，人們可手動調整爲「一個小男孩騎着腳踏車」。

在第二階段，古倫維再運用故事文本資料庫，讓機器學習如何將第一階段抽取，且由人類修改過的概念，組合成漂亮的故事。古倫維進一步表示，在看圖選角階段，其團隊已開發出「自動選角」技術，電腦有能力篩選出讓故事最精彩的「黃金組合」，是目前成果最好的AI故事生成模型。古倫維也在模型中納入「知識庫」，幫AI增加說故事知識。例如當圖片中有人與馬時，知識庫可補充人會騎馬、養馬等知識，讓AI有機會說出「一個人騎着自己養的馬」這種具有故事性的句子。

「會看圖說故事的AI，可從眼前情景連結到事件或情感，就像人類腦補一般，這些腦補就是故事。」古倫維說，這項技術讓居家照護機器人更有人味，讓人類被「聊」愈。