提升AI可信度：MIT團隊開發新工具對抗“幻覺”
來源：MIT News
儘管大型語言模型的能力令人印象深刻，但它們仍然遠非完美。這些人工智能模型有時會出現“幻覺”，生成不正確或沒有依據的信息來回應查詢。
由於這個幻覺問題，模型的響應通常需要由人工審查員進行驗證，尤其是在醫療或金融等高風險環境中。然而，驗證過程往往要求人們閱讀模型引用的長文檔，這項繁瑣且容易出錯的任務可能會讓一些用戶望而卻步，從而不願意使用生成式 AI 模型。
爲幫助人工驗證者，MIT 的研究人員創建了一個用戶友好的系統，使人們能夠更快地驗證大型語言模型的響應。這個名爲 SymGen 的工具可以讓 LLM 生成帶有引用的響應，直接指向源文檔中的具體位置，比如數據庫中的某個單元格。
用戶可以懸停在文本響應的高亮部分，以查看模型用於生成特定詞彙或短語的數據。同時，未高亮的部分則顯示需要額外關注以進行檢查和驗證的短語。
“我們讓人們能夠選擇性地關注他們需要更加關注的文本部分。最終，SymGen 能夠提高人們對模型響應的信心，因爲他們可以輕鬆地仔細檢查，以確保信息的可靠性。”電氣工程與計算機科學研究生、SymGen 論文的共同第一作者 Shannon Shen 表示。
通過用戶研究，Shen 和他的合作者發現，使用 SymGen 進行驗證的時間比手動流程縮短了約 20%。通過使人們驗證模型輸出的過程更快、更簡單，SymGen 有助於識別在各種實際應用中使用的 LLM 的錯誤，從生成臨牀記錄到總結金融市場報告。
Shen 的論文合作者還包括共同第一作者、EECS 研究生Lucas Torroba Hennigen；EECS 研究生 Aniruddha “Ani” Nrusimha；Good Data Initiative 的主席 Bernhard Gapp；以及高級作者 David Sontag，EECS 教授、MIT Jameel Clinic 成員、計算機科學與人工智能實驗室（CSAIL）臨牀機器學習組的負責人；還有助理教授 Yoon Kim，CSAIL 的成員。該研究最近在語言建模會議上進行了展示。
符號引用
爲了幫助驗證，許多 LLM 被設計爲生成引用，指向外部文檔，並提供語言基礎的響應，以便用戶進行檢查。然而，這些驗證系統通常是事後考慮的，並沒有考慮到人們在篩選大量引用時所需的努力，Shen 說。
“生成式 AI 的目的是減少用戶完成任務所需的時間。如果您需要花費數小時閱讀這些文檔，以驗證模型的說法是否合理，那麼在實際應用中生成的內容就不那麼有幫助了。”Shen 表示。
研究人員從將要進行驗證工作的人的角度來解決這個問題。
SymGen 用戶首先向 LLM 提供可以作爲參考的數據，例如包含籃球比賽統計信息的表格。然後，研究人員進行一箇中間步驟，而不是立即要求模型完成任務，比如從這些數據生成比賽摘要。他們提示模型以符號形式生成響應。
在這個提示下，每當模型希望在響應中引用詞彙時，必須寫出數據表中包含該信息的具體單元格。例如，如果模型想在響應中引用“波特蘭開拓者”這個短語，它將用數據表中包含這些詞的單元格名稱替換該文本。
“因爲我們有這個中間步驟，使文本以符號格式呈現，我們能夠實現非常精細的引用。我們可以明確指出，輸出中每一段文本具體對應數據中的哪一部分。”Torroba Hennigen 表示。
SymGen 然後使用基於規則的工具解析每個引用，將相應的文本從數據表複製到模型的響應中。
“這樣，我們知道它是逐字複製的，因此可以確保與實際數據變量對應的文本部分不會出錯。”Shen 補充道。
簡化驗證
模型能夠生成符號響應，是由於其訓練方式。大型語言模型接受來自互聯網的大量數據，其中一些數據以“佔位符格式”記錄，代碼替代了實際值。
當 SymGen 提示模型生成符號響應時，它使用類似的結構。
“我們以特定的方式設計提示，以發揮 LLM 的能力。”Shen 補充說。
在用戶研究中，大多數參與者表示 SymGen 使驗證 LLM 生成的文本變得更容易。他們驗證模型響應的速度比使用標準方法快約 20%。
然而，SymGen 的效果受源數據質量的限制。LLM 可能引用錯誤的變量，而人工驗證者可能對此毫不知情。
此外，用戶必須以結構化格式（如表格）提供源數據，以便輸入到 SymGen。目前，該系統僅適用於表格數據。
展望未來，研究人員正在增強 SymGen 的功能，以便處理任意文本和其他數據形式。有了這個能力，它可以幫助驗證 AI 生成的法律文件摘要的某些部分。他們還計劃與醫生一起測試 SymGen，以研究它如何識別 AI 生成的臨牀摘要中的錯誤。
這項工作部分由 Liberty Mutual 和 MIT 智能探索計劃資助。
https://news.mit.edu/2024/making-it-easier-verify-ai-models-responses-1021