ChatGPT任性妄爲，竟未經許可模仿人聲

上週，OpenAI 發佈了 GPT-4o 的“成績單”，一份詳細說明了該公司最新大型語言模型“關鍵的風險領域”以及他們希望如何減輕這些風險的報告。

據Ars Technica報道，有一個令人膽戰心驚的例子，OpenAI 發現該模型的高級語音模式——允許用戶與 ChatGPT 對話——在未經用戶許可的情況下意外模仿了用戶的聲音。

“語音生成也可能出現在非對抗性的情況下，例如我們在 ChatGPT 的高級語音模式中使用這種能力來生成語音，”OpenAI 在其文檔中寫道。“在測試期間，我們還觀察到罕見的情況，即模型會無意生成模仿用戶聲音的輸出。”

一段附加的視頻片段展示了這一現象，ChatGPT 在毫無明顯緣由地大喊“不！”之後，突然切換成了幾乎令人難以置信的用戶聲音版本。這是一種瘋狂的未經許可的行爲，感覺就像是直接從科幻恐怖影片中截取而來的。

“OpenAI 剛剛泄露了《黑鏡》下一季的情節。” BuzzFeed數據科學家馬克斯·伍爾夫發推文稱。

在其“系統說明”中，OpenAI 描述了其人工智能模型創建“聽起來像人類的合成語音音頻”的能力。該公司指出，這種能力可能“助長諸如因冒充導致欺詐增多之類的危害，並可能被利用來傳播虛假信息”。

OpenAI 的 GPT-4 不僅具有令人不安的模仿聲音的能力，還具有像音效和音樂這類“非言語發聲”的能力。

通過拾取用戶輸入中的噪音，ChatGPT 可能會判定用戶的聲音與正在進行的對話有關聯，並被誘使克隆該聲音，這與提示注入攻擊的運作方式有相似之處。

幸運的是，OpenAI 發現無意的語音複製風險依然“極小”。該公司還通過將用戶限制在 OpenAI 與配音演員合作創建的聲音範圍內，鎖定了意外語音的生成。

“我對這張系統卡的解讀是，想誘騙它使用未經批准的語音是不可能的，因爲他們已經設置了非常強大的暴力破解防護措施來加以防範，”人工智能研究員西蒙·威利森告訴Ars。

“想象一下，有了未經過濾的模型我們能獲得多大的樂趣，”他補充道。“它被限制不能唱歌，這讓我很氣惱——我原本還盼着讓它給我的狗唱些傻傻的歌呢。”

有關 ChatGPT 的更多信息： 爲什麼 OpenAI 最傑出的員工要離職？