Learning Objectives
- 說明語言模型如何一個字一個字地產生回答,以及為什麼同一個問題每次答案可能不同。
- 分辨「回答的語氣」與「模型的把握」,指出 AI 容易出錯的幾類情境。
- 判斷連網搜尋能減少哪些錯誤、哪些錯誤仍然存在。
語言模型在做什麼
生成式 AI 的核心是語言模型。它從大量文字中學到「在這段話後面,接什麼字比較常見」,回答問題時就一步一步預測下一個字:先看你的問題和它已經寫出的部分,算出每個候選字的機率,選一個接上去,再預測下一個。
這和「到資料庫查答案」不同。模型沒有一張寫著正確答案的表格,它產生的是讀起來最像正確答案的文字。常見的知識,訓練資料裡出現過很多次,最可能的字通常也就是正確的字;冷門的細節、精確的數字、書目資料,就未必如此。
下面的練習用一個簡化的生成器示範這個過程。
想一想:模型怎麼產生回答
語言模型產生回答的方式,最接近下列哪一種?
同一個問題問兩次,AI 給了不同的答案。最可能的原因是?
AI 用很肯定的語氣說出一個精確的數字,這代表什麼?
AI 容易出錯的情境
從生成的方式,可以推出 AI 在哪些情境容易出錯:
| 情境 | 為什麼容易錯 | 例子 |
|---|---|---|
| 冷門的細節 | 訓練資料裡很少出現,候選字的機率很分散 | 某年某地的統計數字、地方人物 |
| 訓練截止之後的事 | 模型只學過某個時間點以前的資料 | 昨天的新聞、最新的法規 |
| 精確計算 | 數字也是一個字一個字預測出來的,不是真的在算 | 多位數乘法、統計 |
| 引用與書目 | 作者、年份、期刊分別生成,組合可能不存在 | 參考文獻、DOI |
現在許多 AI 服務可以連網搜尋或使用工具(例如計算機、程式執行)。搜尋能補上最新資訊,但不能修正所有錯誤:搜到的網頁本身可能不可靠,模型也可能讀錯或轉述錯誤。下一個練習請你判斷,哪些錯誤在連網後會減少。
想一想:連網與工具
讓 AI 連網搜尋之後,哪一種錯誤最可能減少?
為什麼 AI 連網之後,它給的引用仍然要查證?
要知道「3,847 × 29」的答案,最合適的做法是?
帶走的觀念
- 語言模型產生的是讀起來最像答案的文字,不是從資料庫查出的答案。
- 回答的語氣不等於模型的把握;同一題答案不一致,是沒有把握的訊號。
- 冷門細節、訓練截止之後的事、精確計算、引用與書目,是最需要查證的四種情境。
- 連網補上新資訊,計算工具補上計算,但兩者都不能取代你自己的查證。
下一課練習怎麼查證:分辨事實、推論與意見,並逐筆查證 AI 給的引用。