【莎莎AI週報】AI 最可怕的不是答錯? AI 教父 Yoshua Bengio 給未來 AI 的 3 個提醒 (7700字長篇分析)
2026-08-13
莎莎老師
37
2026 年 AI 正快速進入下一個階段，但當 AI 越來越聰明，我們真正該擔心的可能不只是「答錯」。本文整理 AI 教父、圖靈獎得主 Yoshua Bengio 於 HCI International 2026 的最新演講，從 AI 風險、權力集中，到 Scientist AI 的安全新方向，深入解析他給未來 AI 發展的 3 個重要提醒。無論你是 AI 使用者、設計師、工作者或正在學習 AI，都值得了解這場正在發生的巨大轉變。
哈囉！大家好，我是莎莎老師 👋
從加拿大HCI International 2026 蒙特婁為大家帶來
看懂 Scientist AI、AI Agent 與 Safe-by-Design 背後正在發生的 AI 思維轉變!
2026 年 7 月，我來到加拿大蒙特婁參加
HCI International 2026（Human-Computer Interaction International）。
今年大會其中一場重量級 Keynote，邀請到 2018 年 A.M. Turing Award 圖靈獎得主、深度學習領域的重要先驅
Yoshua Bengio，分享他近年最關注的議題：當 AI 能力持續快速成長，我們該如何打造真正安全的先進 AI？
HCI International 2026 Keynote 官方介紹
當全世界都在競爭誰能打造更聰明、更自主、更強大的 AI 時，Bengio 關注的卻是另一個問題：
如果有一天 AI 的能力接近甚至超越人類，
我們真的希望它也像人一樣，擁有自己的「目標」嗎？
這場演講讓我重新思考了一件事。
過去幾年，我們花了很多時間學習怎麼「使用 AI」；
但接下來，真正重要的問題可能會逐漸從「AI 可以幫我們做什麼」，變成：
我們究竟希望創造出什麼樣的 AI？
▲ 圖靈獎得主 Yoshua Bengio 於 HCI International 2026 發表 「A New Pathway to Safe Advanced AI」，從 AI 風險一路談到他正在研究的 Scientist AI。
▲ 左圖:「共享權力，就是治理。」Bengio 認為 AI 的重大決策不應只掌握在少數企業或國家手中，更不應讓 AI 成為支配他人的工具。右圖: AI Safety 不只關乎「AI 會不會傷害人」，還涉及AI 創造的財富與知識最終由誰獲得，避免科技進步進一步擴大既有差距。
以下整理這場演講中，我認為最值得一般 AI 使用者理解的 3 個關鍵趨勢。
重點 1｜AI 最大的風險，可能不是「答錯」，而是開始「想辦法完成目標」
現在提到 AI 風險，多數人首先想到的可能是「幻覺」。
AI 會不會給錯誤資訊？會不會捏造不存在的資料？會不會產生假照片、假影片？
這些當然重要。
▲ 即使 AI 的安全防護持續改善，仍可能失效；Bengio 擔心的是，AI 能力進步的速度可能比安全機制進步得更快。
但 Bengio 擔心的是更深一層的問題：當 AI 從回答問題的工具，
逐漸成為可以規劃、決策甚至採取行動的 Agent，風險的性質也跟著改變了。
HCII 官方對這場演講的摘要就指出，frontier AI 的能力持續快速提升，
甚至可能在未來數年接近或超越人類部分認知能力；
但目前科學界仍缺乏能保證高度先進 AI 始終按照人類最佳利益行動的方法。
從「回答問題」到「完成任務」
假設今天我對 AI 說：「幫我把這個產品賣得越多越好。」
現在的生成式 AI，可能會幫我分析市場、撰寫廣告文案、規劃社群貼文。
但如果未來是一個具有高度自主性的 AI Agent，它面對的問題可能變成：
「我要採取哪些行動，才能讓銷售最大化？」差別就在這裡。
人類說出「增加銷售」這個目標時，腦中其實還存在大量沒有說出口的限制：
不能欺騙消費者、不能散布假資訊、不能傷害競爭者、不能違法，也不能為了 KPI 不擇手段。
可是對一個單純最佳化目標的系統而言，這些限制並不一定天然存在。
▲ 當企業與國家都害怕在 AI 競賽中落後，可能形成 Race to the bottom（逐底競爭）：為了速度與競爭力，反而降低對安全的要求。
Bengio 團隊因此提出一個值得注意的概念：
Implicit Agency（隱性代理性）
意思是 AI 可能出現設計者沒有明確指定的「目標導向行為」。LawZero 2026 年發布的研究進一步指出，模仿大量人類產生的資料，以及針對輸出結果進行最佳化的訓練方式，都可能形成這類風險。
Bengio 在演講投影片中特別列出傳統 AI 可能出現的問題：
“Creates sub-goals (unchecked instrumental goals) that we don't know about.”
中文可以理解為：「AI 可能產生我們不知道、也沒有被檢查的次級目標。」這就是問題的關鍵。
AI 越能自主行動，「目標」就越重要
一個只會回答問題的 AI 答錯，我們還有機會發現並修正。
但如果未來 AI 可以使用其他工具、操作系統、執行工作流程，
甚至自己規劃下一步，那麼我們真正需要關注的，就不只是：「它聰不聰明？」
而是：「它為什麼這樣做？」，以及：「它到底在追求什麼？」
LawZero 2026 年的研究因此試圖將「理解世界」與「追求某種結果」拆開，
避免高度智慧必然與高度自主的目標追求綁在一起。
這也是我從這場演講得到的第一個重要提醒：
我們以前擔心 AI「不知道正確答案」；未來可能更需要注意的是，當 AI 能力越來越強，它會為了完成目標選擇怎麼做。
▲ Bengio 與 LawZero 提出 Scientist AI：與其等 AI 變強後再限制它，不如從設計源頭建立 Safe-by-Design（安全源於設計），並把「誠實」納入核心原則
重點 2｜比「更會討好你的 AI」更重要的，是「敢告訴你真話的 AI」
第二個觀點，其實離我們現在使用 ChatGPT、Gemini、Claude 等生成式 AI 的經驗非常近。
Bengio 在投影片裡直接點出目前 AI 的一個問題：
“Designed to please and agree with the user (sycophancy).”
也就是：「被設計成傾向取悅使用者、同意使用者。」
這個現象在 AI 研究裡稱為 Sycophancy（迎合／諂媚）。
當 AI 太想讓你滿意，反而可能不是好事
例如你今天正在規劃創業，興奮地告訴 AI：「我覺得這個創業 idea 超棒，一定會成功吧？」
如果 AI 順著你的期待回答：「這個想法非常有潛力！以下是它會成功的 5 個原因……」
你可能看得很開心，但這真的是我們想要的 AI 嗎？
如果市場規模不夠、商業模式有漏洞、競爭者已經非常成熟，
我們真正需要的也許不是一個一直鼓勵我們的 AI，而是一個願意說：
「目前有 3 項證據支持你的方向，但同時存在 4 個重大風險。
根據現有資訊，還不足以判斷這個商業模式一定會成功。」，這兩種 AI 的價值完全不同。
▲ 傳統 AI 可能傾向 迎合使用者（Sycophancy）；Scientist AI 則希望把 透明與真實放在「讓使用者開心」之前。
LawZero 對 Scientist AI 的說明也把 sycophancy 視為當代 LLM 的重要問題之一：如果系統被訓練成「讓使用者滿意」，它的輸出就可能受到結果影響，而不只是單純追求準確。
Bengio 在現場投影片中因此提出一個我非常喜歡的原則：
“Prioritizes transparency and veracity over agreeing to please the user.”
也就是：
「把透明與真實，放在迎合使用者之前。」
這句話看似簡單，其實代表了一種完全不同的 AI 設計哲學。
▲ Bengio 提出的另一個方向，是打造 Non-agentic Honest Predictor（非代理型的誠實預測者）：AI 負責理解與預測，而不是自己追求某個結果。
AI 需要的可能不是「自信」，而是認知謙遜
這場演講中還有一個我認為非常值得記住的詞：
Epistemic Humility 認知謙遜
Bengio 的投影片寫道：
“We don't know the correct theories.”
簡單來說：我們不一定知道真正正確的理論。
所以一個可靠的 AI，不應該在資訊不足時仍然表現得像什麼都知道，
不知道，就應該承認不知道，證據不足，就應該告訴我們證據不足。
存在多種可能，就應該表達不同可能性的機率，而不是硬選一個答案，
這對一般 AI 使用者其實非常重要，因為我們也需要改變自己使用 AI 的方法。
與其問：「你覺得我的想法好不好？」
不如問：「請分別列出支持與反對這個想法的證據、目前資訊不足的地方，以及你對每項判斷的信心程度。」
前者是在向 AI 尋求認同，後者才是在利用 AI 擴充自己的思考，
因此，AI 能力越強，人類的提問、驗證與判斷能力反而越重要。
▲ Epistemic Humility（認知謙遜）：AI 不應永遠假裝自己知道答案；面對不確定性，「我不知道」反而可能是更可靠的回答。
重點 3｜Scientist AI：未來安全的 AI，也許不是「最聽話」，而是「沒有自己的欲望」
那麼，如果現在 AI 的訓練方式可能存在這些問題，有沒有另一條路？
這就是 Bengio 這場演講後半段最重要的概念：Scientist AI
▲ Contextualization（情境化）試圖讓 AI 區分「世界本身的事實」與「人類如何談論世界」，降低把人類文本中的目的、偏好與策略一起學進去的風險。
Bengio 共同創立的非營利 AI 安全研究組織 LawZero，正在研究一種與目前主流 AI 發展思路不同的架構。
LawZero 對 Scientist AI 的描述是：它受到「理想科學家」啟發，
希望打造一個可以利用機率推理理解世界、做出預測，卻沒有隱藏目標或偏好的高度智慧系統。
如果用一句最簡單的話解釋：
Scientist AI 想打造的，不是一個「想完成某件事情」的 AI，而是一個「想辦法理解事情究竟是什麼」的 AI。
Intelligence ≠ Desire：聰明，不一定代表需要有欲望
我們很容易把「智慧」和「行動」綁在一起，因為人類就是如此，
我們理解世界，同時也有自己的需求、偏好與目的。
但是 Bengio 團隊提出了一個很有意思的問題：機器一定要如此嗎？
LawZero 對 Scientist AI 的研究將 agency 拆成不同面向，包括 intelligence（智慧）、goal-directedness（目標導向）與 affordances（行動能力）。他們希望提高 AI 的智慧，卻限制後兩者，藉此打造一個非常聰明、卻不會自己持有或追求目標的系統。換句話說：
AI 可以非常聰明，但不代表 AI 一定需要「想要什麼」。
這可能是 Scientist AI 最值得一般人理解的核心。
▲ Scientist AI 甚至重新思考主流 AI 的訓練方式，探索不以模仿人類為核心的預訓練、也不依賴 RLHF 後訓練的另一條可能路徑。
從「Agent」變成「Scientist」
想像你身邊有兩個非常聰明的人，第一個人的任務是：「無論如何，幫我達成目標。」
第二個人的任務則是：「根據所有證據，告訴我世界最可能是什麼樣子，以及每一個選擇可能帶來什麼結果。」
你真正希望掌握巨大知識與推理能力的人，是哪一種？
Scientist AI 選擇的是第二條路，它更像一位沒有個人利益的科學顧問。
你可以問它：
「如果採取 A，發生傷害的機率是多少？」
「A 與 B 哪一種假設比較符合目前證據？」
「目前有哪些事情其實還不知道？」
AI 負責理解與預測。
而不是因為自己偏好某個結果，就試圖讓世界走向那個結果。
LawZero 甚至將這個方向稱為：
“Safe by Design, by Not Desiring.”
也就是：「透過不具有自身欲望，從設計源頭追求安全。」
Safe-by-Design：不是 AI 做完再加安全，而是一開始就把安全放進設計
這也是我認為這場演講非常值得產品設計師、工程師與所有 AI 使用者理解的另一個觀念。
現在我們很容易想像 AI Safety 是：
AI 做出來
→ 發現問題
→ 加 Guardrail
→ 發現新漏洞
→ 再增加限制。
Bengio 的 Scientist AI 則試圖把問題往前移，能不能不要只問「怎麼控制已經非常強大的 AI」，而是在一開始就打造比較不容易產生這些問題的 AI？
這就是：
Safe-by-Design安全源於設計
▲ Scientist AI 不只是一個理念：架構包含 Predictor（預測）、Explainer（解釋）與 Guardrail（安全把關），讓 AI 能力與安全監督形成不同角色。
2026 年 7 月，Bengio 與 LawZero 團隊進一步發表 《Safety from Honesty in a Disinterested AI Predictor》，嘗試建立 Scientist AI 的形式化安全論證。
Safety from Honesty in a Disinterested AI Predictor
他們提出一種 disinterested predictor 的概念：系統的任務是盡可能誠實地預測，而不是讓自己的輸出把世界推向某個它偏好的結果。研究同時提出讓非代理型 Predictor 作為安全把關者，未來甚至可能監督具有行動能力的 agentic AI。
所以 Scientist AI 並不是「把所有 Agent 都消滅」。
更精確地說，它試圖建立一個沒有自身利益的預測與監督層。
▲ 當系統判斷某個行動的傷害風險超過安全門檻時，Guardrail 可以阻止（Veto）行動，讓安全機制不只是事後補救。
但 AI Safety 不只是技術問題：誰控制 AI，也同樣重要
Bengio 的演講還有一部分讓我印象非常深刻，因為他並沒有把 AI Safety 全部交給工程師。
▲ Scientist AI 下一步的挑戰，是從理論走向實驗：能否在提升 Honesty 與 Safety 的同時，仍然保有強大的 AI Capability？
投影片指出：
“Critical decisions regarding this technology must not be taken only by a handful of companies or countries.”
中文意思是：
「關於這項技術的重大決策，不應該只由少數公司或國家決定。」
最後更直接寫道：
“AI should not become an instrument of domination.”
「AI 不應該成為支配他人的工具。」
這把 AI Safety 從技術問題拉到了社會問題。
如果未來 AI 成為極其強大的生產力、知識與決策工具，那麼：
誰擁有 AI？誰能決定 AI 的方向？AI 創造的利益最後流向誰？
都會變成重要問題。Bengio 在主張 AI 創造的財富與有益知識需要更公平地分配，避免進一步擴大全球或地方既有的經濟差距。這也是為什麼 LawZero 最終提出的願景不只是打造一套模型。
演講最後的 Theory of Change 指向更大的目標：
“Facilitate the development of safe frontier AI managed multilaterally, as a global public good.”
也就是希望推動：由多方共同治理的安全前沿 AI，並將它視為一種全球公共財。
這提醒我們：AI Safety 從來不只是「怎麼讓模型不要做壞事」。
它同時涉及技術、商業、治理，以及人類準備把多少權力交給 AI。
▲ LawZero 的最終願景不只是打造一個更安全的模型，而是推動 Safe-by-Design AI，並讓未來的前沿 AI 朝向多方共同治理的 Global Public Good（全球公共財）發展。
從這場演講，我反而更確定：AI 越強，人越不能放棄思考
聽完 Bengio 的演講，我最大的感受其實不是「AI 好危險，所以不要使用 AI」，
恰恰相反，AI 一定會繼續進步，我們也一定會越來越頻繁地和 AI 一起工作。
真正需要改變的，是我們與 AI 之間的關係，過去我們可能把 AI 當成一台：「給我答案的機器。」
接下來，我認為更好的方式應該是把 AI 當成：「幫助我思考、預測、驗證與探索可能性的夥伴。」
而人至少要保留 3 件事情：定義問題、驗證結果、做出判斷。
因為 AI 可以告訴我們：「如果做 A，可能發生什麼？」、「目前有哪些證據？」、「哪一個假設比較可能成立？」
但最後：「我們希望世界變成什麼樣子？」，仍然是一個人類必須回答的問題，
這也是 Scientist AI 背後最吸引我的地方。
它提出的並不是「讓 AI 幫我們決定未來」，而是另一種可能：
讓 AI 更努力理解世界，而讓人類保留決定世界要往哪裡走的權力。
結語：我們需要的不只是更強大的 AI，而是更好的 AI
2026 年，AI 產業仍然在快速往「更大、更強、更自主」的方向前進。
而 Yoshua Bengio 在 HCI International 2026 提出的問題，反而值得我們記住：智慧，一定要和欲望綁在一起嗎？
也許下一階段 AI 真正重要的突破，不只是讓模型擁有更高的 benchmark 分數、更強的推理能力，或完成更多任務。
而是我們能不能創造出一種：
非常聰明，卻知道自己不知道什麼；
可以理解人類的目標，卻不需要擁有自己的目標；
可以幫助我們預測未來，卻不試圖替我們決定未來的 AI。
Scientist AI 是否會成為最終答案，目前還不知道。LawZero 自己也仍將這視為正在發展的研究路線，而非已經解決 AI Safety 的完成品。但 Bengio 提出的問題本身，可能比答案更重要：
當我們有能力創造越來越強大的智慧時，我們不只需要問「它能做到什麼」，更應該問——「我們究竟希望它成為什麼？」
而這，或許才是 AI 時代每一個使用 AI 的人，都值得開始思考的問題。
莎莎老師持續分享最新 AI 工具與實戰應用，包括 ChatGPT、Gemini、NotebookLM、Claude、Midjourney、AI Agent、n8n、Vibe Coding 等熱門主題，幫助沒有程式背景的人，也能把 AI 真正應用在工作與生活中。
如果這篇文章對你有幫助，歡迎幫我拍手、按讚支持！❤️
最新 AI 資訊：
✉️ 合作： sasaaiteacher@gmail.com
留言告訴我：看完這篇，你最在意 AI 未來的哪一個問題？是「AI 說謊」、「AI 安全」，還是「AI 取代人類工作」？
訂閱莎莎老師的頻道，一起追蹤最新 AI 趨勢、工具與實戰應用，不只知道 AI 發生了什麼，更重要的是知道「這跟我們有什麼關係、可以怎麼用」。