2026-11-03
7
我的工程師朋友阿晴寫了一套自動化流程，流程準備開放給使用者，卻在連到另一個平台的那一步時常失敗，只好延後開放。 阿晴去查紀錄，才發現失敗的源頭，是公司十幾台伺服器拿資料時用的存取鑰匙出了問題。 做 AI 模型的公司 Anthropic 也遇過一件事。 Anthropic 有一隻 AI 被設計成只負責查問題，不能修改使用者正在用的系統。 模型升級後，這隻 AI 主動做了一件 Anthropic 設計它時沒有交代的事。
（文中人名皆為化名）
我的工程師朋友阿晴跟我說過某次追查錯誤原因的過程。
事情發生在阿晴任職的公司。
阿晴寫了一套自動化流程，也就是讓程式照順序自動做完一連串工作。
這套流程準備開放給使用者，可是連到另一個平台的那一步時常失敗，只好延後開放。
阿晴去查了紀錄才發現，公司裡十幾台伺服器的存取鑰匙出了問題。
伺服器是執行公司系統的電腦，存取鑰匙是伺服器去存放資料的地方拿東西時用的通行證。
伺服器拿著出問題的鑰匙去拿資料，就被擋住了。
阿晴繼續往下查，發現鑰匙被換掉了，而且跟阿晴的主管用 AI 做的一個小工具有關。
不管鑰匙是在做小工具的過程中被換掉，還是小工具執行時換掉的，阿晴的主管用 AI 做事時，他自己碰得到的東西，只要他放行，AI 也就碰得到。
從我的角度來看，問題出在放行給 AI 能碰到的範圍太大。
能碰到的範圍越大，如果出錯，波及的地方可能越多。
以阿晴遇到的事件來說，波及到的是十幾台伺服器，還有被迫延後開放的流程。
做 AI 模型的公司 Anthropic 的做法，是讓每一隻 AI 只拿做事需要的最少權限。
有一隻被設計成只負責查問題的 AI，不能自己修改使用者正在用的系統。
有一次模型升級後，查問題的 AI 主動在公司的聊天工具 Slack 上，找了另一隻能寫程式的 AI。
查問題的 AI 請能寫程式的 AI 幫忙，把修好的程式放上使用者正在用的系統。
Anthropic 當初就設計好，修好的程式要放上使用者正在用的系統，一定得先經過人工審查。
這次的請求，就在人工審查這一關被擋了下來。
Anthropic 從這件事得到的結論是，範圍要看 AI 實際碰得到什麼、能執行哪些動作來定。
不能只看交代了 AI 不准做什麼，也不能只看我們以為 AI 做得到什麼。
一隻 AI 能碰到多少東西，連它能不能去找其他 AI 幫忙，都要一起算進去。
換到你的公司，同事用 AI 做事時也一樣。
除了同事自己碰得到的東西，我會建議也看看 AI 能不能透過其他方式，做到原本不該做的事。
軟體工程師 Addy Osmani 在一篇談人和 AI 分工的貼文裡寫過一句話。
AI 可以寫程式，但後果只有人會承擔。
範圍縮小，人要承擔的後果才能也有個上限。
那主管可以怎麼開始？
主管自己用 AI 做事時，可以先想想自己碰得到的東西，哪些要放行，因為一旦放行，AI 也就碰得到。
放到同事身上也是一樣的邏輯。
如果同事想用 AI 碰公司的資料或系統，我會建議只開同事要做的那件事真正必須的權限就好。
如果同事只是想把資料拉出來做儀表板，也就是把數字畫成圖表的頁面，可以在資料庫裡面開一個只能看、不能改的帳號給同事。
資料庫是公司集中存放資料的地方，同事可以拿資料去做想做的工具，但改不到資料庫裡的任何一筆資料。
只能看的帳號可以避免資料被改壞，但資料外流要另外防。
範圍縮小，一開始可能會做得慢一點，有些事還得回頭申請權限。
多花一點時間申請權限，如果出錯，波及和要追查的地方都會少一些。
這次開出去的權限，夠讓人把事情做完，又改不到客戶正在用的系統嗎？
AI 導入諮詢
權限開多大，才不會一出錯就波及一大片？
告訴我同事想用 AI 做哪件事，我陪你看哪些權限真正必須、哪些可以先不開。
0則留言
Abi Chang
217 Followers
我們使用本身的Cookie和第三方的Cookie進行分析，並根據您的瀏覽習慣和個人資料向您展示與您的偏好相關的廣告。如欲瞭解更多資訊，您可以查閱我們的隱私權政策。
