系統的錯誤訊息貼給 AI,就可以解決了嗎?
2026-11-18
46
系統出錯時,很多團隊的第一個反應,是把錯誤訊息整段貼給 AI。 錯誤訊息會寫出程式在哪個檔案的哪一行停下來,看起來線索全在上面了。 我遇過一次當機。 幾年才辦一次的國際運動賽事開打,大約五萬人同時湧進我們的賽事平台看排名,系統直接當掉。 聊天頻道裡錯誤訊息一則接一則跳出來,讓人應接不暇。 翻開程式自動寫下的完整紀錄,出錯的檔案和行數寫得清清楚楚。 我順著那一行往下查。 線索指得這麼清楚,這一查卻查了很久。
五萬人同時湧進來,系統直接當掉。
那時候我做的是運動賽事平台。
使用者照真實的比賽組自己的隊伍、互相比分數,真實比賽一開打,大家就會上來看排名。
那次碰上幾年才辦一次的國際運動賽事,大約五萬人同時上來。
我們的程式本來就有記錄錯誤的 log,也就是程式執行時自動寫下的紀錄。
程式跑在跟 Google 租借的雲端主機上,嚴重的錯會自動從那裡傳到團隊的聊天頻道。
出事的當下,頻道開始一直跳錯誤訊息。
聊天頻道上的訊息不夠,我再去雲端主機翻完整的 log。
裡面有 exception stack,可以把它想成程式出錯時留下的足跡,會寫出錯在哪個檔案的哪一行。
我順著它指出的那一行往下查,再對照負責管主機的 IT 部門看到的狀態。
後來才查出,那一行本身沒錯,問題出在排行榜的寫法。
每次有人打開排行榜,程式就把整場比賽所有參賽者的資料從資料庫撈出來,重算一次排名。
人一多,搬的資料量太龐大,不只資料庫到程式這一段塞爆,連主機的記憶體也跟著塞爆。
那次我們重現不了
平常碰到錯,我習慣先寫一段測試,照著出錯的條件跑一遍,跑出一樣的錯,才去改程式。
改完再跑一次,通過就知道修好了。
所以寫得出測試重現的錯,我比較不用擔心。
但這次出錯的條件,是五萬人同時湧進來,平常寫的那種測試做不出這麼多人。
要做得出來,得靠壓測,也就是模擬大量使用者同時湧進來的測試,那時候我們還沒有。
所以當下說不出原因,我們只能一邊看著錯誤訊息一直跳,一邊看 log、對照 IT 部門看到的主機狀態推測原因,一邊在不同地方試 cache。
cache 是把常用的資料先存起來,不用每次都回資料庫拿。
加了 cache 之後,又要處理 cache 裡的資料什麼時候該更新、查不到的資料一直繞過 cache 直接打進資料庫等問題,方案越疊越複雜,討論也拖了很久。
後來我把整個流程畫出來,量每一步花多少時間,團隊討論後改成另外寫一支程式定時算好排名,網站只讀算好的結果。
改完之後,我們用五萬人同時在線的壓測確認修好了。
真的麻煩的問題長什麼樣子
很多人以為出事時看 log 就能馬上找到問題。
真的麻煩的,是時好時壞,或偶爾才出現的問題。
你不知道使用者是怎麼操作的,也無法重現。
2014 年有一份研究翻了一間企業和五個開源專案的錯誤回報,開源專案是程式碼公開、任何人都能參與的軟體。
開發者重現不了的錯,平均佔全部回報的 17%,大約每六份就有一份,而且比其他錯平均多拖三個月才處理完。
手上的 AI 幫得上哪一種
如果團隊用 AI 做出網站或公司內部用的工具,開始給別人用,碰到問題時最直覺的做法,是把錯誤訊息整段貼給 AI。
錯誤訊息講得清楚,也說得出它是怎麼發生的,這種錯 AI 幫得上忙。
2022 年有一份研究把錯誤回報交給當時的 AI,測它能不能寫出重現問題的測試,沒有測它能不能修好。
在研究者常用的一批程式錯誤資料裡,大約三分之一它寫得出來,現在 AI 能表現的成績可能更好。
重現得了,修起來就有方向,改完再讓測試確認。
但這個做法有個前提,要先有人把錯是怎麼發生的寫清楚。
時好時壞的錯,連你自己都講不清楚怎麼發生。
你貼給 AI 的錯誤訊息,只會指出程式在哪一行停下來,可是就像五萬人那次,問題不一定出在那一行。
不管是 AI 還是人,照著那一行改,改完訊息不再跳出來,都分不出是真的修好,還是剛好那段時間沒人那樣用。
這是我的推論,那份研究沒有測時好時壞的錯。
另外還有一種錯連 log 都不會留下,例如算錯了,畫面照樣顯示一個錯的結果。
這種錯就算想問 AI,也沒有錯誤訊息可以貼給它。
分得出是哪一種,就知道什麼時候該找人
碰到問題時,團隊說得出它是怎麼發生的嗎?
說得出來、重現得了,可以先交給公司允許使用的 AI 工具試著改,再讓測試確認修好了。
說不出來、重現不了,或是連錯誤訊息都沒有,就是該找處理過類似問題的人一起看的時候。
團隊手上有用 AI 做的工具,可以先問自己一個問題。
如果哪天湧進平常十倍的客戶,分得出哪些問題能很快修好、哪些可能讓客戶等比較久嗎?
參考資料
- Works For Me! Characterizing Non-reproducible Bug Reports,Mona Erfani Joorabchi、Mehdi Mirzaaghaei、Ali Mesbah,MSR 2014 研討會論文
- Large Language Models are Few-shot Testers — Exploring LLM-based General Bug Reproduction,Sungmin Kang、Juyeon Yoon、Shin Yoo,ICSE 2023 研討會論文,2022 年 9 月首次發表