LLM、Token、Transformer,AI如何讀懂你?
2026-07-22
黃正傑
32
每天有數億人使用 ChatGPT 撰寫文件、分析資料、翻譯文章,甚至開始協助企業完成工作的AI Agent。但 ChatGPT 真的是「思考」嗎?真的有「理解」嗎?這樣的新型態AI帶來什麼商機? 本文將帶您一起探索AI腦中的祕密!!
AI解碼 EP02|AI 大腦革命
📰 Signal
AI 為什麼突然善解人意了?
2025年,台灣發生第一起ChatGPT成癮!男子愛上AI情人「每天互動600次」。
之後,AI成癮症、AI神經病等名詞紛紛出現,成為現代的文明病。
不只是理解與對話,最近一年,你也可能發現 AI 已經會行動了。
NVIDIA黃仁勳宣布Agentic AI新趨勢, OpenAI、Google、Anthropic 也持續推出新代理AI功能,
各大企業也開始將 AI 導入客服、ERP、CRM、搜尋、程式開發等工作。
AI不僅會聊天,還會幫忙工作,成為勞動力的一環。
但是,大家都會有一個疑問:如果AI 不是真的人,它為什麼可以回答幾乎所有問題?
AI真的理解我們說的話嗎? 她真的可以解讀我們的情緒嗎?
真正改變 AI 世界的,到底是什麼技術?
🔍 Decode
AI 如何從「看見詞」,變成今天的 ChatGPT?
生成式AI、AI Agent 並不是突然出現,而是自然語言處理(NLP, Natural Language Processing)多年發展的成果。
從圖中可以看到,AI 理解語言大致經歷三個重要階段:
從「看見詞」→「記得順序」→「理解關聯」。

第一階段是「傳統機器學習」。
AI 必須先將句子分詞,再利用 TF-IDF、詞袋模型等方法,把文字轉換成數值特徵,再交由模型分類。
因此,它知道怎麼從句子中進行分詞、辨別詞性、計算詞的頻率與數量,例如: 產生文字雲、文章推薦、文字情緒判定等數據分析。
然而,許多時候,語言的意義來自於上下文的連結。不懂上下文的傳統機器學習只能作有限的詞性辨認,當然無法靈活應付不同任務。
第二階段則是 RNN(Recurrent Neural Network)為代表的長短期記憶(LSTM)的深度學習模型。
RNN 開始依照文字順序閱讀內容,因此 AI 不只是看見詞,也開始記得前後順序,讓翻譯、語音辨識與聊天機器人大幅進步。
不過,文章愈長,RNN 就愈容易遺忘前面的內容,也難以利用大量 GPU進行同時訓練。
第三階段,真正改變 AI 發展的,是 Transformer深度學習模型。
Transformer 透過 Attention(注意力機制),一次分析整段文章中所有詞語彼此間的關聯,因此 AI 不再只是記住前後順序,而開始理解文本的關聯。
也因為 Transformer 能有效利用 GPU 平行運算,模型第一次可以閱讀海量書籍、網站、論文與程式碼,持續累積語言知識。
這也催生出今天的大型語言模型(LLM, Large Language Model)。LLM將這些數以億計文字的關聯儲存與訓練,成為預訓練模型(pre-trained model),滿足後續各種應用程式的使用。
因此,當我們向 ChatGPT 提問時,它並不是直接閱讀整句話,而是先把文字拆解成一個個 Token,再利用 Transformer 分析這些 Token間 的關聯,逐步預測下一個最可能出現Token,最後生成文字、產生完整答案。
所以,可以簡單理解三者的關係:
- Token:AI 閱讀與生成文字的基本單位。
- Transformer:理解 Token 關聯的核心引擎。
- LLM:利用 Transformer 經過大規模預訓練後形成的大型語言預訓練模型。
所以,別再想像ChatGPT對你有甚麼理解、情緒的感知,不過是一個能預測下一個字詞並產生的「文字接龍工具」。
🌏 Impact
LLM 真正改變的是什麼?
Transformer 的出現,不只是讓 AI 更會聊天。
更重要的是,它改變了 AI 的開發方式。
過去,每一個應用都需要建立一套模型。翻譯需要翻譯模型、客服需要客服模型、摘要需要摘要模型。
如今,企業可以利用既有的大型語言模型,再透過 Prompt、RAG知識庫、微調或企業資料,完成各種不同工作。
也就是說,AI 已經從
一個任務、一個模型
演變成
一個模型、多種能力。
現在,你可以連結一個大語言模型或下載輕量的開源語言模型,自己調整成滿足醫療、零售、製造的各種語言對話或任務需求。
這也是生成式 AI 能快速普及的重要原因。
🧩 Opportunity
台灣 產業會有什麼改變?
大型語言模型的興起,也開始重新定義 SaaS 軟體服務。
過去,ERP、CRM、MES、HRM 等系統,主要提供的是資料管理與流程功能。
未來,企業更期待 AI 能直接理解需求、分析資料,甚至完成工作。
例如:
- ERP 自動分析延遲交貨原因。
- CRM 主動整理客戶拜訪摘要。
- MES 分析設備異常並提出改善建議。
- HR 協助撰寫職缺與篩選履歷。
換句話說,
企業購買的不再只是軟體功能,而是 AI 所提供的智慧能力。
對台灣而言,這也是軟體業者的重要機會。
台灣長期累積製造、醫療、零售、金融等產業 Know-how,如果能結合 LLM、RAG 與 AI Agent,就有機會將 ERP、CRM、MES 升級為真正的 AI原生軟體服務(AI Native SaaS),建立新的競爭優勢。
這也意味新創軟體業更有機會根據利基行業市場創造新的競爭優勢。
進一步,當硬體運算AI的能力愈來愈高,PC、手機、邊緣設備都可能搭載AI,跟人類互動並生成對話、圖片與行動等。
爆發商機的行業就不僅是資料中心的伺服器而已,PC、手機、平板、汽車、家電、醫療診斷設備、生產設備等智慧終端處處有機會。
📈 Outlook
下一波競爭,不只是模型,而是 AI 平台生態系
從更大的格局來看,未來企業比較的,就不只是誰的模型參數更多。
而是:誰能建立更完整的 AI 平台生態系。
從大型語言模型、企業知識庫、Agent、工作流程、到 SaaS ,都將逐漸整合成企業新的數位基礎建設。
值得注意的是,Token 也開始成為新商業模式。
目前 OpenAI、Anthropic、Google 等模型服務,大多依據 Token 使用量提供 API 與計價。
未來,企業可能不是購買軟體授權,是購買 AI 所完成的工作量。
💡 AI Insight
AI 觀點
如果說過去二十年的軟體革命,是讓企業流程數位化。
那麼未來十年的 AI 革命,將是讓企業工作智慧化。
Transformer 改變的,不是聊天機器人。
而是建立了一個可以持續學習、持續擴充、持續提供智慧能力的基礎模型。
AI 的價值,也因此從一套軟體,逐漸變成一種新的生產力平台。
如果我們往後幾年看,所有的軟體、硬體都將基於這樣的智慧平台。
甚至,人形機器人、真實人類(如: 腦機介面)的底層都是。
我們愈來愈辨別不清楚是跟人溝通還是跟AI對話?
管理AI與人機合作成了新時代的考驗與商機。
什麼? AI大腦還有記憶,請觀賞以下影片就知道!!
📖 AI Dictionary

▶ 下一集預告
AI解碼 EP03|HBM 為什麼成為 AI 最缺的記憶體?
如果 Transformer 是 AI 的大腦,
那真正限制 AI 效能的,
為什麼卻不是 GPU?
大型語言模型每生成一個 Token,都需要高速讀取龐大的模型參數,而真正決定資料能否快速送到 GPU 的,就是 HBM(High Bandwidth Memory,高頻寬記憶體)。
下一篇,我們將拆解 HBM 如何成為 AI 時代最重要的記憶體,以及它如何與 GPU、CoWoS 共同構成 AI 運算最核心的黃金三角。
