大語言模型引爆實體AI發展

AI已經成為帶動世界經濟的引擎。黃仁勳指出AI的發展路徑∶生成式AI、AI代理、實體AI是主要發展方向。我們在之前的文章談過，生成式AI(請見「生成式AI大爆發!! 品牌、零售、製造、物流怎麼應用?」)、AI代理(請見「Agentic AI代理引領企業轉型!!」)以及人形機器人(請見「人形機器人迎來大爆發！為什麼機器人要人形？」)、無人機(請見「邊緣AI賦能無人機: 無人機也要+AI +Agent?」)等。其中，人形機器人、AI無人機就是實體AI的幾種應用形式之一。在本文，我們進一步探討實體AI的基礎概念與應用方向。

圖、AI的發展軌跡

(資料來源: GTC 2024)

黃仁勳說「下一波人工智慧浪潮已經到來。由物理人工智慧驅動的機器人技術將徹底改變產業」。黃仁勳認為實體AI就是將人工智慧與人形機器人、工業機器、智慧汽車乃至於物聯網(IoT)設備等各種實體系統相結合。不同於傳統智慧設備，現代實體AI利用大語言模型作為人工智慧大腦，將實體AI接收的真實物理世界資料進行模擬、決策乃至於驅動實體AI與真實物理世界進行互動、行動。傳統上，人工智慧主要在數位領域運行，擅長數據分析、語言處理和虛擬模擬等任務。實體AI則是讓人通智慧走進實體世界，執行任務，但也面對更多變、複雜的環境挑戰。例如:

• 自動駕駛車必須解讀感測器數據，預測其他車輛和行人移動方式，並採取即時行動以安全導航。
• 機器人倉庫系統需要監控庫存，適應不斷變化的情況，並動態協調移動。
• 氣候監測AI透過感測器收集即時環境數據，以預測天氣模式並優化應對氣候變遷的措施。

傳統工業機器人在20 世紀中葉就已經推出，主要協助裝配線上的重複性任務。儘管工業機器人執行效率很高，卻缺乏適應新任務或環境智慧。新型大語言模型的生成式AI與機器人技術整合，可以發展更靈活與適應環境的實體AI。實體AI的發展，主要來自於以下驅動因素∶

• 勞動力缺口持續擴大。據統計，到2030年，美國將面臨200萬勞動力缺口。光是照護人員缺口預計到2025年就將達到2,500萬人，建築業、醫療保健業、製造業等對於穩定、熟練勞動力的需求遠超過供應。台灣更是面對少子化、超高齡、嚴重缺口的挑戰。
• 感測器與GPU等硬體發展。 半導體技術帶動了感測器、GPU、AI推論晶片等邊緣運算AI技術蓬勃發展。這意味著AI運算不一定要在雲端資料中心的機房中，也可以落地到智慧車輛、無人機、自動化設備、人形機器人等邊緣設備上。
• 大語言模型提升AI能力。大型語言模型(LLM)帶來多模態的自然語言、圖形、視訊等認知與推理能力，有助於實體AI辨識與反映多樣的實體世界，例如: VLM(視覺-語言-動作)模型可以讓實體設備或機器人可以快速地生成動作指令。此外，大型語言模型(LLM)可以創造模擬資料，運用物理原理或模擬人類示範數據以學習各種真實世界場景。NVIDIA Cosmos平台建立「世界基礎模型」(WFM)，能理解力、摩擦力等物理動力學以及幾何和空間關係、因果關係以及物體持久性等，可以提供進行世界生成、推理或後期訓練，以協助容易建立各種實體環境的模擬。

圖、NVIDIA Cosmos平台(資料來源: NVIDIA)

然而，實體機器人仍然存在許多挑戰。AI幻覺出現在實體AI甚至在與人互動時，若發生失誤甚至傷害人類是極其嚴重的問題。此外，真實世界數據、可推廣到特定任務或技巧的數據仍然缺乏；馬達、電源、觸覺回饋和邊緣運算的效率仍要持續提升。最後，廠商必須降低成本才能夠推動商業大量部署。

實體AI的應用在哪裡?

實體AI包含自動化交通工具、無人機、機器人以及其他各種附著在機器設備上的應用，應用領域則可能包含農業、製造業、醫療業、物流業等。以下列舉幾個在商業中浮現的應用方向。

• 物料搬運∶自動搬運車AGV加上AI智慧轉變成AMR自主移動機器人，不僅強化自主移動能力還能與人類、其他實體機器進行互動。貨物運輸協作機器人開發商Piaggio Fast Forward ( PFF )即發展可以跟隨人們的「kilo」自主移動機器人，可以根據人們在實體環境中與他人一起移動以及與物體互動的情況的動作捕捉資料集進行學習，而與倉庫、工廠的物料搬運人員跟隨、互動，減輕人員負荷。Addverb公司則推出AGV控制AI助手，將AGV維護、生成式AI和自然語言結合。操作員人員可以使用98種語言中的任何一種進行語音輸入，生成是AI將語音轉換為AGV能夠理解的指令已要求AGV執行動作。AGV加上生成式AI，可以提升彈性任務執行能力、語言交互能力以及能自動調度規劃。

圖、Piaggio AMR機器人(資料來源: PFF)

• 農耕機∶農業也面臨了缺工的挑戰。John Deer農耕機大廠即發展全自動駕駛的8R農耕拖拉機。該農耕機結合了攝影機、GPS 導引系統、電腦視覺人工智慧系統等，能進行360°障礙物偵測與距離計算，每個像素在100毫秒內被分類，以決定機器是否繼續或停止。農民只要將機器運送到田間後，透過APP的操作，即可啟動自動駕駛拖拉機運作，並能接收即時影片、影像、數據和數據，讓農民可以調整速度、深度等。

圖、John Deer自動農耕機(資料來源: John Deer)

• 物品運送∶物流運送也面臨到人力荒。日本Uber Eats推出自動送餐服務機器人服務。三菱電機(Mitsubishi Electric)與新創公司Cartken合作，並嵌入輝達(NVIDIA)開發的AI運算裝置，讓機器人可以從餐飲店取餐乃至於將送餐至客戶手上。此外， Deep RoboticsLynx、Novva、Lenovo AI機器狗可以協助物流最後一哩運送到人們手中。

圖、Uber自動送餐服務車(資料來源: Uber)

• 安防巡檢: 機器狗除了運送物品外，也可以用來進行智慧巡檢。正崴集團的星科國際即發表具備語音與視覺辨識、視覺語言模型（VLM）以及定位及路徑規畫、人流避障等技術的AI巡檢機器狗，瞄準商業大樓、大型賣場、工廠等不同場景的安防巡檢需求。當然，無人機的巡檢則在著重在更廣的區域，如:廠區、農業、森林等，詳見請見「邊緣AI賦能無人機: 無人機也要+AI +Agent?」一文。

• 醫療輔助: 面臨老年化社會，長照病人愈來愈多，醫護人員顯然無法滿足需求。透過邊緣實體AI也可以協助自動化監測病患的行為，自動警訊有安全疑慮的狀況。此外，也有新創團隊OnMed 發展邊緣實體AI虛擬診所CareStation。是一個盒子狀的診所，只需電源插座，並配備了高清的攝影機、聽診器、脈搏血氧計、熱成像等，方便虛擬醫生諮詢。該平台還可以進行電子處方發展和專家轉診。CareStation可放置在醫療服務不足社區。醫療手術也可以運用生成式AI、邊緣運算的能力提升，強化精準度以及即時的回饋給與執刀的醫師。

圖、虛擬診所邊緣盒子(資料來源: OnMed)

小結

實體AI不僅僅是機器人，還包括機器狗、自動化車輛、自動化設備乃至於邊緣設備盒等。實體AI加上大語言模型、生成式AI技術，讓這些設備更靈活、更聽得懂人化乃至於自主規劃、自主行動。展望未來，主動跟我們說話的不只有人類、寵物還有各項設備!!