跨越評分偏見：以大型語言模型作為客觀第三方之研究（修自發表之研討會論文

【教學研究】

研究的核心在於處理人類在進行主觀評價（如教學、考核）時，往往會受到個人背景、主觀意見等偏差影響。透過引入大型語言模型（LLM）作為客觀第三方，實驗證明了機器能有效中和評分者之間的極端差異，建立一個更穩定、一致性的評價基準。這並非單純由 AI 決定結果，而是利用 LLM 作為一條「參照線」來對齊人類的不同觀點。

進一步深挖了人機互動中的「信任建立」與「任務分擔」。特別是在處理複雜評量流程時，如何透過結構化的提示詞工程（Prompt Engineering）讓 LLM 展現出穩定的逻辑判斷力。其核心在於將評審過程拆解為多個子步驟，並由 AI 在每個關鍵節點提供數據校準建議。

聚焦於「三方評估（Tri-Rater Assessment）」模型。在教育界，三人共同評審可大幅增加信度；而在本研究中，將 LLM 加入其中。它探討了當人與機器共存評審時，如何透過 AI 生成的框架來支撐學生的學習過程，同時降低人類老師的勞動負擔。

【應用轉型：企業應用】

在企業環境中，此研究可直接應用於「績效考核的去偏見化（Bias Mitigation in Performance Review）」。當主管與員工、或多個不同部門評核同一位員工時，往往會產生極大的分歧。

導入 LLM 作為第三方參照點，可以自動識別並警告出現異常偏差的評價項（如：過度褒獎或惡意打壓），在最終產出績效報告前進行「校準」，確保考核數據能反映真實職能而非管理者的主觀情感。

此研究的價值在于「複雜流程的自動化監督」。例如在企業招聘過程中（Recruitment Pipeline），AI 不僅是篩選履歷，而是作為一項「品質保證程序」。

它能對面試官給出的評價進行即時比對，確保無論是在初步篩選還是最終面試中，所有的評估指標都嚴格遵循公司定義的職責規範，降低因人員疲勞導致的判斷誤差。

這對於企業中的全方位評估具有極高價值。在大型組織中，主管、同儕及下屬對員工的看法往往差異甚大。引入 LLM 作為第三個觀察者，可以自動整合這些多源數據，識別出共識點與衝突點。這能幫助 HR 團隊快速過濾掉噪音資訊，聚焦於真正需要協商與改善的核心能力問題。

【企業實踐價值】

• 標準化考評：建立自動化的評審初步篩檢工具，降低 HR 在內部裁決中的爭議風險。
• 信任重建：當員工質疑考核公正時，可提供 AI 調解與對比數據作為解釋基礎。
• 高穩定性審查：用於大規模招聘、內部晉升時，確保跨部門考核的一致性。
• 邏輯檢核：在處理複雜報支申請或合約評估時，LLM 作為第一道「準則對齊」防線。
• 評估模型優化：自動彙整多元來源的反饋，並產出結構化的「成長建議報告」。
• 團隊凝聚力分析：識別哪些人才在跨部門協作中受歡迎程度最高或存在溝通斷層。