碩論：AI 代理人影響文獻（資料科學視角）— 2026-10-03

主題一：AI 代理人影響（2 篇）

1. Efficient Benchmarking in Production: A Study of an Evolving LLM Agent

• 來源： arXiv:2609.21267v1
• 方法與資料： 以 574 次生產基準歷史執行，比較隨機抽樣、歷史快取、固定代表子集及多維 2PL IRT 自適應測驗。
• 指標： 整體分數保真度、MAE、跨代理家族與校準視窗穩定性。200 題（全量 38.5%）達 1.03 個百分點 MAE。
• 六維度： 可降低代理版本重複評估成本，間接支持工作效率；未直接量測生活協助、健康、成癮、焦慮或停用反應。
• 碩論借鑑： 建置繁中代理任務庫，比較分層固定子集與 IRT 偵測版本退步的能力，以全量測試為黃金標準。

2. Foundations of GenIR

• 來源： arXiv:2501.02842v1
• 方法與資料： 生成式資訊檢索技術綜整，涵蓋資訊生成、資訊綜整、RAG、語料建模與多模態；沒有單一使用者樣本。
• 指標： 原文未提供統一人類效果指標；後續可量測答案正確率、來源支持率、任務時間與認知負荷。
• 六維度： 支持資訊協助與工作流程簡化的技術機制；健康、成癮、焦慮與停用反應皆未量測。
• 碩論借鑑： 比較直接生成與附來源綜整介面，量測任務品質、完成時間、查證行為與信任校準。

方法論地圖

以生產歷史基準、IRT 自適應測驗與生成式資訊檢索綜整為主；系統評估可重複，但缺少把版本效能、真實使用日誌與心理健康結果串接的縱向資料。

可執行碩論設計

1. 分層子集能否偵測代理版本退步：以繁中代理任務及多版本輸出，比較分層子集、隨機抽樣與 IRT 的 MAE、排序一致性及成本。

2. 來源綜整介面對任務效率與查證的影響：以學生資訊查找交叉實驗及混合效應模型，估計可點擊來源對錯誤依從與完成時間的影響。

3. 代理中斷的短期行為替代研究：自願參與者進行 48 小時停用前後測，以最小化事件日誌、量表及個體固定效果估計替代搜尋與焦慮變化。

資料與師資建議

資料應最小化，只保存任務結果與衍生事件；停用研究須提供退出機制、風險告知與心理支持資訊。可對接呂明頴副教授（行為分析、資料探勘、人工智慧）、蘇明祥副教授（自然語言處理、口語對話系統、情緒與人格感知）、吳政隆教授（文字探勘、深度學習、文本情感分析、自然語言處理、人工智慧）。

主題二：ChatGPT／Grok 聊天成癮與生活強制性（2 篇）

1. Taking Advice from ChatGPT

• 來源： arXiv:2305.11888v3
• 方法與資料： 預先註冊建議採納實驗；118 名學生回答 25 個學科共 2,828 題選擇題，取得 GPT 建議後可修改答案。
• 指標： 建議權重、答案更新、題目表現與主觀準確率判斷。
• 四維度： 未估計成癮閾值；主題不熟悉、過往使用及先前準確經驗會提高建議權重；書面理由有助辨別正確建議；一般學術題結果不能直接外推至有害內容抗拒。
• 碩論借鑑： 以繁中題庫進行多模型交叉實驗，加入高低風險題型，量測建議權重、錯誤採納率與校準誤差。

2. Empowering Calibrated (Dis-)Trust in Conversational Agents

• 來源： DOI:10.1145/3613904.3642122
• 方法與資料： 594 名參與者的 2×2 線上受試者間實驗，操弄事前資訊及代理溝通權威風格。
• 指標： 自陳信任、說服後態度及心理變項；來源摘要未揭露完整量表信效度與全部效果量。
• 四維度： 未量測使用量或成癮閾值；權威語氣比限制聲明更能左右信任；事前警語未有效校準信任；單靠免責提示不足以建立有害內容抗拒。
• 碩論借鑑： 在繁中介面操弄權威語氣、即時不確定性提示及錯誤答案，量測錯誤採納、信任校準及提示記憶。

方法論地圖

以預先註冊建議採納實驗與 2×2 HCI 線上實驗為主，可辨識理由、身分、警語與語氣效果；缺少長期使用日誌、成癮量表及真正高風險情境。

可執行碩論設計

1. 權威語氣與即時警示的錯誤依從實驗：2×2 因子實驗搭配混合效應羅吉斯迴歸，比較即時警示與首頁免責聲明的錯誤採納率。

2. 跨模型信任校準與領域熟悉度：以 ChatGPT、Grok、Claude、Gemini 盲化輸出進行受試者內交叉設計，產出模型別校準曲線。

3. 使用日誌—強制性量表雙週對齊：蒐集裝置端最小化事件及每週量表，以多層次時間序列模型檢驗夜間使用比例與連續對話長度能否預測生活干擾。

資料與師資建議

先導研究須驗證繁中題庫難度及操弄感知，再依效果量進行檢定力分析；高風險刺激須經倫理審查、去識別並提供退出及事後說明。可對接丁德天副教授（精神流行病學、物質濫用、青少年健康）、鄭江宇副教授（行動裝置 UX 設計與實驗、巨量資料分析與行銷應用）、蘇明祥副教授（自然語言處理、口語對話系統、情緒與人格感知）。

跨主題爭議

1. 方法論： 代理基準與短期線上實驗可重現，但能否外推至長期生活、工作及心理影響仍存疑。

2. 量測： 建議權重、自陳信任、高頻使用與臨床成癮不是同一構念，必須分開報告行為、校準誤差、生活功能受損及信效度。

3. 倫理： 對話日誌及有害建議測試可能暴露敏感內容或傷害受試者；資料最小化、知情同意、退出機制與事後支持不可省略。

三個爭議點

1. 方法論爭議：代理基準分數與短期線上實驗具有可重現性，但能否外推至真實長期生活、工作與心理影響仍存疑。

2. 量測爭議：建議權重、自陳信任、高頻使用與臨床成癮不是同一構念；必須分開報告行為、校準誤差、生活功能受損及量表信效度。

3. 倫理爭議：蒐集對話日誌與測試有害建議可提升生態效度，卻可能暴露敏感內容或傷害受試者；資料最小化、知情同意、退出機制與事後支持不可省略。