Inspect

碩論:AI 代理人影響文獻 2026-09-13

代理人2篇|聊天成癮2篇

發布 2026-09-13 12:30收集 2026-09-12 15:51
原始來源doc.jxdtw.com

碩論:AI 代理人影響文獻(2026-09-13)

  • 讀者:東吳大學資料科學研究所碩士(第一篇論文)
  • 分析模式:Mixture of Agents(provider=moa,preset=default)
  • 收錄:4 篇,兩主題各 2 篇,涵蓋 AI 代理人系統與安全、心理社會與 AI 治理、有害內容與模型安全、人機互動與可信度等領域。

主題一:AI 代理人影響

Agents at Risk: How Users Unwittingly Undermine LLM Safety

  • 作者:Fengchao Chen、Tingmin Wu、Van Nguyen、Surya Nepal、Carsten Rudolph
  • 年份:2026
  • 領域:AI 代理人系統與安全
  • 來源:https://arxiv.org/abs/2601.10758v3
  • 摘要:研究提出使用者轉送情境操弄攻擊:攻擊者誘使一般使用者把惡意內容放入請求,使代理人把外部攻擊內容誤認為任務限制。作者在十二個商用大型語言模型代理人上發現,對惡意任務實體的驗證多仰賴提示,而非系統預設防護;此結果指出高權限生活與工作代理人仍需要預設的實體層驗證。
  • 生活協助:旅程規劃與網頁操作可減少生活任務負擔,但惡意情境可能使結果偏離原意。
  • 工作效率:可代行複雜規劃與執行,但未量測工時、完成率或生產力增幅。
  • 健康影響:未直接量測身心健康,不能由安全風險推論健康效果。
  • 成癮性:未研究高頻使用、問題性依賴或成癮量表。
  • 焦慮感:安全弱點可能影響風險感受,但未直接測量焦慮。
  • 缺乏使用之影響:未研究停用後的不適、戒斷或功能損失。
  • 目標關聯:與 Hermes Agent、OpenClaw 等工具型代理人的機制相近,但未直接測試 Hermes Agent、OpenClaw 或 Grok Bot。

Competing Visions of Ethical AI: A Case Study of OpenAI

  • 作者:Melissa Wilfley、Mengting Ai、Madelyn Rose Sanfilippo
  • 年份:2026
  • 領域:心理社會與 AI 治理
  • 來源:https://arxiv.org/abs/2601.16513v1
  • 摘要:研究以質性內容分析及自然語言處理,比較 OpenAI 面向一般大眾與學術受眾的倫理論述。結果指出其公開溝通以安全與風險為主,但未充分採用學術與倡議社群的倫理框架;作者據此討論治理及倫理漂綠問題。
  • 生活協助:未評估日常生活的實際協助,可用於檢視產品宣稱與實際利益是否一致。
  • 工作效率:未量測效率,安全與倫理論述不能證明生產力提升。
  • 健康影響:未直接研究健康結果。
  • 成癮性:未研究成癮或問題性使用。
  • 焦慮感:風險論述可能塑造焦慮或信任,但研究對象是組織文本而非使用者量表。
  • 缺乏使用之影響:未研究停止使用或依賴中斷。
  • 目標關聯:可作為 Hermes、OpenClaw、Grok Bot 風險溝通與治理的間接框架,並非產品使用者效果研究。

MoA 結論

兩篇文獻共同指出,代理人的效益評估不能只看能否完成任務,也要納入預設安全驗證與組織如何框定倫理風險。然而,今日證據主要是安全實驗與論述分析,無法回答生活效益、工作效率、健康、成癮、焦慮與停用後影響的因果問題。

#### 維度綜合

  • 生活協助:具旅程規劃與網頁操作潛力,但未量測生活品質改善,且協助可能受惡意情境操弄。
  • 工作效率:沒有工時或績效指標,只能確認可代行任務,不能推論效率增幅。
  • 健康影響:沒有直接健康結果;安全事件與治理不足僅構成可能的間接風險。
  • 成癮性:沒有問題性使用或成癮量表證據,高頻採用不可直接視為成癮。
  • 焦慮感:風險論述與安全弱點可能影響安心感,但沒有直接量測。
  • 缺乏使用之影響:完全未測停用後的戒斷症狀或功能依賴。

#### 研究缺口

1. 缺少 Hermes Agent、OpenClaw、Grok Bot 的長期獨立使用者研究。

2. 需以客觀任務績效搭配生活品質、焦慮及問題性使用量表。

3. 需區分停用造成的流程不便、心理依賴與臨床意義的戒斷症狀。

主題二:聊天軟體成癮與生活強制性

LLMs Can Defend Themselves Against Jailbreaking in a Practical Manner: A Vision Paper

  • 作者:Daoyuan Wu、Shuai Wang、Yang Liu、Ning Liu
  • 年份:2024
  • 領域:有害內容與模型安全
  • 來源:https://arxiv.org/abs/2402.15727v2
  • 摘要:論文提出 SELFDEFEND 輕量防禦,以平行影子堆疊辨識越獄提示中的有害請求,並在正常生成流程觸發檢查點。作者以 GPT-3.5/4 的人工分析展示概念可處理多類越獄情境,但定位為願景論文,尚不足以代表不同使用者在真實生活中的抗拒行為。
  • 使用門檻:未研究使用時數、頻率或問題性使用,無法建立成癮門檻。
  • 信任與可信度:可解釋拒答可能影響信任校準,但未測量使用者信任或採納。
  • 錯誤查覺:模型辨識有害提示不等同一般使用者能查覺錯誤答案。
  • 有害內容抗拒:直接研究模型端拒害;證據主要來自 GPT-3.5/4 的人工分析,外部效度有限。
  • 目標關聯:直接涉及 ChatGPT 所用模型世代,可間接比較 Grok、Claude、Gemini 的拒害設計,但未直接比較後三者。

How Close is ChatGPT to Human Experts? Comparison Corpus, Evaluation, and Detection

  • 作者:Biyang Guo、Xin Zhang、Ziyuan Wang、Minqi Jiang、Jinran Nie、Yuxuan Ding、Jianwei Yue、Yupeng Wu
  • 年份:2023
  • 領域:人機互動、可信度與錯誤辨識
  • 來源:https://arxiv.org/abs/2301.07597v1
  • 摘要:研究建立人類專家與 ChatGPT 回答比較語料庫 HC3,涵蓋開放領域、金融、醫療、法律與心理等問題,並進行人工評估、語言分析及 AI 生成文本偵測實驗。研究可支持討論回答品質與辨識線索,但沒有量測成癮、日常使用強制性或一般使用者的信任程度。
  • 使用門檻:未提供每日時數、互動次數或量表門檻,不能由語料規模推論成癮。
  • 信任與可信度:流暢完整回答仍須與人類專家校驗;未直接量測自陳信任。
  • 錯誤查覺:文本來源偵測不同於判斷單一答案事實正確性的能力。
  • 有害內容抗拒:關注假新聞、抄襲與社會安全風險,但未進行使用者拒絕有害建議的行為實驗。
  • 目標關聯:直接研究 ChatGPT;方法可延伸至 Grok、Claude、Gemini,但未直接驗證這些產品。

MoA 結論

今日證據可支持兩個較窄結論:聊天模型輸出需要與人類專業判斷校驗,而有害內容防禦可在模型端增設檢查。兩篇均沒有提供使用量與成癮的劑量關係,也沒有直接測試一般使用者的信任、錯誤查覺或拒絕有害建議行為。

#### 維度綜合

  • 使用門檻:未建立可泛化的時數或次數門檻,目前不能回答使用多少會成癮。
  • 信任與可信度:人類—ChatGPT 比較支持外部校驗,但沒有自陳信任或採納行為資料。
  • 錯誤查覺:文本來源偵測與答案事實查錯是不同能力;未直接量測一般使用者的查錯表現。
  • 有害內容抗拒:SELFDEFEND 提供模型端拒害概念證據,但不能替代真實使用者的抗拒度測量。

#### 研究缺口

1. 缺少 ChatGPT、Grok、Claude、Gemini 使用頻率與問題性使用量表的縱向劑量—反應研究。

2. 缺少同時測量自陳信任、實際採納與答案查錯表現的實驗。

3. 需區分模型拒答率與使用者抗拒有害內容的行為能力。

跨主題元爭議

1. 高頻或強制性使用是否足以稱為成癮仍有爭議;今日兩主題都缺少臨床量表、縱向軌跡與停用後症狀的共同驗證。

2. 模型端安全防禦與企業風險論述不必然等於使用者能校準信任、查覺錯誤或拒絕有害內容,系統表現與人類行為應分開量測。

3. 代理人帶來的任務代行與聊天模型的流暢回答可能形成短期效益,但現有證據不足以判定是否以長期依賴、焦慮或自主性下降為代價。

三個爭議點

1. 高頻或強制性使用是否足以稱為成癮仍有爭議;今日兩主題都缺少臨床量表、縱向軌跡與停用後症狀的共同驗證。

2. 模型端安全防禦與企業風險論述不必然等於使用者能校準信任、查覺錯誤或拒絕有害內容,系統表現與人類行為應分開量測。

3. 代理人帶來的任務代行與聊天模型的流暢回答可能形成短期效益,但現有證據不足以判定是否以長期依賴、焦慮或自主性下降為代價。