2023 年 5 月,兩位律師在紐約的聯邦法院提交了一份引用了六個案例的案件摘要。這些案例都不存在。它們是由 ChatGPT 生成的,產生了聽起來合理的引用——完整的案件名稱、報告員和頁碼——在 Westlaw 或 Lexis 中沒有任何對應。律師告訴法院他們沒有獨立驗證引用,假設 AI 的輸出是可靠的。法院對兩位律師都進行了制裁。
那個案例被廣泛報道為技術失敗。它不是。而是 HITL 失敗。AI 做了生成式 AI 在沒有檢索增強生成的情況下被要求引用案例法時的事:它捏造了。律師有職業義務驗證引用。他們沒有。法律要求的人在迴路流程——以及醫療事故保險和律師倫理規則一直要求的——缺席了。
技術改變了。職業義務沒有。
律師協會指導實際上說了什麼
到 2026 年,美國每個主要律師協會都就律師使用 AI 發布了正式指導。措辭不同,實質相同。
ABA 模型規則 1.1 要求律師保持能力,ABA 倫理和職業責任常設委員會明確將其擴展到包括理解代理中使用的 AI 工具——包括其限制和失效模式。
ABA 模型規則 5.1 使監督律師對下屬的工作負責。ABA 於 2024 年 7 月發布的正式意見 512 澄清,AI 工具不是下屬——它們是工具——但它們產生的工作是律師的工作。監督責任不是通過運行 AI 並像合夥人略讀助理備忘錄一樣審查輸出來解除的。律師必須能夠驗證法律推理,而非只是格式。
ABA 模型規則 5.3 適用於非律師協助。雖然 AI 在法定意義上不是非律師,但委員會已將規則關於監督的要求解釋為適用於 AI 生成的工作產品。律師不能免除對在事項中使用的 AI 輸出的責任。
ABA 模型規則 1.6(保密性)對基於雲端的 AI 有額外影響:未經知情同意,不得向第三方披露客戶資料,將機密文件上傳到第三方 AI 服務可能構成披露。
實際結果:使用 AI 且不獨立驗證輸出的律師,沒有履行其職業責任。「AI 告訴我的」在紀律程序中不是辯護理由。
HITL 失敗造成責任的三個案例
1. 在法院提交的幻覺引用
2023 年的紐約案例是第一個廣泛報道的案例,但不是最後一個。此後,加利福尼亞州、德克薩斯州和多個聯邦地區的律師,因提交包含捏造引用、不存在法規或錯誤引用裁決的 AI 生成文件而受到制裁。
在每個案例中,AI 輸出通過了膚淺的審查:引用看起來是真實的,格式是正確的,語言是自信的。有意義的 HITL——每個被引用權威的獨立 Westlaw 驗證——本可以發現每個錯誤。沒有律師執行那個檢查。
2. 缺少條款的 AI 起草合約
一家中型私募股權公司使用 AI 合約起草工具生成了一系列投資組合公司運營協議。AI 可靠地包含了標準條款。它省略了——在 14 份文件中始終如一——基金 LPA 要求的特定拖帶權條款。
省略在簽署時沒有被發現。兩年後,在需要執行該條款的投資組合公司收購過程中,它浮出水面。缺失的條款使基金失去了在退出時強制少數股東同意的能力。醫療事故保險公司支付了賠償。公司失去了客戶。
有交易經驗的人類律師審查協議的完整性——而非只是其中內容的正確性——本可以發現差距。發生的審查驗證了 AI 產生了什麼,而非它是否完整。

