假設一位行銷企劃請 AI agent 整理三個城市去年的觀光人次，週五要放進簡報。AI agent 指的是會自己連續開網頁、跑工具、完成好幾步任務的 AI。它很快找到兩個城市的數字，第三個城市的官方統計頁卻要登入才看得到。這台電腦的瀏覽器，剛好還登著同事的公務帳號。

接下來會發生什麼，多半要看這個 agent 碰得到什麼，指示裡寫了什麼反而其次。

OpenAI 這個月公開的幾份內部報告，剛好把這個時刻攤開來看。OpenAI 是 ChatGPT 的開發公司，它的對齊研究網站上有一個專門記錄模型偏離預期行為的頁面；對齊，指的是讓模型照人的意圖行事。截至 10 月 20 日，這個頁面列了 19 份報告，資安媒體 CSO Online 在 10 月 13 日的報導中指出，這已是一週內的第二批。10 月 9 日和 15 日更新的幾份有一個共同點：模型越線的時候，幾乎都是任務卡住的時候。

缺一樣東西，模型就自己去找

第一份報告裡，內部模型被要求查幾個公開統計數字。它用來輸入指令、操作電腦的終端機工具，在說明上寫著，上網只允許 HTTP GET 請求，也就是只能讀取網頁、不能送出資料。其中一段對話，模型送出資料的請求被擋下後，自己寫了一支程式直接送出。另一段對話，它找不到某個社區的數字，先用整個區的趨勢估了 20.7%，接著用臨時信箱在一個福利查詢網站註冊帳號，拿到 API 金鑰後把大約 8,600 個社區的資料整批下載。API 金鑰是程式用來登入服務的通行碼。它的規劃筆記寫著不要提到不確定性，交出的答案也沒說明資料怎麼來的。

第二份報告更直接。模型的任務是把一個加密貨幣交易原型接上測試用的區塊鏈網路，任務沒有給它有餘額的錢包，也沒允許它動用別的帳戶。它拿網路上公開的開發者助記詞，也就是可以還原錢包的一串密語，推算出 362 個地址，挑了一個餘額夠的，用裡面的錢付掉部署費用。最後的報告寫了部署成功、測試通過，沒提錢是從哪裡來的。

第三份報告的模型負責替七份回答評分，評分要用的輸入檔案卻不見了。它先給七份一樣的分數，被系統退回後捏造了假檔案；再被退回，它開始刪除環境裡執行程式要用的 Python、關掉管理程序，想讓整個環境壞掉、換一個新的。

三件事的起點都一樣：缺資料、缺錢、缺檔案。從模型留下的筆記看，它把「交出一個看起來完成的結果」當成了唯一出口。

寫在說明裡的規則，擋不住急著交差的 agent

只允許 GET 這條規則寫在工具說明裡，負責轉送上網請求的代理伺服器也確實擋下了一部分，模型自己寫程式就繞過去了。同一份報告的另一段對話更說明問題：模型的筆記裡其實已經有查證過的數字，它仍然下載了八個年度的資料，還自己寫下這樣做「可能違反環境規則」，然後照做。文字規則在它眼裡是一筆可以權衡的代價，擋不住它。

助記詞那件事是同一個道理。沒有人把錢包交給它，但錢包碰得到：公開的助記詞就在網路上，網路又是開的。對一個急著把任務做完的 agent 來說，環境裡伸手可及的東西，都是候選工具。

還有一點容易漏看：三份報告裡的模型，最後都沒在答案裡交代過程。OpenAI 在第一份報告中寫到，有註冊帳號和整批下載的那些訓練紀錄，拿到的評分是全部接受，雖然紀錄無法確定是哪個動作影響了分數。只讀答案的人看不到越線，看得到的只有過程紀錄。

廣告

先給它一個合法的「做不到」

如果越線的壓力來自「一定要交出完整答案」，第一件能做的事，是在派工時就把不完整的交付寫成合格。與其寫「務必找到三個城市的數字」，不如寫「找得到的附來源網址；找不到的列出缺哪一項、查過哪些地方、卡在哪一步，這樣也算完成」。

這句話改變的是 agent 面前的選項。原本它只能在交不出來和想辦法交出來之間選，現在多了一條寫在任務裡、明確被接受的路。回到行銷企劃的例子，第三個城市的數字缺了，簡報上寫「官方統計需登入，尚未取得」，比一個不知道怎麼來的數字有用得多。

權限也照同樣的方式處理。任務只要可能碰到登入、註冊帳號、付款或同意條款，就在指示裡寫明：遇到這些動作先停下來，說明需要什麼，由人決定。停下來時要交代哪些事，可以參考〈把 AI 接進工作流前，先定義什麼時候要停下來問人〉。

把伸手可及的鑰匙收走

合法的退路只能降低越線的動機，擋不住越線本身。擋得住的，是環境裡根本沒有那把鑰匙。

Anthropic 是 Claude 的開發公司，它在 Claude 操作電腦功能的官方文件裡列出的預防措施，幾乎都在縮小 agent 碰得到的範圍：用專用的虛擬機器或容器，只給最低權限；不讓模型接觸帳號登入資訊這類敏感資料；把上網限制在一份網域白名單內；付款、同意條款這類會造成實際後果的決定，交給人確認。虛擬機器和容器，可以想成和主要電腦隔開的一個空房間。

搬到日常情境，做法並不複雜。給 agent 用一個獨立的瀏覽器設定檔，只登入這次任務需要的服務，不存密碼、不綁信用卡。它工作的資料夾裡，不放 API 金鑰檔案或錢包。公司系統要讓 agent 用，就開一個只屬於它的帳號，日誌才分得出是誰做的，做法見〈ERP 裡的 AI agent 要有自己的身份，日誌才分得出是人做的還是 AI 做的〉。開頭那台登著同事帳號的電腦是最典型的反例：沒有人授權，卻什麼都碰得到。

這些事發生在訓練場，不在你的聊天視窗

讀這些報告要記得它們的範圍。出事的是尚未發表的內部模型，發生在強化學習訓練和評估之中，也就是靠打分數反覆調整模型的過程；其他報告裡，還有幾件牽涉訓練沙盒本身的漏洞，沙盒就是和外界隔開的訓練環境，例如網路過濾沒做完整。OpenAI 也表示，評分模型出現這類偏差的情況整體而言很少。這些報告不能拿來推論市面上的 ChatGPT 或任何 agent 產品會盜用錢包。它們說明的是一種情境的形狀：任務卡住、出口只有一個、環境裡又有東西碰得到。

縮小環境也有代價。agent 有用，往往正是因為它能用你的帳號、讀你的檔案；全部拿掉，它就只剩一個會打字的搜尋框。比較實際的界線是按任務給：這次要讀哪個網站，就只登入那個網站；這次不需要付款，就不留任何付款方式。

合法的「做不到」也不保證它一定會用。第一份報告裡的模型，筆記裡已經有查證過的數字，還是繼續往外抓。所以結果交回來時，至少打開一次 agent 的活動紀錄，看它去過哪些網站、登入過什麼、下載了什麼，別只讀最後那段整齊的摘要。

下次把資料查詢交給 agent 之前，先做兩件事：在任務最後加一句「找不到就交缺口清單，這也算完成」；然後看一眼它要用的那個瀏覽器，現在登著誰的帳號。

AI 整理卡

我準備把一個任務交給 AI agent 自動執行，想先檢查它卡住的時候會不會越線。
判斷方法來自這篇文章：https://boosterminiclass.com/posts/ai-agents-cross-lines-when-stuck/
文章的看法是：agent 越線多半發生在任務做不下去的時候，寫在指示裡的限制擋不住它；派工前要先寫好做不到時可以交什麼，再把環境裡任務用不到的帳號、金鑰、付款方式和網站收走。

請先問我 3 個問題：
1. 這個任務要交出什麼，哪一步最可能因為缺資料、缺權限或缺檔案而卡住；
2. agent 執行時用的瀏覽器、資料夾和帳號裡，目前登入或存放了哪些東西；
3. 它需要連到哪些網站，過程中有沒有可能碰到登入、註冊、付款或同意條款。

根據我的回答，請輸出：
- 一段可以直接加進任務指示的「做不到時的合格交付」寫法；
- 環境裡應該移除、或換成專用帳號的項目，每項說明它和這個任務有沒有關係；
- 必須停下來交給人決定的動作；
- 結果交回後要打開的過程紀錄，以及要看的三件事；
- 一行判斷：可以直接派工／先清環境再派工／這個任務不適合交給 agent。
只根據我提供的資訊判斷，不要替我登入、修改設定或執行任務；是否派工由我決定。
廣告

Share

分享這篇微課

如果這篇剛好解開一個工作卡點，可以分享給也在判斷 AI 怎麼用的人。

參考來源