
AI 研究報告附了來源,只代表它從哪裡讀到,不代表那是真的
研究顯示,只要在 Reddit 這類常被讀取的頁面加上約 13 個字,就能讓深度研究型 AI 在三到五成的報告裡引用攻擊者想推的產品。AI 附上的來源只說明它從哪裡讀到,不證明內容可靠。要拿來做決定的結論,至少要有一個任何人都改不了的獨立來源。
tag
把同一個主題的微課集中閱讀,從最新文章開始補齊上下文。
lessons
標籤導讀
這個標籤收集同一個細主題下的微課。先看最新文章,再用分類與延伸閱讀補齊上下文。

研究顯示,只要在 Reddit 這類常被讀取的頁面加上約 13 個字,就能讓深度研究型 AI 在三到五成的報告裡引用攻擊者想推的產品。AI 附上的來源只說明它從哪裡讀到,不證明內容可靠。要拿來做決定的結論,至少要有一個任何人都改不了的獨立來源。

AI 安全工具已經能自動找出漏洞、產生修補並跑測試。速度變快之後,要問的不是能不能修,而是哪些修補可以不經人放行。判斷依據是出事時退不退得回去:可撤回、有測試的小升級可以快速過;碰到登入、付款、客戶資料或部署的修補,一律由人放行。

用 AI 的人越來越多,覺得 AI 發展太快的人也一樣多。使用率上升不代表信任跟上了。一個 AI 功能能不能加速推廣,要看使用者能不能不用它、能不能撤回它做的事、出錯時能不能找到人。

開源工具 DockSec 結合多個 Docker 掃描器,再用 AI 解釋警訊、建議修法。它的自動修正只做機械式的 Dockerfile 修改,不替你挑基底映像版本、不搬動密鑰、不改部署設定檔。這條線也適合團隊照用;開 AI 模式前,還要知道哪些內容會送到模型那邊。

KPMG 撤下一份 AI 採用報告,調查發現 45 個引用裡只有 5 個正確指向真實來源。AI 協助寫的報告,最危險的錯誤是看起來有根據的錯誤。審稿要先查引用、具名案例和數字能不能對回原始資料,對不回的句子不進正式版。

AI 讓假網站和假簡訊又快又像樣,連政府的 111 短碼都曾被偽冒。與其判斷一封簡訊像不像真的,不如問:它要我做的事,能不能不點這個連結就完成。

Anthropic 曾在 Claude Fable 5 上設了一道使用者看不見的防護,會悄悄讓特定用途的輸出變差,事後公開道歉並改為可見。供應商端的改變你看不到,能掌握的只有自己這一端:替重要流程留一組固定題目和當時的答案,覺得品質變了,就重跑比對。