
AI 研究報告附了來源,只代表它從哪裡讀到,不代表那是真的
研究顯示,只要在 Reddit 這類常被讀取的頁面加上約 13 個字,就能讓深度研究型 AI 在三到五成的報告裡引用攻擊者想推的產品。AI 附上的來源只說明它從哪裡讀到,不證明內容可靠。要拿來做決定的結論,至少要有一個任何人都改不了的獨立來源。
category
把同一個主題的微課集中閱讀,從最新文章開始補齊上下文。
lessons
推薦起點
這裡整理 AI 變成服務、代理與資料需求後,讀者、網站和產品團隊要先確認的邊界。

研究顯示,只要在 Reddit 這類常被讀取的頁面加上約 13 個字,就能讓深度研究型 AI 在三到五成的報告裡引用攻擊者想推的產品。AI 附上的來源只說明它從哪裡讀到,不證明內容可靠。要拿來做決定的結論,至少要有一個任何人都改不了的獨立來源。

英國內政部測試用臉部年齡估算協助判斷尋求庇護者的年齡,強調最後一律由官員決定。調查報導卻指出,系統容易把未成年人估成成人,在部分族群誤差更大。AI 判斷會改變人的待遇時,要先設計好誰能推翻、需要什麼證據、當事人知不知道。

想讓 AI 更懂你的工作方式,很多人第一步是整理一座完整的知識庫,結果卡在分類和工具。比較有效的起點是 AI 做錯的那一次:把修正寫成一條具體、下次讀得懂的規則,而且只記會改變下次行為的東西。

用 AI 的人越來越多,覺得 AI 發展太快的人也一樣多。使用率上升不代表信任跟上了。一個 AI 功能能不能加速推廣,要看使用者能不能不用它、能不能撤回它做的事、出錯時能不能找到人。

KPMG 撤下一份 AI 採用報告,調查發現 45 個引用裡只有 5 個正確指向真實來源。AI 協助寫的報告,最危險的錯誤是看起來有根據的錯誤。審稿要先查引用、具名案例和數字能不能對回原始資料,對不回的句子不進正式版。

AI 讓假網站和假簡訊又快又像樣,連政府的 111 短碼都曾被偽冒。與其判斷一封簡訊像不像真的,不如問:它要我做的事,能不能不點這個連結就完成。

Anthropic 曾在 Claude Fable 5 上設了一道使用者看不見的防護,會悄悄讓特定用途的輸出變差,事後公開道歉並改為可見。供應商端的改變你看不到,能掌握的只有自己這一端:替重要流程留一組固定題目和當時的答案,覺得品質變了,就重跑比對。

YouTube、Meta、TikTok 都開始替 AI 生成內容加上標籤,但標籤只告訴你它可能是 AI 做的,不會替你省下注意力。想少看低品質內容,該問的不是「是不是 AI 做的」,而是「有沒有來源、有沒有人負責、有沒有說明限制」,再依此整理自己的資訊入口。

英國主管機關要求 Google 讓網站可以不被 AI 搜尋摘要使用,Google 隨後在 Search Console 推出開關,並已推向全球。退出會失去這些功能帶來的曝光和流量。不必全站開或全站關,逐頁問:這頁被摘要之後,讀者還有沒有理由點進來?

紐約一家新創提供免費到府清潔,條件是讓清潔人員戴著攝影機錄下過程,影片匿名化後授權給 AI 和機器人公司訓練。模糊處理遮得住臉和文件,遮不住你家的格局和生活習慣;授權出去之後,你也不一定刪得掉。答應之前,先問清楚授權對象和刪除方式。

AI 什麼時候該停下來問人,不能靠模型自己說「我不確定」。要把停手條件寫成系統看得見的事件:關鍵欄位缺漏、來源互相矛盾、下一步會對外送出、中斷後狀態不明。停下來時,還要留下別人接得住的紀錄。

網站要不要做 API 或 MCP,取決於 AI 要完成的那件事是讀公開內容、查會變動的資料,還是替人動手。三種入口要承擔的責任不同,多數網站最該先修的,其實是讓 AI 讀得懂的公開頁面。