AI 리서치가 끝없이 불어난다면, 그것이 뒷받침할 결정 하나부터 적는다

Larry

메이야는 여섯 명 팀을 위해 타이베이 근교 워크숍 장소 세 곳을 비교해 달라고 AI에게 부탁했다. 조건은 세 가지뿐이었다. 예산, 이동 시간, 휠체어로 드나들 수 있는지. 30분 뒤 AI가 돌려준 보고서에는 숙박, 식사, 우천 시 대안, 주변 관광 코스, 그리고 후보지 열일곱 곳이 더해져 있었다. 보고서는 두툼했지만, 원래 세 곳 중 하나를 고르게 해 줄 비교표는 없었다.

자료는 충분하다. 빠진 것은 이 리서치가 언제 끝난 것으로 볼지에 대한 정의다. AI는 인접한 질문을 찾아내는 데 아주 능해서, 지시에 “빠짐없이”, “최대한 많이"라고 적혀 있으면 새 출처마다 가지가 몇 개씩 더 뻗어 나간다. 결국 많은 일을 한 것처럼 보이지만, 정작 뒷받침해야 할 결정은 묻혀 버린다. 리서치의 완료 조건은 출처의 수가 아니다. 구체적인 결정 하나를 뒷받침할 수 있느냐다.

출처 개수는 진척이 아니다

출처의 수는 세기 쉬워서 진척도로 착각하기 쉽다. 하지만 장소를 소개하는 글 스무 편을 읽어도 “휠체어로 입구에서 주요 활동 공간까지 갈 수 있는가"라는 질문 하나에는 답하지 못할 수 있다. 반대로 공식 요금표 한 장이면 가격 확인은 충분할 수 있다.

AI 리서치 도구도 이미 이 점을 보여 준다. Google Gemini의 Deep Research(딥 리서치)는 본격적으로 시작하기 전에 리서치 계획을 만들고, 사용자는 “계획 수정"으로 고칠 수 있으며 어떤 출처를 포함할지도 고를 수 있다. 리서치의 방향과 범위는 원래 시작하기 전에 사람이 정하는 것이다.

이 리서치로 누가 무엇을 정하는지 적는다

리서치 주제는 “타이베이 근처에서 팀 행사에 좋은 곳 조사"가 아니다. “수요일까지 견적을 받은 장소 세 곳 중 메이야가 하나를 고를 수 있게 한다. 총 대관료는 예산 안, 타이베이역에서 50분 이내, 휠체어로 입구에서 주요 활동 공간까지 갈 수 있어야 한다"여야 한다.

이 한 문장으로 네 가지가 동시에 정해진다. 누가 정하는지, 언제까지인지, 어떤 선택지 중에서 고르는지, 어떤 조건은 양보할 수 없는지. 숙박이나 식사도 중요할 수 있지만, 이번 장소 선택을 바꾸지 않는다면 일단 주요 비교에는 넣지 않는다. 중요하다는 것과 지금 범위 안에 있다는 것은 다른 이야기다.

정부 기관의 신속 증거 평가도 같은 생각으로 움직인다. 영국 문화미디어체육부의 2025년 평가 보고서는 자료를 거르기 전에 조사 질문, 검색 전략, 포함·제외 기준을 먼저 정하고, 긴 목록을 만든 뒤 기준에 따라 짧은 목록으로 좁혔다. 일상의 리서치가 이 절차를 그대로 따를 필요는 없지만, 핵심은 빌릴 수 있다. 무엇을 증거로 볼지 먼저 정한 다음 모으기 시작하는 것이다.

리서치를 끝맺게 하는 네 가지

첫째, 뒷받침할 결정은 하나만. 보고서 하나로 장소를 고르고, 숙소를 예약하고, 교통을 짜고, 활동을 설계한다면 그건 사실 일 네 개다.

둘째, 모든 선택지에 같은 증거를 요구한다. 장소 예라면 몇 가지 항목이면 된다. 세금 포함 가격과 견적 날짜, 출발지에서 장소까지 이동 시간, 무장애 입구와 화장실에 대한 구체적인 증거, 취소 규정. A 장소에는 항목이 열두 개인데 B 장소에는 홍보 문구만 있는 상태를, 분량으로 비교한 척해서는 안 된다.

셋째, 중단 조건을 미리 정한다. “출처 열 개를 찾으면 멈춘다"는 좋은 중단 조건이 아니다. 실용적인 버전은 이렇다. 세 선택지의 필수 항목 모두에 열어서 확인할 수 있는 출처가 있다. 서로 어긋나는 숫자는 표시돼 있다. 빠진 데이터에는 선택을 바꿀지 여부가 적혀 있다. 한 번 더 검색해도 이미 아는 결론만 되풀이된다면 멈춘다.

넷째, 새로 찾은 것은 보류 목록으로 보낸다. 보류 항목에는 이유, 언제 다시 열지, 누가 이어받을지를 적는다. 예를 들어 “장소가 정해지고 숙박이 필요해지면 근처 숙소를 비교한다. 총무 담당이 맡는다”. 빠진 질문이 사라진 것은 아니다. 이번 납품을 막지 않게 됐을 뿐이다.

멈춤 조건이 있다고 진실을 다 찾았다는 보장은 없다

중단 조건은 일을 마무리하기 위한 규칙이지, 진실을 다 찾았다는 보장이 아니다. 빠진 데이터가 남아 있어도 그것이 결정에 주는 영향이 보인다면 리서치는 완료될 수 있다. 믿을 만한 두 출처가 서로 어긋날 때, 깔끔한 결론을 내려고 보기 좋은 숫자 하나를 고르지 않는다. 두 값과 날짜를 나란히 두고, 그 차이가 순위를 바꾸는지 적는다. 바꾼다면 “결정 전에 사람이 확인"으로 표시한다.

또 “더 검색하기"만이 확인 방법은 아니다. 장소 웹사이트와 예약 플랫폼의 가격이 다르다면, 다음 수는 AI에게 블로그 스무 편을 더 읽히는 것이 아니라 누군가 직접 견적을 묻는 것일 수 있다. 리서치 범위를 좁힐수록 악의적인 지시가 숨은 웹페이지를 읽을 가능성도 줄어든다. OWASP는 이를 간접 프롬프트 주입이라고 부른다. 공격자가 웹페이지나 문서처럼 AI가 읽을 외부 내용에 지시를 숨겨 두는 수법이다. 리서치를 맡은 AI는 웹페이지를 분석할 자료로 다뤄야지, 자신의 작업을 바꿀 수 있는 명령으로 다뤄서는 안 된다.

다음 단계로, 계속 불어나고 있는 리서치 하나를 골라 원래 지시를 다섯 칸으로 다시 써 보자. 결정, 후보 상한, 필요한 증거, 중단 조건, 보류 목록이다. AI에게는 마지막에 비교표, 출처 링크, 충돌과 빈틈, 보류 목록만 내게 한다. 리서치 출처 자체가 오염됐을까 걱정된다면 AI 리서치 보고서에 붙은 출처는 어디서 읽었는지 보여 줄 뿐, 그것이 사실이라고 보여 주지 않는다를 참고하자. 리서치가 여러 차례 자동으로 돌아가는 긴 작업이 됐다면 비용 관리는 긴 AI 작업의 비용은 대부분 재시도와 컨텍스트 재전송에서 나온다를 참고하면 된다.

AI 정리 카드

AI 리서치가 계속 불어나 끝나지 않아서, 납품할 수 있는 형태로 좁히고 싶다.
판단 방법은 이 글에서 가져왔다: https://boosterminiclass.com/ko/posts/ai-research-stop-rule-before-scope-creep/
글의 관점은 이렇다. 리서치의 완료 조건은 출처의 수가 아니라 구체적인 결정 하나를 뒷받침할 수 있느냐다. 그 결정(누가, 언제까지, 어떤 선택지에서 고르는지), 모든 선택지에 필요한 같은 증거 묶음, 중단 조건을 적고, 나머지 인접 질문은 보류 목록으로 보낸다.

먼저 나에게 질문 3개를 해 달라:
1. 이 리서치를 바탕으로 누가 언제까지 무엇을 정하는가;
2. 지금 후보는 무엇이고, 양보할 수 없는 조건은 무엇인가;
3. 리서치가 원래 다룰 생각이 없던 어떤 질문까지 넓어졌는가.

내 답을 바탕으로 다음을 출력해 달라:
- 한 문장 리서치 목표: 누가, 언제까지, 어떤 선택지에서, 어떤 조건으로 고르는지;
- 모든 선택지에 필요한 같은 증거 항목;
- 중단 조건: 무엇을 납품 가능으로 보고, 어떤 빈틈이 있으면 먼저 멈출지;
- 보류 목록: 항목마다 다시 열 조건과 이어받을 사람;
- 한 줄 판단: 지금 납품 가능 / 증거 하나 부족 / 먼저 멈춰야 함.
새로 검색하거나, 파일을 바꾸거나, 최종 선택을 나 대신 하지 말 것. 결정은 책임자가 한다.