많은 팀은 처음에 AI를 “이미 샀으니 최대한 쓰면 되는 도구”처럼 대한다. 실제 압박은 첫날이 아니라 몇 주 뒤 청구서를 열었을 때 온다. 비용은 고정 월 요금만이 아니었고, 입력, 출력, 재시도, 긴 컨텍스트, 더 강한 모델, agent 실행 시간이 조금씩 밀어 올리고 있었다.

TechCrunch는 2026년 6월 5일 AI 비용 압박을 다룬 기사에서 FinOps Foundation의 executive director J.R. Storment의 말을 인용했다. 논의가 “빠르게 많이 쓰자”에서 “가드레일이 필요하다. 어떻게 통제할 것인가”로 옮겨갔다는 내용이다. 이것은 대형 AI 회사만의 문제가 아니다. 작은 팀, 콘텐츠 작업자, 개발팀, 운영 워크플로에도 그대로 적용된다.

문제는 “AI가 비싸니 덜 쓰자”가 아니다. 어떤 작업이 더 높은 모델 비용을 쓸 가치가 있는지, 어떤 작업은 습관적인 업그레이드일 뿐인지, 어떤 작업은 먼저 범위를 줄인 뒤 물어봐야 하는지 구분할 수 있느냐가 핵심이다.

미니 레슨: 모델을 고르기 전에 작업을 먼저 분류한다

처음부터 “어떤 모델이 가장 싼가”를 묻지 말자. 먼저 작업을 세 가지 비용 단계에 넣는다.

비용 단계적합한 작업기본 방식업그레이드 조건중단 또는 낮추는 조건
기본 작업짧은 요약, 문단 다듬기, 작은 코드 설명, 회의 메모 정리저렴한 모델 또는 기본 모델 사용. 입력 길이를 제한하고 출력 형식을 한 번에 지정첫 답변에 문맥이 명확히 부족하고, 보완해도 완료하지 못할 때답을 더 예쁘게 만들고 싶은 정도일 뿐 위험이나 가치가 높지 않다면 올리지 않는다
강화 작업대안 비교, 긴 문서 정리, 의사결정표 작성, 복잡한 오류 점검더 강한 모델을 허용하되 먼저 자료를 요약하고, 나누고, 출력 항목을 정한다결과가 구매, 출시, 고객 커뮤니케이션, 팀 의사결정에 영향을 줄 때모델이 반복하거나 출처가 불분명하거나 근거를 설명하지 못하면 사람이 판단한다
프로젝트급 작업여러 단계의 agent, 여러 파일 수정, 장시간 분석, 배치 콘텐츠 처리먼저 작업 브리프, 데이터 범위, 재시도 한도, 사람 검토 지점, 예산 상한을 쓴다owner, 검수 기준, rollback 방법이 있고 사람이 하면 큰 시간이 드는 경우agent가 범위를 넓히거나 계속 재시도하거나 결과를 검증할 수 없으면 즉시 멈춘다

이 표의 역할은 “AI를 쓸까 말까”를 “이 일은 어떤 비용 단계인가”로 바꾸는 것이다. 같은 모델도 작업에 따라 합리성이 달라진다. 짧은 요약에 최강 모델을 쓰는 것은 낭비일 수 있다. 반대로 고위험 계약 비교를 가장 싼 모델로만 처리하면 오류 비용이 다시 사람에게 넘어갈 수 있다.

token 비용이 직관적이지 않은 이유

많은 AI API는 “한 번 질문하면 얼마”만으로 계산되지 않는다. 입력과 출력이 사용한 token 수를 본다. token은 모델이 텍스트를 처리할 때 나누는 작은 단위라고 생각하면 된다. 한국어, 영어, 문장부호, 코드도 모두 token으로 나뉜다. 문서가 길수록, 컨텍스트가 많을수록, 출력이 길수록 청구서는 올라가기 쉽다.

Anthropic, OpenAI, Amazon Bedrock 같은 플랫폼은 모델이나 기능별 가격을 공개한다. 표의 형태는 다르지만 공통으로 말하는 것은 같다. 모델 성능, 입력 길이, 출력 길이, 캐시, 배치 처리, 도구 호출이 실제 비용에 영향을 줄 수 있다.

그래서 팀은 “단일 호출 가격”만 보지 말아야 한다. 다음을 물어야 한다.

  • 이 작업이 매번 너무 많은 원자료를 넣고 있지 않은가?
  • 출력이 실제로 필요한 길이보다 훨씬 길지 않은가?
  • agent가 아무도 보지 않는 상태에서 반복 재시도하고 있지 않은가?
  • 모두가 낮은 위험의 작은 일에도 가장 강한 모델을 쓰고 있지 않은가?
  • 높은 비용의 작업이 검토 시간 절감, 오류 감소, 납기 단축 같은 결과로 돌아왔는가?

“덜 쓰자”보다 비용 가드레일 표가 더 낫다

관리자가 “AI 비용이 너무 높으니 조금 덜 쓰자”라고만 말하면 보통 두 가지 나쁜 결과가 생긴다. 정말 AI가 필요한 사람은 쓰기를 망설이고, 낮은 가치의 작업은 계속 조용히 비용을 쓴다.

더 나은 방식은 2주마다 작은 비용 가드레일 표를 돌아보는 것이다.

확인할 항목질문중요한 이유
작업 목적이번 AI 사용은 시간 절약, 판단 보조, 초안 작성, 자동 실행 중 무엇인가?목적이 다르면 허용 가능한 비용과 위험도 다르다.
데이터 범위관련 없는 내용을 지우고, 긴 문서를 요약하고, 나누어 처리했는가?가장 흔한 낭비는 모든 자료를 한 번에 넣는 것이다.
모델 단계왜 이 일에 더 강한 모델이 필요한가?설명할 수 없다면 먼저 기본 경로에 둔다.
출력 한도필드, 길이, 형식을 고정했는가?무제한 출력은 비용을 늘리고 사람의 검토도 어렵게 한다.
재시도 규칙어떤 경우에 몇 번까지 다시 물어볼 수 있는가?agent와 자동화 흐름은 여기서 가장 자주 통제를 잃는다.
결과 회고이 비용으로 무엇을 얻었는가?비용 관리는 사용량을 누르는 일이 아니라, 높은 비용의 이유를 분명히 하는 일이다.

이 표가 정교할 필요는 없다. 팀이 어떤 작업은 기본 경로에 남기고, 어떤 작업은 강화 경로로 보내고, 어떤 작업은 프로젝트 관리로 다뤄야 하는지 볼 수 있으면 된다.

업그레이드하지 말아야 할 세 가지 경우

AI 비용이 커지는 이유는 누군가 일부러 낭비해서가 아닐 때가 많다. 업그레이드가 너무 쉬워졌기 때문이다. 다음 세 가지 경우에는 모델을 올리거나 agent를 켜지 않는다.

  1. 작업 범위가 아직 줄어들지 않았다. 폴더 전체, 긴 문서, 긴 대화를 그대로 넣고 있다면 먼저 자료 범위를 정리한다. 더 비싼 모델은 그다음이다.
  2. 출력을 검증할 수 없다. 출처, 항목, 테스트, 사람 검토 지점이 없다면 더 많은 비용은 더 자신감 있는 위험을 만들 뿐일 수 있다.
  3. 중단선이 없다. agent가 계속 재시도하고, 도구를 호출하고, 범위를 넓힐 수 있다면 이것은 단일 호출 비용이 아니라 워크플로 설계 문제다.

고비용 AI는 어려운 문제를 전문가에게 맡기는 것과 비슷해야 한다. 먼저 문제, 제한, 산출물, 멈출 조건을 설명한다. 막힐 때마다 자동으로 업그레이드하는 도구가 아니다.

오늘 할 수 있는 세 단계

첫째, 최근 일주일 동안 가장 자주 사용한 AI 작업 세 가지를 찾는다. 모델 이름부터 보지 말고 작업 목적을 쓴다.

둘째, 그것들을 “기본, 강화, 프로젝트급” 세 단계에 넣는다. 각 단계에는 가장 중요한 규칙 하나만 둔다. 예를 들어 기본 작업은 입력 길이를 제한하고, 강화 작업은 출력 항목을 정하고, 프로젝트급 작업은 owner와 재시도 한도를 둔다.

셋째, 2주 뒤에는 한 가지만 본다. 높은 비용의 작업이 눈에 보이는 성과로 바뀌었는가? 아니라면 사용자부터 탓하지 말고 작업 단계, 데이터 범위, 중단 규칙을 조정한다.

AI 비용 관리는 사람들을 겁줘서 못 쓰게 하는 일이 아니다. 더 높은 비용을 쓰는 매번에 분명한 이유를 만드는 일이다. 팀이 언제 쓰고, 언제 줄이고, 언제 멈춰야 하는지 알면 청구서는 놀라움이 아니라 관리 가능한 워크플로가 된다.

생활 4컷 만화

AI 작업 카드를 분류해 예산 계기판을 경고 상태에서 안정 상태로 되돌리는 팀의 4컷 만화

  1. 처음에는 모든 AI 작업을 같은 기계에 넣으며, 모든 일이 같은 모델 비용을 쓸 가치가 있는 것처럼 보인다.
  2. 작업이 쌓이자 예산 계기판이 올라가고, 팀은 진짜 문제는 범위와 재시도였다는 것을 깨닫는다.
  3. 더 나은 방식은 작업을 작은 도구, 강화 도구, 프로젝트급 일로 나누고 옆에 사람 검토 지점을 두는 것이다.
  4. 각 작업에 맞는 비용 단계가 생기면 AI 청구서는 놀라움이 아니라 관리 가능한 워크플로가 된다.

AI 정리 카드

이 글의 상황에 맞춰 AI에게 정리하게 하기

자신의 AI 채팅 도구에 붙여 넣으면 이 미니 클래스를 개인용 체크리스트로 바꿀 수 있습니다. BMC는 사용자가 AI에 붙여 넣은 내용을 볼 수 없습니다.

Share

이 미니 클래스 공유

이 글이 업무 병목을 푸는 데 도움이 되었다면, AI를 어떻게 쓸지 고민하는 사람에게도 공유해 주세요.

참고 자료