2026년 6월, TechCrunch는 기업들이 AI 청구서 앞에서 겪는 혼란을 정리했다. Uber는 2026년 AI 코딩 예산을 4월에 다 썼다. 어떤 회사는 평범한 계약 갱신 가격이 원래의 네다섯 배로 돌아왔다. 엔지니어 한 명이 한 달에 4만 달러어치 토큰을 썼다는 기술 책임자도 있었다. 클라우드 비용 관리를 알리는 FinOps Foundation의 J.R. Storment는 대화가 “빨리 가자"에서 “안전장치가 필요하다, 어떻게 통제할까?“로 바뀌었다고 말했다.
기사는 이런 관찰도 인용했다. 가장 많이 쓰는 사용자는 가볍게 쓰는 사용자보다 생산성이 두 배쯤 높았지만, 토큰은 열 배를 썼다. 그만한 값어치가 있는지는 출시된 코드가 결국 얼마나 사업 가치를 내느냐에 달렸는데, 대부분의 회사는 아직 그것을 재지 못한다.
여기에 모델 단가만 비교하는 것의 맹점이 있다. 백만 토큰당 가격은 공급자의 요금표이고, 당신의 비용은 별개다. 한 가지 일의 진짜 비용에는 몇 번 재시도했는지, 얼마나 많은 자료를 밀어 넣었는지, 결과가 채택되기 전까지 사람이 얼마나 고쳤는지가 들어간다. AI 청구서를 관리하려면 먼저 채택된 결과물 한 건에 얼마가 들었는지 계산한다.
싼 모델로 바꿔도 청구서가 꼭 줄지는 않는다
요금표에는 분명 차이가 있다. Anthropic 공식 가격 페이지를 예로 들면, 출력 토큰은 입력의 몇 배 가격이고, 다시 쓰는 캐시 내용은 훨씬 싸다. Amazon Bedrock 같은 클라우드 플랫폼의 요금표도 마찬가지로 모델과 사용 방식에 따라 따로 매긴다. 즉 같은 일이라도 AI에게 어떻게 넘기느냐에 따라 비용이 크게 달라진다.
하지만 싼 모델로 바꿨는데 결과 품질이 떨어지고, 재시도가 늘고, 사람이 고치는 시간이 늘어나면 전체 비용은 오히려 오를 수 있다. 반대로 조금 비싼 모델로 한 번에 제대로 끝내는 편이 더 쌀 수도 있다. 단가만 보면 이것이 보이지 않는다.
자주 하는 일의 한 건당 비용을 계산한다
팀이 AI에게 가장 자주 맡기는 일 세 가지에서 다섯 가지를 고른다. 회의 요약, 코드 수정, 고객 답장 초안 같은 것이다. 각각 한두 주 동안 기록한다.
쓴 토큰: 넣은 데이터 양, 출력 길이, 재시도 횟수. 재시도와 매번 자료 전체를 다시 넣는 것이 청구서가 커지는 주원인인 경우가 많다.
채택된 건수: 나온 결과 중 실제로 쓰인 것과 버리고 다시 한 것.
사람이 쓴 시간: 결과를 채택하기 전에 사람이 얼마나 고치고 확인했는지.
총비용을 채택된 건수로 나누면 결과물 한 건의 비용이 된다. 여기에 사람이 고친 시간을 더해 AI를 쓰지 않을 때와 비교한다. 이 숫자가 어떤 일은 더 강한 모델로 올릴 만하고, 어떤 일은 먼저 입력 범위를 줄이고 출력 형식을 정해야 하며, 어떤 일은 아예 AI에 맞지 않는지 알려 준다.
예산 이야기 전에 일의 설계부터 고친다
한 건당 비용이 나오면 흔히 이렇게 고친다. 자료를 통째로 넣지 말고 나누거나 요약해서 AI에게 넘긴다. 출력은 “최대한 자세히"가 아니라 항목과 길이를 정한다. 재시도 상한을 두고, 두세 번 연속 결과가 맞지 않으면 멈춰서 문제가 분명히 정의되지 않은 것은 아닌지 확인한다.
오래 걸리는 일은 특히 돈을 많이 먹고, 원인은 대개 재시도와 컨텍스트를 다시 읽는 데 있다. 긴 AI 작업의 비용은 대부분 재시도와 컨텍스트 재전송에서 나온다를 참고하자. 팀 단위의 예산 상한과 초과 처리는 Copilot이 사용량 과금으로 바뀌었다면, 먼저 한도를 다 썼을 때 멈출지 낼지 정한다를 참고하자.
한 건당 비용으로는 잡히지 않는 가치
한 건당 비용으로 계산할 수 있는 것은 눈에 보이는 부분뿐이다. 신입이 더 빨리 적응하게 하거나, 한 사람이 예전에는 못 하던 일을 하게 되는 가치는 숫자로 바꾸기 어렵다. 평가에 적을 수는 있지만 억지로 숫자로 환산해서는 안 된다.
또 기록 자체에도 비용이 든다. 모든 일을 잴 필요는 없고, 가장 자주 하고 비용이 큰 일 몇 가지면 충분하다. 업계도 아직 측정 방법을 만들어 가는 중으로, 기사에 따르면 Linux Foundation이 AI 비용 측정 지표를 정하는 조직을 준비하고 있다.
AI 정리 카드
우리 팀의 AI 청구서가 계속 커지고 있다. 모델 단가만 비교하지 말고, 자주 하는 일 몇 가지에서 채택된 결과물 한 건에 실제로 얼마가 들었는지 계산하고 싶다.
판단 방법은 이 글에서 가져왔다: https://boosterminiclass.com/ko/posts/model-cost-guardrails-before-ai-token-bill/
글의 관점은 이렇다. 백만 토큰당 가격은 요금표일 뿐이고, 진짜 비용에는 재시도 횟수, 밀어 넣은 자료의 양, 결과가 채택되기 전까지 사람이 고친 시간이 들어간다. 먼저 채택된 결과물 한 건의 비용을 계산하고, 그다음 올릴지, 줄일지, 멈출지 정한다.
먼저 나에게 물어 달라. 팀이 AI에게 가장 자주 맡기는 일 세 가지에서 다섯 가지, 쓰는 모델이나 도구, 지금 볼 수 있는 사용량 데이터.
그다음:
1. 2주짜리 기록표를 설계할 것. 일마다 토큰 사용량, 재시도 횟수, 채택 여부, 사람이 고친 시간;
2. 기록으로 "채택된 결과물 한 건의 비용"을 계산하는 방법을 사람의 시간까지 넣어 설명할 것;
3. 흔한 조정 방법을 적을 것. 입력 줄이기, 출력 제한, 재시도 상한, 그리고 각각 어떤 일에 맞는지;
4. 판단 규칙을 줄 것. 언제 더 강한 모델로 올릴 만하고, 언제 먼저 일의 설계를 고쳐야 하고, 언제 AI에 맞지 않는지.
실제 숫자가 없는 곳은 "기록 필요"로 표시하고, 가정한 숫자로 계산해 보이지 말 것.
참고 자료
- TechCrunch: The token bill comes due: Inside the industry scramble to manage AI’s runaway costs — https://techcrunch.com/2026/06/05/the-token-bill-comes-due-inside-the-industry-scramble-to-manage-ais-runaway-costs/ (2026-06-05)
- Anthropic official documentation: Pricing — https://platform.claude.com/docs/en/about-claude/pricing [accessed: 2026-10-11]
- AWS official: Amazon Bedrock Pricing — https://aws.amazon.com/bedrock/pricing/ [accessed: 2026-10-11]
