
긴 AI 작업의 비용은 대부분 재시도와 컨텍스트 재전송에서 나온다
모델 단가는 계속 내려가는데 긴 작업의 청구액은 예상을 넘기 일쑤다. 돈은 단계마다 컨텍스트를 다시 보내는 데와 실패 후 처음부터 다시 돌리는 데 쓰인다. 그래서 상한은 모델 바깥의 프로그램이 작업 전체가 공유하는 하나의 예산으로 지켜야 한다.
tag
같은 주제의 미니 클래스를 모아 보고 최신 글부터 맥락을 채울 수 있습니다.
lessons
태그 안내
이 태그는 같은 세부 주제의 미니 클래스를 모읍니다. 최신 글부터 읽고, 카테고리와 관련 글로 맥락을 이어갈 수 있습니다.

모델 단가는 계속 내려가는데 긴 작업의 청구액은 예상을 넘기 일쑤다. 돈은 단계마다 컨텍스트를 다시 보내는 데와 실패 후 처음부터 다시 돌리는 데 쓰인다. 그래서 상한은 모델 바깥의 프로그램이 작업 전체가 공유하는 하나의 예산으로 지켜야 한다.

AWS FinOps Agent는 클라우드 비용 이상을 조사해 어떤 설정 변경이 원인인지 찾고, Slack이나 Jira로 보낼 수 있다. 하지만 보고서 속 "담당자"가 맞는지는 계정과 팀의 대응표를 먼저 줬는지에 달려 있다. 도입 전에 이 대응표를 쓰고, 그다음 어떤 결과를 채널로 보내고 어떤 것을 티켓으로 만들지 정한다.

Apple은 AI 데이터센터가 메모리 공급을 가져가면서 Mac과 iPad 가격을 올렸다. 가격 인상으로 당신에게 필요한 것이 바뀐 것은 아니다. "앞으로의 AI 기능을 위해 미리 바꾸는 일"이 비싸졌을 뿐이다. 업그레이드 이유는 새 가격이나 AI 홍보가 아니라, 지금 매주 막혀 있는 일에서 출발한다.

2026년, 적지 않은 회사가 한 해 AI 예산을 상반기에 다 써 버렸다. 모델 단가를 비교해서는 이 문제가 풀리지 않는다. 한 가지 일의 진짜 비용에는 재시도 횟수, 밀어 넣은 데이터 양, 사람이 결과를 고치는 시간이 들어간다. 먼저 자주 하는 일 몇 가지를 골라 채택된 결과물 한 건에 얼마가 들었는지 계산한 뒤, 올릴지 줄일지 정한다.

NVIDIA의 RTX Spark는 Arm 프로세서, 강력한 그래픽 칩, 최대 128GB 공유 메모리를 Windows 노트북에 들여와 로컬에서 AI를 돌리는 것을 내세운다. 하지만 Arm 구조로 바뀌면 매일 쓰는 소프트웨어, 플러그인, 드라이버가 모두 네이티브로 돈다는 보장은 없다. 사기 전에 내 도구 목록을 하나씩 대조하고, 매주 기다리는 일로 직접 시험한다.

GitHub Copilot은 2026년 6월부터 쓴 만큼 요금을 매긴다. 코드 자동 완성은 여전히 무료이고, 돈이 드는 것은 대화와 오래 걸리는 에이전트 작업이며, 한도를 다 써도 더 이상 싼 모델로 자동 전환되지 않는다. 팀은 두 가지를 미리 정해야 한다. 한도를 다 쓰면 멈출지 계속 낼지, 어떤 작업에 가장 비싼 모드를 쓰게 할지.

기업용 AI 검색 회사 Glean은 연간 매출 3억 달러를 넘기며 AI 청구서를 줄여 준다는 것을 주된 장점으로 내세운다. 이런 도구를 살 때 "절약"으로 셀 수 있는 것은 두 경우뿐이다. 예전 지출을 정해진 날짜에 해지할 수 있거나, 잴 수 있는 업무 지표가 실제로 내려가는 경우. 나머지는 실험 비용일 뿐이다.