AI 코드 최적화를 시작해도 되는지 평가기가 먼저 답할 수 있나요?

탐색 예산보다 평가 계약을 먼저 정해요

평가 계약에는 다섯 가지 역할이 있어요. 비교할 실행 환경과 기준선을 고정하고, 개선 방향을 계산 가능한 지표 하나로 만들어요. 정확성·결정성·자원·인터페이스에 관한 절대 제약을 검사하며, 정해진 예산이나 연속 무개선 횟수에 도달하면 멈춰요. 마지막으로 살아남은 변경과 근거를 읽고 배포 여부를 결정할 사람을 지정해요.

빈칸을 채우기 위한 문서가 아니에요. Klarna Engineering의 사례에서는 엔지니어가 변경 가능 범위와 지표, 양보할 수 없는 제약을 정했어요. 결정성 조건 하나가 빠지자 속도는 빠르지만 배포할 수 없는 경로가 나왔어요. 개선 없이 평가가 631회 이어졌다는 기록도 있어요. 멈춤 규칙이 없다면 계산 자원이 아니라 사람의 인내심이 종료 조건이 돼요.

평가기 통과와 배포 승인을 분리해요

매번 시작 버전, 환경, 점수, 제약 검사 결과, 중단 이유, 최종 차이를 남겨요. 지정된 책임자가 이 기록을 읽고 보안·운영·제품 검토로 넘길지 결정해요. 평가기는 작성된 조건을 후보가 충족했다는 근거를 줄 뿐이에요. 빠뜨린 요구사항이 없다는 사실까지 증명하지는 못해요.

플랫폼부터 도입하지 않아도 돼요. 경계가 분명한 최적화 목표 하나를 골라 기준선, 지표, 절대 제약, 중단 조건, 책임자를 적어 보세요. 한 항목이라도 모호하면 후보를 더 만들 때가 아니라 그 항목을 검증 가능하게 만들 때예요.

결과를 평가하기 전에 탐색 범위를 정해요

1. 정원사는 작은 구역에서 모종 몇 포기만 비교하며 관리 가능한 시험을 시작해요.
2. 모종 줄이 처음 정한 범위 밖으로 퍼지자, 정원사는 확장된 규모를 살피며 멈춰요.
3. 나무 말뚝과 줄을 이용해 이번에 끝낼 시험 구역 하나만 다시 정해요.
4. 경계를 정한 구역은 건강하게 자랐고, 나머지 밭은 다음 판단까지 그대로 남겨 둬요.