첫 번째로 AI에게 보고서를 정리해 달라고 했더니 회사 소개문처럼 써 버리고, 두 번째는 SNS 게시글을 다듬어 달라고 했더니 광고처럼 과하게 들렸고, 세 번째는 자료 점검을 요청했더니 ‘당연한’ 판단 기준을 빼먹고 넘어갔죠.

그래서 이런 생각이 들기도 합니다. 먼저 완전한 지식베이스를 만들지 않으면 안 될까? 모든 프로젝트와 규칙, 선호도, 템플릿을 정리해서 AI가 그걸 읽고 작업하게 해야 하는 건 아닐까?

이 생각은 꽤 타당해 보이지만, 금방 막히기 쉽습니다.

왜냐하면 진짜 어려운 건 지식베이스를 어떤 툴에 넣느냐가 아니라, 내가 평소 어떻게 판단하고, 어디를 기준으로 포기하고, 어떤 출력이 ‘잘못된 것’인지 한 번에 정확히 설명하지 못한다는 점이기 때문입니다.

더 현실적인 방식은 완벽한 지식베이스를 만들려 하지 않는 것입니다. 자주 반복되는 작업을 하나 고르고, 그 작업에서 AI가 틀린 지점을 찾아 빠진 규칙을 정리하세요. 그것이 일상 반복 작업(routine)의 시작점입니다.

바로 이게 당신의 “AI 기억층”(Memory Layer) 시작점입니다. 다음 번에 AI가 덜 추측하고 바로 쓸 수 있는 작업 규칙을 읽도록 만들어 두는 것 말입니다.

기억층은 지식창고가 아니라, AI가 이해할 수 있는 작업 방식이다

AI 기억을 들으면 많은 사람이 떠올리는 건 “내가 좋아하는 것들을 AI가 다 기억하게” 하는 것부터입니다. 예를 들어, 번체 중국어 선호, 간결한 보고서, 표를 적게 쓰기, 고정 서식의 메일 발송 같은 것들 말이죠.

물론 이런 것들도 유용합니다. 다만 시작점에 비하면 표면적인 부분입니다.

AI를 오래 쓰면서 진짜로 체감 품질이 오르는 핵심은, 평소엔 입 밖으로 잘 꺼내지 않는 작업 규칙입니다. 예를 들어:

  • 어떤 경우는 AI가 자동으로 처리해도 되고, 어떤 경우는 반드시 사람이 확인해야 하는지.
  • 글이 어딘가 어색할 때 대개 어느 지점이 문제인지.
  • 보고서는 어느 정도로만 요약해도 되는지, 더 줄이면 오해가 생기는지.
  • 어떤 자료는 배경지식으로 쓰되, 어떤 자료는 반드시 재확인해야 하는지.
  • 어떤 작업은 끝까지 해도 괜찮고, 어떤 작업은 처리 후에도 기록을 남겨야 하는지.

이런 규칙을 머릿속에만 두면 매번 AI는 추측하게 됩니다. 한 번 글로 정리하면, 다음 번 AI가 읽을 수 있는 작업 인터페이스가 됩니다.

노트 정리라기보다, 미래의 AI를 위한 작업 매뉴얼을 써두는 셈이라고 보면 됩니다.

가장 피로한 하나의 반복 작업(routine)으로 시작하기

AI 기억층을 만들 때 가장 흔한 실패는 시작부터 전부를 정리하려 드는 것입니다.

폴더 분류, 태그 방식, 노트 툴 선택, 양방향 링크 여부, 벡터 검색 도입이냐 마냐를 고민하기 시작하죠. 이런 고민이 나쁘진 않지만, 너무 먼저 시작하면 실제 작업이 멈추기 쉽습니다.

좋은 시작은 이미 여러 번 했고, 매번 조금씩 짜증이 쌓인 작업을 하나 고르는 것입니다.

예를 들면:

  • 매주 업무 보고서 정리하기
  • 특정 데이터 묶음을 특정 형식으로 변환하기
  • 글 하나를 발행 가능한지 리뷰하기
  • 반복적으로 들어오는 고객 문의 답변하기
  • 웹사이트 업데이트 후 SEO가 깨졌는지 점검하기
  • 회의록을 다음 실행 항목으로 정리하기

처음부터 시스템을 설계하지 마세요. 그 작업을 바로 AI에게 한 번 맡겨 보세요.

AI가 처음엔 완전히 맞추지 못할 가능성이 큽니다. 실패가 아닙니다. 오히려 가장 가치 있는 지점입니다.

왜냐하면 AI가 틀린 순간, 머릿속에 있었지만 말로는 잘 안 나오던 규칙이 강제로 드러나기 때문입니다.

AI가 너무 포괄적으로 쓰면, 여러분이 실제로는 구체적 맥락을 원하는 것임을 알게 됩니다. 표가 너무 많으면, 글로 설명하는 구성이 더 낫다는 걸 알 수 있습니다. AI가 승인 없이 발송하면 안 될 내용을 보내려 하면, 그 작업은 사람의 확인 게이트가 필요하다는 걸 알게 됩니다. 오래된 배경 정보를 현재 사실처럼 사용하는 오류가 생기면, 기억에는 검증 경계가 필요하다는 걸 알 수 있습니다.

이처럼 “한눈에 보면 틀렸다는 느낌”은 암묵지(말로 설명하기 어려운 직관적 판단)가 표면화되는 순간입니다. 입으로는 설명하기 어렵던 판단이, 글로 구체화되는 지점입니다.

수정은 다시 쓰기만이 아니라 규칙으로 남기기

AI를 사용할 때 흔히 하는 일은 틀린 결과를 보고 “아니, 이렇게가 아니다. 다시 써.”라고만 말하는 것입니다.

이건 당장 출력은 맞출 수 있어도, 다음 번에도 같은 실수를 반복합니다.

더 좋은 방법은 수정 내용을 한 줄 더 보강해 재사용 가능한 규칙으로 만드는 것입니다.

예를 들어 이렇게만 말하지 마세요:

이 글은 너무 광고처럼 들립니다. 다시 써 줘.

대신 이렇게 보완하세요:

이런 글은 도구 소개처럼 보이는 톤을 피하세요. 먼저 독자가 구체적으로 상상할 수 있는 사용 시나리오를 제시하고, 이후에 판단할 때의 리스크나 trade-off를 짚어야 합니다. 표가 의사결정에 도움을 주지 못한다면, 텍스트로 먼저 설명한 뒤 필요 시 표를 넣으세요.

또 이렇게만 말하지 마세요:

이 메일이 너무 깁니다.

대신 이렇게 보강하세요:

정기 보고서는 반드시 네 구간으로 나눕니다: 요약, 완료 항목, 판단 필요 항목, 다음 단계. 실행에 직접 영향이 없는 기술 상태는 본문에 넣지 않습니다.

또 이렇게만 말하지 마세요:

이건 자동으로 처리하면 안 됩니다.

대신 이렇게 보완하세요:

외부 계정 변경, 금전 이동, 정식 메일 발송, 권한 변경, 배치 주기 변경, 정식 릴리즈와 같은 동작은 범위·리스크·검증 방법을 먼저 설명하고 승인 뒤 진행합니다.

규칙의 가치는 문장이 멋지냐가 아니라, 다음 작업에서 이 규칙을 읽을 수 있느냐입니다.

AI는 같은 류의 작업을 다시 할 때마다 당신의 기준을 다시 추측할 필요가 없게 됩니다.

한 번의 실수는 네 가지 기억으로 나누기

AI가 틀린 경우, 수정 포인트를 전부 한 문서에 묶지 말고 네 가지로 분류하면 됩니다.

기억 유형처리 방법
선호예: 번체 중국어 사용, 보고서의 간결성 유지, 표 사용 최소화, 자연스러운 말투. 이런 항목은 오랫동안 유지되어도 괜찮아요. 여러 출력에 반복적으로 영향을 주기 때문입니다.
프로세스예: 글 발행 전 자체 체크, 사이트 수정 후 QA 실행, 메일 발송 후 전송함 확인. 이런 항목은 채팅 이력에 남지 않게 하고, 반복 가능한 절차로 바꿉니다.
판단 경계예: 어떤 작업은 자동 실행 가능한지, 어떤 작업은 사전 질문이 필요한지, 어떤 데이터는 배경으로만 쓰고 어떤 데이터는 재확인이 필요한지. 이 부분이 가장 중요합니다. AI가 얼마나 멀리 갈 수 있는지를 결정하기 때문입니다.
일회성 상태예: 특정 글의 오늘 수정 위치, 특정 작업 번호, 이번 작업 완료 여부 등. 이런 건 장기 기억에 넣지 않는 것이 좋습니다. 오래 가면 잡음이 되니까요.

건강한 Memory Layer는 모든 것을 기억하지 않습니다. 다음 행동을 바꾸는 내용만 남기는 구조입니다.

AI에게 더 많이 기억하게 하는 게 아니라, 더 적게 추측하게 하기

AI 보조 도구를 오래 쓰는 사람도 결국 같은 지점에 부딪칩니다. AI를 좋아지게 만드는 핵심은 “더 많이 기억"하게 하는 것이 아니라, “더 적게 추측"하게 만드는 것입니다.

초기에는 AI가 당신을 “글쓰기 보조”, “보고서 정리”, “사이트 점검” 정도로만 알게 될 수 있습니다. 하지만 그것만으로는 거칠기만 합니다.

진짜로 오래 쓰기 좋게 만드는 건, 매번의 수정에서 남는 규칙입니다.

예를 들어 한 편의 글은 단순히 완성도만이 아니라, 독자가 장면을 상상할 수 있는 맥락을 먼저 제시하고, 판단 포인트를 이어가는 흐름이 더 중요합니다. 표는 쓸 수 없다는 뜻이 아니라, 비교·의사결정·인수인계에 도움이 될 때만 써야 한다는 뜻입니다. 단순히 내용을 칸에 나눠 넣는 용도는 글을 뻣뻣하게 만들 뿐입니다.

또 예를 들어, 반복 점검은 작은 문제에서 바로 중단해 사람 결정을 기다리는 것만은 아닙니다. 성숙하고 낮은 리스크로, 이미 절차가 확보된 수정은 자동 처리할 수 있지만, 정식 릴리즈, 외부 서비스 호출, 권한 변경, 금전/일정 동작 등은 영향 범위를 먼저 명확히 해야 합니다.

또한 기억은 무한히 늘릴 수 없습니다. 선호도와 장기 규칙은 남기되, 작업 진행 상황과 일회성 결과는 장기 기억에 넣지 마세요. 그러지 않으면 AI는 점점 더 많은 과거 정보를 붙잡고 있으나 실제로는 점점 오래된 컨텍스트를 들고 다니게 됩니다.

이런 규칙은 대개 처음부터 정교하게 설계되지 않습니다. 반복 작업, 오류, 수정, 검증을 거치며 점점 생겨납니다.

그래서 AI 기억층의 진짜 장점은 AI가 더 많이 외우는 것이 아니라, 더 적게 추측하는 데 있습니다.

기억층의 출발점은 자신의 작업 방식을 명확히 말하는 것

AI를 배우는 초반에는 보통 이런 고민부터 시작하죠. 어떤 모델이 더 강한지, 어떤 에이전트 프레임워크가 더 좋은지, 어떤 플러그인이 시간 절약에 좋은지.

배워두면 좋은 것들입니다. 하지만 모델은 바뀌고, 인터페이스는 바뀌고, 프레임워크도 다시 통합됩니다.

지속적으로 남는 것은, 내가 작업을 어떻게 쪼개고, 어떤 품질 기준으로 판단하고, 어디서 멈출지, 그리고 한 번의 실수를 다음 번에 쓸 수 있는 규칙으로 바꾸는지 설명할 수 있는 능력입니다.

즉, AI 기억층의 시작점은 더 나은 툴 선택이 아니라, 작업 방식을 한 줄씩 정교화하는 것입니다. 이 능력이 생기면 어떤 AI 툴도 훨씬 잘 맞고, AI에게 단순 질의가 아니라 함께 일하는 방법을 가르치는 방식으로 바뀝니다.

오늘 바로 할 수 있는 작은 실습

AI 기억층을 만들고 싶다면, 툴 교체도, 전체 노트 정리도 필요 없습니다.

오늘은 딱 한 가지만 하세요. 최근에 자주 하고 자주 수정해야 했던 작업 하나를 고릅니다. AI에 한 번 실행하게 하세요. 틀렸을 때는 다시 쓰라고만 말하지 말고, 이 세 가지만 더 적으세요:

  1. 이번에 뭘 잘못했나?
  2. AI에게 당연한 줄 알았던 어떤 규칙을 빠뜨렸나?
  3. 이 규칙은 어디에 둘지: 선호, 프로세스, 판단 경계 중 어디로 갈지, 아니면 장기 저장 대상이 아닌지?

이걸 지속하면 AI 작업 방식이 조금씩 바뀝니다.

처음에는 한 번의 결과를 고치는 데 그쳤지만, 몇 주가 지나면 재사용 가능한 작업 규칙 집합이 쌓입니다. 그러다 보면 AI는 단순히 질문에 답하는 도구에서 벗어나, 당신의 작업 방식을 점점 더 이해하는 보조자로 바뀝니다.

AI 기억층의 핵심은 기억량이 아니라, “아, 이건 안 맞다"라고 직관으로 알던 판단을 점점 AI가 읽을 수 있는 문장으로 바꿔놓는 것입니다.

이 작업은 툴이 성숙해질 때까지 기다릴 필요가 없습니다. 툴은 바뀌고, 모델은 바뀌고, 프레임워크도 바뀝니다. 하지만 오늘 적어두는 워크플로우, 판단 규칙, 중단선은 오래 갑니다.

생활 4컷 만화

AI가 틀린 카드들을 네 가지 기억 규칙으로 정리해 다음 번에는 덜 추측하도록 돕는 4컷 만화

  1. 처음에는 사람과 AI 모두 흩어진 카드 더미 앞에서 무엇이 핵심 문제인지 알기 어렵습니다.
  2. 사람은 먼저 잘못된 카드 하나를 골라 이번에 무엇이 틀렸는지 눈에 보이게 만듭니다.
  3. 그 카드를 선호, 프로세스, 판단 경계, 일회성 상태로 나누어 규칙을 정리합니다.
  4. 다음 번에는 AI가 정리된 규칙을 읽고 덜 추측하며 사람과 더 매끄럽게 함께 일할 수 있습니다.

연계 설명

이 글의 관점은 실제 현업 워크플로우에서 얻은 경험을 바탕으로 하며, AI 기억층과 에이전트 협업을 다룬 구독 글에서 영감을 받았습니다.