문서를 100개 넣었는데 왜 멍청해?
자료를 ‘많이’가 아니라 ‘읽히게’ 넣는 법

나는 문서 100개를 만들어놓고 뿌듯해했다.

“이 정도면 진짜 나의 분신이지.”

지금 생각하면 부끄럽다. 그때의 나는 도서관에 책을 1,000권 갖다 놓으면 사서가 전부 읽는 줄 알았다.

사서는 그중 3~4권만 꺼내서 보는 건데.

시작은 거창했다

1강에서 나는 뼈아픈 교훈을 얻었다.

GPT는 기억력이 없다. 그나마 쥐여줄 수 있는 시스템 프롬프트(지침)도 길이 한계가 있다. 한마디로, 이놈의 기억력은 간장 종지만하다. 그래서 문서를 넣어야 한다.

“좋아, 종지가 작으면 창고를 지어주면 되지. 문서를 왕창 넣어서 똑똑하게 만들자!”

이게 2강의 시작이다. (그리고 3주짜리 삽질의 시작이었음..)

나는 곧장 ‘문서 학습용 GPTs’를 만들었다. 이름도 거창하게 ‘지식 변환기’라고 붙였다. 하는 일은 단순했다. 내가 가진 자료 — 세일즈 스크립트, 마케팅 전략서, 고객 분석 리포트 — 를 GPT가 읽기 좋은 형태의 문서로 바꿔주는 놈이었다.

근데 문서를 하나하나 넣고, 변환 요청하고, 결과물 확인하고, 다시 수정 요청하고... 이걸 수작업으로 하니까 미치겠는 거다. 문서 하나에 15분. 100개 만들려면 25시간.

그래서 매크로를 만들었다.

마케터니까. 자동화는 DNA에 새겨져 있으니까.

키보드 매크로 프로그램으로 “클릭 → 붙여넣기 → 전송 → 대기 → 복사 → 저장”을 자동화했다. 밤에 틀어놓고 자면 아침에 문서 20개가 뚝딱 만들어져 있었다. 마케터의 본능이 빛나는 순간이었다.

3주 만에 문서 100개를 넘겼다.

세일즈 스크립트 15개. 고객 심리 분석 문서 12개. 퍼널 전략서 20개. 카피라이팅 가이드 18개. 마케팅 사례 분석 35개.

“이 정도면 나보다 똑똑하겠는데?”

이 자신감이 문제였다.

PDF 통째로 넣었더니 벌어진 일

처음에는 PDF를 그냥 통째로 넣었다.

200페이지짜리 마케팅 전략서? 통째로. 150페이지짜리 세일즈 교육 자료? 통째로. “AI가 알아서 다 읽겠지” 싶었다.

결과는 처참했다.

뭐 이런 교과서 답변이. 내가 넣은 문서에는 구체적인 공식이 있는데, 이 녀석은 일반론만 읊고 있었다.

그리고는 또 두루뭉술한 답변.

처음에는 ‘내가 질문을 잘못했나?’ 싶었다. 질문을 바꿔보고, 더 구체적으로 물어보고, “문서 몇 번을 참고해서 답해줘”라고 지정까지 했다.

그래도 대답이 어설펐다.

100개 문서를 만든 사람의 자존심이 와장창 무너지는 순간이었다.

그런데 진짜 범인은 따로 있었다. 질문을 고치고, 문서를 정리해도 다 안 잡히는 놈. 이름도 처음 듣는 세 글자였다.

“AI가 읽기 좋은 형태로 만들어라”

답답해서 GPT한테 물어봤다. “야, 너 왜 문서 내용을 제대로 못 찾아?”

GPT가 솔직하게 말해줬다.

“PDF를 그대로 넣으면 텍스트 추출 과정에서 서식이 깨지고, 표가 풀어지고, 맥락이 끊깁니다. AI가 읽기 좋은 형태로 미리 정리해주시면 훨씬 정확하게 답할 수 있습니다.”

순간 뒤통수를 맞은 느낌이었다.

그러니까 이런 거다. 200페이지짜리 PDF를 통째로 넣으면, GPT 입장에서는 중간중간 글자가 깨지고, 표는 숫자가 뒤섞이고, 챕터 구분도 안 되는 정리 안 된 문서 더미를 받은 거다. 사람도 이런 문서를 받으면 “이게 뭐야” 하잖아.

그래서 전략을 바꿨다.

PDF 통째로 넣기를 전면 중단했다.

대신 이렇게 했다.

• 200페이지짜리 문서를 챕터 단위로 분리
• 각 챕터의 핵심 내용을 10줄 이내로 요약
• 핵심 공식, 수치, 사례는 별도 참조 문서로 분리
• 모든 문서에 제목, 카테고리, 키워드 태그 추가

하나의 PDF가 4종류 파일로 쪼개졌다. 요약 문서(전체 흐름 파악용), 핵심 공식 문서(구체적 수치·공식 모음), 사례 문서(실전 적용 케이스), 용어 정의 문서(헷갈리기 쉬운 개념 정리).

작업량이 3배로 늘었다. 한숨이 나왔다. (밤마다 매크로 공장을 다시 돌렸음.. 자동화하는 일을 자동화하는 일이 늘어남..)

근데 결과가 달랐다.

문서 정리법 하나 바꿨더니, GPT가 천재가 됐다

두괄식으로 말한다. 문서 정리 방식 하나 바꿨더니, 같은 질문에 대한 답변이 완전히 달라졌다.

직접 테스트했다. 같은 질문 20개를 던져봤다. PDF를 통째로 넣었을 땐 절반도 제대로 못 맞히던 녀석이, 챕터별로 정리하고 나니 대부분의 질문에 정확한 답을 짚어냈다.

예를 들어 이런 질문. “우리 회사의 세일즈 퍼널 3단계 전환율 공식이 뭐야?”

차이가 느껴지는가?

전에는 “교과서에서 긁어온 듯한 답변”이었다면, 이제는 내가 넣은 데이터 기반의 구체적인 답변이 나왔다. 심지어 참고 문서까지 알려줬다.

“와, 이게 이렇게 달라지는 거야?”

문서 정리에 1주일을 더 투자했다. 기존 100개 문서를 전부 새 형식으로 재작성했다. 매크로도 업그레이드했다. 변환 템플릿을 4종류로 나누고, 자동으로 태그까지 붙이게 만들었다.

결과? 내가 만든 GPTs가 진짜 “나의 분신” 같아졌다. 질문하면 내가 대답할 법한 내용이, 내가 쓸 법한 톤으로 나왔다.

체감이 가장 컸던 건 리서치다. 전에는 기획 하나 잡으려면 자료 뒤지는 데만 2~3주가 통째로 갈려 들어갔다. 정리된 문서함에 물어보니, 하루이틀이면 끝났다.

“드디어 됐다! 이제 완벽하다!”

...라고 생각한 건 또 착각이었다.

100개를 넣었는데 왜 전부를 모르지?

문서를 깔끔하게 정리하고 나니, 답변 품질은 확실히 좋아졌다. 그런데 이상한 일이 생겼다.

분명 넣은 내용인데 모를 때가 있었다.

“아니, 분명 넣었는데?”

확인해보면 진짜 있다. 문서 목록에 떡하니 있다. 근데 GPT가 못 찾는다.

처음에는 ‘문서가 너무 많아서 그런가?’ 싶었다. 그래서 문서를 줄여봤다. 100개에서 50개로. 관련 없는 거 빼고.

조금 나아졌다. 근데 여전히 못 찾는 게 있었다.

“왜 모든 문서를 다 읽지 못하는 거지?”

이 질문이 모든 걸 바꿨다.

그게 RAG라고?

답답해서 GPT한테 직접 물어봤다.

100개 중에 3~5개.

나는 100명분의 지식을 넣어놨는데, 이 녀석은 매번 3~5명한테만 물어보고 있었던 거다.

“그게 뭔데? 그런 방식에 이름이 있어?”

“RAG(Retrieval-Augmented Generation)라고 합니다.”

RAG. 처음 듣는 단어였다. (용어는 외울 필요 없다 — 지금부터 나올 ‘사서’ 하나만 기억하면 된다.)

문서를 넣으면 AI가 전부 읽고 학습할 거라는 믿음. 이것도 99%가 똑같이 빠지는 함정이고, 나도 예외가 아니었다.

GPT가 설명해줬다. 나는 이걸 비개발자도 알아듣게 번역해보겠다.

RAG는 이런 거다.

도서관에 갔다고 생각해보자. 책이 10,000권 있다.

너는 사서한테 물어본다. “마케팅 퍼널에 대해 알려주세요.”

사서가 10,000권을 전부 읽고 대답할까? 아니다. 사서는 ‘마케팅’, ‘퍼널’ 키워드로 검색해서 관련 있는 책 3~5권을 꺼내온다. 그리고 그 책들을 훑어보고 대답한다.

GPT도 똑같다.

내가 100개 문서를 넣어도, GPT는 매번 100개를 전부 읽지 않는다. 내 질문에서 키워드를 뽑고, 그 키워드와 가장 관련 높은 문서 몇 개만 꺼내서 읽는다.

이걸 알고 나니까 모든 게 설명됐다.

• 넣은 문서인데 못 찾는 이유? → 검색에서 해당 문서가 걸리지 않았기 때문.
• 엉뚱한 답변이 나오는 이유? → 관련 없는 문서가 검색됐기 때문.
• 문서를 정리하니 나아진 이유? → 제목과 키워드가 명확해서 검색 정확도가 올라갔기 때문.

아. 그래서 문서 정리가 중요했던 거구나.

제목을 대충 “문서1”, “문서2”로 해놓으면 사서가 어떤 책을 꺼내야 할지 모른다. “세일즈퍼널_3단계_전환율공식.md”라고 해놓으면? 딱 필요할 때 바로 꺼내온다.

문서 정리가 GPT의 ‘검색 정확도’를 높이는 작업이었던 거다.

왜 많이 넣으면 오히려 멍청해질까

여기서 당신은 이렇게 생각할 거다.

“그럼 검색만 잘 되게 정리하면, 문서는 많을수록 좋은 거 아냐?”

나도 그랬다. 그래서 퀴즈 하나.

Q. 잘 정리한 문서를 계속 더 넣으면 어떻게 될까? 잠깐 생각해보자.

정답 — 오히려 멍청해진다.

이것도 GPT한테 물어봐서 알았다. 꼬치꼬치. (설명에 ‘트랜스포머’라는 용어가 나오는데, 몰라도 된다. 지금부터 하는 살림살이 비유 두 개면 끝난다.)

아까 말했다. GPT의 기억력은 간장 종지만하다.

검색(사서)이 골라온 문서 3~5개도, 결국 답변을 만들 땐 그 간장 종지에 부어 넣어야 한다. 종지에 간장을 한 병째 들이부으면? 넘친다. 뭐가 넘쳐서 사라졌는지는 GPT 자신도 모른다.

외장하드로 바꿔 말하면 이렇다. 100GB 외장하드가 꽉 찬 상태에서 5GB짜리 파일을 욱여넣으려고 하면 — 안 들어가거나, 뭔가가 깨진다.

여기에 문제가 하나 더 얹힌다.

비슷한 주제의 문서가 20개 있으면, 검색이 그중에서 이것저것 골라온다. 뉘앙스가 다르고, 시점이 다르고, 관점이 다른 놈들로.

그러면 GPT가 헷갈린다. “A 문서에서는 이렇게 말하고, B 문서에서는 저렇게 말하는데...” 결국 두루뭉술한 답변으로 타협한다.

종지는 작은데, 붓는 간장은 서로 싸운다. 이게 “많이 넣으면 오히려 멍청해지는” 원리의 전부다.

“아... 양이 아니라 질이었구나.”

100개 문서를 자랑스러워했던 내가 민망해지는 순간이었다.

초보 vs 프로 — 문서 넣는 법의 결정적 차이

이쯤에서 내가 깨달은 걸 정리해보겠다.

왼쪽(초보) 칸에 3개 이상 해당한다면, 이 공략집을 끝까지 읽어라. 3강에서 전환점이 온다.

지금 GPT에 문서를 넣고 있는 사람이라면, 이 표를 프린트해서 모니터 옆에 붙여놓아도 좋다. 진심이다.

이걸 모르고 3주를 날렸다. 100개 문서를 자랑스러워했던 그때의 나에게 말해주고 싶다. “양이 아니라 질이야, 이 바보야.”

당신은 다르다. 여기까지 읽은 시점에서, 내 3주짜리 삽질을 스크롤 몇 번으로 건너뛴 거다. 맨몸으로 던전에 들어간 사람과 공략집 들고 들어가는 사람의 차이가 정확히 이거다.

핵심은 한 문장이다.

“GPT한테 문서를 넣는 건, AI가 알아서 학습하는 게 아니라, 검색 잘 되게 정리해놓는 거다.”

도서관에 책을 기증하는 게 아니라, 사서가 빨리 찾을 수 있게 분류 태그 붙여서 서가에 꽂아놓는 거다.

이 차이를 모르면 문서 1,000개를 넣어도 GPT는 멍청하다. 이 차이를 알면 문서 10개로도 천재가 된다.

“만능 비서는 불가능하다”

여기까지 오니까 결론이 하나로 모였다.

하나의 GPTs에 모든 걸 다 넣는 건 불가능하다.

세일즈도 알고, 마케팅도 알고, 고객 관리도 알고, 재무도 알고, HR도 아는 만능 비서? 그런 건 없다. 현실 세계에서도 없고, AI 세계에서도 없다.

실제로 ‘만능 마케팅 비서’ GPTs를 만들어봤다. 세일즈 문서 30개, 카피라이팅 문서 20개, CS 응대 매뉴얼 15개를 몰아넣었다. “세일즈 카피를 써줘”라고 했더니, CS 답변 톤으로 카피를 써왔다. “고객님, 불편을 드려 죄송합니다” 톤의 세일즈 카피라니. 문서가 섞이니 정체성이 혼란에 빠진 거다.

문서를 100개 넣으면 검색이 흐려진다. 주제가 섞이면 답변이 멍청해진다. RAG는 “전부 아는 것”이 아니라 “검색해서 찾는 것”이다.

그래서 방향을 완전히 바꿨다.

“만능 비서 1명 대신, 전문가 10명을 만들자.”

게임 해본 사람은 안다. 모든 스킬을 골고루 찍은 만능 캐릭터는 항상 애매하다. 직업별로 캐릭터를 따로 키우는 게 정답이다. (탱커한테 힐까지 시키면 탱도 힐도 안 됨..)

• 세일즈 전문 GPTs → 세일즈 관련 문서만 20개
• 카피라이팅 전문 GPTs → 카피 관련 문서만 15개
• 고객 분석 전문 GPTs → 고객 데이터 관련 문서만 10개

각각의 GPTs가 자기 분야에서는 귀신같이 답하게 만드는 거다.

이 생각이 떠오른 순간, 소름이 돋았다.

“이거... 회사 조직도랑 똑같은 거잖아.”

세일즈팀, 마케팅팀, CS팀, 재무팀. 각자 전문 분야가 있고, 필요할 때 해당 팀에 물어본다. 한 사람이 모든 걸 다 하는 게 아니라.

AI도 똑같은 거다.

GPTs 하나에 모든 걸 우겨넣을 게 아니라, 분야별 전문 GPTs를 만들어서 필요할 때 해당 전문가한테 물어보면 되는 거다.

이 순간부터 내 AI 활용법이 완전히 달라졌다.

2강을 마치며 — 내가 배운 3가지

1강에서 나는 GPT의 기억력 한계를 알았다. 2강에서 나는 더 중요한 걸 알았다.

• 첫째, GPT는 모든 문서를 동시에 읽지 않는다. 검색해서 몇 개만 가져온다. 이게 RAG다.
• 둘째, 문서는 양보다 질이다. 정리 안 된 100개보다 잘 정리된 10개가 낫다.
• 셋째, 만능 비서는 없다. 전문 분야별로 나눠야 한다.

이 세 가지를 모르고 AI를 쓰면, 나처럼 3주 동안 100개 문서를 만들고도 “왜 멍청하지?”라고 한탄하게 된다.

알고 나면? 문서 10개로 전문가급 AI를 만들 수 있다.

문서 정리법을 바꾼 것이 이후 전체 생산성의 기반이 됐다. 이게 런칭 2.5개월 만에 매출 3억, 6개월 만에 10억까지 가는 여정의 두 번째 퍼즐이었다. 이 깨달음이 없었다면, 뒤에 나올 에이전트도 자동화도 바이브 코딩도 전부 불가능했을 거다.

그런데 말이다.

“전문가 10명을 만들자”는 생각은 좋았다. 근데 막상 만들려니 또 문제가 생겼다.

시스템 프롬프트는 어떻게 써야 하는 거지? 문서만 분야별로 나누면 되는 건가? 각 GPTs의 역할을 어떻게 정의하지? 그리고 이 GPTs들이 서로 연결되게 할 수는 없나?

그래서 나는 ‘프롬프트 엔지니어’라는 GPTs를 만들었다. GPTs를 만들어주는 GPTs. 그리고 이 녀석과 함께 전문 에이전트 10개를 찍어냈다.

이 이야기는 3강에서 한다.

예고를 한 줄만 하자면 — 그렇게 뽑은 직원 중 하나한테, 겁도 없이 내 카피를 평가해달라고 했다. 마케터 인생을 갈아 넣은, 내 최고의 카피를.

AI가 매긴 점수, 6.2점. 자존심이 박살나는 소리가 들렸다.