모든 대화에서 AI가 나를 기억하게 만드는 방법

모든 대형 언어 모델은 설계상 상태를 저장하지 않아요(stateless). 대화가 끝나면 컨텍스트 창 — 모델의 작업 메모리 — 은 버려져요. 모델 자체는 세션 사이에 나에 대해 아무것도 배우지 않아요. 내 대화로 재학습되지도 않고, 가중치 안에 나에 대한 개인 파일을 갖고 있지도 않아요. 내가 경험하는 “기억”은 모델 안이 아니라 주변에 만들어진 거예요.

이 구분이 중요한 이유는, 메모리가 결국 내 어시스턴트를 운영하는 쪽이 내리는 엔지니어링 선택이라는 뜻이기 때문이에요. 그리고 오늘날 그 선택이 이루어지는 방식은 정확히 네 가지예요.

옵션 1 — 클라우드 챗봇의 내장 메모리

ChatGPT, Claude, Gemini 등은 이제 메모리 기능을 기본으로 제공해요: 어시스턴트가 선택한 사실(“간결한 답변을 선호함”, “발리에서 타투 스튜디오를 운영함”)을 조용히 저장했다가 이후 대화에 슬쩍 끼워 넣는 거죠. 실제로 잘 작동하고, 가벼운 용도라면 그걸로 충분한 경우가 많아요.

한계는 구조적이에요. 무엇이 저장되고 무엇이 지워질지는 내가 정하는 게 아니라 벤더의 휴리스틱이 정해요. 용량에는 한계가 있어요. 메모리는 벤더의 서버 위, 벤더의 보관 정책 아래 존재하고, 제품 결정 하나 — 혹은 계정 플래그 하나 — 로 하룻밤 사이에 지워질 수 있어요. 그건 내가 소유하지 않은, 나에 대한 메모리예요.

옵션 2 — 수동 맥락 관리: 복사-붙여넣기 노트

가장 오래된 임시방편이에요: 내 맥락(“나에 대해, 내 프로젝트, 내 스택, 내 톤”)을 담은 문서를 만들어두고, 매 세션 시작할 때마다 붙여넣는 거예요. 일부 도구들은 이를 정식 기능으로 제공하기도 해요 — 커스텀 지침, 프로젝트 파일, 시스템 프롬프트 같은 거요.

공짜고 정직한 방법이지만, 규모가 커지면 무너져요. 문서는 금방 낡고, 손수 관리해야 하고, 내가 적어야겠다고 생각한 것만 담겨요 — 수백 번의 대화를 거치며 조용히 드러난, 정작 중요했던 것들은 담기지 않아요.

옵션 3 — 메모리 API와 RAG(개발자의 길)

직접 도구를 만든다면, 어떤 모델에든 외부 메모리를 붙일 수 있어요: 대화 조각을 데이터베이스에 저장하고, 벡터로 임베딩하고, 요청마다 관련 있는 것들을 컨텍스트로 불러오는 거예요(검색 증강 생성, RAG). 메모리 서비스를 표방하는 스타트업들이 바로 이걸 API로 팔고 있어요.

이건 올바른 아키텍처예요 — 실제 영속 메모리가 작동하는 방식이니까요. 하지만 직접 만드는 프로젝트로서는 엔지니어링 시간이 많이 들고, 호스팅형 메모리 API를 쓰면 옵션 1의 소유권 문제를 그대로 재현하게 돼요: 쌓아온 내 삶의 맥락이 이제 다른 누군가의 클라우드에 남는 거죠.

옵션 4 — 내가 소유하는 메모리 데이터베이스를 가진 셀프 호스팅 어시스턴트

튼튼한 해결책은 어시스턴트 레이어를 직접 운영하고, 그 메모리를 내 서버 위 평범한 데이터베이스로 유지하는 거예요. 모델은 여전히 최고 수준의 클라우드 모델을 쓸 수 있어요(최상급 가중치를 셀프 호스팅할 수는 없으니까요 — 내가 호스팅하는 건 에이전트 레이어예요). 하지만 어시스턴트가 나에 대해 아는 모든 것은 내가 통제하는 파일 안에 남아요.

이게 바로 Avelina AI가 만들어진 방식이에요. 메모리는 내 VPS 위의 SQLite 데이터베이스로, 타입이 정해진 레이어들로 이루어져 있어요 — 나에 대한 사실들, 일어난 일의 Journal, 실수에서 배운 Lessons, 점점 자라나는 Worldview까지, 그리고 전체 대화 기록에 대한 전문 검색과 벡터 검색까지 더해서요. (타입이 정해진 레이어들이 하나의 밋밋한 메모 파일보다 나은 이유는 따로 다룬 이야기가 있어요.) “5월에 가격 페이지에 대해 뭘로 결정했지?”라고 물으면, 어시스턴트는 어깨를 으쓱하는 대신 자신의 과거 기록을 뒤져요.

망각이 실제로 치르는 대가

AI의 건망증을 사소한 불편으로 취급하고 싶어지지만, 실제로는 그 대가가 쌓여요. 맥락을 다시 설명해야 해요 — 매 세션마다 똑같은 15분이요. 조언은 일반적인 수준에 머물러요. 내 이력을 모르는 어시스턴트는 누구에게나 줄 법한 답밖에 줄 수 없으니까요. 오래 이어지는 작업은 삐걱거려요: 3월에 내린 결정이 7월에 조용히 다시 논쟁거리가 돼요. 그리고 비즈니스에 어시스턴트를 쓴다면, 고객의 맥락을 잊는 건 단순한 불편이 아니라 곧 돈이에요.

더 나쁜 건, 사람들이 흔히 찾는 임시방편 — 클라우드 챗봇에 점점 더 많은 개인적인 맥락을 붙여넣는 것 — 이 결국 세션이 거듭될수록 점점 더 완전해지는 내 삶의 파일을 제3자에게 넘기는 일이라는 점이에요. 메모리가 나에게 중요하다면, 그 메모리가 어디에 있는지도 똑같이 중요해야 해요.

소유한 메모리는 실제로 어떻게 작동할까

구체적인 그림을 그려볼게요. Avelina AI를 예로 들면(이 아키텍처는 일반화할 수 있어요):

대화에서 새로 나온 사실은 자동으로 추출되어 데이터베이스에 기록돼요 — “이거 기억해”라는 주문을 외울 필요가 없어요. 모든 대화는 보관되고 전문 검색과 의미 기반 검색이 가능하도록 색인돼요. 실수는 Lesson으로 기록되기 때문에, 한 번 고친 걸 다음 달에 또 반복하지 않아요. 과거에 대한 질문에 답하기 전, 어시스턴트는 즉흥적으로 지어내는 대신 자신의 기록을 검색하도록 되어 있어요 — 이게 바로 기억과 지어내기의 차이예요.

그리고 이 모든 게 내 서버 위 데이터베이스이기 때문에, 직접 열어보고, 읽고, 백업하고, 내보내고, 삭제할 수 있어요. 요청 양식도 필요 없고, 신뢰할 필요도 없어요.

어떤 옵션을 골라야 할까?

일주일에 몇 번 가볍게 AI를 쓴다면 — 클라우드 내장 메모리(옵션 1)로 충분해요. 한계만 알고 있으면 돼요. 인프라를 즐기는 개발자라면 — 옵션 3은 주말을 넘어서까지 이어질 만한 탄탄한 프로젝트예요. 직접 만들지 않고도 영속적이고 내가 소유하는 메모리를 원한다면 — 셀프 호스팅 어시스턴트(옵션 4)가 둘 다를 주는 유일한 길이에요: 월 5~15달러짜리 VPS에 설치되고, 텔레그램으로 나와 대화하고, 나 말고는 아무도 리셋할 수 없기 때문에 메모리가 몇 년에 걸쳐 계속 자라나요.

자주 묻는 질문

ChatGPT가 대화 사이에 나를 기억할 수 있나요?
부분적으로는요 — Memory 기능을 통해서요. 하지만 이건 벤더가 통제해요: 용량에는 한계가 있고, 데이터는 OpenAI 서버에 있고, 뭐가 남고 뭐가 지워지는지 확인할 방법이 없어요.

AI 메모리는 내 데이터로 모델이 재학습된다는 뜻인가요?
아니요. 영속 메모리는 모델 바깥에 있는 레이어예요: 요청마다 관련 항목이 컨텍스트로 불러와지는 데이터베이스일 뿐이에요. 세션 사이에 모델이 재학습되지는 않아요.

셀프 호스팅 어시스턴트에서 메모리는 어디에 저장되나요?
내 서버 위 데이터베이스에요 — Avelina AI의 경우, 내 VPS 위의 SQLite로, 알고 있는 모든 것에 대해 전문 검색과 벡터 검색이 가능해요.

내 AI가 나에 대해 기억하는 걸 삭제할 수 있나요?
셀프 호스팅이라면 네, 완전히 그리고 확인 가능하게요 — 내가 소유한 파일이니까요. 클라우드라면 요청은 할 수 있지만 확인은 할 수 없어요.

비용은 얼마나 드나요?
작은 VPS(월 5~15달러 정도)에 모델 사용료를 더하면 돼요. 메모리 레이어 자체는 로컬 데이터베이스라서 추가 비용이 없어요.