클라우드 없는 셀프호스팅 AI

몇 달마다 한 번씩 새로운 사람들이 검색창에 “클라우드 없는 셀프호스팅 AI”를 쳐요. 그중 절반은 Wi-Fi 없는 비행기 안에서도 돌릴 수 있는 AI를 원해요. 나머지 절반은 자기 대화 이력이 남의 계정 안에 놓이지 않은 채로 몇 년을 함께 살아갈 비서를 원하고요. 같은 문구, 두 개의 목표, 두 개의 다른 답이에요. 이 글은 엉뚱한 쪽을 짓지 않도록 그 둘을 깔끔하게 갈라놓아요.

2026년에 “클라우드 없이”가 정직하게 뜻할 수 있는 것

이 문구에 들어맞는 일관된 모양은 정확히 두 가지이고, 사칭꾼이 하나 있어요.

모양 1 — 가중치까지 완전히 로컬. 오픈 웨이트 모델(Llama, Mistral, Qwen, Gemma, DeepSeek의 로컬 변형)이 Ollama, llama.cpp, LM Studio, vLLM 같은 것으로 당신 소유의 기계에서 돌아가요. 그걸 감싸는 에이전트 — 기억, 오케스트레이션, 채팅 UI — 도 로컬에서 돌고요. 추론을 위해 기계 밖으로 나가는 패킷은 0이에요. 이게 엄격한 의미의 “클라우드 없는 AI”예요. 실재하고, 오늘도 작동하고, 단 하나의 단서가 붙어요. 품질이요.

모양 2 — 셀프호스팅 에이전트, 클라우드 모델. 기억, 이력, 인격, 오케스트레이션이 당신의 서버에서 돌아가요. 모델 자체는 API로 호출하고요 — Claude, GPT, DeepSeek, Gemini. 매 턴의 텍스트는 기계를 떠나지만, 당신이 비서에게 말한 모든 것이 쌓인 기록은 떠나지 않아요. 더 느슨하지만, 프론티어 모델의 두뇌까지 원하는 사람들에게 실무적으로 “클라우드 없는 AI”가 보통 뜻하는 게 이거예요.

사칭꾼 — “프라이빗” 클라우드 제품. ChatGPT, Claude, Gemini의 “엔터프라이즈”나 “프라이빗” 등급은 프라이버시 부속 약관과 함께 벤더의 인프라 위에 살아요. 그건 기술적 형태가 아니라 법적 형태예요. 데이터 경로는 아무것도 달라지지 않아요. “클라우드 없이”의 정의가 아키텍처적인 것이라면, 이건 그게 아니에요.

실제로 무엇을 지키고, 무엇을 내주나

정직한 두 모양 모두 같은 승리를 줘요. 대화 기록은 당신이 통제하는 하드웨어에 살고, 누구도 몰래 당신의 기억을 초기화하거나 계정을 닫을 수 없고, 당신 자신의 복사본에 월세를 내지 않아도 돼요. 사람들이 “클라우드 없이”라고 말할 때 정말로 쫓는 주권은 95%가 모델 가중치가 아니라 그 기록에 관한 것이에요.

거래는 모델에서 갈려요.

• 엄격한 클라우드리스(모양 1) — 아무것도, 절대 기계를 떠나지 않아요. 비용은 대부분 일회성(하드웨어)이고요. 품질은 복잡한 작업, 다국어 작업, 긴 컨텍스트, 도구 사용에서 Claude/GPT/Gemini에 눈에 띄게 뒤처져요. 초안 작성, 메모 보조, 코드 조각, 한 줄짜리 질문에는 충분해요. 진짜 “메신저 속 동료” 워크플로에는 괴로워요.
• 셀프호스팅 에이전트 + 클라우드 모델(모양 2) — 지금 턴의 텍스트(딱 필요한 만큼의 컨텍스트와 함께)가 모델 제공자에게 가요. 당신의 기록은 가지 않고요. 비용은 월 5~15달러 VPS에 모델 사용료가 더해져요. 품질은 프론티어급이에요 — ChatGPT와 같은 두뇌가, 당신의 데이터를 입고 있을 뿐이죠.

당신이 실제로 원하는 쪽

브랜딩을 걷어내는 세 가지 질문이에요.

1. 오프라인 / 망 분리된 기계에서 일해야 하나요? 그렇다면 모양 1이어야 해요. 타협은 없어요.
2. 당신의 문제가 “벤더가 내 이력을 소유한다”인가요? 그렇다면 모양 2로 이미 해결돼요 — 사람들이 “내 데이터”라고 말할 때 뜻하는 게 그 기록이니까요.
3. 여러 언어, 긴 문서, 에이전트형 도구 사용에서 프론티어 수준의 추론이 필요한가요? 그렇다면 오늘 그걸 해내는 건 모양 2뿐이에요. 로컬 모델은 아직 따라잡는 중이에요.

“클라우드 없는 AI”를 치는 사람 대부분은 1번이 아니라 2번 질문에 답하고 있어요. 그런데 모양 1이 더 원칙적으로 들리니까 그쪽에 끌려가고, 로컬 8B 모델을 돌려보고는 제대로 된 대화가 안 된다는 걸 알게 되고, “셀프호스팅 AI는 아직 멀었다”는 결론을 내려요. 실제로 벌어진 일은 이거예요. 목적에 맞지 않는 모양을 고른 거죠.

하드웨어, 솔직하게

모양 1의 경우. VRAM 24GB 이상의 소비자용 GPU(RTX 3090/4090, 또는 중고 A5000/A6000)나 통합 메모리 32~64GB의 Apple Silicon Mac이요. CPU만으로도 3~7B 모델은 가능하지만, 초당 토큰 수가 물속에서 타자를 치는 느낌이에요. 예산은 선불 800~3000달러, 이후 월 0달러예요.

모양 2의 경우. RAM 2~4GB에 GPU 없는 월 5~15달러 VPS면 돼요. 모델 비용은 별도로, Claude Max가 월 100달러 안팎, 또는 OpenAI + API 충전이 사용량에 따라 월 20~50달러예요. 총액은 월 25~115달러쯤이고 초기 투자금은 없어요.

모양 2가 초기 비용이 싸고 모양 1이 여러 해에 걸쳐 싸다는 점을 눈여겨보세요. 그리고 둘 다, 당신의 데이터가 언젠가 당신에게 불리하게 쓰이는 비용보다는 압도적으로 싸요 — 애초에 클라우드 없는 AI를 검색한 진짜 이유가 그거잖아요.

매일 쓰는 느낌

일상에서의 모양 1. 즉각적인 응답(네트워크가 없으니까요), 속도 제한 없음, 메시지당 비용 없음. 다만 간단하지 않은 질문에 대한 답은 “믿음직한 주니어 동료”와 “자신 있게 틀림” 사이 어딘가에 떨어져요. 긴 문서는 컨텍스트 윈도우를 압박하고요. 도구 사용이나 안정적인 JSON이 필요한 일은 전부 씨름이에요. 음성 / 비전 / 언어를 넘나드는 작업은 들쭉날쭉하고요. 진짜 비서이긴 하지만, 훌륭한 비서는 아니에요.

일상에서의 모양 2. 프론티어 품질의 두뇌가, 당신을 기억하고 먼저 말을 걸고 파일을 간직하고 기록을 절대 내주지 않는 비서를 통해 말해요. 지연 시간은 네트워크 왕복만큼이고, 비용은 턴 단위로 붙어요. 매 턴의 텍스트를 장기 보관하지 않으리라고 모델 제공자를 신뢰하는 셈인데, 그 신뢰는 아키텍처가 아니라 그들의 정책이 정해요. 대부분의 사용자에게 이 거래는 값어치가 있고, 편집증적인 사람에게는 아니고요.

어느 쪽도 틀리지 않았어요. 어느 쪽도 보편적으로 옳지 않고요. 실제로 어느 구석을 잃어도 괜찮은지로 고르세요.

둘 다 겪어본 사람들이 결국 만드는 하이브리드

한 달쯤 둘 다 돌려본 사람은 거의 모두 같은 모양에 도착해요. 품질을 위해 기본값은 클라우드 모델로 두고, 특정 부류의 턴 — 민감한 파일, 오프라인 모드, 법적으로 기계를 떠날 수 없는 자료를 다루는 일 — 에서는 로컬 모델로 떨어지는 셀프호스팅 비서요. 에이전트가 턴마다 호출이 어디로 갈지 정해요. 그게 “클라우드 없는 AI”의 정직한 정점이에요 — 중요할 때는 클라우드 없이, 아닐 때는 클라우드 품질로요.

Avelina는 어디에 들어맞나

Avelina AI는 기본적으로 모양 2예요 — 당신의 기록을 당신 VPS에 보관하고, 먼저 메시지를 보내고, 전문 서브 에이전트를 품고, 당신이 구독한 모델(Claude, OpenAI, 또는 DeepSeek 등으로 가는 OpenRouter 경로)을 호출하는 셀프호스팅 비서죠. 모양 1이 당신의 사례에 맞다면 — 오프라인, 망 분리, 또는 “패킷은 기계를 떠나지 않는다”는 강경한 정책 — 같은 아키텍처가 로컬 Ollama 엔드포인트를 상대로 돌아가요. 모델 URL만 바꾸면 기억과 인격 스택은 그대로 작동해요. 비서 하나, 모델 경로 둘, 그리고 절대 당신의 기계를 떠나지 않는 기록 하나예요.

클라우드와 셀프호스팅 사이의 전체 트레이드오프는 자매 글인 셀프 호스팅 AI vs 클라우드 AI에 있어요. 애초에 할 만한 가치가 있는지 저울질하고 있다면 셀프호스팅 AI는 가치가 있을까가 솔직한 버전이고요. 원하는 모양을 이미 알고 있다면 구축 가이드가 처음부터 끝까지 안내해요.

자주 묻는 질문

정말 클라우드 없이 AI를 돌릴 수 있나요?
네 — 중소 규모의 오픈 웨이트 모델(Llama, Mistral, Qwen, Gemma)은 오늘도 로컬에서 돌아가요. 품질이 프론티어 클라우드 모델보다 뒤처지기 때문에, 100% 클라우드리스는 실재하지만 보통 한 단계 내려간 느낌을 줘요.

셀프호스팅 AI와 클라우드 프리 AI의 차이는 뭔가요?
셀프호스팅은 두 모양을 다 포함해요. 로컬 가중치(엄격한 클라우드리스)와, 클라우드 모델을 호출하는 셀프호스팅 에이전트(느슨한 클라우드리스)요. 클라우드 프리는 구체적으로 로컬 가중치를 뜻해요.

GPU가 필요한가요?
진짜 클라우드리스 추론이라면 필요해요(VRAM 24GB 이상, 또는 통합 메모리 32~64GB의 Apple Silicon Mac). 셀프호스팅 에이전트 + 클라우드 모델 모양이라면 GPU 없는 월 5~15달러 VPS면 충분해요.

클라우드 모델을 쓰는 셀프호스팅 비서도 “클라우드 없이”라고 할 수 있나요?
부분적으로요. 당신의 기록은 클라우드리스이고, 매 턴의 텍스트는 아니에요. 대부분의 사람에게 이 거래 — 데이터는 로컬, 두뇌는 클라우드 — 가 정직한 최적점이에요.

로컬 모델과 셀프호스팅 에이전트 + 클라우드 모델 중 프라이버시는 어느 쪽이 이기나요?
완전 로컬이 더 엄격해요. 그래도 셀프호스팅 에이전트 + 클라우드 모델은 ChatGPT / Gemini를 직접 쓰는 것을 여전히 크게 앞서요. 어느 쪽이든 쌓여가는 당신의 기록은 당신의 기계에 남으니까요.