로컬 LLM 도입기 (Ollama, 하이브리드 라우팅, 데이터 거버넌스)

Ollama, 데이터 주권, 클라우드 병행

로컬 LLM이 클라우드 API보다 무조건 안전하다고 생각하십니까? 저도 처음엔 그렇게 믿었습니다. 그런데 실제로 사내 프로젝트에 Ollama를 도입해보고 나서, 그 믿음의 절반은 틀렸다는 걸 알게 됐습니다. GPT-4 API 기반 프로토타입을 다 만들어놓은 시점에 "이 데이터 외부로 나가면 안 됩니다"라는 한마디를 들었을 때, 그 막막함이 오히려 제대로 된 공부의 시작이었습니다.

Ollama 설치와 첫인상, 기대와 현실 사이

일반적으로 로컬 LLM은 설치부터 복잡하다고 알려져 있지만, Ollama는 달랐습니다. macOS 기준으로 명령어 한 줄 설치 후 모델 실행 명령어 하나로 모델이 로컬에서 바로 구동됐습니다. 처음 터미널에 응답이 뜨는 순간은 솔직히 예상 밖이었습니다. "이게 진짜 내 컴퓨터에서 돌아가는 건가?" 싶을 정도였으니까요.

LLaMA 3란 Meta AI가 2024년 공개한 오픈소스 대형 언어 모델(Large Language Model)로, 파라미터 규모에 따라 8B부터 70B까지 다양한 버전이 존재합니다. Ollama는 이 모델을 포함해 Mistral, CodeLlama, EXAONE 등을 로컬 환경에서 손쉽게 실행할 수 있도록 지원하는 런타임 도구입니다.

성능 이야기를 솔직히 하자면, 코드 요약이나 간단한 텍스트 분류 작업에서는 GPT-3.5 수준에 꽤 근접했습니다. 하지만 복잡한 다단계 추론이나 긴 컨텍스트(context)를 요구하는 작업에서는 한계가 분명히 느껴졌습니다. 컨텍스트란 입력으로 처리할 수 있는 텍스트의 최대 길이를 말합니다. "로컬이라 좀 느리겠지" 하고 넘어갈 수준이 아니라, 업무 투입 전에 반드시 태스크별 성능 검증이 필요하다는 걸 몸소 확인한 셈입니다.

RAM 16GB MacBook에서 13B 이상 모델을 올리면 팬 소리와 함께 응답 속도가 눈에 띄게 저하됐습니다. 실무 환경에서는 최소 32GB 이상의 메모리, 가능하다면 GPU가 탑재된 전용 서버가 필요합니다. 이 점은 처음부터 팀에 명확히 공유했어야 했는데, 초기에 제대로 전달하지 못해 나중에 인프라 논의가 늘어졌습니다.

여기서 한 가지 비판적으로 짚고 싶은 게 있습니다. Ollama의 설치 간편함이 오히려 함정이 될 수 있습니다. 설치가 쉬우니까 "한번 써볼까?" 하고 시작했다가, 실제 팀 적용 단계에서 하드웨어와 성능 문제로 막히는 경우를 여러 번 봤습니다. 로컬 LLM은 설치가 아니라 운영이 어렵습니다. 그 차이를 처음부터 인식하고 시작해야 합니다.

하이브리드 라우팅 구조를 직접 만들어보니

저는 결국 '하이브리드 라우팅(hybrid routing)' 구조를 선택했습니다. 하이브리드 라우팅이란 요청의 성격에 따라 처리 경로를 동적으로 분기하는 방식으로, 이 경우 민감 데이터 여부에 따라 로컬 모델과 클라우드 API 중 하나로 자동 전달하는 구조입니다.

구체적으로는 정규식(regex)과 키워드 필터를 조합해 입력 데이터를 먼저 분류했습니다. 고객 식별 정보나 내부 거래 데이터가 포함된 요청은 로컬의 Mistral 7B로, 일반 문서 요약이나 코드 제안 작업은 Claude API로 보내는 방식이었습니다. LangChain의 Ollama 통합 모듈을 활용하면 이 라우팅 로직을 비교적 깔끔하게 구현할 수 있습니다.

제가 직접 구현하면서 가장 많은 시간이 든 부분은 모델 선택이 아니라 이 데이터 분류 로직이었습니다. "이 필드가 민감한가, 아닌가"를 정의하는 기준 자체가 조직마다 다르고, 처음에는 단순해 보여도 예외 케이스가 계속 나왔습니다. 기술적인 구현보다 비즈니스 요구사항을 정의하는 과정이 훨씬 고됩니다.

라우팅 로직을 만들면서 또 하나 배운 건, 이 분류 기준이 시간이 지나면서 계속 바뀐다는 점입니다. 처음에는 "주민등록번호, 계좌번호면 민감"이라고 단순하게 정의했는데, 나중에는 "특정 프로젝트 이름도 외부로 나가면 안 된다"는 요구가 추가됐습니다. 이 기준을 코드 안에 하드코딩하면 변경 때마다 배포가 필요합니다. 설정 파일이나 데이터베이스로 관리할 수 있도록 처음부터 설계했어야 했는데, 뒤늦게 리팩토링하느라 시간을 꽤 썼습니다.

Ollama의 또 다른 실용적 장점은 모델 교체 유연성입니다. 목적에 맞는 모델을 CLI 한 줄로 교체할 수 있어서, 코드 관련 작업에는 CodeLlama, 한국어 처리가 필요한 경우에는 EXAONE을 붙여볼 수 있었습니다. 범용 모델 하나를 믿는 것보다 작업 유형별로 최적 모델을 찾아가는 과정 자체가 중요하다는 점을 느꼈습니다.

양자화 방식과 하드웨어, 간과하기 쉬운 변수들

로컬 LLM 도입에서 많은 분들이 간과하는 게 양자화(quantization)입니다. 양자화란 모델 파라미터의 수치 정밀도를 낮춰 파일 크기와 메모리 사용량을 줄이는 기술로, Q4, Q8 같은 표기가 바로 이 정밀도 수준을 나타냅니다. Q4는 4비트 정밀도로 용량이 작은 대신 품질 손실이 있고, Q8은 8비트로 품질은 높지만 메모리를 더 많이 씁니다.

Q4 양자화 모델을 선택하면 8GB RAM 환경에서도 7B 모델을 실용적인 속도로 구동할 수 있습니다. 물론 그 대가로 응답 품질이 다소 떨어지는데, 이 트레이드오프를 팀 내에서 사전에 충분히 논의하지 않으면 나중에 "왜 이렇게 답이 이상해요?"라는 피드백이 쏟아집니다. 제 경우도 초기에 Q4 모델로 빠르게 데모를 보여줬다가, 품질 기대치를 잘못 설정해 한 번 고생했습니다. 데모는 항상 실제 운영 환경에서 쓸 모델로 해야 합니다.

온프레미스(on-premise) AI, 즉 외부 클라우드 서비스가 아닌 자체 서버나 로컬 장비에서 AI를 구동하는 방식은 데이터 외부 전송 없이 처리가 가능하다는 점에서 금융, 의료, 법무 등 규제 산업에서 주목받고 있습니다. IEEE Spectrum 연구에 따르면, 온프레미스 배포 방식은 클라우드 대비 데이터 유출 경로를 구조적으로 차단할 수 있다는 점에서 보안 아키텍처의 유효한 선택지로 평가됩니다.

실무에서 하드웨어를 선택할 때 핵심 기준을 정리하면 이렇습니다. 7B 모델은 RAM 16GB로 구동 가능하고 응답 속도는 실용적 수준입니다. 13B 모델은 RAM 32GB가 권장되며 GPU 없으면 속도 저하가 체감됩니다. 30B 이상 모델은 GPU 탑재 전용 서버가 필수이며 소비자용 장비로는 한계가 있습니다.

기술보다 거버넌스가 진짜 문제였다

팀에 이 구조를 처음 제안했을 때 초기 반응은 "굳이요?"였습니다. 클라우드가 편한데 왜 인프라를 직접 관리하냐는 거였습니다. 그런데 보안팀의 데이터 외부 전송 제한 정책이 강화되면서 분위기가 달라졌고, 지금은 민감 데이터 처리 파이프라인의 기본 옵션으로 자리를 잡았습니다.

로컬 LLM을 단순히 "무료니까", "보안이니까"라는 이유만으로 도입하면 실망하기 쉽습니다. 모델 선택, 하드웨어 스펙, 양자화 방식에 따라 품질 편차가 크고, 이를 튜닝하는 데 드는 시간은 클라우드 API 사용료보다 비싸게 먹힐 수 있습니다. 제가 직접 겪어보니, "공짜처럼 보이는 것에는 반드시 다른 비용이 있다"는 말이 여기서도 정확히 들어맞았습니다. 특히 모델을 최신 버전으로 업데이트할 때, 클라우드는 자동으로 되는 것이 로컬에서는 수동 작업이 됩니다. 이 운영 비용을 초기에 과소평가하기 쉽습니다.

더 본질적인 문제는 데이터 거버넌스(data governance)입니다. 데이터 거버넌스란 조직 내에서 데이터를 누가, 어떤 기준으로, 어디까지 사용할 수 있는지를 정의하고 관리하는 체계입니다. 많은 팀이 "우리 데이터는 외부로 나가면 안 된다"고 말하면서도, 정작 어떤 데이터가 민감한지 기준이 없는 경우가 많습니다. 전체를 로컬로 돌리려는 시도는 이 기준이 없을 때 나오는 가장 손쉬운 답인데, 사실 이건 오버엔지니어링에 가깝습니다.

하이브리드 접근법이 현실적으로 맞습니다. 민감도 기준을 먼저 정의하고, 그 기준에 따라 선택적으로 라우팅하는 방식이 기술적 완성도와 실용성 사이의 균형점입니다. 그리고 그 기준을 정하는 건 개발자 혼자 할 수 없고, 보안팀·법무팀·비즈니스 오너가 함께 앉아서 결정해야 합니다. 이 협의 자리를 마련하는 것 자체가 로컬 LLM 도입 프로세스의 일부입니다.

로컬 LLM 도입을 고민하고 계신 분이라면, 먼저 Ollama를 개인 노트북에 설치해 7B 모델 하나를 돌려보시길 권합니다. 설치에 10분도 걸리지 않고, 성능의 실제 감각을 잡는 데 이것만큼 빠른 방법이 없습니다. 단, 그 다음 단계로 넘어가기 전에 "우리 팀에서 민감 데이터의 기준이 문서로 정의되어 있는가"를 먼저 확인하십시오. 기술은 준비됐는데 기준이 없으면, 그 시스템은 결국 조직 안에서 신뢰를 못 받습니다.

---

참고:
https://ollama.com
https://python.langchain.com/docs/integrations/llms/ollama
Simon Willison's Weblog – "Running LLMs locally" (2024)
IEEE Spectrum – "Privacy-Preserving Machine Learning" (2024)
Meta AI – LLaMA 3 Model Card (2024)