최근 본 영상 중에서 꽤 인상적이었던 하나를 꼽자면, Mac Studio 한 대로 120B급 로컬 LLM을 실사용 수준으로 운영하는 데모였습니다. 단순히 “큰 모델도 돌아간다” 수준이 아니라, LM Studio를 서버처럼 열고 VS Code Continue와 연결해서 개발 워크플로우까지 이어가는 방식을 보여줬다는 점이 좋았습니다.
원본 영상은 여기입니다.
한 줄로 정리하면 이렇습니다.
Mac Studio 128GB만으로도 120B급 로컬 LLM을 비교적 조용하고 안정적으로 돌리면서, VS Code 에이전트 워크플로우까지 연결할 수 있다는 점을 보여준 실전 데모입니다.
왜 이 영상이 흥미로웠나
로컬 LLM 이야기는 이제 더 이상 “취미 영역”만은 아닙니다. 특히 요즘은 세 가지 이유 때문에 다시 주목할 필요가 있습니다.
- 프라이버시: 민감한 코드나 문서를 외부 API로 보내지 않고 처리할 수 있음
- 예측 가능한 비용: 호출량이 늘어도 토큰 비용이 계속 올라가지 않음
- 항상 켜둘 수 있는 개인 AI 서버: 집이나 사무실에 두고 여러 기기에서 접속 가능
물론 대형 모델은 여전히 고사양 하드웨어가 필요합니다. 그런데 이 영상이 흥미로운 이유는, 고가의 NVIDIA 서버 대신 Mac Studio라는 비교적 현실적인 장비로 꽤 큰 모델을 실용적으로 운영하는 그림을 보여줬기 때문입니다.
사용한 장비와 목표
영상에서 사용한 시스템은 대략 이런 구성이었습니다.
- Mac Studio
- 128GB RAM
- 14코어 CPU / 40코어 GPU
- 목표: 클라우드 LLM 대신 홈랩 기반 로컬 AI 서버 운영
핵심은 단순한 벤치마크가 아니라, “실제로 계속 켜두고 쓸 수 있느냐”입니다. 즉, 속도만 빠르면 되는 것이 아니라 전력, 발열, 소음, 안정성까지 함께 봐야 합니다.
LM Studio로 120B급 모델 운영
영상에서는 LM Studio를 중심으로 로컬 모델을 구동합니다.
흐름은 비교적 단순합니다.
- LM Studio 설치
- GGUF 모델 다운로드
- 대형 모델 로드
- 컨텍스트 길이와 메모리 사용량 조절
- 서버 모드 활성화
여기서 중요한 건 “단순 실행”이 아니라 서버화입니다. 즉, 로컬에서 모델을 띄우는 데서 끝나는 게 아니라, 네트워크를 통해 다른 기기나 에디터가 그 모델에 붙을 수 있게 만드는 거죠.
인상적이었던 실측 포인트
영상 요약 기준으로 보면, 대형 모델 운용 시 대략 이런 수치가 나옵니다.
- 전력 사용량: 평균 약 150W
- 메모리 사용량: 약 70GB RAM
- 처리 속도: 약 70~80 tokens/sec
- 20B급 모델 속도: 약 100~120 tokens/sec
이 정도면 단순히 “돌아간다”를 넘어서, 꽤 실사용 가능한 영역으로 보입니다.
특히 인상적인 건 소음과 발열이었습니다. 보통 대형 모델 구동이라고 하면 시끄러운 팬 소음과 높은 전력을 먼저 떠올리게 되는데, Mac Studio는 상대적으로 조용하고 깔끔한 워크스테이션형 로컬 AI 서버라는 인상을 줍니다.
로컬 멀티모달도 가능하다는 점
영상에서는 텍스트 모델만이 아니라, MedGemma 4B 같은 멀티모달/특화 모델도 시연합니다. 예를 들어 흉부 X-ray 이미지를 입력하고 설명을 생성하는 장면이 나옵니다.
이 포인트가 중요한 이유는 분명합니다.
- 로컬에서도 텍스트 전용이 아니라 이미지+텍스트 조합이 가능하고
- 특정 도메인 모델을 붙여 의료, 교육, 분석, 연구 워크플로우로 확장할 수 있으며
- 결국 개인용 AI 서버가 단순 채팅 모델을 넘어서 작업용 모델 허브가 될 수 있기 때문입니다.
즉, 로컬 LLM 환경은 이제 “챗봇 놀이”가 아니라 특정 목적용 모델을 붙이는 플랫폼처럼 봐야 할 시점입니다.
가장 중요한 부분: VS Code Continue 연동
개인적으로 이 영상의 핵심은 바로 여기였습니다.
LM Studio를 서버 모드로 띄워두고, 다른 기기에서 VS Code Continue 확장으로 접속하는 구조입니다. 예를 들어 Mac Studio가 고정 IP 192.168.x.x:1234 같은 주소로 서버를 열고 있으면, 클라이언트 기기인 MacBook이나 다른 개발 장비에서 그 모델을 호출할 수 있습니다.
이 구성이 좋은 이유는 명확합니다.
- 모델은 무거운 장비에서 돌리고
- 실제 작업은 가벼운 노트북에서 하고
- 코드 편집기는 평소처럼 VS Code를 그대로 사용하며
- 에이전트 모드로 프로젝트 전체를 문맥에 넣어 작업할 수 있기 때문입니다.
즉, 로컬 AI 서버 + 원격 개발 클라이언트 구조가 자연스럽게 만들어집니다.
Continue에서 가능한 작업들
영상 요약 기준으로 Continue 에이전트 모드에서는 이런 흐름이 가능합니다.
- 프로젝트 전체 구조 읽기
- 코드베이스 설명 요청
- 의존성 파악
- 특정 파일 생성/수정
- 폴더 단위 맥락 기반 코드 변경
이건 상당히 중요합니다. 단순 채팅이 아니라, 실제 코드 작업이 가능한 로컬 에이전트 워크플로우라는 뜻이기 때문입니다.
클라우드 모델을 쓰는 것과 비교하면 가장 큰 차이는 결국 이겁니다.
내 코드와 내 장비와 내 네트워크 안에서, 꽤 큰 모델을 에이전트처럼 굴릴 수 있다.
이건 프라이버시와 비용, 두 측면에서 모두 매력적입니다.
이런 분들에게 특히 잘 맞다
제가 보기에는 아래 유형의 사용자에게 특히 의미가 큽니다.
1. 로컬 AI 서버를 직접 운영해보고 싶은 분
“API를 부르는 사용자”에서 그치지 않고, 내 장비에 AI 인프라를 올리는 경험을 해보고 싶은 분들에게 좋습니다.
2. 코드와 문서를 외부로 보내기 부담스러운 분
사내 코드, 민감한 자료, 연구 데이터처럼 외부 API에 보내기 꺼려지는 작업이 있다면 로컬 운영의 장점이 분명합니다.
3. 개발 에이전트 워크플로우를 로컬로 돌리고 싶은 분
VS Code Continue, 에이전트 모드, 프로젝트 컨텍스트 기반 수정을 로컬 모델과 연결해보고 싶은 분들에게 꽤 좋은 레퍼런스가 됩니다.
4. 전력과 소음도 중요한 분
GPU 서버는 성능이 좋지만, 전력과 소음 부담이 큽니다. 반면 Mac Studio는 상대적으로 거실이나 작업실에 두고 오래 돌릴 만한 장비에 가깝습니다.
바로 써먹을 체크리스트
영상 내용을 실사용 관점으로 다시 정리하면, 아래 순서로 시작하면 됩니다.
- LM Studio 설치 후 Developer 옵션 활성화
- 목표 GGUF 모델 다운로드
- 컨텍스트 길이와 메모리 사용량 최적화
- 서버 모드 ON + 고정 IP/포트 설정
- VS Code Continue에서 모델명 정확히 연결
- 파일 읽기/수정 권한 최소 범위 설정
- 실제 프로젝트 폴더 대상으로 테스트
이 체크리스트만 따라도 “로컬 모델 켜보기” 수준을 넘어, 실제 작업 환경에 붙여보기까지는 갈 수 있습니다.
그래도 남는 현실적인 질문
물론 이 구성이 모든 사람에게 정답은 아닙니다. 몇 가지는 직접 검증이 더 필요합니다.
1. 장시간 안정성
짧은 데모는 잘 돌아가도, 장시간 부하에서는 어떤지 확인이 필요합니다.
2. 모델별 편차
120B급 모델이라도 종류에 따라 메모리 요구량, 응답 속도, 품질 차이가 큽니다. 따라서 “120B니까 다 된다”는 접근보다는 모델별 튜닝이 더 중요합니다.
3. 컨텍스트와 속도의 균형
컨텍스트를 너무 길게 잡으면 메모리와 속도에 부담이 생깁니다. 결국 로컬 운영은 크기, 품질, 속도, 비용의 균형 설계가 핵심입니다.
4. 실제 업무 적합성
챗 대화는 괜찮아도, 코드 수정이나 문서 자동화처럼 긴 컨텍스트 기반 작업에서 얼마나 안정적인지는 결국 각자의 워크로드에서 확인해야 합니다.
제가 본 핵심 인사이트
이 영상을 보고 가장 크게 남은 메시지는 이겁니다.
이제 로컬 LLM은 “작은 모델 체험”이 아니라, 꽤 큰 모델을 실제 워크플로우에 붙여 쓰는 단계로 넘어가고 있다.
그리고 그 전환점에 Mac Studio 같은 장비가 꽤 흥미로운 위치를 차지하고 있습니다.
- GPU 서버처럼 거창하지 않으면서도
- 일반 노트북보다 훨씬 강력하고
- 소음과 전력 면에서 현실적이며
- LM Studio, Continue 같은 도구와 연결하기 쉽기 때문입니다.
즉, “집이나 사무실에서 조용히 돌아가는 개인 AI 서버”라는 개념이 점점 현실이 되고 있다는 뜻입니다.
마무리
Mac Studio 128GB로 120B급 로컬 LLM을 운영하고, LM Studio를 서버화해서 VS Code Continue와 연결하는 이 워크플로우는 단순한 데모가 아니라 앞으로 개인 AI 인프라가 어떤 모습으로 굳어질지 보여주는 힌트에 가깝습니다.
특히 아래 조합이 인상적이었습니다.
- 대형 로컬 모델 운영
- 상대적으로 낮은 소음과 전력
- LM Studio 기반 서버화
- VS Code Continue 에이전트 연결
- 실제 프로젝트 단위 코드 작업 가능성
로컬 AI 환경을 진지하게 고민하고 있다면, 이 영상은 한 번 볼 가치가 충분합니다.
FAQ
Q1. Mac Studio로 정말 120B급 로컬 LLM이 가능한가요?
영상 요약 기준으로는 가능합니다. 다만 모델 종류, 양자화 방식, 컨텍스트 길이에 따라 실제 요구 메모리와 속도는 달라질 수 있습니다.
Q2. LM Studio는 단순 실행기인가요?
아닙니다. 이 워크플로우에서는 LM Studio를 서버 모드로 열어 다른 기기나 도구가 접속할 수 있게 활용합니다.
Q3. VS Code Continue와 연결하면 무엇이 좋아지나요?
프로젝트 전체를 문맥으로 읽고, 코드 구조 설명, 파일 생성/수정, 의존성 파악 같은 에이전트형 작업으로 확장할 수 있습니다.
Q4. 로컬 LLM의 가장 큰 장점은 무엇인가요?
프라이버시, 오프라인성, 예측 가능한 비용입니다. 특히 민감한 코드나 문서를 외부 API에 보내고 싶지 않을 때 장점이 큽니다.
Q5. 바로 따라 하려면 무엇부터 시작하면 좋을까요?
LM Studio 설치, 목표 모델 다운로드, 서버 모드 활성화, VS Code Continue 연결 순서로 시작하는 것이 가장 현실적입니다.