디에스 DevOps Lab

오늘 오전에 정리한 Qwen 모델 라인업 총정리 에서는 큰 모델의 현실적인 장비로 맥 스튜디오 를 꼽았습니다. 그런데 바로 이런 질문이 따라옵니다. "맥 스튜디오까지는 부담스럽고, 9월에 나온 M6 맥미니로는 어디까지 돌아가나요?" 이 글은 같은 Qwen 모델들을 맥미니 M6(16·24·32GB) 와 맥 스튜디오 M5 Max 128GB · M5 Ultra 512GB 에 나란히 올려 봅니다. 결론부터 말하면 M6 맥미니의 답은 "Qwen3.6-35B-A3B까지, 그리고 Dense보다 MoE" 입니다. 1. 비교 기준: 용량은 '올라가느냐', 대역폭은 '얼마나 빠르냐' 로컬 LLM용 메모리 가이드 에서 정리했듯, 맥에서 LLM 성능을 정하는 숫자는 두 개입니다. 통합 메모리 용량 : 모델이 올라가느냐 마느냐. macOS는 기본적으로 통합 메모리의 약 70~75%만 GPU에 내줍니다. 32GB 맥미니라면 실제로 쓸 수 있는 건 약 24GB입니다. 메모리 대역폭 : 답이 얼마나 빨리 나오느냐. 토큰 하나를 만들 때마다 가중치를 메모리에서 읽어야 해서, 생성 속도는 대략 대역폭 ÷ 읽어야 하는 가중치 크기 를 따라갑니다. 세 기기의 숫자는 이렇습니다. 맥미니 M6 : 최대 32GB, 대역폭 153GB/s(16GB) · 170GB/s(24·32GB), 149만 9천 원부터 맥 스튜디오 M5 Max : 최대 128GB, 최대 614GB/s, 429만 원부터 (128GB는 옵션) 맥 스튜디오 M5 Ultra : 최대 512GB, 1.2TB/s, 949만 원부터 (512GB는 옵션) 대역폭만 보면 M5 Max는 M6의 약 3.6배, M5 Ultra는 약 7배입니다. 이 차이가 모델 종류에 따라 얼마나 체감되는지가 이 글의 핵심입니다. 2. 올라가나? 모델 × 기기 매트릭스 (4bit 기준) M6 16GB (GPU 약 11GB) : Qwen3.5-9B까지입니다. 27B는 4bi...

로컬 LLM이나 사내 LLM 서빙을 검토하면 거의 반드시 후보에 오르는 게 알리바바의 Qwen 입니다. 문제는 모델이 너무 많다는 점입니다. 2026년에만 Qwen3.5(2월), Qwen3.6(4월), Qwen3.8(8월)이 연달아 나왔고, 같은 세대 안에서도 0.8B부터 2.4T까지 크기가 다르며, 이름 끝에 붙는 A3B·A17B·FP8·GPTQ-Int4 같은 꼬리표까지 붙습니다. 이 글은 Hugging Face에 공개된 Qwen 모델 카드를 기준으로(2026년 10월 27일 확인) 각 모델이 무엇이고, 어디에 강하며, 돌리려면 어떤 하드웨어가 필요한지 를 한 번에 정리합니다. 1. 이름부터 읽는 법 Qwen3.8-27B : 세대(3.8) + 전체 파라미터(27B). 꼬리표가 없으면 Dense 모델로, 모든 파라미터가 매 토큰 계산에 쓰입니다. Qwen3.6-35B-A3B : 전체 35B 중 토큰당 3B만 활성화(Activated) 되는 MoE(Mixture of Experts) 모델입니다. 메모리는 35B만큼 필요하지만, 계산량은 3B 수준이라 속도가 빠릅니다. -FP8 / -GPTQ-Int4 : 공식 양자화 버전입니다. FP8은 메모리를 절반으로, Int4는 약 1/4로 줄입니다. -Base : 사전학습만 된 모델입니다. 파인튜닝 출발점으로 쓰고, 대화용으로는 꼬리표 없는 post-trained 모델을 씁니다. Qwen3.5 이후 범용 모델에는 공통점이 있습니다. Gated DeltaNet(선형 어텐션) 3층 + 일반 어텐션 1층 을 반복하는 하이브리드 구조라서, 긴 컨텍스트에서도 KV 캐시가 일반 트랜스포머보다 훨씬 적게 듭니다. 기본 컨텍스트는 262K 토큰 이고 약 1M까지 확장되며, 텍스트와 이미지를 같이 학습한 네이티브 비전 모델입니다. Thinking(추론) 모드는 요청마다 켜고 끌 수 있습니다. 2. Qwen3.8 — 최신 세대 (2026년 8월) Qwen3.5 구조를 기반으로 코딩, 실무 작업, 리서치, 오래 ...

로컬에서 vllm serve 한 줄이면 잘 돌던 모델을 Kubernetes에 올리는 순간 이야기가 달라집니다. Pod는 Running인데 GPU를 못 잡고, 모델 가중치를 반쯤 읽다가 재시작되고, 겨우 뜬 서버는 첫 요청에서 CUDA OOM을 냅니다. 오토스케일링을 걸었더니 CPU 사용률이 안 올라서 영원히 1대로 버팁니다. 이 블로그에서는 그동안 맥·DGX Spark 같은 로컬 LLM 서빙 하드웨어 를 주로 비교했는데, 이번에는 반대편, 쿠버네티스 GPU 노드에서 vLLM을 운영할 때 실제로 터지는 지점 을 정리합니다. 앞서 쓴 CrashLoopBackOff 점검 가이드 의 LLM 서빙 실전편이라고 보면 됩니다. 0. 출발점: 최소 매니페스트 vLLM은 OpenAI 호환 API 서버를 내장하고 있어서, 공식 이미지( vllm/vllm-openai )에 모델 이름만 넘기면 8000번 포트로 /v1/chat/completions 를 제공합니다. 아래가 이 글에서 계속 고쳐 나갈 출발점입니다. apiVersion: apps/v1 kind: Deployment metadata: name: vllm-qwen spec: replicas: 1 selector: matchLabels: { app: vllm-qwen } template: metadata: labels: { app: vllm-qwen } spec: containers: - name: vllm image: vllm/vllm-openai:latest # 운영에서는 버전 태그 고정 args: ["--model", "Qwen/Qwen3-8B", "--port", "8000"] ports: - containerPort: 8000 이대로 배포하면 거의 확실하게 아래 7가지 중 몇 개를 만납니다. 1. ...

"회사 보안 때문에 외부 API는 못 쓰고, 로컬에서 LLM을 돌려보고 싶은데 맥북 몇 GB짜리를 사야 하나요?" 요즘 가장 많이 받는 질문입니다. 결론부터 말하면 맥에서 LLM 서빙 성능을 결정하는 건 CPU 코어 수가 아니라 ① 통합 메모리 용량 ② 메모리 대역폭 두 가지입니다. 이 글에서는 2026년 9월 기준 Apple Silicon 라인업(M5 Pro / M5 Max / M5 Ultra / M6)과, 비슷한 포지션의 경쟁 제품(NVIDIA DGX Spark, AMD Ryzen AI Max+ 395, RTX 5090 워크스테이션)을 LLM 서빙 관점에서 정리합니다. 1. 먼저 계산부터: 모델 크기별 필요한 메모리 LLM 가중치가 차지하는 메모리는 대략 파라미터 수 × (양자화 비트 ÷ 8) 입니다. 여기에 KV 캐시(컨텍스트 길이·동시 요청 수에 비례)와 OS·런타임 오버헤드를 더해야 합니다. 모델 규모 Q4 (4bit) 가중치 Q8 (8bit) 가중치 권장 통합 메모리 7~9B 약 5GB 약 9GB 16~24GB 14B 약 9GB 약 15GB 24~32GB 30~32B 약 18~20GB 약 34GB 48~64GB 70B 약 40GB 약 75GB 64GB(Q4) / 128GB(Q8) 120B급 MoE 약 65GB 약 125GB 128GB 이상 200B~400B+ MoE 110~230GB — 256~512GB 맥 전용 주의사항: macOS는 기본적으로 통합 메모리의 약 65~75%만 GPU가 쓸 수 있도록 제한합니다. 128GB 맥이라도 GPU에 할당 가능한 양은 약 96GB 수준이므로, 여유 있게 잡아야 합니다. (필요 시 sudo sysctl iogpu.wired_limit_mb=<값> 으로 상향 가능하나, 재부팅 시 초기화되고 시스템 안정성에 영향이 있을 수 있습니다.) 2. 속도는 메모리 대역폭이 결정한다 토큰 생성(decode) 단계는 매 토큰마다 가중치 전체를 메모리에서 읽어야 하...