디에스 DevOps Lab

오늘 오전에 정리한 Qwen 모델 라인업 총정리 에서는 큰 모델의 현실적인 장비로 맥 스튜디오 를 꼽았습니다. 그런데 바로 이런 질문이 따라옵니다. "맥 스튜디오까지는 부담스럽고, 9월에 나온 M6 맥미니로는 어디까지 돌아가나요?" 이 글은 같은 Qwen 모델들을 맥미니 M6(16·24·32GB) 와 맥 스튜디오 M5 Max 128GB · M5 Ultra 512GB 에 나란히 올려 봅니다. 결론부터 말하면 M6 맥미니의 답은 "Qwen3.6-35B-A3B까지, 그리고 Dense보다 MoE" 입니다. 1. 비교 기준: 용량은 '올라가느냐', 대역폭은 '얼마나 빠르냐' 로컬 LLM용 메모리 가이드 에서 정리했듯, 맥에서 LLM 성능을 정하는 숫자는 두 개입니다. 통합 메모리 용량 : 모델이 올라가느냐 마느냐. macOS는 기본적으로 통합 메모리의 약 70~75%만 GPU에 내줍니다. 32GB 맥미니라면 실제로 쓸 수 있는 건 약 24GB입니다. 메모리 대역폭 : 답이 얼마나 빨리 나오느냐. 토큰 하나를 만들 때마다 가중치를 메모리에서 읽어야 해서, 생성 속도는 대략 대역폭 ÷ 읽어야 하는 가중치 크기 를 따라갑니다. 세 기기의 숫자는 이렇습니다. 맥미니 M6 : 최대 32GB, 대역폭 153GB/s(16GB) · 170GB/s(24·32GB), 149만 9천 원부터 맥 스튜디오 M5 Max : 최대 128GB, 최대 614GB/s, 429만 원부터 (128GB는 옵션) 맥 스튜디오 M5 Ultra : 최대 512GB, 1.2TB/s, 949만 원부터 (512GB는 옵션) 대역폭만 보면 M5 Max는 M6의 약 3.6배, M5 Ultra는 약 7배입니다. 이 차이가 모델 종류에 따라 얼마나 체감되는지가 이 글의 핵심입니다. 2. 올라가나? 모델 × 기기 매트릭스 (4bit 기준) M6 16GB (GPU 약 11GB) : Qwen3.5-9B까지입니다. 27B는 4bi...

애플 스토어에서 Mac Studio를 이것저것 만지다 보면 꼭 한 번은 멈추게 되는 지점이 있습니다. 로컬 LLM 용도로 1천만 원 언저리를 쓴다면, M5 Ultra 96GB 를 고를 것인가 M5 Max 128GB 를 고를 것인가. 가격은 거의 같은데 한쪽은 대역폭, 한쪽은 메모리 용량을 주는 구조라 꽤 고민이 됩니다. 오늘은 스크린샷의 M5 Ultra 96GB/2TB 구성을 기준으로, 어떤 모델까지 올릴 수 있는지와 M5 Max 128GB 대비 무엇을 얻고 무엇을 잃는지 정리해 봤습니다. 1. 두 구성의 스펙 차이 스크린샷의 M5 Ultra 구성은 30코어 CPU, 64코어 GPU, 32코어 Neural Engine에 96GB 통합 메모리, 2TB SSD로 ₩10,340,000 입니다. 같은 2TB 조건의 M5 Max 18코어 CPU, 40코어 GPU, 128GB 메모리 구성은 애플 KR 기준 ₩10,070,000 이라 차이가 27만 원 정도밖에 나지 않습니다. 핵심은 두 가지 숫자입니다. Ultra는 메모리 대역폭 1.2TB/s 로 Max의 614GB/s보다 약 2배이고, GPU 코어도 64개로 1.6배입니다. 반면 Max는 메모리가 32GB 더 많습니다 . 로컬 LLM에서 이 두 숫자는 각각 "얼마나 빠르게 생성하느냐"와 "어디까지 큰 모델을 올릴 수 있느냐"를 결정하기 때문에, 이 선택은 사실상 속도와 용량 사이의 트레이드오프입니다. 2. 96GB에는 어떤 모델이 올라가나 먼저 기본 전제를 짚고 가겠습니다. macOS는 기본적으로 통합 메모리의 약 75%까지만 GPU에 할당합니다. 96GB면 약 72GB, 128GB면 약 96GB가 기본 한도이고, sudo sysctl iogpu.wired_limit_mb 로 90% 가까이까지 늘릴 수 있습니다. 여기에 KV 캐시(컨텍스트 길이에 비례)와 OS 몫을 빼야 하므로, 모델 가중치 파일 크기보다 10~20GB는 여유를 두는 게 안전합니다. 표를 기준으로 정리...

로컬 LLM이나 사내 LLM 서빙을 검토하면 거의 반드시 후보에 오르는 게 알리바바의 Qwen 입니다. 문제는 모델이 너무 많다는 점입니다. 2026년에만 Qwen3.5(2월), Qwen3.6(4월), Qwen3.8(8월)이 연달아 나왔고, 같은 세대 안에서도 0.8B부터 2.4T까지 크기가 다르며, 이름 끝에 붙는 A3B·A17B·FP8·GPTQ-Int4 같은 꼬리표까지 붙습니다. 이 글은 Hugging Face에 공개된 Qwen 모델 카드를 기준으로(2026년 10월 27일 확인) 각 모델이 무엇이고, 어디에 강하며, 돌리려면 어떤 하드웨어가 필요한지 를 한 번에 정리합니다. 1. 이름부터 읽는 법 Qwen3.8-27B : 세대(3.8) + 전체 파라미터(27B). 꼬리표가 없으면 Dense 모델로, 모든 파라미터가 매 토큰 계산에 쓰입니다. Qwen3.6-35B-A3B : 전체 35B 중 토큰당 3B만 활성화(Activated) 되는 MoE(Mixture of Experts) 모델입니다. 메모리는 35B만큼 필요하지만, 계산량은 3B 수준이라 속도가 빠릅니다. -FP8 / -GPTQ-Int4 : 공식 양자화 버전입니다. FP8은 메모리를 절반으로, Int4는 약 1/4로 줄입니다. -Base : 사전학습만 된 모델입니다. 파인튜닝 출발점으로 쓰고, 대화용으로는 꼬리표 없는 post-trained 모델을 씁니다. Qwen3.5 이후 범용 모델에는 공통점이 있습니다. Gated DeltaNet(선형 어텐션) 3층 + 일반 어텐션 1층 을 반복하는 하이브리드 구조라서, 긴 컨텍스트에서도 KV 캐시가 일반 트랜스포머보다 훨씬 적게 듭니다. 기본 컨텍스트는 262K 토큰 이고 약 1M까지 확장되며, 텍스트와 이미지를 같이 학습한 네이티브 비전 모델입니다. Thinking(추론) 모드는 요청마다 켜고 끌 수 있습니다. 2. Qwen3.8 — 최신 세대 (2026년 8월) Qwen3.5 구조를 기반으로 코딩, 실무 작업, 리서치, 오래 ...

로컬에서 vllm serve 한 줄이면 잘 돌던 모델을 Kubernetes에 올리는 순간 이야기가 달라집니다. Pod는 Running인데 GPU를 못 잡고, 모델 가중치를 반쯤 읽다가 재시작되고, 겨우 뜬 서버는 첫 요청에서 CUDA OOM을 냅니다. 오토스케일링을 걸었더니 CPU 사용률이 안 올라서 영원히 1대로 버팁니다. 이 블로그에서는 그동안 맥·DGX Spark 같은 로컬 LLM 서빙 하드웨어 를 주로 비교했는데, 이번에는 반대편, 쿠버네티스 GPU 노드에서 vLLM을 운영할 때 실제로 터지는 지점 을 정리합니다. 앞서 쓴 CrashLoopBackOff 점검 가이드 의 LLM 서빙 실전편이라고 보면 됩니다. 0. 출발점: 최소 매니페스트 vLLM은 OpenAI 호환 API 서버를 내장하고 있어서, 공식 이미지( vllm/vllm-openai )에 모델 이름만 넘기면 8000번 포트로 /v1/chat/completions 를 제공합니다. 아래가 이 글에서 계속 고쳐 나갈 출발점입니다. apiVersion: apps/v1 kind: Deployment metadata: name: vllm-qwen spec: replicas: 1 selector: matchLabels: { app: vllm-qwen } template: metadata: labels: { app: vllm-qwen } spec: containers: - name: vllm image: vllm/vllm-openai:latest # 운영에서는 버전 태그 고정 args: ["--model", "Qwen/Qwen3-8B", "--port", "8000"] ports: - containerPort: 8000 이대로 배포하면 거의 확실하게 아래 7가지 중 몇 개를 만납니다. 1. ...

"5090 꽂았는데 70B가 왜 이렇게 느리죠?" 로컬 LLM 커뮤니티에서 요즘 제일 자주 보이는 질문입니다. RTX 5090은 분명 지구상에서 가장 빠른 소비자용 GPU인데, 70B 모델을 올리는 순간 초당 2~4토큰으로 주저앉습니다. 반대로 '느리다'던 맥은 같은 모델을 초당 20토큰 넘게 뽑아냅니다. 이유는 단 하나, 32GB 입니다. 이 글에서는 5090으로 로컬 LLM을 돌리고 있거나 사려는 분이 반드시 같이 봐야 할 맥 4종(Mac mini M6 / M5 Pro, Mac Studio M5 Max / M5 Ultra) 을 2026년 10월 기준 스펙으로 한 번에 비교합니다. ⚡ 결론부터 32B 이하 모델만 쓴다 → RTX 5090이 여전히 가장 빠릅니다. 70B 이상, 또는 120B·235B급 MoE를 쓰고 싶다 → 5090 한 장으로는 답이 없습니다. Mac Studio M5 Max 128GB 또는 M5 Ultra 가 현실적인 선택입니다. Mac mini(M6, M5 Pro) 는 5090의 비교 대상이 아닙니다. 입문·개인 비서용입니다. 1. 5090과 비교되는 맥, 정확히 어떤 사양인가 애플은 2026년 9월 22일 M6 Mac mini와 M5 Ultra Mac Studio를 출시했습니다(512GB M5 Ultra는 10월 말 출고). 로컬 LLM 관점에서 중요한 숫자는 딱 두 개, GPU가 쓸 수 있는 메모리 용량 과 메모리 대역폭 입니다. 기기 칩 구성 최대 메모리 대역폭 미국 시작가 RTX 5090 21,760 CUDA 코어, TDP 575W 32GB GDDR7 1,792GB/s $1,999 (MSRP) Mac mini M6 12코어 CPU / 12코어 GPU 32GB 153~170GB/s $899 Mac mini M5 Pro 최대 18코어 CPU / 20코어 GPU 64GB 307GB/s $1,699 Mac Studio M5 Max 18코어 CPU / 최대 40코...

맥 스튜디오 M5 Ultra 512GB 는 10월 말 국내 출시가 예고된, 개인이 살 수 있는 사실상 가장 강력한 AI 워크스테이션입니다. 문제는 가격입니다. 512GB 메모리에 대용량 SSD까지 얹은 풀옵션은 3,000만원 안팎까지 갈 수 있는 금액이라, 이 정도면 "무이자 할부 몇 개월"로 해결되는 영역을 벗어납니다. 이 글은 카드 한도 상향과 무이자 할부 , 금융리스·운용리스와 잔존가치 , 신용대출·마이너스 통장 , 사업자 비용 처리 까지, 3,000만원짜리 맥 스튜디오를 현실적으로 들이는 금융 상품 조합을 정리한 구매 전 체크리스트입니다. ▲ 3,000만원 결제 로드맵: 한도 확보 → 무이자 할부 → (사업자) 잔존가치 금융리스 1. 맥 스튜디오 M5 Ultra 512GB, 지금 알려진 것과 가격 전망 애플은 2026년 8월 25일 M5 Max / M5 Ultra 칩을 탑재한 신형 Mac Studio를 발표했고, 기본 모델은 9월 22일부터 배송이 시작됐습니다. 국내 출고가는 M5 Max 모델 4,290,000원, M5 Ultra 모델(30코어 CPU, 64코어 GPU, 96GB 메모리, 1TB) 9,490,000원부터입니다. 핵심인 512GB 통합 메모리 구성 은 별도로 10월 말 출시 예정입니다. M5 Ultra는 최대 36코어 CPU, 80코어 GPU, 1.2TB/s 메모리 대역폭을 갖춘 쿼드 다이 구조로, 512GB 메모리를 얹으면 GPU 서버 없이도 수천억 파라미터급 LLM을 로컬에서 돌릴 수 있는 사양이 됩니다. 미국 매체들은 512GB 구성의 시작가를 1만 달러 이상, 저장 장치를 최대 옵션(16TB)으로 채우면 2만 달러를 넘길 것으로 내다봅니다. 국내 원화로 환산하면 512GB 기본 구성이 대략 1,500만~2,000만원대, 512GB + 대용량 SSD 풀옵션은 3,000만원 안팎 이 될 가능성이 큽니다. 국내 가격은 10월 말 공개 전까지 확정되지 않았으므로, 이 글에서는 실제로 사고 싶어지는 구성인 풀...

9월 22일, 새 Mac mini가 출시됩니다. 이번 세대는 M6 와 M5 Pro 두 가지 칩으로 나오는데, 가격 차이가 $800이나 납니다. 일반 사무용이라면 M6로 충분하지만, 로컬 LLM을 돌릴 목적 이라면 이야기가 달라집니다. 이 글에서는 아직 써보기 전인 출시 직전 시점에서, 공개된 사양만으로 "LLM용으로는 어떤 구성을 골라야 하는지"를 계산해 봅니다. 1. 스펙 비교: M6 vs M5 Pro Mac mini 항목 Mac mini M6 Mac mini M5 Pro 시작 가격(미국) $899 (16GB / 256GB) $1,699 (24GB / 512GB) CPU / GPU 12코어 / 12코어 15~18코어 / 16~20코어 통합 메모리 16 / 24 / 32GB 24 / 48 / 64GB 메모리 대역폭 최대 170GB/s (16GB 구성은 더 낮음) 307GB/s Neural Engine 듀얼 16코어 16코어 GPU Neural Accelerator 두 모델 모두 GPU 코어마다 탑재 포트 Thunderbolt 4 ×3 Thunderbolt 5 ×3 공통 HDMI, 2.5Gb 이더넷, Wi-Fi 7, 전면 USB-C 2개 LLM 관점에서 봐야 할 줄은 딱 두 개입니다. 메모리 용량(최대 32GB vs 64GB) 과 메모리 대역폭(170GB/s vs 307GB/s) . 용량은 "어떤 모델까지 올라가는가"를, 대역폭은 "얼마나 빠르게 답하는가"를 결정합니다. 2. 어떤 모델까지 올라갈까 macOS는 통합 메모리를 전부 GPU에 주지 않습니다. 일반적으로 36GB 이하 구성은 약 2/3, 그 이상은 약 3/4 이 GPU 기본 한도입니다. 이를 기준으로 Q4(4bit) 양자화 모델이 들어가는지 정리하면 다음과 같습니다. 구성 GPU 가용(추정) 8B (≈5GB) 14B (≈9GB) 32B (≈19GB) 70B (≈40GB) M6 16GB ≈10GB ○ △ 빠듯 ✕...

M5 Max 맥북 프로를 128GB로 맞추는 이유는 대부분 로컬 LLM 때문입니다. 그런데 막상 128GB를 받으면 "그래서 모델은 몇 GB까지 올릴 수 있지?", "macOS가 얼마나 먹지?", "컨텍스트를 늘리면 얼마나 느려지지?" 같은 질문이 바로 생깁니다. 이 글은 M5 Max 128GB의 메모리를 실제로 어떻게 나눠 쓰게 되는지 를 공개 벤치마크 수치와 macOS 메모리 구조를 기준으로 정리한 사용기 겸 가이드입니다. 1. 스펙 정리: 왜 128GB M5 Max인가 통합 메모리 최대 128GB — 현재 노트북 폼팩터에서 가장 큰 GPU 가용 메모리입니다. 메모리 대역폭 614GB/s (40코어 GPU 구성) — M4 Max(546GB/s) 대비 약 12% 향상. 토큰 생성 속도는 이 대역폭에 거의 비례합니다. GPU 코어마다 Neural Accelerator 탑재 — Apple 발표 기준 M4 Max 대비 LLM 프롬프트 처리 최대 4배. 14형 M5 Max 시작가 $3,599(미국), 128GB는 상위 옵션 선택이 필요합니다. ⚠️ 같은 M5 Max라도 32코어 GPU 구성은 대역폭이 더 낮습니다. LLM 용도라면 40코어 GPU + 128GB 조합을 확인하세요. 2. 128GB는 실제로 이렇게 나뉜다 128GB가 전부 모델에 쓰이는 것은 아닙니다. 실제 배분은 크게 세 덩어리입니다. 구분 용량 설명 macOS + 앱 약 15~20GB 브라우저, IDE, Docker, 메신저 등 일상 작업 GPU 기본 한도 약 96GB (75%) macOS가 GPU에 wired로 잡아줄 수 있는 기본 상한 모델 가중치 + KV 캐시 나머지 전부 컨텍스트가 길수록 KV 캐시가 커짐 GPU 한도는 아래 명령으로 올릴 수 있습니다. 다만 너무 높이면 macOS가 스왑을 쓰기 시작하면서 오히려 전체가 느려지므로, OS용으로 최소 16GB는 남기는 것 을 권장합니다. 재부팅하면 기본값...

"회사 보안 때문에 외부 API는 못 쓰고, 로컬에서 LLM을 돌려보고 싶은데 맥북 몇 GB짜리를 사야 하나요?" 요즘 가장 많이 받는 질문입니다. 결론부터 말하면 맥에서 LLM 서빙 성능을 결정하는 건 CPU 코어 수가 아니라 ① 통합 메모리 용량 ② 메모리 대역폭 두 가지입니다. 이 글에서는 2026년 9월 기준 Apple Silicon 라인업(M5 Pro / M5 Max / M5 Ultra / M6)과, 비슷한 포지션의 경쟁 제품(NVIDIA DGX Spark, AMD Ryzen AI Max+ 395, RTX 5090 워크스테이션)을 LLM 서빙 관점에서 정리합니다. 1. 먼저 계산부터: 모델 크기별 필요한 메모리 LLM 가중치가 차지하는 메모리는 대략 파라미터 수 × (양자화 비트 ÷ 8) 입니다. 여기에 KV 캐시(컨텍스트 길이·동시 요청 수에 비례)와 OS·런타임 오버헤드를 더해야 합니다. 모델 규모 Q4 (4bit) 가중치 Q8 (8bit) 가중치 권장 통합 메모리 7~9B 약 5GB 약 9GB 16~24GB 14B 약 9GB 약 15GB 24~32GB 30~32B 약 18~20GB 약 34GB 48~64GB 70B 약 40GB 약 75GB 64GB(Q4) / 128GB(Q8) 120B급 MoE 약 65GB 약 125GB 128GB 이상 200B~400B+ MoE 110~230GB — 256~512GB 맥 전용 주의사항: macOS는 기본적으로 통합 메모리의 약 65~75%만 GPU가 쓸 수 있도록 제한합니다. 128GB 맥이라도 GPU에 할당 가능한 양은 약 96GB 수준이므로, 여유 있게 잡아야 합니다. (필요 시 sudo sysctl iogpu.wired_limit_mb=<값> 으로 상향 가능하나, 재부팅 시 초기화되고 시스템 안정성에 영향이 있을 수 있습니다.) 2. 속도는 메모리 대역폭이 결정한다 토큰 생성(decode) 단계는 매 토큰마다 가중치 전체를 메모리에서 읽어야 하...