디에스 DevOps Lab

오늘 오전에 정리한 Qwen 모델 라인업 총정리 에서는 큰 모델의 현실적인 장비로 맥 스튜디오 를 꼽았습니다. 그런데 바로 이런 질문이 따라옵니다. "맥 스튜디오까지는 부담스럽고, 9월에 나온 M6 맥미니로는 어디까지 돌아가나요?" 이 글은 같은 Qwen 모델들을 맥미니 M6(16·24·32GB) 와 맥 스튜디오 M5 Max 128GB · M5 Ultra 512GB 에 나란히 올려 봅니다. 결론부터 말하면 M6 맥미니의 답은 "Qwen3.6-35B-A3B까지, 그리고 Dense보다 MoE" 입니다. 1. 비교 기준: 용량은 '올라가느냐', 대역폭은 '얼마나 빠르냐' 로컬 LLM용 메모리 가이드 에서 정리했듯, 맥에서 LLM 성능을 정하는 숫자는 두 개입니다. 통합 메모리 용량 : 모델이 올라가느냐 마느냐. macOS는 기본적으로 통합 메모리의 약 70~75%만 GPU에 내줍니다. 32GB 맥미니라면 실제로 쓸 수 있는 건 약 24GB입니다. 메모리 대역폭 : 답이 얼마나 빨리 나오느냐. 토큰 하나를 만들 때마다 가중치를 메모리에서 읽어야 해서, 생성 속도는 대략 대역폭 ÷ 읽어야 하는 가중치 크기 를 따라갑니다. 세 기기의 숫자는 이렇습니다. 맥미니 M6 : 최대 32GB, 대역폭 153GB/s(16GB) · 170GB/s(24·32GB), 149만 9천 원부터 맥 스튜디오 M5 Max : 최대 128GB, 최대 614GB/s, 429만 원부터 (128GB는 옵션) 맥 스튜디오 M5 Ultra : 최대 512GB, 1.2TB/s, 949만 원부터 (512GB는 옵션) 대역폭만 보면 M5 Max는 M6의 약 3.6배, M5 Ultra는 약 7배입니다. 이 차이가 모델 종류에 따라 얼마나 체감되는지가 이 글의 핵심입니다. 2. 올라가나? 모델 × 기기 매트릭스 (4bit 기준) M6 16GB (GPU 약 11GB) : Qwen3.5-9B까지입니다. 27B는 4bi...

"5090 꽂았는데 70B가 왜 이렇게 느리죠?" 로컬 LLM 커뮤니티에서 요즘 제일 자주 보이는 질문입니다. RTX 5090은 분명 지구상에서 가장 빠른 소비자용 GPU인데, 70B 모델을 올리는 순간 초당 2~4토큰으로 주저앉습니다. 반대로 '느리다'던 맥은 같은 모델을 초당 20토큰 넘게 뽑아냅니다. 이유는 단 하나, 32GB 입니다. 이 글에서는 5090으로 로컬 LLM을 돌리고 있거나 사려는 분이 반드시 같이 봐야 할 맥 4종(Mac mini M6 / M5 Pro, Mac Studio M5 Max / M5 Ultra) 을 2026년 10월 기준 스펙으로 한 번에 비교합니다. ⚡ 결론부터 32B 이하 모델만 쓴다 → RTX 5090이 여전히 가장 빠릅니다. 70B 이상, 또는 120B·235B급 MoE를 쓰고 싶다 → 5090 한 장으로는 답이 없습니다. Mac Studio M5 Max 128GB 또는 M5 Ultra 가 현실적인 선택입니다. Mac mini(M6, M5 Pro) 는 5090의 비교 대상이 아닙니다. 입문·개인 비서용입니다. 1. 5090과 비교되는 맥, 정확히 어떤 사양인가 애플은 2026년 9월 22일 M6 Mac mini와 M5 Ultra Mac Studio를 출시했습니다(512GB M5 Ultra는 10월 말 출고). 로컬 LLM 관점에서 중요한 숫자는 딱 두 개, GPU가 쓸 수 있는 메모리 용량 과 메모리 대역폭 입니다. 기기 칩 구성 최대 메모리 대역폭 미국 시작가 RTX 5090 21,760 CUDA 코어, TDP 575W 32GB GDDR7 1,792GB/s $1,999 (MSRP) Mac mini M6 12코어 CPU / 12코어 GPU 32GB 153~170GB/s $899 Mac mini M5 Pro 최대 18코어 CPU / 20코어 GPU 64GB 307GB/s $1,699 Mac Studio M5 Max 18코어 CPU / 최대 40코...

9월 22일, 새 Mac mini가 출시됩니다. 이번 세대는 M6 와 M5 Pro 두 가지 칩으로 나오는데, 가격 차이가 $800이나 납니다. 일반 사무용이라면 M6로 충분하지만, 로컬 LLM을 돌릴 목적 이라면 이야기가 달라집니다. 이 글에서는 아직 써보기 전인 출시 직전 시점에서, 공개된 사양만으로 "LLM용으로는 어떤 구성을 골라야 하는지"를 계산해 봅니다. 1. 스펙 비교: M6 vs M5 Pro Mac mini 항목 Mac mini M6 Mac mini M5 Pro 시작 가격(미국) $899 (16GB / 256GB) $1,699 (24GB / 512GB) CPU / GPU 12코어 / 12코어 15~18코어 / 16~20코어 통합 메모리 16 / 24 / 32GB 24 / 48 / 64GB 메모리 대역폭 최대 170GB/s (16GB 구성은 더 낮음) 307GB/s Neural Engine 듀얼 16코어 16코어 GPU Neural Accelerator 두 모델 모두 GPU 코어마다 탑재 포트 Thunderbolt 4 ×3 Thunderbolt 5 ×3 공통 HDMI, 2.5Gb 이더넷, Wi-Fi 7, 전면 USB-C 2개 LLM 관점에서 봐야 할 줄은 딱 두 개입니다. 메모리 용량(최대 32GB vs 64GB) 과 메모리 대역폭(170GB/s vs 307GB/s) . 용량은 "어떤 모델까지 올라가는가"를, 대역폭은 "얼마나 빠르게 답하는가"를 결정합니다. 2. 어떤 모델까지 올라갈까 macOS는 통합 메모리를 전부 GPU에 주지 않습니다. 일반적으로 36GB 이하 구성은 약 2/3, 그 이상은 약 3/4 이 GPU 기본 한도입니다. 이를 기준으로 Q4(4bit) 양자화 모델이 들어가는지 정리하면 다음과 같습니다. 구성 GPU 가용(추정) 8B (≈5GB) 14B (≈9GB) 32B (≈19GB) 70B (≈40GB) M6 16GB ≈10GB ○ △ 빠듯 ✕...