디에스 DevOps Lab

"5090 꽂았는데 70B가 왜 이렇게 느리죠?" 로컬 LLM 커뮤니티에서 요즘 제일 자주 보이는 질문입니다. RTX 5090은 분명 지구상에서 가장 빠른 소비자용 GPU인데, 70B 모델을 올리는 순간 초당 2~4토큰으로 주저앉습니다. 반대로 '느리다'던 맥은 같은 모델을 초당 20토큰 넘게 뽑아냅니다. 이유는 단 하나, 32GB 입니다. 이 글에서는 5090으로 로컬 LLM을 돌리고 있거나 사려는 분이 반드시 같이 봐야 할 맥 4종(Mac mini M6 / M5 Pro, Mac Studio M5 Max / M5 Ultra) 을 2026년 10월 기준 스펙으로 한 번에 비교합니다. ⚡ 결론부터 32B 이하 모델만 쓴다 → RTX 5090이 여전히 가장 빠릅니다. 70B 이상, 또는 120B·235B급 MoE를 쓰고 싶다 → 5090 한 장으로는 답이 없습니다. Mac Studio M5 Max 128GB 또는 M5 Ultra 가 현실적인 선택입니다. Mac mini(M6, M5 Pro) 는 5090의 비교 대상이 아닙니다. 입문·개인 비서용입니다. 1. 5090과 비교되는 맥, 정확히 어떤 사양인가 애플은 2026년 9월 22일 M6 Mac mini와 M5 Ultra Mac Studio를 출시했습니다(512GB M5 Ultra는 10월 말 출고). 로컬 LLM 관점에서 중요한 숫자는 딱 두 개, GPU가 쓸 수 있는 메모리 용량 과 메모리 대역폭 입니다. 기기 칩 구성 최대 메모리 대역폭 미국 시작가 RTX 5090 21,760 CUDA 코어, TDP 575W 32GB GDDR7 1,792GB/s $1,999 (MSRP) Mac mini M6 12코어 CPU / 12코어 GPU 32GB 153~170GB/s $899 Mac mini M5 Pro 최대 18코어 CPU / 20코어 GPU 64GB 307GB/s $1,699 Mac Studio M5 Max 18코어 CPU / 최대 40코...

9월 22일, 새 Mac mini가 출시됩니다. 이번 세대는 M6 와 M5 Pro 두 가지 칩으로 나오는데, 가격 차이가 $800이나 납니다. 일반 사무용이라면 M6로 충분하지만, 로컬 LLM을 돌릴 목적 이라면 이야기가 달라집니다. 이 글에서는 아직 써보기 전인 출시 직전 시점에서, 공개된 사양만으로 "LLM용으로는 어떤 구성을 골라야 하는지"를 계산해 봅니다. 1. 스펙 비교: M6 vs M5 Pro Mac mini 항목 Mac mini M6 Mac mini M5 Pro 시작 가격(미국) $899 (16GB / 256GB) $1,699 (24GB / 512GB) CPU / GPU 12코어 / 12코어 15~18코어 / 16~20코어 통합 메모리 16 / 24 / 32GB 24 / 48 / 64GB 메모리 대역폭 최대 170GB/s (16GB 구성은 더 낮음) 307GB/s Neural Engine 듀얼 16코어 16코어 GPU Neural Accelerator 두 모델 모두 GPU 코어마다 탑재 포트 Thunderbolt 4 ×3 Thunderbolt 5 ×3 공통 HDMI, 2.5Gb 이더넷, Wi-Fi 7, 전면 USB-C 2개 LLM 관점에서 봐야 할 줄은 딱 두 개입니다. 메모리 용량(최대 32GB vs 64GB) 과 메모리 대역폭(170GB/s vs 307GB/s) . 용량은 "어떤 모델까지 올라가는가"를, 대역폭은 "얼마나 빠르게 답하는가"를 결정합니다. 2. 어떤 모델까지 올라갈까 macOS는 통합 메모리를 전부 GPU에 주지 않습니다. 일반적으로 36GB 이하 구성은 약 2/3, 그 이상은 약 3/4 이 GPU 기본 한도입니다. 이를 기준으로 Q4(4bit) 양자화 모델이 들어가는지 정리하면 다음과 같습니다. 구성 GPU 가용(추정) 8B (≈5GB) 14B (≈9GB) 32B (≈19GB) 70B (≈40GB) M6 16GB ≈10GB ○ △ 빠듯 ✕...

M5 Max 맥북 프로를 128GB로 맞추는 이유는 대부분 로컬 LLM 때문입니다. 그런데 막상 128GB를 받으면 "그래서 모델은 몇 GB까지 올릴 수 있지?", "macOS가 얼마나 먹지?", "컨텍스트를 늘리면 얼마나 느려지지?" 같은 질문이 바로 생깁니다. 이 글은 M5 Max 128GB의 메모리를 실제로 어떻게 나눠 쓰게 되는지 를 공개 벤치마크 수치와 macOS 메모리 구조를 기준으로 정리한 사용기 겸 가이드입니다. 1. 스펙 정리: 왜 128GB M5 Max인가 통합 메모리 최대 128GB — 현재 노트북 폼팩터에서 가장 큰 GPU 가용 메모리입니다. 메모리 대역폭 614GB/s (40코어 GPU 구성) — M4 Max(546GB/s) 대비 약 12% 향상. 토큰 생성 속도는 이 대역폭에 거의 비례합니다. GPU 코어마다 Neural Accelerator 탑재 — Apple 발표 기준 M4 Max 대비 LLM 프롬프트 처리 최대 4배. 14형 M5 Max 시작가 $3,599(미국), 128GB는 상위 옵션 선택이 필요합니다. ⚠️ 같은 M5 Max라도 32코어 GPU 구성은 대역폭이 더 낮습니다. LLM 용도라면 40코어 GPU + 128GB 조합을 확인하세요. 2. 128GB는 실제로 이렇게 나뉜다 128GB가 전부 모델에 쓰이는 것은 아닙니다. 실제 배분은 크게 세 덩어리입니다. 구분 용량 설명 macOS + 앱 약 15~20GB 브라우저, IDE, Docker, 메신저 등 일상 작업 GPU 기본 한도 약 96GB (75%) macOS가 GPU에 wired로 잡아줄 수 있는 기본 상한 모델 가중치 + KV 캐시 나머지 전부 컨텍스트가 길수록 KV 캐시가 커짐 GPU 한도는 아래 명령으로 올릴 수 있습니다. 다만 너무 높이면 macOS가 스왑을 쓰기 시작하면서 오히려 전체가 느려지므로, OS용으로 최소 16GB는 남기는 것 을 권장합니다. 재부팅하면 기본값...

"회사 보안 때문에 외부 API는 못 쓰고, 로컬에서 LLM을 돌려보고 싶은데 맥북 몇 GB짜리를 사야 하나요?" 요즘 가장 많이 받는 질문입니다. 결론부터 말하면 맥에서 LLM 서빙 성능을 결정하는 건 CPU 코어 수가 아니라 ① 통합 메모리 용량 ② 메모리 대역폭 두 가지입니다. 이 글에서는 2026년 9월 기준 Apple Silicon 라인업(M5 Pro / M5 Max / M5 Ultra / M6)과, 비슷한 포지션의 경쟁 제품(NVIDIA DGX Spark, AMD Ryzen AI Max+ 395, RTX 5090 워크스테이션)을 LLM 서빙 관점에서 정리합니다. 1. 먼저 계산부터: 모델 크기별 필요한 메모리 LLM 가중치가 차지하는 메모리는 대략 파라미터 수 × (양자화 비트 ÷ 8) 입니다. 여기에 KV 캐시(컨텍스트 길이·동시 요청 수에 비례)와 OS·런타임 오버헤드를 더해야 합니다. 모델 규모 Q4 (4bit) 가중치 Q8 (8bit) 가중치 권장 통합 메모리 7~9B 약 5GB 약 9GB 16~24GB 14B 약 9GB 약 15GB 24~32GB 30~32B 약 18~20GB 약 34GB 48~64GB 70B 약 40GB 약 75GB 64GB(Q4) / 128GB(Q8) 120B급 MoE 약 65GB 약 125GB 128GB 이상 200B~400B+ MoE 110~230GB — 256~512GB 맥 전용 주의사항: macOS는 기본적으로 통합 메모리의 약 65~75%만 GPU가 쓸 수 있도록 제한합니다. 128GB 맥이라도 GPU에 할당 가능한 양은 약 96GB 수준이므로, 여유 있게 잡아야 합니다. (필요 시 sudo sysctl iogpu.wired_limit_mb=<값> 으로 상향 가능하나, 재부팅 시 초기화되고 시스템 안정성에 영향이 있을 수 있습니다.) 2. 속도는 메모리 대역폭이 결정한다 토큰 생성(decode) 단계는 매 토큰마다 가중치 전체를 메모리에서 읽어야 하...