디에스 DevOps Lab

애플 스토어에서 Mac Studio를 이것저것 만지다 보면 꼭 한 번은 멈추게 되는 지점이 있습니다. 로컬 LLM 용도로 1천만 원 언저리를 쓴다면, M5 Ultra 96GB 를 고를 것인가 M5 Max 128GB 를 고를 것인가. 가격은 거의 같은데 한쪽은 대역폭, 한쪽은 메모리 용량을 주는 구조라 꽤 고민이 됩니다. 오늘은 스크린샷의 M5 Ultra 96GB/2TB 구성을 기준으로, 어떤 모델까지 올릴 수 있는지와 M5 Max 128GB 대비 무엇을 얻고 무엇을 잃는지 정리해 봤습니다. 1. 두 구성의 스펙 차이 스크린샷의 M5 Ultra 구성은 30코어 CPU, 64코어 GPU, 32코어 Neural Engine에 96GB 통합 메모리, 2TB SSD로 ₩10,340,000 입니다. 같은 2TB 조건의 M5 Max 18코어 CPU, 40코어 GPU, 128GB 메모리 구성은 애플 KR 기준 ₩10,070,000 이라 차이가 27만 원 정도밖에 나지 않습니다. 핵심은 두 가지 숫자입니다. Ultra는 메모리 대역폭 1.2TB/s 로 Max의 614GB/s보다 약 2배이고, GPU 코어도 64개로 1.6배입니다. 반면 Max는 메모리가 32GB 더 많습니다 . 로컬 LLM에서 이 두 숫자는 각각 "얼마나 빠르게 생성하느냐"와 "어디까지 큰 모델을 올릴 수 있느냐"를 결정하기 때문에, 이 선택은 사실상 속도와 용량 사이의 트레이드오프입니다. 2. 96GB에는 어떤 모델이 올라가나 먼저 기본 전제를 짚고 가겠습니다. macOS는 기본적으로 통합 메모리의 약 75%까지만 GPU에 할당합니다. 96GB면 약 72GB, 128GB면 약 96GB가 기본 한도이고, sudo sysctl iogpu.wired_limit_mb 로 90% 가까이까지 늘릴 수 있습니다. 여기에 KV 캐시(컨텍스트 길이에 비례)와 OS 몫을 빼야 하므로, 모델 가중치 파일 크기보다 10~20GB는 여유를 두는 게 안전합니다. 표를 기준으로 정리...

"5090 꽂았는데 70B가 왜 이렇게 느리죠?" 로컬 LLM 커뮤니티에서 요즘 제일 자주 보이는 질문입니다. RTX 5090은 분명 지구상에서 가장 빠른 소비자용 GPU인데, 70B 모델을 올리는 순간 초당 2~4토큰으로 주저앉습니다. 반대로 '느리다'던 맥은 같은 모델을 초당 20토큰 넘게 뽑아냅니다. 이유는 단 하나, 32GB 입니다. 이 글에서는 5090으로 로컬 LLM을 돌리고 있거나 사려는 분이 반드시 같이 봐야 할 맥 4종(Mac mini M6 / M5 Pro, Mac Studio M5 Max / M5 Ultra) 을 2026년 10월 기준 스펙으로 한 번에 비교합니다. ⚡ 결론부터 32B 이하 모델만 쓴다 → RTX 5090이 여전히 가장 빠릅니다. 70B 이상, 또는 120B·235B급 MoE를 쓰고 싶다 → 5090 한 장으로는 답이 없습니다. Mac Studio M5 Max 128GB 또는 M5 Ultra 가 현실적인 선택입니다. Mac mini(M6, M5 Pro) 는 5090의 비교 대상이 아닙니다. 입문·개인 비서용입니다. 1. 5090과 비교되는 맥, 정확히 어떤 사양인가 애플은 2026년 9월 22일 M6 Mac mini와 M5 Ultra Mac Studio를 출시했습니다(512GB M5 Ultra는 10월 말 출고). 로컬 LLM 관점에서 중요한 숫자는 딱 두 개, GPU가 쓸 수 있는 메모리 용량 과 메모리 대역폭 입니다. 기기 칩 구성 최대 메모리 대역폭 미국 시작가 RTX 5090 21,760 CUDA 코어, TDP 575W 32GB GDDR7 1,792GB/s $1,999 (MSRP) Mac mini M6 12코어 CPU / 12코어 GPU 32GB 153~170GB/s $899 Mac mini M5 Pro 최대 18코어 CPU / 20코어 GPU 64GB 307GB/s $1,699 Mac Studio M5 Max 18코어 CPU / 최대 40코...

M5 Max 맥북 프로를 128GB로 맞추는 이유는 대부분 로컬 LLM 때문입니다. 그런데 막상 128GB를 받으면 "그래서 모델은 몇 GB까지 올릴 수 있지?", "macOS가 얼마나 먹지?", "컨텍스트를 늘리면 얼마나 느려지지?" 같은 질문이 바로 생깁니다. 이 글은 M5 Max 128GB의 메모리를 실제로 어떻게 나눠 쓰게 되는지 를 공개 벤치마크 수치와 macOS 메모리 구조를 기준으로 정리한 사용기 겸 가이드입니다. 1. 스펙 정리: 왜 128GB M5 Max인가 통합 메모리 최대 128GB — 현재 노트북 폼팩터에서 가장 큰 GPU 가용 메모리입니다. 메모리 대역폭 614GB/s (40코어 GPU 구성) — M4 Max(546GB/s) 대비 약 12% 향상. 토큰 생성 속도는 이 대역폭에 거의 비례합니다. GPU 코어마다 Neural Accelerator 탑재 — Apple 발표 기준 M4 Max 대비 LLM 프롬프트 처리 최대 4배. 14형 M5 Max 시작가 $3,599(미국), 128GB는 상위 옵션 선택이 필요합니다. ⚠️ 같은 M5 Max라도 32코어 GPU 구성은 대역폭이 더 낮습니다. LLM 용도라면 40코어 GPU + 128GB 조합을 확인하세요. 2. 128GB는 실제로 이렇게 나뉜다 128GB가 전부 모델에 쓰이는 것은 아닙니다. 실제 배분은 크게 세 덩어리입니다. 구분 용량 설명 macOS + 앱 약 15~20GB 브라우저, IDE, Docker, 메신저 등 일상 작업 GPU 기본 한도 약 96GB (75%) macOS가 GPU에 wired로 잡아줄 수 있는 기본 상한 모델 가중치 + KV 캐시 나머지 전부 컨텍스트가 길수록 KV 캐시가 커짐 GPU 한도는 아래 명령으로 올릴 수 있습니다. 다만 너무 높이면 macOS가 스왑을 쓰기 시작하면서 오히려 전체가 느려지므로, OS용으로 최소 16GB는 남기는 것 을 권장합니다. 재부팅하면 기본값...