글

라벨이 MacBook Pro인 게시물 표시

M5 Max 맥북 프로 128GB 메모리 사용기 — 로컬 LLM에 실제로 몇 GB까지 쓸 수 있을까?

이미지
M5 Max 맥북 프로를 128GB로 맞추는 이유는 대부분 로컬 LLM 때문입니다. 그런데 막상 128GB를 받으면 "그래서 모델은 몇 GB까지 올릴 수 있지?", "macOS가 얼마나 먹지?", "컨텍스트를 늘리면 얼마나 느려지지?" 같은 질문이 바로 생깁니다. 이 글은 M5 Max 128GB의 메모리를 실제로 어떻게 나눠 쓰게 되는지 를 공개 벤치마크 수치와 macOS 메모리 구조를 기준으로 정리한 사용기 겸 가이드입니다. 1. 스펙 정리: 왜 128GB M5 Max인가 통합 메모리 최대 128GB — 현재 노트북 폼팩터에서 가장 큰 GPU 가용 메모리입니다. 메모리 대역폭 614GB/s (40코어 GPU 구성) — M4 Max(546GB/s) 대비 약 12% 향상. 토큰 생성 속도는 이 대역폭에 거의 비례합니다. GPU 코어마다 Neural Accelerator 탑재 — Apple 발표 기준 M4 Max 대비 LLM 프롬프트 처리 최대 4배. 14형 M5 Max 시작가 $3,599(미국), 128GB는 상위 옵션 선택이 필요합니다. ⚠️ 같은 M5 Max라도 32코어 GPU 구성은 대역폭이 더 낮습니다. LLM 용도라면 40코어 GPU + 128GB 조합을 확인하세요. 2. 128GB는 실제로 이렇게 나뉜다 128GB가 전부 모델에 쓰이는 것은 아닙니다. 실제 배분은 크게 세 덩어리입니다. 구분 용량 설명 macOS + 앱 약 15~20GB 브라우저, IDE, Docker, 메신저 등 일상 작업 GPU 기본 한도 약 96GB (75%) macOS가 GPU에 wired로 잡아줄 수 있는 기본 상한 모델 가중치 + KV 캐시 나머지 전부 컨텍스트가 길수록 KV 캐시가 커짐 GPU 한도는 아래 명령으로 올릴 수 있습니다. 다만 너무 높이면 macOS가 스왑을 쓰기 시작하면서 오히려 전체가 느려지므로, OS용으로 최소 16GB는 남기는 것 을 권장합니다. 재부팅하면 기본값...

로컬 LLM 서빙용 맥, 메모리 몇 GB면 될까요? M5 Max·M5 Ultra 맥북/맥 스튜디오 vs DGX Spark·Ryzen AI Max+ 비교

이미지
"회사 보안 때문에 외부 API는 못 쓰고, 로컬에서 LLM을 돌려보고 싶은데 맥북 몇 GB짜리를 사야 하나요?" 요즘 가장 많이 받는 질문입니다. 결론부터 말하면 맥에서 LLM 서빙 성능을 결정하는 건 CPU 코어 수가 아니라 ① 통합 메모리 용량 ② 메모리 대역폭 두 가지입니다. 이 글에서는 2026년 9월 기준 Apple Silicon 라인업(M5 Pro / M5 Max / M5 Ultra / M6)과, 비슷한 포지션의 경쟁 제품(NVIDIA DGX Spark, AMD Ryzen AI Max+ 395, RTX 5090 워크스테이션)을 LLM 서빙 관점에서 정리합니다. 1. 먼저 계산부터: 모델 크기별 필요한 메모리 LLM 가중치가 차지하는 메모리는 대략 파라미터 수 × (양자화 비트 ÷ 8) 입니다. 여기에 KV 캐시(컨텍스트 길이·동시 요청 수에 비례)와 OS·런타임 오버헤드를 더해야 합니다. 모델 규모 Q4 (4bit) 가중치 Q8 (8bit) 가중치 권장 통합 메모리 7~9B 약 5GB 약 9GB 16~24GB 14B 약 9GB 약 15GB 24~32GB 30~32B 약 18~20GB 약 34GB 48~64GB 70B 약 40GB 약 75GB 64GB(Q4) / 128GB(Q8) 120B급 MoE 약 65GB 약 125GB 128GB 이상 200B~400B+ MoE 110~230GB — 256~512GB 맥 전용 주의사항: macOS는 기본적으로 통합 메모리의 약 65~75%만 GPU가 쓸 수 있도록 제한합니다. 128GB 맥이라도 GPU에 할당 가능한 양은 약 96GB 수준이므로, 여유 있게 잡아야 합니다. (필요 시 sudo sysctl iogpu.wired_limit_mb=<값> 으로 상향 가능하나, 재부팅 시 초기화되고 시스템 안정성에 영향이 있을 수 있습니다.) 2. 속도는 메모리 대역폭이 결정한다 토큰 생성(decode) 단계는 매 토큰마다 가중치 전체를 메모리에서 읽어야 하...