Mac Studio M5 Ultra 96GB, 로컬 LLM으로 어디까지 돌릴 수 있나 — M5 Max 128GB와 비교

애플 스토어에서 Mac Studio를 이것저것 만지다 보면 꼭 한 번은 멈추게 되는 지점이 있습니다. 로컬 LLM 용도로 1천만 원 언저리를 쓴다면, M5 Ultra 96GB를 고를 것인가 M5 Max 128GB를 고를 것인가. 가격은 거의 같은데 한쪽은 대역폭, 한쪽은 메모리 용량을 주는 구조라 꽤 고민이 됩니다. 오늘은 스크린샷의 M5 Ultra 96GB/2TB 구성을 기준으로, 어떤 모델까지 올릴 수 있는지와 M5 Max 128GB 대비 무엇을 얻고 무엇을 잃는지 정리해 봤습니다.

1. 두 구성의 스펙 차이

스크린샷의 M5 Ultra 구성은 30코어 CPU, 64코어 GPU, 32코어 Neural Engine에 96GB 통합 메모리, 2TB SSD로 ₩10,340,000입니다. 같은 2TB 조건의 M5 Max 18코어 CPU, 40코어 GPU, 128GB 메모리 구성은 애플 KR 기준 ₩10,070,000이라 차이가 27만 원 정도밖에 나지 않습니다.

핵심은 두 가지 숫자입니다. Ultra는 메모리 대역폭 1.2TB/s로 Max의 614GB/s보다 약 2배이고, GPU 코어도 64개로 1.6배입니다. 반면 Max는 메모리가 32GB 더 많습니다. 로컬 LLM에서 이 두 숫자는 각각 "얼마나 빠르게 생성하느냐"와 "어디까지 큰 모델을 올릴 수 있느냐"를 결정하기 때문에, 이 선택은 사실상 속도와 용량 사이의 트레이드오프입니다.

2. 96GB에는 어떤 모델이 올라가나

먼저 기본 전제를 짚고 가겠습니다. macOS는 기본적으로 통합 메모리의 약 75%까지만 GPU에 할당합니다. 96GB면 약 72GB, 128GB면 약 96GB가 기본 한도이고, sudo sysctl iogpu.wired_limit_mb로 90% 가까이까지 늘릴 수 있습니다. 여기에 KV 캐시(컨텍스트 길이에 비례)와 OS 몫을 빼야 하므로, 모델 가중치 파일 크기보다 10~20GB는 여유를 두는 게 안전합니다.

표를 기준으로 정리하면 이렇습니다.

96GB(M5 Ultra)에서 편하게 돌아가는 것: Llama 3.3 70B, Qwen3 32B 같은 70B 이하 모델의 Q4~Q6 양자화, 그리고 요즘 로컬에서 가장 인기 있는 MoE 계열인 gpt-oss-120b(MXFP4, 약 63GB)와 GLM-4.5 Air 106B(Q4, 약 62GB)까지는 컨텍스트 32K 정도를 잡아도 여유가 있습니다. 활성 파라미터가 작은 MoE 모델은 대역폭이 높은 Ultra에서 특히 체감 속도가 좋습니다.

96GB에서 빠듯한 것: 70B Q8(약 75GB)이나 Mistral Large 123B Q4(약 70GB)는 올라가긴 하지만 컨텍스트를 8K 안팎으로 줄여야 하고, 다른 앱을 같이 띄우기 어렵습니다.

96GB에서 안 되는 것: Qwen3 235B-A22B는 Q3로 줄여도 약 100GB라 96GB에는 들어가지 않습니다. 128GB Max에서는 빠듯하게 올라가는 대표적인 사례라, 이 모델을 꼭 로컬에서 돌리고 싶다면 그것만으로 Max 128GB를 고를 이유가 됩니다. DeepSeek V3/R1 671B급은 두 구성 모두 불가능하고 M5 Ultra 512GB 영역입니다.

3. 속도는 대역폭이 결정한다

토큰 생성 속도는 대략 메모리 대역폭 ÷ 모델 용량으로 상한이 정해집니다. 매 토큰마다 모델 가중치 전체를 한 번씩 읽어야 하기 때문입니다. 70B Q4(약 43GB)를 기준으로 계산하면 Ultra는 이론상 약 28 tok/s, Max는 약 14 tok/s이고, 실측은 보통 이론치의 70~85% 선에서 나옵니다.

20 tok/s와 10 tok/s의 차이는 숫자 이상으로 큽니다. 10 tok/s는 읽는 속도보다 느려서 답변을 기다리는 느낌이 들고, 20 tok/s는 스트리밍이 자연스럽게 따라옵니다. 프롬프트 처리(prefill)는 GPU 연산량에 비례하므로 64코어 Ultra가 40코어 Max보다 약 1.6배 빠르고, 긴 문서를 넣는 RAG나 코드베이스 분석에서는 이 차이가 첫 토큰 대기 시간으로 바로 나타납니다.

4. 그래서 어느 쪽을 고를까

제 결론은 "돌리려는 모델이 96GB에 들어가는지"가 유일한 기준이라는 것입니다.

M5 Ultra 96GB를 고르는 경우: 주력 모델이 70B 이하이거나 gpt-oss-120b, GLM-4.5 Air 같은 100B급 MoE라면 Ultra가 압도적으로 낫습니다. 같은 모델을 2배 빠르게 돌리고, 프롬프트 처리도 빠르고, Neural Engine과 CPU 코어까지 넉넉해서 로컬 LLM 외의 작업(영상 인코딩, 빌드, 컨테이너)도 같이 챙길 수 있습니다. 27만 원 차이면 이쪽이 가성비가 좋습니다.

M5 Max 128GB를 고르는 경우: Qwen3 235B처럼 100GB급 모델을 꼭 로컬에 올려야 하거나, 70B Q8을 64K 이상 긴 컨텍스트로 쓰고 싶거나, 모델 두 개를 동시에 띄워두는(예: 코딩용 + 임베딩용) 워크플로우라면 용량이 우선입니다. 느리더라도 "올라가느냐 안 올라가느냐"가 더 중요한 케이스입니다.

참고로 Ultra에서 메모리를 256GB로 올리면 36코어 CPU/80코어 GPU 구성이 강제되어 가격이 크게 뛰기 때문에, Ultra 96GB는 "Ultra 중 가장 싼 구성"이라는 위치에 있습니다. 반대로 Max는 128GB가 상한입니다. 즉 96GB Ultra와 128GB Max는 각 라인업의 끝과 시작이 만나는 지점이고, 그래서 가격이 이렇게 비슷하게 맞물려 있습니다.

정리

M5 Ultra 96GB는 1.2TB/s 대역폭과 64코어 GPU로 "들어가는 모델은 뭐든 빠르게" 돌리는 구성이고, M5 Max 128GB는 614GB/s로 느리지만 "32GB 더 큰 모델까지" 올릴 수 있는 구성입니다. 70B~120B MoE까지가 목표면 Ultra, 235B급 양자화 모델이 목표면 Max 128GB입니다. 표의 메모리 수치는 가중치 파일 기준 대략치이니 실제 구매 전에는 쓰려는 모델의 GGUF/MLX 파일 크기를 직접 확인해 보시길 권합니다.

출처: Apple Mac Studio (M5 Max/M5 Ultra) 기술 사양, Apple 온라인 스토어 KR (2026년 10월 기준 가격), Mac Studio for Local AI: M5 Max vs M5 Ultra Guide