디에스 DevOps Lab

애플 스토어에서 Mac Studio를 이것저것 만지다 보면 꼭 한 번은 멈추게 되는 지점이 있습니다. 로컬 LLM 용도로 1천만 원 언저리를 쓴다면, M5 Ultra 96GB 를 고를 것인가 M5 Max 128GB 를 고를 것인가. 가격은 거의 같은데 한쪽은 대역폭, 한쪽은 메모리 용량을 주는 구조라 꽤 고민이 됩니다. 오늘은 스크린샷의 M5 Ultra 96GB/2TB 구성을 기준으로, 어떤 모델까지 올릴 수 있는지와 M5 Max 128GB 대비 무엇을 얻고 무엇을 잃는지 정리해 봤습니다. 1. 두 구성의 스펙 차이 스크린샷의 M5 Ultra 구성은 30코어 CPU, 64코어 GPU, 32코어 Neural Engine에 96GB 통합 메모리, 2TB SSD로 ₩10,340,000 입니다. 같은 2TB 조건의 M5 Max 18코어 CPU, 40코어 GPU, 128GB 메모리 구성은 애플 KR 기준 ₩10,070,000 이라 차이가 27만 원 정도밖에 나지 않습니다. 핵심은 두 가지 숫자입니다. Ultra는 메모리 대역폭 1.2TB/s 로 Max의 614GB/s보다 약 2배이고, GPU 코어도 64개로 1.6배입니다. 반면 Max는 메모리가 32GB 더 많습니다 . 로컬 LLM에서 이 두 숫자는 각각 "얼마나 빠르게 생성하느냐"와 "어디까지 큰 모델을 올릴 수 있느냐"를 결정하기 때문에, 이 선택은 사실상 속도와 용량 사이의 트레이드오프입니다. 2. 96GB에는 어떤 모델이 올라가나 먼저 기본 전제를 짚고 가겠습니다. macOS는 기본적으로 통합 메모리의 약 75%까지만 GPU에 할당합니다. 96GB면 약 72GB, 128GB면 약 96GB가 기본 한도이고, sudo sysctl iogpu.wired_limit_mb 로 90% 가까이까지 늘릴 수 있습니다. 여기에 KV 캐시(컨텍스트 길이에 비례)와 OS 몫을 빼야 하므로, 모델 가중치 파일 크기보다 10~20GB는 여유를 두는 게 안전합니다. 표를 기준으로 정리...

로컬 LLM이나 사내 LLM 서빙을 검토하면 거의 반드시 후보에 오르는 게 알리바바의 Qwen 입니다. 문제는 모델이 너무 많다는 점입니다. 2026년에만 Qwen3.5(2월), Qwen3.6(4월), Qwen3.8(8월)이 연달아 나왔고, 같은 세대 안에서도 0.8B부터 2.4T까지 크기가 다르며, 이름 끝에 붙는 A3B·A17B·FP8·GPTQ-Int4 같은 꼬리표까지 붙습니다. 이 글은 Hugging Face에 공개된 Qwen 모델 카드를 기준으로(2026년 10월 27일 확인) 각 모델이 무엇이고, 어디에 강하며, 돌리려면 어떤 하드웨어가 필요한지 를 한 번에 정리합니다. 1. 이름부터 읽는 법 Qwen3.8-27B : 세대(3.8) + 전체 파라미터(27B). 꼬리표가 없으면 Dense 모델로, 모든 파라미터가 매 토큰 계산에 쓰입니다. Qwen3.6-35B-A3B : 전체 35B 중 토큰당 3B만 활성화(Activated) 되는 MoE(Mixture of Experts) 모델입니다. 메모리는 35B만큼 필요하지만, 계산량은 3B 수준이라 속도가 빠릅니다. -FP8 / -GPTQ-Int4 : 공식 양자화 버전입니다. FP8은 메모리를 절반으로, Int4는 약 1/4로 줄입니다. -Base : 사전학습만 된 모델입니다. 파인튜닝 출발점으로 쓰고, 대화용으로는 꼬리표 없는 post-trained 모델을 씁니다. Qwen3.5 이후 범용 모델에는 공통점이 있습니다. Gated DeltaNet(선형 어텐션) 3층 + 일반 어텐션 1층 을 반복하는 하이브리드 구조라서, 긴 컨텍스트에서도 KV 캐시가 일반 트랜스포머보다 훨씬 적게 듭니다. 기본 컨텍스트는 262K 토큰 이고 약 1M까지 확장되며, 텍스트와 이미지를 같이 학습한 네이티브 비전 모델입니다. Thinking(추론) 모드는 요청마다 켜고 끌 수 있습니다. 2. Qwen3.8 — 최신 세대 (2026년 8월) Qwen3.5 구조를 기반으로 코딩, 실무 작업, 리서치, 오래 ...

2023년식 모델Y RWD를 타다 보면 한 번쯤 이런 생각이 듭니다. "어차피 언젠가 배터리를 갈 거라면, 그때 주행거리 긴 배터리로 바꾸면 되지 않을까?" 겨울만 되면 계기판 숫자가 쑥 빠지는 걸 보고 나면 더 그렇습니다. 결론부터 말하면 지금 차에 들어 있는 배터리도 이미 리튬이온 배터리 이고, 다른 종류(NCM 삼원계)로 바꾸는 공식 경로는 사실상 없습니다. 왜 그런지, 그리고 교체가 필요해지면 실제로 어떤 선택지가 있는지 정리합니다. 1. 내 차 배터리는 무엇인가: LFP도 리튬이온이다 2023년 국내에 출시된 모델Y RWD는 중국 상하이 기가팩토리에서 생산됐고, 환경부 인증 기준 60kWh 리튬인산철(LFP) 배터리 를 달았습니다. 셀은 CATL 제품입니다. 여기서 많이들 헷갈리는 부분이 있습니다. "리튬이온 배터리"는 특정 제품이 아니라 리튬 이온이 양극과 음극을 오가며 충·방전하는 배터리 전체 를 부르는 말입니다. LFP와 NCM은 그 안에서 양극재 소재 가 다를 뿐입니다. LFP (리튬인산철) : 모델Y RWD, 모델3 RWD. 싸고 수명이 길고 화재에 강하지만, 에너지 밀도가 낮고 추위에 약합니다. NCM·NCA (니켈 계열 삼원계) : 같은 시기 롱레인지·퍼포먼스 트림. 같은 무게에 더 많이 담아 주행거리가 길지만, 상대적으로 비싸고 열관리에 더 민감합니다. 그러니 질문을 정확히 바꾸면 "LFP를 NCM 계열 리튬이온 배터리로 바꿀 수 있나?"가 됩니다. 2. 테슬라 공식 교체: 같은 사양으로만 바꿔 준다 테슬라 서비스센터에서 고전압 배터리를 교체하면, 그 차의 차대번호(VIN)에 등록된 구성과 호환되는 같은 사양의 팩 으로 바꿔 줍니다. 새 팩 대신 품질 검사를 거친 재제조(remanufactured) 팩이 들어갈 수도 있습니다. 소비자가 "이번에 롱레인지 팩으로 올려 주세요"라고 선택하는 메뉴는 없습니다. 이유는 배터리가 단순 부품이 아...

로컬에서 vllm serve 한 줄이면 잘 돌던 모델을 Kubernetes에 올리는 순간 이야기가 달라집니다. Pod는 Running인데 GPU를 못 잡고, 모델 가중치를 반쯤 읽다가 재시작되고, 겨우 뜬 서버는 첫 요청에서 CUDA OOM을 냅니다. 오토스케일링을 걸었더니 CPU 사용률이 안 올라서 영원히 1대로 버팁니다. 이 블로그에서는 그동안 맥·DGX Spark 같은 로컬 LLM 서빙 하드웨어 를 주로 비교했는데, 이번에는 반대편, 쿠버네티스 GPU 노드에서 vLLM을 운영할 때 실제로 터지는 지점 을 정리합니다. 앞서 쓴 CrashLoopBackOff 점검 가이드 의 LLM 서빙 실전편이라고 보면 됩니다. 0. 출발점: 최소 매니페스트 vLLM은 OpenAI 호환 API 서버를 내장하고 있어서, 공식 이미지( vllm/vllm-openai )에 모델 이름만 넘기면 8000번 포트로 /v1/chat/completions 를 제공합니다. 아래가 이 글에서 계속 고쳐 나갈 출발점입니다. apiVersion: apps/v1 kind: Deployment metadata: name: vllm-qwen spec: replicas: 1 selector: matchLabels: { app: vllm-qwen } template: metadata: labels: { app: vllm-qwen } spec: containers: - name: vllm image: vllm/vllm-openai:latest # 운영에서는 버전 태그 고정 args: ["--model", "Qwen/Qwen3-8B", "--port", "8000"] ports: - containerPort: 8000 이대로 배포하면 거의 확실하게 아래 7가지 중 몇 개를 만납니다. 1. ...

배포 직후 kubectl get pods 를 쳤는데 STATUS에 CrashLoopBackOff , RESTARTS 숫자는 계속 올라갑니다. 이때 가장 흔한 반응은 kubectl delete pod 나 rollout restart 입니다. 그런데 이 순간 지워지는 게 하나 있습니다. 바로 방금 죽은 컨테이너의 흔적 입니다. 지난번 Pod Pending 해결법 이 "스케줄러가 남긴 이벤트를 읽자"였다면, CrashLoopBackOff는 "컨테이너가 남긴 종료 코드를 읽자"입니다. 이 글에서는 Exit Code로 원인을 좁히고, 실무에서 자주 만나는 6가지 패턴을 순서대로 점검하는 방법을 정리합니다. 1. CrashLoopBackOff는 원인이 아니라 '대기 상태'다 CrashLoopBackOff는 "컨테이너가 시작했다가 종료되는 일이 반복되어, kubelet이 다음 재시작을 미루고 있다"는 뜻입니다. 재시작 간격은 10초, 20초, 40초… 식으로 늘어나 최대 5분까지 벌어집니다. 즉 이 상태 이름 자체는 아무것도 알려주지 않습니다. 진짜 정보는 직전에 종료된 컨테이너 에 있습니다. kubectl get pods -n <namespace> kubectl describe pod <pod-name> -n <namespace> describe 출력에서 봐야 할 곳은 두 군데입니다. State: Waiting Reason: CrashLoopBackOff Last State: Terminated Reason: OOMKilled Exit Code: 137 Started: Mon, 26 Oct 2026 19:40:02 +0900 Finished: Mon, 26 Oct 2026 19:40:31 +0900 Restart C...

2026년 AI 글래스 시장에서 "렌즈에 글자가 뜨는 안경"을 고르면 두 제품이 남습니다. 중국 로키드의 Rokid Glasses , 그리고 이븐 리얼리티의 Even Realities G2 . 둘 다 녹색 단색 마이크로LED를 웨이브가이드로 렌즈에 쏘는 방식이고, 둘 다 번역·내비게이션·AI 비서를 내세우며, 둘 다 본체 가격이 599달러 언저리입니다. 스펙표만 보면 같은 시장의 비슷한 제품처럼 보입니다. 그런데 써 보면 전혀 다른 물건입니다. 로키드는 카메라와 스피커를 넣고 칩을 안경 안에 심어 "안경이 된 스마트폰"을 만들었고, 이븐은 카메라와 스피커를 아예 빼고 36g짜리 "눈앞의 메모지"를 만들었습니다. 하나를 고르는 일은 스펙 비교가 아니라 "내 얼굴에 카메라를 달 것인가" 라는 질문에 답하는 일입니다. 오늘은 그 질문을 기준으로 두 제품을 특장점별로 비교하고, 상황별로 어느 쪽이 맞는지, 국내에서 실제로 얼마가 드는지까지 정리합니다. 스펙으로 보면: 로키드가 "더 많이", 이븐이 "더 오래" 디스플레이는 같은 계열입니다. 둘 다 녹색 단색 마이크로LED를 양쪽 렌즈 웨이브가이드에 투사합니다. 로키드가 최대 1,500니트로 조금 더 밝고 시야각도 넓은 편이며(출처에 따라 23~30°), 이븐은 1,000~1,200니트에 25~27.5°입니다. 둘 다 한낮 직사광선 아래에서는 글자가 흐려진다는 후기가 공통으로 있고, 녹색 배경에서는 로키드도 글자가 묻힙니다. 해상도는 로키드 480×398 또는 640×480(출처별 상이), 이븐 640×200으로 로키드가 세로로 더 많은 줄을 보여줍니다. 차이는 디스플레이 바깥에서 납니다. 로키드는 12MP 카메라, 오픈이어 스피커, 마이크 4개, 그리고 안경 안에 스냅드래곤 AR1 Gen 1과 NXP RT600 음성 코프로세서를 넣었습니다. 사진·영상을 찍고, 카메라로 본 것을 Gemini나 Ch...