-
gfx1151에서 MiniMax H3를 빠르게 돌리는 방법을 하나씩 재 봤습니다
step distillation, attention, cache, 전용 HIP 런타임을 하나씩 측정해 ROCm 10 + CK + LightX2V 4-step을 기본 경로로 정했습니다. cache가 결과물을 얼마나 바꾸는지도 SSIM으로 쟀습니다.
-
128GB 미니PC에서 로컬 AI 모델을 고르는 기준
Ryzen AI Max+ 395(128GB 통합 메모리)에서 DeepSeek V4, Qwen3.8, DeepSeek V4 Vision, MiniMax H3를 직접 돌려 보고 작업별로 어떤 조합을 띄우는지 정리했습니다.
-
DeepSeek V4 Vision에 256Ki 토큰을 한 번에 넣어 본 결과
128GB 통합 메모리에 320K 컨텍스트는 들어갔지만, 정확히 262,144토큰을 cold 상태로 넣자 prefill에만 약 2시간이 걸렸습니다. 이미지 인식 반복 측정과 함께 정리했습니다.
-
DeepSeek V4 Flash를 320K 컨텍스트로 운영하며 남긴 설정 두 가지
80.8GiB DeepSeek V4 Flash를 EVO-X2에서 320K 컨텍스트로 운영하면서 DSpark와 ROCm 미세조정은 측정 끝에 빼고, prefill chunk와 CPU 전력 설정만 남겼습니다.