AI 19편
LLM, 에이전트, 모델 활용에 관한 글
-
이미지 조건을 붙여도 MiniMax H3 HIP Sol은 30% 빨랐습니다
텍스트→영상에서만 확인했던 네이티브 HIP Sol을 시작·종료 이미지(FL2VA)와 참조 이미지(R2VA) 입력에서도 측정했습니다. 모든 조건에서 30.2% 줄었고 24회 모두 정상 완료됐습니다.
-
같은 MiniMax H3를 Ryzen AI Max+ 395와 RTX Pro 6000 Blackwell에서
128GB 통합 메모리 미니PC와 96GB Blackwell 워크스테이션에서 같은 영상 모델을 각각 가속해 봤습니다. 속도 차이와, 한쪽에서 가장 빠른 방법이 다른 쪽에서는 통하지 않았던 점을 정리했습니다.
-
gfx1151의 MiniMax H3, 네이티브 HIP Sol로 생성 시간 30% 단축
dense보다 느려서 뺐던 Sol attention을 comfy-kitchen의 네이티브 HIP 구현으로 다시 쟀습니다. 1344×768에서 617초가 431초로 줄어 영상 한 편에 3분 6초를 아낍니다.
-
RTX Pro 6000 Blackwell에서 MiniMax H3 가속 경로 비교
96GB Blackwell에서 H3 가속 방법을 비교했습니다. 8-step에 Triton Sol 패치를 넣으면 22% 줄고, FastH3 VSA 4-step으로 바꾸면 2.4배 빨라집니다. 이름이 비슷해 헷갈리는 백엔드도 하나 있었습니다.
-
Qwen3.8 Flash Next를 128K 컨텍스트로 운영하며 확인한 것들
104.5GiB Qwen3.8 Flash Next를 EVO-X2에서 128K 컨텍스트로 돌리며 ROCm 10 동조건 비교, lazy tensor, MTP draft-2를 측정하고 운영 기본값을 정했습니다.
-
gfx1151에서 MiniMax H3를 빠르게 돌리는 방법을 하나씩 재 봤습니다
step distillation, attention, cache, 전용 HIP 런타임을 하나씩 측정해 ROCm 10 + CK + LightX2V 4-step을 기본 경로로 정했습니다. cache가 결과물을 얼마나 바꾸는지도 SSIM으로 쟀습니다.
-
128GB 미니PC에서 로컬 AI 모델을 고르는 기준
Ryzen AI Max+ 395(128GB 통합 메모리)에서 DeepSeek V4, Qwen3.8, DeepSeek V4 Vision, MiniMax H3를 직접 돌려 보고 작업별로 어떤 조합을 띄우는지 정리했습니다.
-
DeepSeek V4 Vision에 256Ki 토큰을 한 번에 넣어 본 결과
128GB 통합 메모리에 320K 컨텍스트는 들어갔지만, 정확히 262,144토큰을 cold 상태로 넣자 prefill에만 약 2시간이 걸렸습니다. 이미지 인식 반복 측정과 함께 정리했습니다.
-
DeepSeek V4 Flash를 320K 컨텍스트로 운영하며 남긴 설정 두 가지
80.8GiB DeepSeek V4 Flash를 EVO-X2에서 320K 컨텍스트로 운영하면서 DSpark와 ROCm 미세조정은 측정 끝에 빼고, prefill chunk와 CPU 전력 설정만 남겼습니다.