posts/nvidia-icms-dpu/

[giscus[bot]]

posts/nvidia-icms-dpu/

LLM의 새로운 병목인 KV 캐시 용량 문제를 해결하기 위해 NVIDIA가 제시한 새로운 계층의 스토리지인 ICMS와 이를 관리하는 Bluefield-4 DPU의 기술적 원리를 살펴봅니다.

https://hyper-accel.github.io/posts/nvidia-icms-dpu/