AI Infra · 推理

路线#

• ✅ Transformer 与 KV cache 的基本账
• ⬜ PagedAttention 到底省了什么
• ⬜ continuous batching 的调度逻辑
• ⬜ 量化：GPTQ / AWQ / FP8 的取舍
• ⬜ 投机采样与 draft model
• ⬜ 指标：TTFT、TPOT、吞吐、显存占用

最近在想#

推理优化到最后都是显存带宽和调度的问题，算力反而不是最先撞到的墙。

想先从 vLLM 的 scheduler 读起，再回头补 CUDA，不然很多 kernel 层面的设计看不懂。