KVCache

KV Cacheは、「Transformerの理論」と「LLMのエンジニアリングおよびデプロイ」を結ぶ重要な概念です。これを理解すれば、「モデルがどう計算するか」から「モデルがどう動くか」までの最後のつながりが見えてきます。