Transformer

hidden stateとtokenの間にある帯域幅の隔たりから、Chain of Thought、promptの長さ、few-shot、性格のdrift、幻覚などのLLMエンジニアリング現象を一つの枠組みで説明します。

データパイプライン、Scaling Law、システム制約、合成データ、蒸留、ポストトレーニング、評価体系、Agent 学習まで、大規模言語モデル学習の全工程を体系的に整理し、それらの仕組みが AI アプリケーションエンジニアのモデル選定、評価、harness 設計にどう影響するかを解説する。

KV Cacheは、「Transformerの理論」と「LLMのエンジニアリングおよびデプロイ」を結ぶ重要な概念です。これを理解すれば、「モデルがどう計算するか」から「モデルがどう動くか」までの最後のつながりが見えてきます。

この記事によって、私は Transformer の基本原理をより深く理解し、現在主流の LLM をブラックボックスとして見る状態から一歩抜け出せた。あなたにも同じ効果があるかもしれない。Cheers!