AI 基礎

hidden stateとtokenの間にある帯域幅の隔たりから、Chain of Thought、promptの長さ、few-shot、性格のdrift、幻覚などのLLMエンジニアリング現象を一つの枠組みで説明します。

データパイプライン、Scaling Law、システム制約、合成データ、蒸留、ポストトレーニング、評価体系、Agent 学習まで、大規模言語モデル学習の全工程を体系的に整理し、それらの仕組みが AI アプリケーションエンジニアのモデル選定、評価、harness 設計にどう影響するかを解説する。

交差エントロピー、Perplexity、Temperature、条件付きエントロピー、hallucination 検出、Prompt の制約を一本の流れとして整理し、エントロピーが LLM の学習・推論・プロダクト設計を理解する共通言語になる理由を説明します。RAG とエンジニアリングガバナンスにおける実用的な価値も扱います。

KV Cacheは、「Transformerの理論」と「LLMのエンジニアリングおよびデプロイ」を結ぶ重要な概念です。これを理解すれば、「モデルがどう計算するか」から「モデルがどう動くか」までの最後のつながりが見えてきます。

LLM Chain-of-Thought（CoT）とは何か、prompt engineeringによってLLMのChain-of-Thought（CoT）を引き出す方法を理解します。

この記事によって、私は Transformer の基本原理をより深く理解し、現在主流の LLM をブラックボックスとして見る状態から一歩抜け出せた。あなたにも同じ効果があるかもしれない。Cheers!