InformationTheory

交差エントロピー、Perplexity、Temperature、条件付きエントロピー、hallucination 検出、Prompt の制約を一本の流れとして整理し、エントロピーが LLM の学習・推論・プロダクト設計を理解する共通言語になる理由を説明します。RAG とエンジニアリングガバナンスにおける実用的な価値も扱います。