https://sinimite.work/ja/tags/informationtheory/Recent content in InformationTheory on SiBloghttps://sinimite.work/images/og-default.svg?v=20260525-210321https://sinimite.work/images/og-default.svg?v=20260525-210321Hugo -- 0.156.0ja-JPFri, 27 Mar 2026 00:00:00 +0000https://sinimite.work/ja/posts/entropy-in-llm/Fri, 27 Mar 2026 00:00:00 +0000https://sinimite.work/ja/posts/entropy-in-llm/Entropy は LLM のライフサイクル全体を貫きます。学習では cross-entropy を loss に使い、推論では temperature で出力 entropy を制御し、評価では perplexity を使い、プロダクトでは hallucination 検出の信号にできます。本記事は AI エンジニアの視点から全体像を整理します。