LLM 基础

本文把交叉熵、Perplexity、Temperature、条件熵、幻觉检测和 Prompt 约束串成一条主线，解释熵如何成为理解 LLM 训练、推理和产品设计的统一语言。文章也从 RAG 和工程治理视角说明了熵的实际价值。