LLM 中的熵:从训练到推理到产品的统一语言

本文把交叉熵、Perplexity、Temperature、条件熵、幻觉检测和 Prompt 约束串成一条主线,解释熵如何成为理解 LLM 训练、推理和产品设计的统一语言。文章也从 RAG 和工程治理视角说明了熵的实际价值。

2026-03-27 · 6 min · 2590 words · Andy SI
阅读全文

WHAT is LLM API KV Cache

KV Cache 是连接「Transformer 理论」和「LLM 工程部署」的一个关键概念。理解它,你就打通了从「模型怎么算」到「模型怎么跑」的最后一环。

2026-03-05 · 15 min · 7103 words · Andy SI
阅读全文

LLM Chain-of-Thought (CoT) 完全指南

理解什么是LLM Chain-of-Thought (CoT),以及如何进行 prompt engineering触发 LLM的Chain-of-Thought (CoT)

2026-03-04 · 11 min · 5059 words · Andy SI
阅读全文

理解 Transformer 的数学直觉

此文使我(也许也可以使你)更加深刻地理解transformer的基本原理,告别对当前主流LLM的黑箱式理解。cheers!

2026-02-24 · 15 min · 7302 words · Andy SI
阅读全文