LLM

从数据管线、Scaling Law、系统约束、合成数据、蒸馏、后训练、评估体系到 Agent 训练，系统梳理大模型训练全链路，并解释这些机制如何影响 AI 应用工程师的模型选型、评估与 harness 设计。

一个对比开始 你在 ChatGPT 里问"什么是 KV Cache"，模型回答你，对话结束。 你在 Codex CLI 里说"给项目添加一个用户认证模块，包含测试"，agent 开始自主工作：读取项目结构 → 理解现有代码 → 规划实现方案 → 编写认证逻辑 → 编写测试 → 运行测试 → 发现失败 → 修复 → 测试通过 → 提交 PR。整个过程可能经历几十步，你可能全程没有介入。 ...

本文把交叉熵、Perplexity、Temperature、条件熵、幻觉检测和 Prompt 约束串成一条主线，解释熵如何成为理解 LLM 训练、推理和产品设计的统一语言。文章也从 RAG 和工程治理视角说明了熵的实际价值。

LangChain 对 Agent Harness 的拆解，把 context engineering、memory、MCP 与 agent loop 串成了一张完整地图。

一份面向 AI Application Engineer 的 Prompt Engineering 长文指南，覆盖基础原则、上下文设计、任务链、注入防御、Agent 提示设计与评估驱动开发。

面向 AI 工程师，从 CPU、缓存、内存带宽到 Neural Accelerator，实战拆解 M5 相比 M4 在本地 LLM 与 Diffusion 推理中的性能意义。

KV Cache 是连接「Transformer 理论」和「LLM 工程部署」的一个关键概念。理解它，你就打通了从「模型怎么算」到「模型怎么跑」的最后一环。

理解什么是LLM Chain-of-Thought (CoT)，以及如何进行 prompt engineering触发 LLM的Chain-of-Thought (CoT)

提示词工程？也许没有你想的那么简单。

了解什么事 LLM的 Prompt注入，以及了解一些最近本的防御措施