教程 on Kerroの奇妙冒険https://blog.kerro.cn/tags/%E6%95%99%E7%A8%8B/Recent content from Kerroの奇妙冒険Hugozh-CN本博客所有文章除特别声明外，均采用 BY-NC-SA 许可协议。转载请注明出处！Fri, 17 Jul 2026 14:00:00 +0800拆开 LLM（四）：NSP 之死与微调范式变迁——从冻结头到 LoRA，亲手跑一遍https://blog.kerro.cn/2026/07/17/llm-anatomy-04-finetune-evolution/Fri, 17 Jul 2026 14:00:00 +0800https://blog.kerro.cn/2026/07/17/llm-anatomy-04-finetune-evolution/ 拆开 LLM（四）：NSP 之死与微调范式变迁——从冻结头到 LoRA，亲手跑一遍

作者：Kerro（）

llm-anatomy 是一个"把 LLM 拆开看"的教学连载：不背黑话，每一章把大模型的一个器官亲手造一遍，所有结论都配可复现的实验数字。

上一篇《拆开 LLM（三）：手写 Transformer，换件成 LLaMA》我们把整台车焊了出来。这一篇是正传收官：聊聊怎么"用"模型——以及一个被行业悄悄埋掉的预训练任务。

本文2026-07-17首发于Kerroの奇妙冒険，最后修改于2026-07-17

]]>项目实战拆开 LLM（三）：手写 Transformer，然后把它换件成 LLaMAhttps://blog.kerro.cn/2026/07/17/llm-anatomy-03-transformer-to-llama/Fri, 17 Jul 2026 13:00:00 +0800https://blog.kerro.cn/2026/07/17/llm-anatomy-03-transformer-to-llama/ 拆开 LLM（三）：手写 Transformer，然后把它换件成 LLaMA

作者：Kerro（）

llm-anatomy 是一个"把 LLM 拆开看"的教学连载：不调库、不背黑话，每一章把大模型的一个器官亲手造一遍，所有结论都配可复现的实验数字。

上一篇《拆开 LLM（二）：手撕注意力》把注意力这台发动机完全拆开了。这一篇把整车焊出来：先造一台 2017 年的原版 Transformer，再像换汽车零件一样，把它逐件换成 LLaMA。

本文2026-07-17首发于Kerroの奇妙冒険，最后修改于2026-07-17

]]>项目实战拆开 LLM（二）：手撕注意力——后来的一切优化都在救这一条公式https://blog.kerro.cn/2026/07/17/llm-anatomy-02-attention/Fri, 17 Jul 2026 12:00:00 +0800https://blog.kerro.cn/2026/07/17/llm-anatomy-02-attention/ 拆开 LLM（二）：手撕注意力——后来的一切优化都在救这一条公式

作者：Kerro（）

llm-anatomy 是一个"把 LLM 拆开看"的教学连载：不调库、不背黑话，每一章用 numpy 把大模型的一个器官亲手造一遍，所有结论都配可复现的实验数字。

本文2026-07-17首发于Kerroの奇妙冒険，最后修改于2026-07-17

]]>项目实战拆开 LLM（一）：纯 numpy 手写 mini-autograd——反向传播不是魔法https://blog.kerro.cn/2026/07/17/llm-anatomy-01-autograd/Fri, 17 Jul 2026 11:00:00 +0800https://blog.kerro.cn/2026/07/17/llm-anatomy-01-autograd/ 拆开 LLM（一）：纯 numpy 手写 mini-autograd——反向传播不是魔法

作者：Kerro（）

llm-anatomy 是一个"拆开 LLM"的教学项目：不调库，把大语言模型的每个零件——自动微分、注意力、训练循环——亲手造一遍（前两章纯 numpy，第 3 章起 PyTorch 登场）。上一篇（第零章）：知识地图 画了整张路线图；这一篇造第一个零件：自动微分引擎，外加一整条优化器推导链。

本文2026-07-17首发于Kerroの奇妙冒険，最后修改于2026-07-17

]]>项目实战拆开 LLM（零）：知识地图——每代架构都在修上一代的一个 bughttps://blog.kerro.cn/2026/07/17/llm-anatomy-00-roadmap/Fri, 17 Jul 2026 10:00:00 +0800https://blog.kerro.cn/2026/07/17/llm-anatomy-00-roadmap/ 拆开 LLM（零）：知识地图——每代架构都在修上一代的一个 bug

作者：Kerro（）

llm-anatomy 是一个教学导向的开源项目：不调库，把 LLM 的每个零件亲手造一遍——搞清楚模型为什么长这样，而不只是怎么调它。

它和 credis 是这个博客的两根支柱：credis 拆"计算机怎么工作"（系统底层），这个系列拆"模型为什么长这样"（模型底层）。这是连载第一篇。

本文2026-07-17首发于Kerroの奇妙冒険，最后修改于2026-07-17

]]>项目实战边造 Redis 边学 C（一）：struct、C 字符串与第一次封装https://blog.kerro.cn/2026/07/16/credis-01-fixed-store/Thu, 16 Jul 2026 17:00:00 +0800https://blog.kerro.cn/2026/07/16/credis-01-fixed-store/ 边造 Redis 边学 C（一）：struct、C 字符串与第一次封装

作者：Kerro（）

credis 是一个"边造边学 C"的开源项目：用纯 C 从零手写一个迷你键值数据库。上一篇（第 0 章）搭了骨架、画了 C 知识体系地图；这一篇它第一次有用了。

本文2026-07-16首发于Kerroの奇妙冒険，最后修改于2026-07-16

]]>项目实战边造 Redis 边学 C（零）：知识体系地图 + 第 0 章·骨架https://blog.kerro.cn/2026/07/14/credis-00-skeleton/Tue, 14 Jul 2026 12:00:00 +0800https://blog.kerro.cn/2026/07/14/credis-00-skeleton/ 边造 Redis 边学 C（零）：知识体系地图 + 第 0 章·骨架

作者：Kerro（）

credis 是一个教学导向的开源项目：从一个空文件开始，用纯 C 一步步造出一个能通过网络访问、能持久化的迷你键值数据库——功能上像一个极简版 Redis。

它同时是一份"边造边学 C"的教程：每一章对应一个真实里程碑，跟着 commit 历史走，你能看到一个 C 项目怎么从"打印一行字"长成一个网络服务。这是连载第一篇。

本文2026-07-14首发于Kerroの奇妙冒険，最后修改于2026-07-14

]]>项目实战