LLM 50 年简史
从 1956 年的图灵测试到 2026 年的推理模型 ——8 个关键节点讲清楚今天我们用的 ChatGPT 是怎么一步步走到这里的。 先有坐标系，再开始学技术细节。
① 你在用的 ChatGPT，不是凭空出现的
2022 年 11 月 30 日，ChatGPT 上线。5 天 100 万用户，2 个月破亿 —— 所有人都觉得"AI 突然就出现了"。
它不是突然出现的。它是 70 年技术接力的终点。
从 1950 年图灵在剑桥写下"机器能思考吗？"，到 2026 年你打开浏览器和 Claude 聊天 —— 中间有无数次失败的尝试、两次寒冬、一篇 8 页的论文、和一次砸了上亿美元的赌博。
这一章不教任何技术。我们只做一件事：给你一张时间地图。 让你在后面每学一个概念时，都知道它在历史上的位置 —— 它解决了什么前人解决不了的问题、又为下一步留下了什么。
② 8 个关键节点：一口气讲完 70 年
如果只能记 8 件事，就记这 8 个。每一个都是"在此之前 / 在此之后"的分水岭：
- 1950 · 图灵测试 —— 第一次把"机器会不会语言"变成可操作的工程问题
- 1966 · ELIZA —— 第一个聊天机器人，证明人类多么容易被语言"骗"
- 1980s · 专家系统 —— "人写规则"路线被证伪，逼出"让机器从数据学"
- 1997 · LSTM —— 神经网络第一次真能处理长序列，统治 NLP 20 年
- 2013 · word2vec —— 语义第一次成为"可以加减乘除"的向量
- 2017 · Transformer —— 一篇 8 页论文，所有现代 LLM 的母体
- 2018 · BERT + GPT-1 —— "预训练 + 微调"范式确立
- 2020 · GPT-3 —— 量变引起质变，"涌现能力"成为热词
- 2022-11-30 · ChatGPT —— RLHF + 产品化，AI 全民出圈
- 2024 · GPT-4o / Claude 3.5 / o1 —— 多模态 + 推理时间扩展
- 2025-2026 · Agent + 开源追赶 —— LLM 从聊天伙伴变成能干活的同事
是的，我们列了 11 个 —— 因为最近 3 年大事太密集，挤不下。下面这个交互时间轴让你一个个点开看。
③ 交互时间轴：每个节点点开来看
点任意一个圆点，展开"那一年发生了什么 + 它解决了什么问题 + 它启发了下一步什么"。 每一个节点都是前一个节点埋下的种子结的果。
图灵测试
问题被提出
Alan Turing 在论文《Computing Machinery and Intelligence》里问：机器能思考吗？并提出"模仿游戏" —— 如果你隔着屏幕分不清对方是人还是机器，那就算它会思考。
第一次把"机器会不会语言"这个模糊的哲学问题，变成一个可操作的工程目标：通过对话骗过人。
此后 70 年里所有的 NLP 研究本质上都在回答这个问题。ChatGPT 出现后大家才意识到 —— 我们已经悄悄地通过了图灵测试。
④ 三大范式革命
把 70 年压成一句话：AI 经历了三次完全不同的"做 NLP 的方法论"，每次都是上一代撞墙后被迫换路。
每一代死法都一样：方法本身没错，是规模上不去 / 通用性不够。 新一代不是"更聪明的方法"，而是"扛得住更大规模"的方法。这是 AI 史的核心规律。
⑤ 为什么是 2022？算力 + 数据 + 算法的三飞轮
Transformer 论文是 2017 年发的。为什么不是 2017 年爆发，偏偏是 2022 年？
因为 LLM 爆发不靠一个突破，靠三件事同时到位。任何一个差一点，都点不着火：
2017 V100：120 TFLOPS；2022 H100：1000 TFLOPS。10 倍算力 + NVLink + InfiniBand 让万卡集群成为现实。
Common Crawl 累积了 PB 级网页文本，The Pile / RedPajama 等开源高质量数据集出现，模型有"东西可吃"
2017 架构、2020 Scaling Law 实证、2022 RLHF 工程化 —— 知道怎么训练、怎么调教。
三个飞轮互相驱动：更大模型证明能涨能力 → 更多公司投钱买卡 → 卡变便宜 → 更多人训更大模型。 这个正反馈一旦启动，就停不下来 —— 这就是 2022 之后 AI 投资从"百万美元级"暴涨到"千亿美元级"的根源。
⑥ 模型规模演化：从 1.17 亿到 1.7 万亿
说"模型变大了"很空。到底大了多少？多花了多少钱？换来了什么能力？拖动下面的滑块亲眼看。
能根据上文续写一段还算通顺的英文，但经常跑题
记不住超过 512 个 token；让它做加法、问答几乎全错
论文里的核心句子：仅靠预训练 + 少量微调，就在 12 个任务里 9 个刷出 SOTA。证明了"通用预训练"这条路可行。
数据来源：OpenAI 技术报告、Epoch AI 训练成本数据库、SemiAnalysis 估算。GPT-4 的参数和成本是行业公开估算（OpenAI 未官方披露），其余为论文/官方公开数据。
留意一件事：参数翻了 14000 倍，但成本"只"翻了 3000 倍。 这是因为硬件也在变快、算法也在变省。AI 行业的"摩尔定律"比芯片本身还快。
⑦ 今天我们在哪：2026 年的 5 个前沿
截至今天，LLM 圈正在 5 条战线同时推进：
o1 / o3 / Claude Extended Thinking —— 让模型回答前先"想"几十秒到几分钟。同一模型可以"快答"或"深答"，能力上限由推理算力决定。
GPT-4o / Gemini 2.0 / Claude 3.5 把图、音、视频、文本融在一个模型里训练，不再是"接一个图像编码器"的拼装。
不只是回答问题，能真的"去做事"：调 API、读文件、写代码并跑测试、操作浏览器/电脑。LLM 从"嘴"长出"手"。
主流模型从 4K → 200K → 1M token 上下文。可以一次塞进整本书、整个代码库。RAG 的必要性正在被重新讨论。
Llama 4、DeepSeek V3、Qwen 3 —— 开源模型与第一梯队的差距从 18 个月压到 6 个月，"必须用 API"正在被"本地能跑"挑战。
⑧ 这门课接下来怎么走
这门课的剩下 18 节（M1-M16，含 M5b/M8b 两章深挖），分两段：主线 M1-M10 带你从"知道有这事"走到"自己训出 nanoGPT"；延伸 M11-M16 带你走进 ChatGPT 之后的世界。一句话路线图：
- M1 什么是语言模型 —— 把"下一个 token 概率"这件事玩明白
- M2 Tokenization —— 文字怎么变成数字（BPE 全程拆解）
- M3 词向量 —— word2vec 再来一遍，但这次你自己玩 king − man + woman
- M4 从 Bigram 到 MLP —— 在浏览器里训一个最小语言模型
- M5 注意力机制（含 M5b 多头/掩码深挖） —— Transformer 的心脏，Q/K/V 到底在算什么
- M6 Transformer 完整架构 —— 把所有积木拼起来
- M7 训练循环 —— 看 loss 从乱码降到莎士比亚
- M8 预训练 → 微调 → RLHF（含 M8b RLHF 深挖） —— ChatGPT 为什么会"听话"
- M9 推理与量化 —— 笔记本上跑大模型的工程细节
- M10 实战项目 —— 你的 nanoGPT
- M11 涌现与思维链（CoT） —— 为什么模型大了就突然会推理
- M12 RAG —— 给模型外接"长期记忆"
- M13 安全与对齐 —— jailbreak、红队、Constitutional AI
- M14 评估 —— MMLU、HumanEval、LLM-as-Judge 怎么打分
- M15 数据工程 —— 训练语料怎么清洗、去重、配比
- M16 Agent —— 让 LLM 自己调工具、写代码、跑任务
每一节都对应你刚才在时间轴上看到的某个节点。学完之后回头再看这张时间表， 所有名字背后都是你亲手写过、跑过、调过的东西。
⑨ 检验理解
⑩ 想再深挖
- Attention Is All You Need (2017)—— Transformer 原始论文，8 页，AI 必读文献第一名。
- Scaling Laws for Neural Language Models (2020)—— OpenAI 把"砸钱有用"写成了数学定律的那篇论文。
- Epoch AI · Notable AI Models 数据库—— 所有大模型的参数、成本、训练数据公开数据库，本章数据主要来源。
- 下一章：什么是语言模型 →