先说结论
如果你是有编程经验的工程师,不要从数学开始。那条路适合做研究的人。
工程师学 AI 的正确顺序是:先用爽 → 再理解 → 再动手 → 再追前沿。
第一层:学会用(第 1-2 周)
这层你已经在了。用 Claude、ChatGPT、Cursor 日常写代码、查文档、debug。
但要更进一步——从"聊天"到"工程化使用"。
学什么
- Prompt 结构化:不是 “帮我写个函数”,而是给角色、给约束、给输出格式
- System Prompt:理解 system / user / assistant 三种消息的区别
- Few-shot prompting:给 2-3 个例子,效果远超零样本
- Chain-of-Thought:让模型 “一步步思考”,复杂推理任务的关键技巧
实践
任务:用 Claude 的 system prompt 写一个"代码审查员"角色,
要求它审查你的代码时只关注安全漏洞和性能问题,忽略风格问题。
资源
- Anthropic Prompt Engineering Guide — 目前最好的提示工程文档
- OpenAI Prompt Engineering — 互补视角
第二层:理解原理(第 3-6 周)
不需要手推反向传播,但要搞清楚:
2.1 Transformer 怎么工作的
注意力机制是当代 AI 的基石。推荐两个资源:
| 资源 | 类型 | 时间 |
|---|---|---|
| The Illustrated Transformer | 图文教程 | 30 min |
| Karpathy Let’s build GPT from scratch | 视频(写代码) | 2h |
Karpathy 这个视频必看。他带着你从零写一个 GPT,过程中你会理解 tokenization、embedding、self-attention、multi-head attention、生成过程。不需要 GPU,纯 Python 就能跑。
2.2 Token 和 Embedding
- Token:LLM 看到的不是文字,是数字序列。理解 tokenization 才能理解为什么中文比英文"贵"。
- Embedding:把文字映射到高维向量空间,语义相近的词向量也相近。
玩玩 OpenAI Tokenizer,看看同一段话在不同模型下被切成多少 token。
2.3 LLM 的训练过程
简化版流程(非研究者够用了):
预训练(海量文本预测下一个 token)
→ SFT(人工标注数据微调,学会遵循指令)
→ RLHF(人类反馈强化学习,对齐价值观)
2.4 RAG(检索增强生成)
让 LLM 回答它不知道的东西:先检索相关文档,再把文档拼进 prompt 让模型回答。这是目前企业级 LLM 应用最常见的架构。
动手:用 LangChain 或 LlamaIndex 搭一个能回答你代码仓库问题的 RAG。
第三层:动手做(第 7-12 周)
这一层是你和纯"用户"拉开差距的地方。
3.1 从 Agent 循环开始
一个 AI Agent 的本质是什么?核心循环不超过 50 行代码:
system_prompt = "你是一个编程助手..."
messages = [{"role": "system", "content": system_prompt}]
while True:
response = llm.chat(messages, tools=[read_file, write_file, run_test])
if response.is_final:
break # 任务完成
if response.tool_calls:
for tool_call in response.tool_calls:
result = execute_tool(tool_call)
messages.append({"role": "tool", "content": result})
else:
messages.append({"role": "user", "content": "继续"})
理解了这个循环,你就理解了 GPT-4 到 Devin 的跨度:不是模型变强了,是循环让它能做事。
3.2 选一个框架
| 框架 | 语言 | 适合 |
|---|---|---|
| LangChain | Python/JS | 生态最大,组件多 |
| LlamaIndex | Python | RAG 和数据 pipeline 强 |
| Vercel AI SDK | TS | 前端/全栈 AI 应用 |
| trpc-agent-go | Go | 后端 Agent 系统 |
3.3 做一个完整的项目
- RAG 文档问答:喂入技术文档,用自然语言提问
- AI Code Review Bot:GitHub webhook + LLM,自动 review PR
- 个人知识库:把自己的笔记向量化,随时检索和对话
第四层:追踪前沿(持续)
4.1 信息源
| 渠道 | 内容 |
|---|---|
| Anthropic Research | Claude 系列技术报告 |
| OpenAI Research | GPT 系列技术报告 |
| Hugging Face Daily Papers | 每日精选论文 |
| arXiv cs.CL | NLP/LLM 新论文 |
| Simon Willison’s Blog | LLM 工程实践 |
| Lilian Weng’s Blog | OpenAI 研究员的技术博客 |
4.2 X 上关注
@karpathy— Andrej Karpathy,AI 教育家@simonw— Simon Willison,LLM 工具作者@hwchase17— Harrison Chase,LangChain 创始人
4.3 怎么读论文
- 不要逐字读,先读 abstract → conclusion → figures
- 重点看:他们解决了什么问题?方法是什么 trick?比之前好多少?
- 用 Claude/NotebookLM 帮你总结(贴 PDF,让它归纳要点)
推荐的时间分配
| 阶段 | 时间 | 核心动作 |
|---|---|---|
| 会用 | 1-2 周 | 把 AI 工具用到日常中,学 prompt engineering |
| 理解 | 1-2 月 | 看 Transformer 教程,理解 token/embedding/RAG |
| 动手 | 1-3 月 | 抄 Agent 循环,搭一个 RAG,选框架做项目 |
| 追前沿 | 持续 | 每天扫一眼 Hugging Face Papers,每周精读 1 篇 |
不要做的事
- ❌ 一上来就啃《深度学习》(花书)——你会放弃
- ❌ 追着每个新模型跑 —— 原理都一样
- ❌ 纠结 “学 PyTorch 还是 TensorFlow” —— 写 Agent 用 API 就够了
- ❌ 试图 “学完再动手” —— 永远学不完,做了才算
一个最小可行的开始
今晚花 2 小时:
- 打开 Karpathy 的 GPT 从零实现,跟着写代码
- 写完后用 300 字总结你学到了什么
- 发到博客上
这就比 90% 说 “我想学 AI” 的人走得远了。
本文会持续更新。如果你也在学 AI,欢迎通过 GitHub Issues 交流你的学习路径。