从第一期就开始听硬地骇客，终于作为嘉宾参与录制，追星成功✌️，但是由于表达能力有限，很多想讲的东西没表达出来，略微遗憾。

python pytorch 李沐的动手学习深度学习 hugging face nlp tutorial gpt1 2 3和chatgpt论文

年前关注的up，前两天收到播客的推送还愣了一下，这波属于是双厨狂喜了🤩

09:45 老C来了，原来我的转发助力这么大吗，非常高兴帮到你们，但是核心还得是播客的内容好😃

24:50 这里说教大家安装R1，其实两个星期前我也不会，直到自己去安装了一遍才直到，所以UP主不要理会有人说视频“很基础”，每个视频都有对应的观众。另外，如果同时有B站和Youtube都上架的话，我都会优先看Youtube，因为Youtube的广告收益的确能够给UP主带来比较高的收入。

剪映就支持嘉宾说的视频剪辑能力了，口癖，长时间断句，中英文字幕等等，我自己录的视频就用这个剪辑，抽取音频就可以当播客内容，一举两得，可以尝试看看

10:03 哈哈，从老C微博过来的🙋。

43:08 有一种“你只需要自学个两三年、把研究生课程学完，就可以来读我的博啦”的感觉，哈哈哈

43:12 学习大模型前置知识大纲，分为核心技能、理论知识、工具框架、论文阅读四个模块，帮助学习者逐步构建知识体系： ### **一、编程基础与工具框架** 1. **Python 编程能力** - 基础语法：变量、循环、条件判断、函数、面向对象编程 - 常用库：`NumPy`（数值计算）、`Pandas`（数据处理）、`Matplotlib`（可视化） - 代码调试与管理：异常处理、`Git` 版本控制 - *目标：能独立编写模块化、可复用的代码* 2. **PyTorch 框架掌握** - 核心概念：张量（Tensor）、自动求导（Autograd）、计算图 - 神经网络模块：`nn.Module`、损失函数（Loss）、优化器（Optimizer） - 数据处理工具：`Dataset`、`DataLoader` - 训练流程：模型定义、前向/反向传播、训练循环（Epoch/Batch） - *目标：能复现简单神经网络（如MLP、CNN）的训练过程* --- ### **二、深度学习基础** 1. **核心概念** - 数据划分：训练集、验证集、测试集的区别与用途 - 损失函数（Loss）：交叉熵、均方误差等 - 过拟合与正则化：Dropout、L1/L2 正则化 - 优化算法：梯度下降、随机梯度下降（SGD）、Adam - 评估指标：准确率、精确率、召回率、F1 Score 2. **推荐学习资源** - **李沐《动手学深度学习》**： - 配套书籍 + 代码实战（[课程链接](<https://courses.d2l.ai/zh-v2/>)） - 重点章节：线性回归、多层感知机、卷积神经网络 --- ### **三、自然语言处理（NLP）基础** 1. **核心概念与技术** - 分词（Tokenization）：词、子词（Subword）、BPE 算法、WordPiece - 语言模型（Language Model）：N-gram、神经网络语言模型（NNLM） - 注意力机制（Attention）：Self-Attention、Transformer 架构 - 预训练范式：Masked Language Model（MLM）、Next Sentence Prediction（NSP） 2. **实战工具与资源** - **Hugging Face NLP 教程**（[官网教程](<https://huggingface.co/learn/nlp-course>)） - 学习使用 `Transformers` 库加载预训练模型（如BERT、GPT-2） - 掌握分词器（Tokenizer）、模型微调（Fine-tuning）、Pipeline 应用 --- ### **四、大模型论文研读** 按顺序阅读以下论文，理解技术演进脉络： 1. **GPT-1**：《Improving Language Understanding by Generative Pre-training》 - 核心：基于Transformer的解码器架构 + 无监督预训练 + 有监督微调 2. **GPT-2**：《Language Models are Unsupervised Multitask Learners》 - 核心：零样本（Zero-shot）能力 + 更大规模数据与模型 3. **GPT-3**：《Language Models are Few-Shot Learners》 - 核心：少样本（Few-shot）学习 + 1750亿参数规模 4. **ChatGPT**（InstructGPT）：《Training language models to follow instructions with human feedback》 - 核心：基于人类反馈的强化学习（RLHF） + 对齐（Alignment）技术 --- ### **五、总结与后续学习** - **学习路径**：编程基础 → PyTorch → 深度学习理论 → NLP基础 → 论文精读 → 大模型实战 - **关键能力**：代码实现、论文复现、技术趋势分析 - **最终目标**：理解大模型技术栈（如LoRA、RLHF），能复现简化版训练流程或参与开源项目（如LLaMA、Alpaca）。

如果想学AI建议去youtube看Andrej Karpathy的课，顶级大佬。

17:37 好多大神，先Mark了

好节目

14:27 找半天，找不到这个UP主

我有个好的idea

42:20 python 都不知道的就别往火坑里跳了吧😓

三年后，可能现在的LLM技术已经过时了；但30年后在生活中与你分享最多时间的还是现在身边的家人。为什么会出现这种"忽视"？因为马斯洛总结了，低层次的需求满足，高层次的需求就会开始主导。当有了不错的生活，高薪的收入，民政盖章的社交，就会开始追求尊重需求：自我价值感和他人的认可。