1. AI3D 的应用场景 00:00 2. 3D 的表达方式 07:42 2.1 显性 explicit 08:03 2.2 隐形 implicit: SDF, Voxel 09:09 2.3 隐形 implicit: NERF 10:13 2.4 混搭 hybrid: 3DGS 11:06 2.5 混搭 hybrid: DMTet 11:59 2.6 混搭 hybrid: 3-plane, k-plane 12:37 2.7 组合 compositional 13:18 3. 从 3D 到 4D 13:47 3.1 Dynamic 3DGS 13:53 3.2 4DGS 14:49 4. 从 Text 到 3D 15:43 4.1 Transformer + Procedural generation 16:20 4.2 Diffusion 原理 18:17 4.3 Stable Diffusion 系统架构 19:42 5. 3D diffusion 的优化函数 21:03 5.1 SDS，SJC: DreamFusion 21:43 5.2 ISM, CSD, VSD, ASD: 噪音注入 23:04 5.3 SDS + 3DGS 23:40 6. 结语，面向制造的 AI3D 24:15

1) AGI vs ADI, 行业专家大模型 00:00 2) Agent 05:35 2.1 RAG 05:39 2.2 Deep Research 06:38 2.3 Self-memory 09:03 2.4 Multi-agents RL 10:57 3) 大模型与大算力 12:11 3.1 Transformer 架构与算力消耗 13:38 3.2 GPU 内存与硬盘 14:57 3.3 FlashAttention 17:02 4) Adapter 19:24 4.1 Low Rank Adapter (LoRA) 19:51 4.2 GaLore 21:33 4.3 K-adapter 23:14 5) Mixture of Experts 24:14 5.1 Mistral 24:29 5.2 Deepseek-V3 26:12 6) RL for reasoning 28:00 6.1 RLHF & PPO 28:22 6.2 GRPO 29:13 6.3 多轮对话的话术 30:56 7) 像专家那样说话 33:56 7.1 Direct Preference Optimization (DPO) 34:32 7.2 Kahneman-Tversky Optimization (KTO) 36:44 8) 数据与标注 37:51 8.1 数据蒸馏 38:29 8.2 Monto Carlo Tree Search 做推理标注 40:28 9) GRPO + LoRA 实战 43:02 9.1 编程和数据 43:17 9.2 测试 44:50

1. Unsloth 有什么用？ 00:00 Unsloth 训练行业专家模型 00:12 Unsloth 的 4 个核心技术 03:40 1. 2. 解密 Flash Attention 06:23 GPU 硬件架构 06:33 Kernel fusion 11:02 Matrix tiling 16:03 Softmax statistics 18:30 Recompute for backward pass 19:47 1. 3. 重写 Triton kernels 24:04 1. 4. 优化矩阵链乘法 27:35 多个矩阵相乘时，计算成本与顺序相关 1. 5. 手工实现 AutoGradient 31:12 AutoGradient 解决什么问题 32:33 为什么 Unsloth 要手工实现 AutoGradient，如何手工写 34:02 1. 6. 解密 LoRA 37:54 什么是矩阵的秩 rank 38:06 LoRA 牺牲模型精度，换取训练速度 39:06 LoRA 编程不太难 42:07 1. 7. GaLore 全面超越 LoRA 45:11 把整个梯度空间拆解为若干子空间 45:24 GaLore 与 LoRA 哪些相同哪些不同 47:15 1. 8. 用 Llama_factory 实操 Unsloth + GaLore 50:58 复盘 Unsloth 和 GaLore 的核心原理 50:58 Llama_factory 设置与运行结果 52:04

视频版：https://www.bilibili.com/video/BV1rbXsYyEaz 1. 前言 00:00 AI 模型训练，涉及非常多的概念和算法和系统设计， 学会了 Llama_factory，就成了 AI 模型训练的专家。 2. 基座模型的选择 01:23 从 ModelScope 上手工下载部署基座模型， https://modelscope.cn/models https://huggingface.co/models Llama_factory 的模型名称，略有瑕疵，用户要避免误解。 3. 模型训练的类型 05:32 Pre-training，SFT，RLHF，DPO，KTO，如何选择模型训练类型？ 我们将单独做一期节目，分享我们的实战经验。 4. SFT 的训练方式 07:58 Full, freeze, lora， 其中普遍使用的是 LoRA，我们先从 LoRA 学起。 5. 量化和加速设置 08:51 flash_attention + liger_kernel 可以并用， 但是 unsloth 不能与它们并用。 6. 训练参数设置 11:57 略显草率的 UI 设计，用户要避免迷失， 通用的参数设置，与训练类型相关的参数设置，与训练类型相关的的补充设置， 以及训练结果的记录和分析，SwanLab， 不应该安排在页面同一个框内。 7. 数据集 16:07 先手工从 ModelScope 下载数据集， 下载完成后，然后再启动 Llama_factory， 哪些数据集，适用于哪些模型的哪些训练方法，需要阅读 Llama_factory 的 github pages， https://github.com/hiyouga/LLaMA-Factory/blob/main/data/README.md 8. 命令行 preview 18:25 前序 configs，都是为了设置这个命令行中的各个参数， 能否单独用 Unsloth？当然可以， 其实所谓单独使用 Unsloth，等同于手工设置命令行。 9. 训练与体验 19:57 训练过程，日志，与调优， 专业的冷门的问题，“请问，鹿角铲是装饰品，还是古代祭祀用的礼器，还是工具？” 10. 总结 24:32 学会了 Llama_factory，就成了 AI 模型训练的专家， 参考文献， 1. 知乎上的指南，“LLaMA-Factory QuickStart” (https://zhuanlan.zhihu.com/p/695287607)， 2. Llama_factory 官方指南 (https://llamafactory.readthedocs.io/zh-cn/latest/)， 3. Llama_factory 论文，“LlamaFactory: Unified Efficient Fine-Tuning of 100+ Language Models” (https://arxiv.org/abs/2403.13372)。