EP 30.【生成式AI专题3】深度探讨大语言模型生态链：芯片，基建，工具，开源，应用
好久没有上新了，大家有没有想念我们呀！最近AI 的进展实在是太惊人。但是新闻看多了，自然需要有一些来自一线经验深入思考，才能窥见更接近真实的图景。这一期也是Onboard! AI 系列的第三期，接下来还准备了好几期星光熠熠的 AI 专题，请大家关注Onboard！, 不要错过哦！
Hello World, who is onboard?
这一期，我们将眼界放宽到大语言模型（LLM, Large Language Model）本身能力之外，看看 LLM 周边生态系统，包括硬件和软件工具链，如何随着基础模型的发展，迅速迭代，又相辅相成。嘉宾们来自生成式AI的上下游核心玩家，包括Nvidia, Google Cloud 的生成式AI平台 Vertex AI, 全球最火的AI模型库和社区平台 Huggingface, AI infra 初创公司，聊一聊从他们的视角看到的AI发展的机会，挑战与未来。
这一期近2小时的讨论非常硬核，从芯片架构、GPU集群管理，到开发工具，甚至还聊到AI的社会影响，有好几个即兴的精彩话题。术语和英文不少，还请多包涵，在show notes 中尽量为大家做好笔记。
话不多说， enjoy!
嘉宾介绍
Jiajia Chen: Senior Product Manager @Nvidia Omniverse, AI infra, Autonomous vehicle data platform; ex-Cisco
Han Zhao: Staff software engineer @Google Cloud Vertex AI
Tiezhen Wang: Software engineer @Huggingface, ex-Google Tensorflow
Ce Gao: Co-founder & CEO @TensorChord, ex-Tencent, Co-chair @Kubeflow
关于主播
Monica：美元VC投资人，前 AWS 硅谷团队+AI创业公司打工人，公众号M小姐研习录 (ID: MissMStudy) 主理人 | 即刻：莫妮卡同学
我们都聊了什么
02:12 嘉宾自我介绍, fun fact: 最近看到的有意思的AI产品
06:53 Tiezhen 推荐的自然语言编程工具 Cursor, 嘉宾们激辩编程的未来
13:28 深度碰撞：未来还需要编程吗？
23:47 Nvidia GTC 2023 上有什么值得关注的新产品？芯片技术的下一代创新在哪里
29:38 各个大厂新出的芯片针对LLM做了哪些优化？
36:35 管理训练LLM 的大规模GPU集群有哪些挑战？
47:04 以后我们需要专用的推理芯片吗？
52:17 开源界有哪些降低LLM训练和部署成本的尝试？LLM 成本下降边界在哪里？
59:08 LLM 商业生态的未来：开源 vs 闭源？每个企业都需要自己的LLM吗？
68:50 LLM的发展对于传统的MLOps 工具链各个环节有什么影响？
78:11 LLM 会带来哪些监管和社会影响？
90:37 基础模型越来越强大，上层应用和工具如何创造价值？
100:34 对未来AI发展的期待
我们提到了什么
* ChatGPT
* GitHub Copilot: Your AI pair programmer
* Cursor: an editor made for programming with AI
* Tabby: AI Coding Assistant
* AutoGPT: An experimental open-source attempt to make GPT-4 fully autonomous.
* HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in HuggingFace
* NVIDIA cuLitho - Accelerate Computational Lithography
* NVIDIA H100 GPU
* NVIDIA NeMo Framework
* NVIDIA Grace CPU Superchip
* NVIDIA NVlink: high-speed GPU interconnect
* Weights & Biases – Developer tools for ML
* Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90%* ChatGPT Quality
* Alpaca: A Strong, Replicable Instruction-Following Model
重要名词（感谢 ChatGPT 帮忙！）
* Large Language Model:大语言模型,指用海量文本训练的语言模型,如GPT-3等。
* Foundation Model:基础模型,指一个预训练模型,可以用作下游任务的起点,进行微调和迁移学习。
* GPU cluster:GPU集群,多个GPU服务器联网,用来提供高性能的并行计算能力。
* Distributed computing: 分布式计算,在多台计算机上协同完成计算任务。
* Confidential computing :保密计算,指在不可见和不可获取的方式下处理和分析数据的技术。
* Computational lithography: 计算光刻,使用计算方法来精确控制光刻过程,以产生更小更复杂的集成电路。
* Electromagnetic Physics:电磁物理学,研究电磁场及其与物质的相互作用。
* Photochemistry:光化学,研究光与化学物质相互作用的学科。
* Computational geometry:计算几何,研究使用计算机算法解决几何问题的学科。
* Topology:拓扑学,研究空间中两个形状或物体之间连续变形的性质。
* Stream multiprocessor:流多处理器,GPU中的一种执行单元,包含多个流处理器核心。
* Inference:推理,指使用训练好的模型对新数据进行预测和分析的过程。
* Model Serving:模型服务,指提供推理API服务,使训练好的模型可以被应用系统调用。
* Tensorcore:张量核,NVIDIA GPU中专用于加速机器学习运算的功能单元,如矩阵乘法等。
* Vector database:向量数据库,存储和查询高维向量数据的数据库。
参考文章
* 万字长文，探讨关于ChatGPT的五个最核心问题
* OpenAI 联合创始人、首席科学家 Ilya Sutskever 解读大语言模型的底层逻辑与未来边界
* NVIDIA GTC 2023 Keynote Product Announcements
* Nvidia launches new services for training large language models | TechCrunch
* Large Language Models Get Smarter With Enterprise Data | NVIDIA Blog
* Jina AI 创始人肖涵博士：揭秘 Auto-GPT 喧嚣背后的残酷真相
欢迎关注M小姐的微信公众号，了解更多中美软件和AI的干货内容！
M小姐研习录 (ID: MissMStudy)
大家的点赞、评论、转发是对我们最好的鼓励！如果你有希望我们聊的话题，希望我们邀请的访谈嘉宾，都欢迎在留言中告诉我们哦~
