时长:
1分钟
播放:
16
发布:
1年前
主播...
简介...
关注《田丰说》,每天3分钟,掌握全球AI大事件!本视频由商汤“如影”数字人APP生成。
田老师认为,智能体必须拥有低成本、低能耗、高速检索的长短期记忆,才能自主完成复杂任务、自我迭代优化。
全球AI要闻,中国科学院鄂维南院士分享,大模型还有第3种记忆。
近日,鄂维南院士领衔,来自上海算法创新研究院、北京大学等机构的研究者受人类大脑记忆层次结构的启发,他们通过为大语言模型LLM配备“显式记忆”,一种比模型参数和RAG更便宜的记忆格式来降低成本。从概念上讲,由于其大部分知识都外化为显式记忆,因而大语言模型能享受更少的参数大小、训练成本、推理成本。
研究者从零开始训练了一个2.4B即24亿参数的大语言模型,它比更大的语言模型和RAG模型获得了更优的性能,并实现了比RAG更高的解码速度。这个模型被命名为Memory 3“记忆体3”,因为在大语言模型中,显式记忆是继模型参数的隐式记忆、上下文键值的工作记忆之后的第三种记忆形式。该技术减轻了幻觉,并能够快速适应专业任务。
每天3分钟,掌握全球AI大事件!《田丰说》全网发布,敬请关注!
评价...
空空如也
小宇宙热门评论...
暂无小宇宙热门评论