7月1日,记者获悉,百度正式开源文心大模型4.5系列模型,涵盖47B、3B激活参数的混合专家(MoE)模型,与0.3B参数的稠密型模型等10款模型,并实现预训练权重和推理代码的完全开源。
目前,文心大模型4.5开源系列已可在飞桨星河社区、HuggingFace等平台下载部署使用,同时开源模型API服务也可在百度智能云千帆大模型平台使用。今年2月,百度就已预告了文心大模型4.5系列的推出计划,并明确将于6月30日起正式开源。
据了解,文心大模型4.5开源系列针对MoE架构提出了一种创新性的多模态异构模型结构,适用于从大语言模型向多模态模型的持续预训练范式,在保持甚至提升文本任务性能的基础上,显著增强了多模态理解能力,其优越的性能主要得益于多模态混合专家模型预训练、高效训练推理框架和针对模态的后训练等关键技术点。
此外,文心大模型4.5开源系列均使用飞桨深度学习框架进行高效训练、推理和部署。在大语言模型的预训练中,模型FLOPs利用率(MFU)达到47%。实验结果显示,其系列模型在多个文本和多模态基准测试中达到SOTA水平,尤其在指令遵循、世界知识记忆、视觉理解和多模态推理任务上效果突出。
据了解,文心大模型4.5开源系列权重按照Apache 2.0协议开源,支持开展学术研究和产业应用。此外,基于飞桨提供开源的产业级开发套件,广泛兼容多种芯片,降低模型的后训练和部署门槛。
此次文心大模型4.5系列开源后,百度实现了框架层与模型层的“双层开源”。
(文章来源:广州日报)
免责声明:投资有风险,本文并非投资建议,以上内容不应被视为任何金融产品的购买或出售要约、建议或邀请,作者或其他用户的任何相关讨论、评论或帖子也不应被视为此类内容。本文仅供一般参考,不考虑您的个人投资目标、财务状况或需求。TTM对信息的准确性和完整性不承担任何责任或保证,投资者应自行研究并在投资前寻求专业建议。