质流科技资讯

复旦团队发布国内首个类ChatGPT模型MOSS

国内第一个大型语言模型MOSS已经发布至公开平台,由复旦大学 计算机科学技术学院 复旦大学自然语言处理实验室邱锡鹏教授团队发布,先开启邀请公众参与内测。该模型可执行对话生成、编程、事实问答等任务,打通了让生成式语言模型理解人类意图并具有对话能力的全部技术路径。此举为国内学术界和产业界提供了重要经验,将助力大语言模型的进一步探索和应用。

据邱锡鹏坦言,MOSS与ChatGPT的差距主要在自然语言模型基座预训练阶段,MOSS的参数量比ChatGPT小一个数量级,在任务完成度和知识储备量上还有很大提升空间。MOSS已经进入内测阶段,将在用户许可的情况下获取数据,并收集用户的反馈意见,期待借此大幅增强MOSS的对话能力。

MOSS

下方是MOSS的介绍:

首先非常感谢大家的关注!MOSS还是一个非常不成熟的模型,距离
ChatGPT还有很长的路需要走。我们一个学术研究的实验室无法做出和
ChatGPT能力相近的模型,MoSS只是想在百亿规模参数上探素和验证
ChatGFT的技术路线,并日实现各种对话能力。
我们最初的想法只是想将MOSS进行内测,以便我们可以进一步优化,没有
想到会引起这么大的关注,我们的计算资源不足以支持如此大的访问量,
并旦作为学术团队我们也没有相关的工程经验,给大家造成非常不好的体
验和第一印象,在此向大家致以真诚的歉意。在MOSS完成初步的验证之
后,我们会将MOSS的经验、代码、模型参数开源出来供大家参考。中国版
ChatGPT的诞生还需要中国全体Al从业者的努力,也更需要不断和人交互以
提高能力。
尽管我们的对话模型和 《 流浪地球》中MOSS的能力不能相提并论,但就像
过去NLP领域的其它优秀模型
一样,作者们都希望使用自己喜欢的影视角色
名称命名自己的模型,例如BERT、Megatron等。我们在训练完成第一代模
型的时候,正值流浪地球2热映,
• 片中MOSS给团队每个人都留下了深刻的
印象,因此便使用了这样一个名称来指代我们的模型,以表示我们对最前
沿Al模型的不懈追求。

本栏最新
全站最新