随着Databricks企业软件公司创建的Dolly大型语言模型（DLL）的发布，开源GPT聊天又向前迈出了一步。
新的ChatGPT克隆被称为多利，以该名称的著名绵羊命名，这是第一种被克隆的哺乳动物。
开源大型语言模型
Dolly LLM是日益增长的开源人工智能运动的最新表现，该运动旨在提供更多的技术访问权限，使其不被大公司垄断和控制。
推动开源人工智能运动的一个担忧是，企业可能不愿意将敏感数据交给控制人工智能技术的第三方。
基于开源
Dolly是由非营利的EleutherAI研究所创建的开源模型和斯坦福大学Alpaca模型创建的，后者本身是由Meta创建的650亿参数开源LLaMA模型创建的。
LLaMA代表大型语言模型元人工智能，是一种基于公开数据训练的语言模型。
根据Weights&Biases的一篇文章，LLaMA虽然更小，但它的性能可以优于许多顶级语言模型（OpenAI GPT-3、Deep Mind的Gopher和DeepMind的Chinchilla）。
创建更好的数据集
另一个灵感来自一篇学术研究论文（SELF Instruction:Aligning Language Model with SELF Generated Instructions PDF），该论文概述了一种创建高质量的自动生成问答训练数据的方法，该数据优于有限的公共数据。
自我指导研究论文解释道：
“…我们为新任务策划了一组专家书面指令，并通过人工评估表明，使用SELF instruction调整GPT3的性能大大优于使用现有公共指令数据集，仅与InstructionGPT相差5%…
…将我们的方法应用于普通GPT3，我们证明了在SUPERNATURALINSTRUCTIONS上比原始模型有33%的绝对改进，与使用私人用户数据和人工注释训练的InstructGPT的性能相当。”
Dolly的重要性在于，它证明了可以使用较小但高质量的数据集创建有用的大型语言模型。
Databricks观察到：
“Dolly的工作原理是从EleutherAI中提取一个现有的开源60亿参数模型，并对其稍作修改，以获得原始模型中没有的指令遵循功能，如头脑风暴和文本生成，使用Alpaca的数据。
……我们表明，任何人都可以使用高质量的训练数据，在一台机器上用30分钟对其进行训练，从而获得过时的开源大型语言模型（LLM），并赋予其神奇的ChatGPT般的指令跟随能力。
令人惊讶的是，指令遵循似乎不需要最新或最大的模型：我们的模型只有60亿个参数，而GPT-3的参数为1750亿。”
Databricks开源人工智能
据说Dolly将人工智能民主化。这是非营利Mozilla组织最近加入的一场着装运动的一部分，该组织成立了Mozilla.AI。Mozilla是Firefox浏览器和其他开源软件的发行商。
阅读Databricks的完整公告：
Hello Dolly：用开放模型民主化ChatGPT的魔力
- 登录 发表评论