语言模型

评估语言模型，以及在语言模型之上构建的扩展应用程序，是很困难的。随着最近的模型发布（OpenAI、Anthropic、Google），评估正成为一个越来越大的问题。人们开始尝试解决这个问题，OpenAI发布了OpenAI/evals，专注于评估OpenAI模型。相应地，我们很高兴地宣布，我们对评估链和代理的方式进行了一些补充和改进。

问题

评估LangChain链和代理可能非常困难。这主要有两个原因：

#1：缺乏数据

在开始一个项目之前，你通常没有大量的数据来评估你的链/代理。这通常是因为大型语言模型（大多数链/代理的核心）是非常棒的少试和零试学习者，这意味着你几乎总是能够在没有大量示例数据集的情况下开始执行特定任务（文本到SQL、问答等）。这与传统的机器学习形成了鲜明的对比，在传统机器学习中，甚至在开始使用模型之前，都必须先收集一堆数据点。

#2：缺乏指标

大多数链/代理执行的任务没有很好的指标来评估性能。例如，最常见的用例之一是生成某种形式的文本。评估生成的文本比评估分类预测或数字预测要复杂得多。

Alpaca是一个基于Meta的LLaMA系统的小型人工智能语言模型。出于安全和成本考虑，斯坦福大学的研究人员最近从互联网上删除了该演示。

大型语言模型包含数百亿或数百亿个参数，它们的访问通常仅限于有足够资源来训练和运行这些人工智能的公司。

快速增长的Meta决定与一些精选的研究人员分享其著名的LLaMA系统的代码。该公司希望找出语言模型产生有毒和虚假文本的原因。他们希望它能在研究人员不需要大规模硬件系统的情况下发挥作用。

于是，羊驼出生了。斯坦福大学的一组计算机科学家将LLaMA微调为一个名为Alpaca的新版本。这个新版本是一个开源的70亿参数模型。根据《新地图集》，它的建造成本不到600美元。

Alpaca已经调整了50000多个文本样本，使其信息更加准确

Alpaca的代码向公众发布，引起了几位开发人员的注意。他们成功地在树莓派电脑和Pixel 6智能手机上启动并运行了它。

斯坦福德的研究人员谈到了包括GPT-3.5、ChatGPT、Claude和Bing Chat在内的“指令遵循模型”是如何变得“越来越强大”的。该研究所的网站上写道：