LLM

Mistral人工智能团队很自豪地发布了Mistral 7B，这是迄今为止最强大的语言模型。

Mistral 7B 简述

Mistral 7B是一个7.3B参数模型，它：

• 在所有基准测试中均超过Llama 2 13B
• 在许多基准测试中表现超过Llama 1 34B
• 接近CodeLlama 7B的代码性能，同时保持良好的英语任务
• 使用分组查询注意力（GQA）进行更快的推理
• 使用滑动窗口注意力（SWA）以较小的成本处理较长的序列
• 我们将在Apache 2.0许可证下发布Mistral 7B，它可以不受限制地使用。
• 下载它并在任何地方（包括本地）使用我们的参考实现，
• 使用vLLM推理服务器和skypilot在任何云（AWS/GCP/Azure）上部署它，
• 在HuggingFace上使用。

Mistral 7B很容易在任何任务中进行微调。作为演示，我们提供了一个针对聊天进行微调的模型，它的性能优于Llama 2 13B聊天。

如何使用Hugging Face LLM（开源LLM）与您的文档、PDF以及网页中的文章进行对话。

最后，这是第一步。我已经到处找了好几个月了。

所有的文章、教程和youtube视频都只教你如何使用OpenAI做事。但老实说，这相当令人沮丧。首先，所有人工智能模型的基础都来自学术界：其次，我不敢相信，当有一个大社区在幕后工作时，我们被迫去做事情。

在这里，我将展示如何在不使用OpenAI的情况下使用免费的Google Colab笔记本与任何文档交互（我将在这里介绍文本文件、pdf文件和网站url）。由于计算的限制，我们将使用Hugging Face API和完全开源的LLM来利用LangChain库与我们的文档交互。

作为指南的简介

我对文本生成背后的技术很感兴趣，作为一名工程师，我想进行实验。但作为一个人和一名教师，我认为了解人工智能的工具和思考工具更重要。

我强烈建议你阅读詹姆斯·普朗基特的精彩文章《论生成人工智能与不自由》。引用他的话：

技术真的是我们经常想象中的中立工具吗？即技术是我们发明然后决定如何使用的东西吗？

了解如何在不向提供商公开您的私人数据的情况下训练您自己的语言模型

使用OpenAI的ChatGPT等公共人工智能服务的主要担忧之一是将您的私人数据暴露给提供商的风险。对于商业用途，这仍然是考虑采用人工智能技术的公司最大的担忧。

很多时候，你想创建自己的语言模型，根据你的数据集（如销售见解、客户反馈等）进行训练，但同时你不想将所有这些敏感数据暴露给OpenAI等人工智能提供商。因此，理想的方法是在本地训练自己的LLM，而无需将数据上传到云。

如果你的数据是公开的，并且你不介意将它们暴露给ChatGPT，我有另一篇文章展示了如何将ChatGPT与你自己的数据连接起来：

• Connecting ChatGPT with Your Own Data using LlamaIndex

根据特定用例调整LLM的行为

之前，我写过关于与Langchain和Vicuna等当地LLM一起创建人工智能代理的文章。如果你不熟悉这个话题，并且有兴趣了解更多，我建议你阅读我之前的文章，开始学习。

今天，我将这个想法向前推进几步。

首先，我们将使用一个更强大的模型来与Langchain Zero Shot ReAct工具一起使用，即WizardLM 7b模型。

其次，我们将使用LLM中的几个提示来生成一个数据集，该数据集可用于微调任何语言模型，以了解如何使用Langchain Python REPL工具。在这个例子中，我们将使用我的羊驼lora代码库分支来微调WizardLM本身。

我们为什么要这样做？因为不幸的是，大多数模型都不擅长在Langchain库中使用更复杂的工具，我们希望对此进行改进。我们的最终目标是让本地LLM使用Langchain工具高效运行，而不需要像我们目前需要的那样进行过多提示。

总之，以下是本文的部分：

在上一篇文章中，我们已经解释了什么是NLP及其在现实世界中的应用。在这篇文章中，我们将继续介绍NLP应用程序中使用的一些主要深度学习模型。

在人工智能领域，自然语言处理（NLP）被广泛认为是阅读、破译、理解和理解人类语言的最重要工具。有了NLP，机器可以令人印象深刻地模仿人类的智力和能力，从文本预测到情感分析再到语音识别。

什么是自然语言处理？

2022年底，大型语言模型（LLM）在互联网上掀起了风暴，OpenAI的ChatGPT在推出5天后就达到了100万用户。ChatGPT的功能和广泛的应用程序可以被认可为GPT-3语言模型所具有的1750亿个参数

尽管使用像ChatGPT这样的最终产品语言模型很容易，但开发一个大型语言模型需要大量的计算机科学知识、时间和资源。我们撰写这篇文章是为了让商业领袖了解：

• 大型语言模型的定义
• 大型语言模型示例
• 大型语言模型的体系结构
• 大型语言模型的训练过程，

这样他们就可以有效地利用人工智能和机器学习。

什么是大型语言模型？

大型语言模型是一种机器学习模型，它在大型文本数据语料库上进行训练，以生成各种自然语言处理（NLP）任务的输出，如文本生成、问答和机器翻译

大型语言模型通常基于深度学习神经网络，如Transformer架构，并在大量文本数据上进行训练，通常涉及数十亿个单词。较大的模型，如谷歌的BERT模型，使用来自各种数据源的大型数据集进行训练，这使它们能够为许多任务生成输出。

如果您是大型语言模型的新手，请查看我们的“大型语言模型：2023年完整指南”文章。

Figure 1: Search volumes for “large language models”

近几个月来，大型语言模型（LLM）引起了很大的轰动（见图1）。这种需求导致了利用语言模型的网站和解决方案的不断开发。ChatGPT在2023年1月创下了用户群增长最快的记录，证明了语言模型将继续存在。谷歌对ChatGPT的回应Bard于2023年2月推出，这也表明了这一点。

语言模型也为企业带来了新的可能性，因为它们可以：

今天我将与大家分享一篇精彩的论文。这项调查提供了LLM文献的最新综述，这对研究人员和工程师来说都是一个有用的资源。

为什么选择LLM？

当参数尺度超过一定水平时，这些扩展的语言模型不仅实现了显著的性能改进，而且还表现出一些小规模语言模型（如BERT）所不具备的特殊能力（如上下文学习）。

为了区分参数尺度的差异，研究界为显著大小的PLM（例如，包含数百亿或数千亿个参数）创造了“大型语言模型”（LLM）一词。

特别是，这里的研究人员关注LLM的四个主要方面，即预训练、适应调整、利用和能力评估。此外，他们还总结了开发LLM的可用资源，并讨论了未来方向的剩余问题。

近年来现有大型语言模型（大小大于10B）的时间表。他们用黄色标记开源LLM。