category
目前市场上有许多人工智能玩家，包括ChatGPT、Google Bard、Bing人工智能聊天等等。然而，所有这些都需要你有互联网连接才能与人工智能交互。如果你想在电脑上安装类似的大型语言模型（LLM）并在本地使用它怎么办？一个人工智能聊天机器人，你可以在没有互联网连接的情况下私下使用。好吧，通过斯坦福大学发布的新羊驼模型，你可以接近这个现实。是的，你可以离线在你的电脑上运行类似ChatGPT的语言模型。因此，请注意，让我们继续学习如何在没有互联网的情况下在本地使用LLM。
在没有互联网的情况下本地运行类似于LLM的ChatGPT（私有且安全）
在这篇文章中，我提到了如何在没有互联网的情况下在本地PC上运行类似ChatGPT的LLM的所有内容。您可以展开下表，详细了解步骤。
目录
- 什么是Alpaca和LLaMA？
- 运行Alpaca需要什么样的硬件？
- 设置运行Alpaca和LLaMA的软件环境
- Windows
- 苹果macOS
- Linux和ChromeOS
- 在您的计算机上安装Alpaca和LLaMA型号
什么是Alpaca和LLaMA？
Alpaca是一个小型人工智能语言模型，由斯坦福大学的一群计算机科学家开发。Alpaca的独特之处在于它体积小，性价比高。Alpaca只有70亿个参数，与OpenAI的text-davinci-003模型一样好。您可以在本地计算机上运行它，而无需连接互联网。这很酷，对吧？
但它是如何训练的呢？令人惊讶的是，Alpaca对最近在网上泄露的Meta的大型语言模型LLaMa进行了微调。为了训练这种语言模型，科学家们使用OpenAI的“text-davinci-003”模型生成了52K高质量的自我指导数据。有了这个数据集，他们使用HuggingFace的训练框架对LLaMA模型进行了微调，并发布了Alpaca 7B。你也可以使用Meta的LLaMA模型，但在我的测试中，斯坦福大学的Alpaca LLM表现要好得多，而且速度也很快。
运行Alpaca需要什么样的硬件？
您可以在任何像样的机器上使用Alpaca 7B。我在入门级电脑上安装了Alpaca 7B，它运行得很好。为了给你一些想法，我的电脑由第10代英特尔i3处理器供电，该处理器具有256GB SSD和8GB RAM。对于GPU，我使用的是Nvidia的入门级GeForce GT 730 GPU，带有2GB的VRAM。
即使没有专用GPU，您也可以在本地运行Alpaca。然而，响应时间会很慢。除此之外，有些用户甚至可以在树莓派4这样的小型计算机上运行Alpaca。因此，您可以推断出Alpaca语言模型也可以很好地在入门级计算机上运行。
设置运行Alpaca和LLaMA的软件环境
Windows
在Windows上，您需要安装Python、Node.js和C++，才能开始在计算机上离线使用大型语言模型。下面是如何进行的。
1.首先，从这里下载Python 3.10（或更低版本）。向下滚动并单击“Windows安装程序（64位）”下载安装文件。
2.启动安装文件并启用“将Python.exe添加到PATH”旁边的复选框。现在，使用所有默认设置安装Python。
3.之后，从这里安装Node.js版本18.0（或更高版本）。安装程序时保持所有默认设置。
4.最后，从该链接免费下载Visual Studio“社区”版。
5.启动Visual Studio 2022安装文件，它将首先下载一些文件。之后，将启动一个新窗口。在这里，请确保“使用C++进行桌面开发”已启用。
6.最后，单击“安装”，等待安装完成。
7.我建议您在安装完所有软件后重新启动计算机。接下来，打开“命令提示符”并运行以下命令，检查Python和Node.js是否安装成功。两者都应返回版本号。你现在可以走了。
python --version node --version
在您的计算机上安装Alpaca和LLaMA型号
一旦您设置了Python和Node.js，就可以在PC上安装并运行类似ChatGPT的LLM了。在继续操作之前，请确保终端检测到Python和Node命令。
1.打开终端（在我的情况下是命令提示符），运行以下命令来安装Alpaca 7B LLM型号（大约需要4.2GB的磁盘空间）。如果要安装Alpaca 13B型号，请将7B更换为13B。较大的型号需要8.1GB的空间。
npx达莱羊驼安装7B
2.现在，键入“y”并按Enter键。这将开始安装Alpaca 7B型号。整个过程需要20到30分钟，具体取决于您的互联网连接和型号。
3.安装完成后，您将看到这样的屏幕。
4.您也可以选择安装LLaMA型号，或者进入下一步立即测试Alpaca型号。请记住，LLaMA的尺寸要大得多。它的7B型号占用了高达31GB的空间。要安装它，请运行以下命令。您可以将7B替换为13B、30B和65B。最大的型号占用了432GB的空间。
npx dalai llama install 7B
5.最后，运行下面的命令，它将立即启动Web服务器。
npx dalai serve
6.使用电脑上的网络浏览器，打开以下地址。这将带您进入web UI，在那里您可以在本地测试Alpaca和LLaMA模型，而无需互联网。
http://localhost:3000
7.在这里，您需要从右上角的“型号”下拉菜单中选择“Alpaca 7B”或“LLaMA 7B”型号。由于我只安装了Alpaca 7B型号，这是我的默认配置。
8.您现在可以在没有互联网连接的情况下在PC上开始使用这种类似ChatGPT的语言模型。将“PROMPT”替换为您的查询，然后单击“Go”。
9.以下是在我的Windows PC上运行本地Alpaca LLM服务器时的资源使用情况。
10.如果您想删除下载的型号以释放磁盘空间，请打开您的用户配置文件目录。在这里，“dalai”文件夹包含所有文件，包括模型。删除“dalai”文件夹将立即释放空间。
私下和完全离线使用类似ChatGPT的服务
因此，这就是您如何在本地PC上运行类似ChatGPT的LLM并获得不错结果的方法。随着时间的推移，新的高效LLM型号将在未来推出，可以在智能手机上运行，也可以在Raspberry Pi等小型平板电脑上运行。无论如何，这都是我们的。如果你想免费使用ChatGPT 4，请访问我们的链接文章，获取一些令人惊叹的资源。如果您想根据自己的文档训练人工智能聊天机器人，我们为您准备了深入的指南。最后，如果您面临任何问题，请在下面的评论部分告诉我们。
- 登录 发表评论