【AI新闻】一种让人工智能聊天机器人全天聊天而不崩溃的新方法
研究人员为一个令人困惑的问题开发了一个简单而有效的解决方案，该问题可能会恶化大型语言模型（如ChatGPT）的性能。
【聊天机器人】2024年最佳人工智能聊天机器人(二)
【LangChain】使用LangChain（而非OpenAI）回答有关文档的问题
如何使用Hugging Face LLM（开源LLM）与您的文档、PDF以及网页中的文章进行对话。
最后，这是第一步。我已经到处找了好几个月了。
所有的文章、教程和youtube视频都只教你如何使用OpenAI做事。但老实说，这相当令人沮丧。首先，所有人工智能模型的基础都来自学术界：其次，我不敢相信，当有一个大社区在幕后工作时，我们被迫去做事情。
在这里，我将展示如何在不使用OpenAI的情况下使用免费的Google Colab笔记本与任何文档交互（我将在这里介绍文本文件、pdf文件和网站url）。由于计算的限制，我们将使用Hugging Face API和完全开源的LLM来利用LangChain库与我们的文档交互。
作为指南的简介
我对文本生成背后的技术很感兴趣，作为一名工程师，我想进行实验。但作为一个人和一名教师，我认为了解人工智能的工具和思考工具更重要。
我强烈建议你阅读詹姆斯·普朗基特的精彩文章《论生成人工智能与不自由》。引用他的话：
技术真的是我们经常想象中的中立工具吗？即技术是我们发明然后决定如何使用的东西吗？
【LangChain】与文档聊天：将OpenAI与LangChain集成的终极指南
欢迎来到人工智能的迷人世界，在那里，人与机器之间的通信越来越模糊。在这篇博客文章中，我们将探索人工智能驱动交互的一个令人兴奋的新前沿：与您的文本文档聊天！借助OpenAI模型和创新的LangChain框架的强大组合，您现在可以将静态文档转化为交互式对话。
你准备好彻底改变你使用文本文件的方式了吗？然后系好安全带，深入了解我们将OpenAI与LangChain集成的终极指南，我们将一步一步地为您介绍整个过程。
什么是LangChain？
LangChain是一个强大的框架，旨在简化大型语言模型（LLM）应用程序的开发。通过为各种LLM、提示管理、链接、数据增强生成、代理编排、内存和评估提供单一通用接口，LangChain使开发人员能够将LLM与真实世界的数据和工作流无缝集成。该框架允许LLM通过合并外部数据源和编排与不同组件的交互序列，更有效地解决现实世界中的问题。
我们将在下面的示例应用程序中使用该框架从文本文档源生成嵌入，并将这些内容持久化到Chroma矢量数据库中。然后，我们将使用LangChain在后台使用OpenAI语言模型来查询用户提供的问题，以处理请求。
这将使我们能够与自己的文本文档聊天。
【privateGPT】使用privateGPT训练您自己的LLM
了解如何在不向提供商公开您的私人数据的情况下训练您自己的语言模型
使用OpenAI的ChatGPT等公共人工智能服务的主要担忧之一是将您的私人数据暴露给提供商的风险。对于商业用途，这仍然是考虑采用人工智能技术的公司最大的担忧。
很多时候，你想创建自己的语言模型，根据你的数据集（如销售见解、客户反馈等）进行训练，但同时你不想将所有这些敏感数据暴露给OpenAI等人工智能提供商。因此，理想的方法是在本地训练自己的LLM，而无需将数据上传到云。
如果你的数据是公开的，并且你不介意将它们暴露给ChatGPT，我有另一篇文章展示了如何将ChatGPT与你自己的数据连接起来：
【LLM】自主GPT-4：从ChatGPT到AutoGPT、AgentGPT、BabyAGI、HuggingGPT等
LangChain和LlamaIndex集成趋势后，GPT-4的新兴任务自动化和人工智能代理
ChatGPT和LLM技术的出现是革命性的。这些最先进的语言模型席卷了世界，激励开发人员、爱好者和组织探索集成和构建这些尖端模型的创新方法。因此，LangChain和LlamaIndex等平台如雨后春笋般涌现，以简化集成并促进新应用程序的开发。
随着我们继续集成ChatGPT和LLM，我们看到越来越多的自主任务和代理利用GPT-4的功能。这些发展不仅增强了处理集成不同系统的复杂任务的能力，还突破了我们使用自主人工智能所能实现的极限。
【MLOps】使用Ray缩放AI
Ray正在人工智能工程领域崭露头角，对扩展LLM和RL至关重要
Spark在数据工程中几乎是必不可少的。Ray正在人工智能工程领域崭露头角。
雷是伦敦大学学院Spark的继任者。Spark和Ray有很多相似之处，例如用于计算的统一引擎。但Spark主要专注于大规模数据分析，而Ray则是为机器学习应用程序设计的。
在这里，我将介绍Ray，并介绍如何使用Ray扩展大型语言模型（LLM）和强化学习（RL），然后总结Ray的怀旧和趋势。
Ray简介
Ray是一个开源的统一计算框架，可以轻松扩展人工智能和Python的工作负载，从强化学习到深度学习，再到模型调整和服务。
下面是Ray的最新架构。它主要有三个组件：Ray Core、Ray AI Runtime和Storage and Tracking。
【ChatGPT】提示设计的艺术：使用清晰的语法
探索清晰的语法如何使您能够将意图传达给语言模型，并帮助确保输出易于解析
这是与Marco Tulio Ribeiro共同撰写的关于如何使用指导来控制大型语言模型（LLM）的系列文章的第一部分。我们将从基础知识开始，逐步深入到更高级的主题。
在这篇文章中，我们将展示清楚的语法使您能够向LLM传达您的意图，并确保输出易于解析（如保证有效的JSON）。为了清晰和再现性，我们将从开源的StableLM模型开始，无需微调。然后，我们将展示相同的想法如何应用于像ChatGPT/GPT-4这样的微调模型。下面的所有代码都可以放在笔记本上，如果你愿意的话可以复制。