LLM

提示 #1：SPIN销售的解决方案销售方法
"利用SPIN销售技巧（情境、问题、影响、需求回报）来识别客户痛点并提供量身定制的解决方案。通过提问揭示客户需求，提出解决方案来解决特定问题，并强调解决方案的好处和价值主张。输入：列出客户可能提出的常见反对意见或障碍。给出这个答案后，请询问我提供的定制输入，然后基于这些输入运行提示。"

Anthropic的研究提供了一个清新且理性的视角……

Anthropic的研究强调以实际应用和用例为导向的解决方案，尽可能简单，同时注重可解释性、可观察性和可检查性。

它警告不要在不了解其内部工作原理的情况下采用某些框架，因为这可能导致意想不到的行为。

尽管AI代理有其用处，但它们并非总是最佳解决方案——工作流往往更加合适。

有些公司可能推销特定的框架来销售其技术堆栈，而忽视最佳实践，或者在实现业务目标时妥协，未选择最优化和最合适的路径。

他们的主要观察是，最成功的实施往往避免使用复杂的框架或专业库，而是倾向于选择简单、可组合的模式。

在使用大型语言模型（LLM）时，他们建议从最简单的解决方案开始，只有在必要时才增加复杂度。

有时候，这意味着根本不构建代理系统，因为这些系统通常通过牺牲延迟和成本来换取更好的任务执行效果，而这一权衡应该仔细考虑。

MemGPT 是一个基于记忆增强的 GPT（生成预训练变换器）模型，旨在通过集成外部记忆系统来提升语言模型在长期对话和复杂任务中的表现。它通过引入持久性记忆来扩展模型的上下文感知能力，解决了传统语言模型在处理长篇对话和多轮任务时常遇到的“短期记忆”问题。

RAGFlow 是一个开源的 RAG（Retrieval-Augmented Generation）引擎，旨在通过深度文档理解（Deep Document Understanding）技术增强生成式模型的性能，尤其是在基于大规模文本数据进行信息检索和生成内容时。它将文档检索与生成能力相结合，提高了生成模型在处理复杂问题时的准确性和上下文相关性。

尽管对于任何希望交付强大的 LLM 应用程序的人来说，评估大型语言模型 (LLM) 的输出都是必不可少的，但 LLM 评估对许多人来说仍然是一项艰巨的任务。无论您是通过微调来提高模型的准确性，还是增强检索增强生成 (RAG) 系统的上下文相关性，了解如何为您的用例开发和决定适当的 LLM 评估指标集对于构建坚不可摧的 LLM 评估管道都是必不可少的。

本文将教您有关 LLM 评估指标的所有知识，并附上代码示例。我们将深入探讨：

• 什么是 LLM 评估指标，如何使用它们来评估 LLM 系统，常见的陷阱，以及是什么让优秀的 LLM 评估指标变得优秀。
• 对 LLM 评估指标进行评分的所有不同方法，以及为什么 LLM-as-a-judge 最适合 LLM 评估。
• 如何使用 DeepEval (⭐https://github.com/confident-ai/deepeval) 实现并决定在代码中使用的适当的 LLM 评估指标集。
  您准备好阅读这份长长的清单了吗？让我们开始吧。

（更新：如果您正在寻找评估 LLM 聊天机器人/对话的指标，请查看这篇新文章！）

如果你一直在关注深度学习的最新消息，你就会意识到深度学习中的数据和模型非常庞大。数据集的大小可能达到PB级，模型本身的大小也可能达到数百GB。这意味着，即使是模型本身也无法放入标准GPU芯片的内存中。高效和智能的并行化以及可恢复性在深度学习领域至关重要。

最近的一些文献主要关注LLM系统的基础设施配置。如果你了解VAST，你就会知道这正是我们的专长，因为我们不仅喜欢谈论数据基础设施，还喜欢谈论所有可以推动技术从数据中获得最大价值的神奇方法。因此，事不宜迟，我们想向您介绍并行性如何影响当今最复杂模型中的检查点和恢复操作。

在所有维度上并行化

对于LLM和其他大规模深度学习算法中固有的大型数据集和大型模型，数据和模型本身都太大，无法放入内存。例如，具有数十亿个参数的典型LLM将不适合内存。GPT-3的大小大于500 GB，典型的GPU限制为80 GB的VMEM。此外，单个A100 GPU需要几百年的时间来训练GPT-3（实际上需要300多年）。因此，多维并行性对于训练和微调模型至关重要。

这一论点基于该领域的广泛研究，特别是斯坦福大学、英伟达和微软研究院的开创性论文《威震天LM大规模训练》。作者提出，并在现场得到证实，三种并行性的综合允许LLM中更易于管理和恢复的工作负载：

改进检索增强生成（RAG）涉及基于用户意图和关注上下文对查询进行分类。还利用SLM和微调来提供更准确和相关的结果。

简而言之

选择正确的RAG（检索增强生成）架构主要取决于具体的用例和实现要求，确保系统与任务需求保持一致。

Agent RAG的重要性将越来越高，与Agent X的概念相一致，其中Agent能力嵌入个人助理、工作流程和流程中。

在这里，“X”代表了代理系统的无限适应性，实现了无缝的任务自动化和跨不同环境的知情决策，以提高组织效率和自主性。

综合不同的文档源对于有效解决复杂的多部分查询至关重要。

介绍

提供准确的RAG实施的挑战包括检索相关数据、准确解释用户意图，以及利用LLM的推理能力完成复杂任务。

推理可以通过像ReAct这样的RAG代理方法来增强，在这种方法中，可以创建事件的推理和行为序列。

我从这项研究中发现了一个有趣的事实，即它指出没有一种单一的解决方案适用于所有数据增强的LLM应用程序。

上下文是指围绕对话的信息，帮助人工智能理解用户的意图并提供相关、连贯的回应。

这包括用户之前的输入、当前任务、环境以及可能影响对话的任何外部数据等因素。

RAG的过程很复杂，包含许多组件。我们如何确定现有的RAG方法及其最佳组合，以确定最佳的RAG实践？

本文介绍了一项名为“搜索增强生成检索的最佳实践”的新研究。本研究旨在解决这个问题。

本文主要分为四个部分。首先，介绍了典型的RAG工艺。接下来，它介绍了每个RAG模块的最佳实践。然后，它提供了一个全面的评估。最后，它分享了我的想法和见解，并以总结结束。

典型RAG工作流程

生成式人工智能（GenAI）实现了先进的人工智能用例和创新，但也改变了企业架构的样子。大型语言模型（LLM）、矢量数据库和检索增强生成（RAG）需要新的数据集成模式和数据工程最佳实践。Apache Kafka和Apache Flink的数据流在大规模实时摄取和管理传入数据集、连接各种数据库和分析平台以及分离独立业务部门和数据产品方面发挥着关键作用。这篇博客文章探讨了事件流和传统请求-响应API和数据库之间可能的架构、示例和权衡。

（最初发布在Kai Waehner的博客上：“Apache Kafka+矢量数据库+LLM=实时GenAI”……