生成式AI

生成式AI为各职能领域提供创造价值的机会
按职能划分的生成式AI应用场景（非详尽列举）

Anthropic的研究提供了一个清新且理性的视角……

Anthropic的研究强调以实际应用和用例为导向的解决方案，尽可能简单，同时注重可解释性、可观察性和可检查性。

它警告不要在不了解其内部工作原理的情况下采用某些框架，因为这可能导致意想不到的行为。

尽管AI代理有其用处，但它们并非总是最佳解决方案——工作流往往更加合适。

有些公司可能推销特定的框架来销售其技术堆栈，而忽视最佳实践，或者在实现业务目标时妥协，未选择最优化和最合适的路径。

他们的主要观察是，最成功的实施往往避免使用复杂的框架或专业库，而是倾向于选择简单、可组合的模式。

在使用大型语言模型（LLM）时，他们建议从最简单的解决方案开始，只有在必要时才增加复杂度。

有时候，这意味着根本不构建代理系统，因为这些系统通常通过牺牲延迟和成本来换取更好的任务执行效果，而这一权衡应该仔细考虑。

Meta的首席AI科学家Yann LeCun表示，在未来三到五年内，将会出现“AI架构的新范式”，这一新范式将远远超越现有AI系统的能力。

LeCun还预测，未来几年可能是“机器人技术的十年”，AI与机器人技术的进步将结合起来，释放出一种新的智能应用类别。

在周四的达沃斯“技术辩论”环节上，LeCun表示，目前我们所拥有的“AI范式”——即生成式AI和大型语言模型（LLM）——实际上并未达到太多的能力。它们确实有用，但在许多方面仍存在局限。

LeCun说道：“我认为当前[LLM]范式的使用寿命相对较短，可能只有三到五年。我认为五年后，没有人会再把它们作为AI系统的核心组件使用，至少不会像现在这样使用。我认为……我们将会看到一种新的AI架构范式的出现，这种架构可能没有当前AI系统的局限。”

这些“局限”阻碍了机器实现真正智能的行为，LeCun解释道，主要有四个关键原因：缺乏对物理世界的理解；缺乏持久记忆；缺乏推理能力；缺乏复杂的规划能力。

“LLM实际上无法做这些事情，”LeCun说。“所以，在接下来的几年里，AI将会经历另一次革命。我们可能得改变它的名字，因为它可能不再像今天我们理解的那样是生成式的。”

“世界模型”

Mistral人工智能团队很自豪地发布了Mistral 7B，这是迄今为止最强大的语言模型。

Mistral 7B 简述

Mistral 7B是一个7.3B参数模型，它：

• 在所有基准测试中均超过Llama 2 13B
• 在许多基准测试中表现超过Llama 1 34B
• 接近CodeLlama 7B的代码性能，同时保持良好的英语任务
• 使用分组查询注意力（GQA）进行更快的推理
• 使用滑动窗口注意力（SWA）以较小的成本处理较长的序列
• 我们将在Apache 2.0许可证下发布Mistral 7B，它可以不受限制地使用。
• 下载它并在任何地方（包括本地）使用我们的参考实现，
• 使用vLLM推理服务器和skypilot在任何云（AWS/GCP/Azure）上部署它，
• 在HuggingFace上使用。

Mistral 7B很容易在任何任务中进行微调。作为演示，我们提供了一个针对聊天进行微调的模型，它的性能优于Llama 2 13B聊天。

Ray正在人工智能工程领域崭露头角，对扩展LLM和RL至关重要

Spark在数据工程中几乎是必不可少的。Ray正在人工智能工程领域崭露头角。

雷是伦敦大学学院Spark的继任者。Spark和Ray有很多相似之处，例如用于计算的统一引擎。但Spark主要专注于大规模数据分析，而Ray则是为机器学习应用程序设计的。

在这里，我将介绍Ray，并介绍如何使用Ray扩展大型语言模型（LLM）和强化学习（RL），然后总结Ray的怀旧和趋势。

Ray简介

Ray是一个开源的统一计算框架，可以轻松扩展人工智能和Python的工作负载，从强化学习到深度学习，再到模型调整和服务。

下面是Ray的最新架构。它主要有三个组件：Ray Core、Ray AI Runtime和Storage and Tracking。