流处理

我们很高兴宣布在LangChain中提供流媒体支持。有很多关于LLM应用程序最佳用户体验的讨论，我们相信流媒体是其核心。我们还更新了chat langchain repo，以包括流和异步执行。我们希望这个回购可以作为开发人员构建一流聊天和问答应用程序的模板。

动机

开发人员在尝试构建有用的LLM应用程序时讨论的最大痛点之一是延迟；这些应用程序经常对LLM API进行多次调用，每次调用需要几秒钟的时间。盯着一个加载微调器看几秒钟以上可能会让用户感到非常沮丧。

流式处理通过逐个令牌而不是一次性返回LLM令牌的输出，有助于减少这种感知的延迟。在聊天应用程序的上下文中，当LLM生成令牌时，它可以立即提供给用户。虽然这不会改变从问题提交到完全响应的端到端执行时间，但它通过向用户显示LLM正在取得进展，大大减少了感知到的延迟。ChatGPT是利用LLM流的应用程序的一个很好的例子。我们构建了一个示例聊天机器人应用程序，该应用程序与ChatGPT一样使用流媒体（更多详细信息如下）：

https://www.loom.com/share/a64b1def314a4884ab0526bf77d9fa65

A curated list of awesome streaming (stream processing) frameworks, applications, readings and other resources. Inspired by other awesome projects.