LLM应用架构

TensorRT-LLM

https://github.com/NVIDIA/TensorRT-LLM

TensorRT-LLM为用户提供了一个易于使用的Python API，以定义大型语言模型（LLM）并构建包含最先进优化的TensorRT引擎，从而在NVIDIA GPU上高效地执行推理。TensorRTLLM还包含用于创建执行这些TensorRT引擎的Python和C++运行时的组件。

https://github.com/NVIDIA/TensorRT-LLM/tree/f430a4b447ef4cba22698902d43eae0debf08594/tensorrt_llm/models/qwen

https://github.com/NVIDIA/TensorRT-LLM/tree/f430a4b447ef4cba22698902d43eae0debf08594/examples/qwen

TensorRT-LLM

https://github.com/NVIDIA/TensorRT-LLM

TensorRT-LLM为用户提供了一个易于使用的Python API，以定义大型语言模型（LLM）并构建包含最先进优化的TensorRT引擎，从而在NVIDIA GPU上高效地执行推理。TensorRTLLM还包含用于创建执行这些TensorRT引擎的Python和C++运行时的组件。

在使用Neo4j和LangChain的RAG应用程序中构建和检索知识图信息的实用指南

编者按：以下是Tomaz Bratanic的客座博客文章，他专注于Neo4j的Graph ML和GenAI研究。Neo4j是一家图形数据库和分析公司，它帮助组织深入、轻松、快速地发现数十亿数据连接中隐藏的关系和模式。

图检索增强生成（Graph RAG）作为传统矢量搜索检索方法的强大补充，正在获得发展势头。这种方法利用了图数据库的结构化特性，将数据组织为节点和关系，以增强检索信息的深度和上下文性。