我们很高兴介绍Phi-3，这是一个由微软开发的开放式人工智能模型家族。Phi-3模型是可用的功能最强大、成本效益最高的小型语言模型（SLM），在各种语言、推理、编码和数学基准测试中都优于相同大小和下一大小的模型。此版本为客户扩展了高质量模型的选择范围，在他们编写和构建生成型人工智能应用程序时提供了更实用的选择。

从今天开始，Phi-3-mini，一种3.8B语言模型，可在Microsoft Azure AI Studio、Hugging Face和Ollama上使用。

Phi-3 Mini

Phi-3 Mini是一个3.8B参数、轻量级、最先进的开放模型，使用Phi-3数据集进行训练，包括合成数据和过滤后的公开网站数据，重点关注高质量和推理密集的属性。
该模型经过了一个后期训练过程，其中包括监督微调和直接偏好优化，以确保精确的指令遵守和稳健的安全措施。
当根据测试常识、语言理解、数学、代码、长上下文和逻辑推理的基准进行评估时，Phi-3 Mini-4K-Instruction在参数不到130亿的模型中展示了稳健和最先进的性能。

预期用途

主要使用案例

该模型旨在以英语进行商业和研究用途。该模型为需要1）内存/计算受限环境2）延迟受限场景3）强推理（尤其是数学和逻辑）4）长上下文的应用程序提供了用途
我们的模型旨在加速对语言和多模式模型的研究，用作生成人工智能功能的构建块。

选择最适合您的数据的模型

OpenAI最近发布了他们的新一代嵌入模型，称为嵌入v3，他们将其描述为性能最高的嵌入模型，具有更高的多语言性能。这些模型分为两类：一类较小，称为text-embedding-3-small，另一类较大，功能更强大，称为text-embedding-3-large。

关于这些模型的设计和训练方式，披露的信息很少。作为他们之前发布的嵌入模型（2022年12月，ada-002模型类），OpenAI再次选择了一种封闭源方法，其中模型只能通过付费的API访问。

但是，这些表演是否如此之好，以至于值得付出代价？

这篇文章的动机是将这些新模型的性能与开源模型的性能进行实证比较。我们将依赖于数据检索工作流，在该工作流中，必须在给定用户查询的情况下找到语料库中最相关的文档。

我们的语料库将是《欧洲人工智能法案》，该法案目前正处于最后的验证阶段。这个语料库的一个有趣的特点是，除了是世界上第一个人工智能的法律框架外，它还有24种语言。这使得可以比较不同语言族的数据检索准确性。

该职位将经历以下两个主要步骤：

🧵 Table of Contents

LMOps

LMOps is a research initiative on fundamental research and technology for building AI products w/ foundation models, especially on the general technology for enabling AI capabilities w/ LLMs and Generative AI models.