category
Phi-3 Mini
Phi-3 Mini是一个3.8B参数、轻量级、最先进的开放模型，使用Phi-3数据集进行训练，包括合成数据和过滤后的公开网站数据，重点关注高质量和推理密集的属性。
该模型经过了一个后期训练过程，其中包括监督微调和直接偏好优化，以确保精确的指令遵守和稳健的安全措施。
当根据测试常识、语言理解、数学、代码、长上下文和逻辑推理的基准进行评估时，Phi-3 Mini-4K-Instruction在参数不到130亿的模型中展示了稳健和最先进的性能。
预期用途
主要使用案例
该模型旨在以英语进行商业和研究用途。该模型为需要1）内存/计算受限环境2）延迟受限场景3）强推理（尤其是数学和逻辑）4）长上下文的应用程序提供了用途
我们的模型旨在加速对语言和多模式模型的研究，用作生成人工智能功能的构建块。
用例注意事项
我们的模型并不是专门为所有下游目的而设计或评估的。开发人员在选择用例时应考虑语言模型的常见局限性，并在特定的下游用例中使用之前，特别是在高风险场景中，评估和缓解准确性、安全性和可靠性。开发者应了解并遵守与其用例相关的适用法律或法规（包括隐私、贸易合规法律等）。本模型卡中的任何内容都不应被解释为或视为对模型发布许可证的限制或修改。
负责任的人工智能注意事项
与其他语言模型一样，Phi系列模型可能会以不公平、不可靠或冒犯的方式表现。需要注意的一些限制行为包括：
- 服务质量：Phi模型主要针对英语文本进行培训。英语以外的其他语言的表现会更差。在训练数据中表现较少的英语变体可能比标准美式英语表现更差。
- 伤害的表现和刻板印象的永久化：这些模型可能过度或低估了一组人，抹去了某些群体的表现，或强化了贬低或负面的刻板印象。尽管进行了安全岗位培训，但由于不同群体的代表性水平不同，或者反映现实世界模式和社会偏见的培训数据中负面刻板印象的例子普遍存在，这些限制可能仍然存在。
- 不适当或冒犯性内容：这些模型可能会产生其他类型的不适当或攻击性内容，这可能使其不适合在没有特定于用例的额外缓解措施的情况下部署在敏感上下文中。
- 信息可靠性：语言模型可以生成无意义的内容，或者编造听起来合理但不准确或过时的内容。
- 代码范围有限：大多数Phi-3训练数据基于Python，并使用常见的包，如“打字、数学、随机、集合、日期时间、迭代工具”。如果模型生成的Python脚本使用其他包或其他语言的脚本，我们强烈建议用户手动验证API的所有使用。
开发者应应用负责任的人工智能最佳实践，并负责确保特定用例符合相关法律法规（如隐私、贸易等）。需要考虑的重要领域包括：+分配：如果没有进一步的评估和额外的去偏技术，模型可能不适合可能对法律地位或资源或生活机会（例如：住房、就业、信贷等）的分配产生重大影响的情景。
- 高风险场景：开发人员应评估在高风险场景中使用模型的适用性，在这些场景中，不公平、不可靠或冒犯性的输出可能代价极高或导致伤害。这包括在准确性和可靠性至关重要的敏感或专家领域提供建议（例如：法律或健康建议）。应根据部署上下文在应用程序级别实施额外的保护措施。
- 错误信息：模型可能会产生不准确的信息。开发人员应遵循透明的最佳实践，并告知最终用户他们正在与人工智能系统进行交互。在应用程序级别，开发人员可以在特定于用例的上下文信息中建立反馈机制和管道，以获得地面响应，这是一种被称为检索增强生成（RAG）的技术。
- 有害内容的生成：开发人员应评估其上下文的输出，并使用适用于其用例的可用安全分类器或自定义解决方案。
- 滥用：可能存在其他形式的滥用，如欺诈、垃圾邮件或恶意软件生产，开发人员应确保其应用程序不违反适用的法律法规。
训练
模型
- 架构：Phi-3 Mini具有3.8B参数，是一个仅限密集解码器的Transformer模型。该模型通过监督微调（SFT）和直接偏好优化（DPO）进行微调，以确保符合人类偏好和安全指南。
- 输入：文本。它最适合使用聊天格式进行提示。
- 上下文长度：128K个令牌
- GPUS:512 H100-80G
- 培训时间：7天
- 训练数据：3.3T Token
- 输出：响应输入生成的文本
- 日期：我们的模特在2024年2月至4月间接受了训练
- 状态：这是一个在离线数据集上训练的静态模型，截止日期为2023年10月。随着我们对模型的改进，调整后的模型的未来版本可能会发布。
数据集集合
我们的培训数据包括各种来源，总计3.3万亿Token，是1）经过严格质量过滤的公开可用文件、选定的高质量教育数据和代码的组合；2） 新创建的合成“教科书式”数据，用于教授数学、编码、常识推理、世界常识（科学、日常活动、心理理论等）；3） 高质量的聊天格式监督数据涵盖了各种主题，以反映人类在指导、真实、诚实和乐于助人等不同方面的偏好。
软件
许可证
该模型是根据麻省理工学院的许可证获得许可的。
资源
- 登录 发表评论