【ChatGPT】Hello Dolly:用开放模型民主化ChatGPT的魔力
总结
我们表明,任何人都可以使用高质量的训练数据,在一台机器上用30分钟对其进行训练,从而获得过时的开源大型语言模型(LLM),并赋予其神奇的ChatGPT般的指令跟随能力。令人惊讶的是,指令遵循似乎不需要最新或最大的模型:我们的模型只有60亿个参数,而GPT-3的参数为1750亿。我们为我们的模型(Dolly)开源代码,并展示如何在Databricks上重新创建它。我们相信,像Dolly这样的模特将有助于LLM的民主化,将它们从很少有公司能负担得起的东西转变为每个公司都可以拥有和定制的商品,以改进他们的产品。
出身背景
ChatGPT是一种专有的指令遵循模型,于2022年11月发布,风靡全球。该模型是根据网络上数万亿个单词进行训练的,需要大量的GPU来开发。这很快导致谷歌和其他公司发布了自己的专有指令遵循模型。2023年2月,Meta向学术研究人员发布了一组名为LLaMA的高质量(但不遵循指令)语言模型的权重,每个模型训练超过80000 GPU小时。然后,在三月份,斯坦福大学建立了Alpaca模型,该模型基于LLaMA,但调整了一个由50000个类似人类的问答组成的小数据集,令人惊讶的是,这使它表现出了类似ChatGPT的交互性。
【ChatGPT】新的开源ChatGPT克隆—称为Dolly
随着Databricks企业软件公司创建的Dolly大型语言模型(DLL)的发布,开源GPT聊天又向前迈出了一步。
新的ChatGPT克隆被称为多利,以该名称的著名绵羊命名,这是第一种被克隆的哺乳动物。
开源大型语言模型
Dolly LLM是日益增长的开源人工智能运动的最新表现,该运动旨在提供更多的技术访问权限,使其不被大公司垄断和控制。
推动开源人工智能运动的一个担忧是,企业可能不愿意将敏感数据交给控制人工智能技术的第三方。
基于开源
Dolly是由非营利的EleutherAI研究所创建的开源模型和斯坦福大学Alpaca模型创建的,后者本身是由Meta创建的650亿参数开源LLaMA模型创建的。
LLaMA代表大型语言模型元人工智能,是一种基于公开数据训练的语言模型。
【DetectGPT】斯坦福大学的DetectGPT采用基于曲率的LLM生成文本检测方法
ChatGPT能够在几秒钟内就任何主题生成连贯全面的文章,这使它成为改变游戏规则的信息资源,也是教育工作者的克星。OpenAI的对话式大型语言模型在发布后的几周内积累了数百万每日用户,但也被美国、澳大利亚、法国和印度的学区禁止。
虽然强大的大型语言模型(LLM),如ChatGPT(OpenAI,2022)、PaLM(Chowdhery et al.,2022)和GPT-3(Brown et al.,2020),有无数有益的应用,但它们也可以用来在家庭作业中作弊,或写令人信服但不准确的新闻文章。此外,他们经常产生虚假信息。因此,区分机器从人类书写的文本中生成的任务在许多领域变得至关重要。但随着LLM输出变得越来越流畅和人性化,这项任务变得越来越困难。
斯坦福大学的一个研究团队在新论文《DetectGPT:使用概率曲率的零样本机器生成文本检测》中解决了这个问题,提出了DetectGPS,一种新的零样本机器生成文本的检测方法,使用概率曲率来预测候选通道是否由特定LLM生成。
该团队将其研究的主要贡献总结如下:
【人工智能】2023年可能让你大吃一惊的5种人工智能工具
人工智能(AI)由各种革命性的技术组成,这些技术已经出现,可以解决复杂的现代现实世界问题。这些问题涵盖了从进行高级计算到减少人力的各个方面。
人工智能可以用于各种各样的事情,其中一些用例非常令人惊讶。人工智能的世界是广阔而复杂的,但也有很多非专业人士可以探索的软件。
这种基于人工智能的软件在让普通人了解这个新兴领域方面发挥了巨大作用。这种技术通常会描述软件是如何开发的,它使用了什么样的模型,是什么激发了它,等等。
以下是五种基于人工智能的工具的列表,这些工具在互联网上很容易访问,它们的强大程度会让你大吃一惊。
DALL·E 2、Thing Translator和其他三种令人惊叹的人工智能工具,你应该在2023年尝试
这五个工具让您深入了解在您使用的应用程序上看到的简单外观背后发生了什么。这些基于人工智能的工具中的每一个都是实用的和有趣的。
【ChatGTP】斯坦福大学的Alpaca人工智能是什么?计算机科学家以不到600美元的价格创建的类似ChatGPT的模型
Alpaca是一个基于Meta的LLaMA系统的小型人工智能语言模型。出于安全和成本考虑,斯坦福大学的研究人员最近从互联网上删除了该演示。
大型语言模型包含数百亿或数百亿个参数,它们的访问通常仅限于有足够资源来训练和运行这些人工智能的公司。
快速增长的Meta决定与一些精选的研究人员分享其著名的LLaMA系统的代码。该公司希望找出语言模型产生有毒和虚假文本的原因。他们希望它能在研究人员不需要大规模硬件系统的情况下发挥作用。
于是,羊驼出生了。斯坦福大学的一组计算机科学家将LLaMA微调为一个名为Alpaca的新版本。这个新版本是一个开源的70亿参数模型。根据《新地图集》,它的建造成本不到600美元。
Alpaca已经调整了50000多个文本样本,使其信息更加准确
Alpaca的代码向公众发布,引起了几位开发人员的注意。他们成功地在树莓派电脑和Pixel 6智能手机上启动并运行了它。
斯坦福德的研究人员谈到了包括GPT-3.5、ChatGPT、Claude和Bing Chat在内的“指令遵循模型”是如何变得“越来越强大”的。该研究所的网站上写道:
【前端框架】2023年最受欢迎的前端框架
欢迎收看我们关于最佳(最受欢迎)前端框架的年度文章!这篇文章现在已经运行了第二年,并进行了(略微)重组,以确保我们能够在未来的许多年里继续运行它。关于框架受欢迎程度的所有数据都来自JavaScript现状调查。尽管如此,本文还涵盖了当前前端趋势、框架描述等内容!
那么,2023年前端框架的前景如何?
以下是目前的排名:
The State of JavaScript 2022 - Front-end Frameworks
如果我们将这一数据与去年进行比较,排名前五的框架丝毫没有变化。然而,在2022年,开发商似乎对Lit和Alpine都失去了些许兴趣,这为Solid的排名上升铺平了道路。今年我们还有两个新条目,Stencil和Qwik,这将在本文后面介绍。
【移动应用】2023年预计的5个应用程序开发趋势
移动应用的趋势在不断演变,2023年也不会有什么不同。新技术的兴起和不断变化的用户行为将继续塑造移动应用的格局,为应用开发者和用户提供挑战和令人兴奋的机会。以下是将在未来一年塑造移动应用前景的五大趋势。
人工智能和机器学习技术的持续发展
近年来,人工智能和机器学习在移动应用中的应用一直在增长,这一趋势预计将在2023年继续。这些技术使应用程序能够了解用户行为和偏好,从而提供个性化和无缝体验。
例如,购物应用程序可以开始实施人工智能聊天机器人,客户可以使用它准确地键入他们想要的东西,而不是让他们花时间浏览某个物品。然后,这可以用于进一步推进机器学习模型,该模型已经基于用户过去的购买和搜索历史推荐产品。人工智能还可以用于自动化任务,提高应用程序的效率,例如根据图像中的内容自动组织用户的照片或安排会议。此外,机器学习和自然语言处理模型使人与计算机之间的交流成为可能,这已经在帮助创造性领域的专业人员。这种程度的人工智能和人类协作能够有效地治愈作家的障碍和许多人的焦虑。
【移动开发】2023年15个移动应用程序发展趋势
移动应用开发行业正在不断发展。技术进步、消费者需求和一系列其他因素直接影响着移动应用的发展趋势。
跟上最新趋势可以说是这一领域成功的最关键方面。作为福布斯技术委员会的成员,我一直在研究模式,并与其他科技领袖交流如何获得优势。
移动应用转售商需要跟上新趋势,以更好地为客户服务。内容创作者和制作人也一样,他们准备通过移动开发将自己的品牌提升到一个新的水平。
你准备好迎接来年的移动应用开发变化了吗?
下面的列表不仅仅是我的直觉或个人观点。我利用基于事实的研究得出了将主导2023年的顶级应用开发趋势。
1.物联网(IoT)应用程序集成
物联网远非一个新概念。但是,移动设备在广泛领域和类别中的渗透率上升,为物联网创造了似乎无穷无尽的机会。
人们已经习惯于使用技术来改善日常生活。
物联网描述了连接到互联网的不断增长的设备网络,为消费者提供便利和自动化控制。智能家居技术是物联网和移动应用开发兴起的完美例子。
移动应用程序可用于从远程位置调节房屋中的恒温器,锁定或解锁前门,并连接到家庭安全系统。冰箱和其他家用电器也可以连接到移动应用程序。
【移动应用开发】2023年移动应用开发趋势
预计2022年手机应用下载量将超过2.35亿。随着移动设备用户每天花在移动应用上的时间超过4小时,客户比以往任何时候都更加关注应用。
欢迎来到移动第一时代,在这个时代,移动软件开发人员和工程师有大量的机会来增强他们的应用程序,当每一种体验都对客户至关重要时,这一点至关重要。
随着移动应用市场在2023年继续快速增长,未来一年移动应用开发的前景如何?移动软件开发人员和工程师需要了解哪些趋势和机会才能保持竞争力?
2023年12个移动应用开发趋势
了解移动应用开发的最新趋势可以帮助您在客户期望和市场状况突然变化时进行调整。
1.5G
5G网络将满足用户对功能强大的移动网络的需求,该网络提供更高的性能速度、更快的数据传输和更低的延迟。移动应用开发者可以利用5G来改进应用功能,并包括新功能,如沉浸式增强现实(AR)和虚拟现实(VR)体验、改进的直播和更好的云功能。
2.物联网和云
随着企业努力在智能设备和移动应用之间建立无缝连接,制造业、医疗保健和零售业对移动应用开发服务的需求正在扩大。
【JDK】Oracle按员工Java定价引起惊慌
针对Oracle Java SE的新定价计划从每位员工每月15美元开始,并根据用户数量向下扩展。
Oracle针对标准Java的2023年每位员工定价引发了人们对其对客户Java许可成本的潜在影响的担忧。定价基于员工总数,而不是使用Java的员工数量。
1月23日发布的Oracle价目表涵盖了新的Java SE Universal Subscription计划。对于多达999名员工,定价从每位员工每月15美元开始,而对于40000至49999名用户,定价则低至每位员工每月5.25美元。Oracle举了一个例子,一家员工总数为28000人的公司,包括全职和兼职员工、代理人、顾问和承包商,每年将被收取226.8万美元。
Oracle被要求发表评论,并参考了通用订阅的价格表和常见问题解答。截至1月23日,通用计划取代了传统的Java SE订阅和Java SE Desktop订阅计划。Oracle表示,涵盖桌面、服务器和云应用的Java SE Universal Subscription提供了与Java SE Advanced相同的功能,但提供了更“方便”的服务,在管理Java SE应用程序的更新和升级方面具有更大的灵活性。