openai开放gpt-3微调功能,一行命令就能实现!正确率最高提升4倍

QbitAl QbitAl     2023-02-28     227

关键词:

明敏 发自 凹非寺
量子位 报道 | 公众号 QbitAI

刚刚OpenAI宣布,允许用户创建自定义版的GPT-3。

而且步骤非常简单,只需一行命令就能实现!

经过微调(fine-tuned),定制版的GPT-3在不同应用中的提升非常明显。

OpenAI表示,它可以让不同应用的准确度能直接从83%提升到95%、错误率可降低50%

解小学数学题目的正确率也能提高2-4倍

这样一来,踩在巨人的肩膀上、直接在1750亿参数的大模型上微调,不少研发人员都可以不用再重头训练自己的AI模型了。

这让网友们大呼:

现在我能直接训练我的聊天机器人了,这可节省太多时间和费用了!

加之前不久OpenAI才取消GPT-3接口的等待机制,让所有满足条件的开发人员都可快速申请使用它。

显然,在把GPT-3开放给更多人用这件事上,OpenAI真的是不遗余力。

微调好处多

微调好处多,这一点OpenAI早有证明。

今年6月,他们就曾只用80个文本的数据集进行训练,让GPT-3说话的危险性大幅降低,而且表达也更有人情味。

(下图中蓝线表示训练后模型,红线表示基础模型,分数越高意味着表现越好)

事实上,已经有不少应用已经用上了定制版的GPT-3,并且表现都不错。

比如这个税收应用——Keeper Tax。

它能通过定制版的GPT-3来识别账单上的各种数据,以帮助用户找到可以免税的费用。

Keeper Tax表示,在用上微调后的GPT-3后,应用识别的准确率每周都会提高约1%,准确率已经从过去的85%提升到了93%。

再来看这个人工智能检索工具——Elicit。

它可以根据用户搜索的问题来智能给出结果。

在用上定制版GPT-3后,Elicit给出的结果在易懂性上提高了24%、准确性上提高了17%、整体方面则提升了33%

还有这个可智能读取用户评论的应用——Viable。

它能够从大量评论中读取用户的重要建议,比如投诉、疑问等。

定制化GPT-3使该应用在识别用户反馈的准确率上从66%提升到了90%

事实上,不只是准确率上的提升。

在输出结果的用时、多样性上,定制化GPT-3都有着更明显的优势。

如何食用?

OpenAI表示,想要微调GPT-3大致需要3个步骤:

准备和上传训练数据;训练微调模型;最后使用

其中,训练数据必须是JSONL文档,这一步是让GPT-3在哪方面表现突出的关键。

创建微调模型是在OpenAI CLI上进行,步骤也很简单,只需上传数据文件、创建微调作业、再等待几分钟或几小时等待作业完成。

最后,使用微调模型时,只需将命令行中fine_tuned_model字段换成模型名称即可。

具体步骤OpenAI已在官方网页上给出,可参看文末链接2

当然,想要用更加强大的GPT-3,所需费用也会有些提升。

微调后模型每1K token的费用,将比基础版高出50%

OpenAI技术人员在采访时表示:“我们开发此功能时,希望能够让没有AI研究背景的人也能使用它。

不少网友也纷纷留言表示,自己用GPT-3写出了很多有意思的应用。

比如有人就写了一个睡眠播客,可以讲童话故事的那种:

参考链接:
[1]https://openai.com/blog/customized-gpt3/
[2]https://beta.openai.com/docs/guides/fine-tuning
[3]https://news.ycombinator.com/item?id=29554116

openai开放gpt-3微调功能,一行命令就能实现,正确率最高提升4倍

来源:量子位作者:明敏OpenAI近日宣布,允许用户创建自定义版的GPT-3。而且步骤非常简单,只需一行命令就能实现!经过微调(fine-tuned),定制版的GPT-3在不同应用中的提升非常明显。OpenAI表示&#x... 查看详情

openai开放gpt-3微调功能,让开发者笑开了花(代码片段)

出品| AI科技大本营(ID:rgznai100)近日,OpenAI宣布,允许用户创建自定义版的GPT-3。OpenAI表示,开发人员可以使用微调来创建针对其应用程序和服务中的特定内容量身定制的GPT-3模型,从而在任务和工作负载... 查看详情

openai真的open了,gpt-3使用将更加开放

整理 |禾木木出品| AI科技大本营(ID:rgznai100)OpenAI,这次真的要Open了。OpenAI在2020年6月开放了GPT-3API接口,但只是开放商用,随即吸引了大量的公司:客服、视频游戏、辅导服务和心理健康应用程序等。... 查看详情

gpt-3再进化:通过浏览网页来提高事实准确率

作者| OpenAI来源|数据实战派为了让GPT-3模型可以更准确地对开放式问题进行回答,研究人员使用了基于文本的网络浏览器对GPT-3进行微调。微调后的WebGPT模型可以对人类实时回答问题的方法进行学习,比如提交搜索、跟踪... 查看详情

千亿参数大模型首次被撬开:meta复刻gpt-3“背刺”openai,完整模型权重及训练代码全公布

...,源代码独家授权给了微软,连马斯克都批评过OpenAI不够open。虽然论文就在那里,想要在此之上做进一步研究的话就得先复现一个出来再说。而这一次,Meta从完整模型到训练代码、部署代码全部开放。有人甚至... 查看详情

开发自己私有chatgpt训练微调openai模型(代码片段)

...curie babbage ada  text-davinci-003。安装我们建议使用我们的OpenAI命令行界面(CLI)。要安装它,请运行pipinstall--upgradeopenai(以下说明适用于版本 0.9.4 及更高版本。此外,OpenA 查看详情

比gpt-3更擅长理解用户意图,openai发布instructgpt

作者|青苹果来源|数据实战派近日,OpenAI发布了一项令人瞩目的研究——InstructGPT。在这项研究中,相比GPT-3而言,OpenAI采用对齐研究(alignmentresearch),训练出更真实、更无害,而且更好地遵循用户意... 查看详情

chatgpt开放api,价格直接打1折

...nci-003,并且在两个模型之间迁移只需要少量的调整。OpenAI官方还表示,ChatGPT模型还将持续更新:我们希望将这些增强功能提供给开发者。gpt-3.5-turbo目前的版本代号是gpt-3.5-turbo-0301。4月份,OpenAI会将其更新到新的... 查看详情

chatgpt前传

...识点吧。GPT概述GPT(GenerativePre-trainedTransformer)是OpenAI公司开发的关于自然语言处理的语言模型。这类模型在知识问答、文本摘要等方面的效果超群,更牛逼的是这居然都是无监督学习出来的模型。在很多任务上,... 查看详情

简单研究一下openai的官方文档(代码片段)

文档地址:https://platform.openai.com/docs/接口说明:https://platform.openai.com/docs/api-reference一、概览OpenAIAPI可直接调用模型接口,也可在线微调(不过只能微调GPT-3系列模型)。本小节主要介绍tokenizer和model。Tokens࿱... 查看详情

chatgpt3中文辅助写作-gpt2中文文本生成

...习模型,具有潜在的巨大计算成本和训练麻烦。根据OpenAI公司的官方消息,训练GPT-3是一项昂贵的和耗时的过程,在OpenAI公司,训练GPT-3的成本已经超过了10亿美元。考虑到GPT-3的架构、规模和训练时间,这是可... 查看详情

gpt-4介绍

1简介本文根据openAI的2023年3月的《GPT-4TechnicalReport》翻译总结的。原文地址:https://arxiv.org/pdf/2303.08774.pdf原文确实没有GPT-4具体的模型结构,openAI向盈利组织、非公开方向发展了。也没透露硬件、训练成本、训练数据、训... 查看详情

gpt-j自然语言处理ai模型

...;并且能够与类似规模的GPT-3模型相媲美2020年,微软与OpenAI达成了协议,微软将拥有对GPT-3源代码的独家访问权,自此OpenAI就不像以往一样开放其GPT-3AI模型,而OpenA 查看详情

unity集成gpt(代码片段)

...T。一、API密钥使用GPT的API首先要获得密钥,如下进入OpenAI官网(https://platform.openai.com/account/api-keys)–>选择自己的账号–>查看API密钥,然后创建一个自己的密钥(创建的后要记得复制好密钥)。二、GPT模型进入... 查看详情

125万奖金!“中国gpt-3”赛事来了

扫描图上二维码或文末“阅读原文”即可参赛自2020年OpenAI发布GTP-3以来,这个大规模预训练模型就受到了广泛的关注。在度过了一段观望阶段后,广大开发者纷纷用GPT-3开发出各种不同的应用:从智能写作到网页代码... 查看详情

openai官方发布chatgptapi接口gpt-3.5-turbo

...写的案例(支持上下文) 一、介绍​​https://platform.openai.com/docs/models/overview​​编辑编辑 二、官方使用案例编辑constConfiguration,OpenAIApi=require("openai");constconfiguration=newConfiguration(apiKey:process.env.OPENAI_API_KEY,);constopenai=newOpenAIA... 查看详情

免费无账号直接使用openai的chatgpt

ChatGPT是OpenAI开发的一个大型预训练语言模型。它是GPT-3模型的变体,GPT-3经过训练,可以在对话中生成类似人类的文本响应。ChatGPT旨在用作聊天机器人,我们可以对其进行微调,以完成各种任务,如回答问题... 查看详情

chatgpt闲谈——火出圈的为什么是openai?

ChatGPT走入大众视野之后,AIGC行业迎来了爆发,尤其是上个月,仿佛每一天都可能是「历史性」的一天。现在各大网站已经有非常多的优秀创作者进行总结和分析,都是值得一阅的好文。今天本文也分享了关于ChatGPT的看法,有谈... 查看详情