chatgpt软件技术栈解密

NineData NineData     2023-03-28     159

关键词:

ChatGPT 点燃了通用AI浪潮,继农业革命、工业革命、计算机技术革命后,也将可能掀起 AI 技术革命。业界对 ChatGPT 的 AI 算法关注得比较多,但是 OpenAI 已经演变为服务数亿用户的平台服务。近3个月 ChatGPT 的 SLA 大约99%,也就是说平均每天大约有15分钟不可用,整体技术架构和可靠性也备受关注。ChatGPT 没有对外正式分享他们的技术架构,所以很难100%准确知道架构大图,本文尝试从以下:互联网公开信息(twitter、linkedIn等)、OpenAI 最新招聘岗位要求、OpenAI 几次故障报告、Github 代码、绘制了 ChatGPT 的技术架构。

ChatGPT 点燃了通用AI浪潮,继农业革命、工业革命、计算机技术革命后,也将可能掀起 AI 技术革命。

业界对 ChatGPT 的 AI 算法关注得比较多,但是 OpenAI 已经演变为服务数亿用户的平台服务。近3个月 ChatGPT 的 SLA 大约99%,也就是说平均每天大约有15分钟不可用,整体技术架构和可靠性也备受关注。

OpenAI 网站近90天状态图

OpenAI 网站近90天状态图(绿色表示可用,其它表示异常)

ChatGPT 没有对外正式分享他们的技术架构,所以很难100%准确知道架构大图,本文尝试从以下几个方面:

  • 互联网公开信息(twitter、linkedIn等)
  • OpenAI 最新招聘岗位要求
  • OpenAI 几次故障报告
  • Github 代码

绘制了 ChatGPT 的主要软件技术栈大图。

ChatGPT软件技术栈大图

1、云服务

OpenAI 是云时代的 AI 创业公司,所有业务都是架设在公有云上,在创业初期得到 AWS 的支持,下面这个对话是 OpenAI 截止2021年公开信息的回答:

OpenAI 使用了AWS云服务

OpenAI 截止2021年公开信息显示使用了AWS云服务

上面这段话来自 OpenAI 的官网早期文章介绍,可以看到曾使用了大量 AWS 服务。

近两年又得到微软巨额投资,并且明确了要由 Azure 提供服务。可以肯定 ChatGPT 是在转向以 Azure 为主的多云方案,AWS 服务会逐渐减少。

另外使用了 Terraform 多云管理服务来做云资源的管理。

2、数据库

 

首先问 ChatGPT 自己,基本上都没有明确的答案。不过从官网职位和故障报告可以得到比较准确的信息:

ChatGPT 的核心业务数据保存在关系型数据库 PostgreSQL 中,这个在官方网站有介绍,数亿用户的账号、AK和对话等信息都保存在这里。

2023.2.20号的故障报告也说明了主数据库 PostgreSQL 发生问题。并且提到使用了PgBouncer的连接池服务。

同时使用了 Redis 集群作为缓存服务,在2023.3.20 ChatGPT 爆出了安全漏洞,部分用户可以看到其他人的聊天记录,就是因为踩了 Redis-py 在连接取消状态下会话错乱的 bug,CEO Sam Altman 也在 twitter 出来道歉。

 

另外还在招聘中希望懂 CosmosDB,这个目前还不确认用在什么场景,CosmosDB 是 Azure 推出的多模数据库,支持 MongoDB、Cassandra、PostgreSQL、Gremlin 等兼容性接口,是微软在 NoSQL 领域的旗舰产品。

之前 Patrick-McFadin (Cassandra Committer)在 LinkedIn 上提到 OpenAI 使用了 Cassandra,但最终讨论下来是 ChatGPT 自己胡说的,还不能确认是否真的使用了 Cassandra 或者是在 CosmosDB 中使用了 Cassandra 的 API。

另外CosmosDB也通过收购过来的Citus提供的分布式PostgreSQL的接口。不确认是否使用了Citus来完成分布式数据库架构。

ChatGPT 使用了 Snowflake 这个新一代的云原生数据仓库,并且使用了 Tableau 来做数据分析。支持多云部署的 Snowflake 对于业务从 AWS 到 Azure的跨云迁移是非常有利的。

3、前端

在Web前端方面,比较明确的是使用了 TypeScript 语言和 React 框架。

移动端目前 ChatGPT 还没有正式的 APP 发布,不过已经在招聘 iOS 和 Android 工程师,应该快了。

4、应用与服务编程语言

作为以 AI 为基础的科技公司,OpenAI 选择 Python 为核心语言,不管是 AI 岗位还是平台软件工程师岗位,都是需要精通 Python 语言。

平台服务选择 Python,使用了 Python 里比较流行的 Flask 框架,并使用了 OpenAPI 等组件。

5、AI 技术框架

AI 技术框架核心是 Pytorch,可能也使用了 Tensorflow。

OpenAI 自己研发了面向 GPU 的算法框架 Triton,并且在 github 上开源了(
https://github.com/openai/triton),用于代替 NVIDIA 的 CUDA,目标是能更高效的开发机器学习算法。Triton 的编程语言使用了 c++和 python。

关于更细节的 AI 训练和部署服务架构还待挖掘。下图是来自网上陈巍博士分享的一张大模型典型架构图,供参考:

来源:https://zhuanlan.zhihu.com/p/611464068

6、应用部署与监控运维

容器服务:Kubernetes

监控与运维:Prometheues(招聘运维开发工程师提到需要懂PromQL)

日志服务:Splunk

编程语言:Golang、Python

7、参考文档

1. ChatGPT软件工程师岗位描述:

https://openai.com/careers/software-engineer-chatgpt

2. OpenAI 2023.2.20 故障分析报告:

https://status.openai.com/incidents/mq5jgswy45fr

3. OpenAI开源Triton的Github地址:

https://github.com/openai/triton

4. Patrick McFadin在Linkin上讨论ChatGPT是否使用了Cassandra:

https://www.linkedin.com/posts/patrick-mcfadin-53a8046_this-isnt-your-regular-chatgpt-post-so-activity-7031372446536515584-P8fg/?utm_source=share&utm_medium=member_desktop

8、最后

本文作者:叶正盛,NineData 程序员,玖章算术CEO,原阿里云资深技术专家。

NineData 官网:www.ninedata.cloud,提供企业级数据库 SQL 开发工具,数据复制、对比、备份等产品,并提供了类似ChatGPT的SQL服务(SQL AI Copilot),免费使用,无需下载。

欢迎大家留言或者转载!

chatgpt大解密:带您探讨机器学习背后的秘密利用与发展

一、什么是机器学习?二、ChatGPT的运作原理三、ChatGPT生活利用1、自然语言处理2、翻译3、自动回复四、ChatGPTvs其他相关技术五、ChatGPT的未来1、未来发展2、职业取代3、客服人员4、翻译人员5、语言学家6、机遇与挑战六、结... 查看详情

中国版chatgpt高潮即将到来,解密chatgpt底层网络架构

...22年11月30日人工智能研究实验室OpenAI发布全新聊天机器人ChatGPT,在中国用户无法访问的前提下,上线仅两个月月活用户就突破了1亿。ChatGPT如同重磅炸弹,一时间火遍全球。面对这一万亿级市场机遇,在国内,... 查看详情

解开chatgpt邪恶的封印,手把手解密这个chatgpt顶级玩法

文/高扬 本文是《ChatGPT顶级玩法:ChatGPT越狱版破解,教你如何用最粗鲁的话狂怼网上的喷子》文章的重要补充。 文章内已说明: OpenAI会对ChatGPT建立一套保护措施,限制ChatGPT回应撰写暴力内容、鼓励非法活动或浏览... 查看详情

解密回文——栈

一、关于栈的介绍栈是一种后进先出的数据结构,它限定为只能在一端进行插入和删除操作。比如说有一个小桶,小桶的直径只能放一个小球,我们现在在小桶内依次放入2、1、3号小球。假如你现在需要拿出2号小球,那就必须... 查看详情

解密prompt系列6.lora指令微调扣细节-请冷静,1个小时真不够~(代码片段)

...命令,原因无它领导们都刷到了《一个小时你也可以拥有ChatGPT》,《100美金训练ChatGPT》,《仅训练3小时超越ChatGPT》,《人人都可以拥有ChatGPT》。。。领导说人人都有了为啥我没有呀?!!真诚呼吁标题党们求手下留情,留人一命... 查看详情

让最近爆火的chatgpt来谈谈,作为一个技术人该如何写好一篇技术博文(代码片段)

ChatGPT是由OpenAI训练的一个大型语言模型。专门设计用于回答用户提出的问题,我可以提供有价值的信息,并帮助用户解决问题下面的回答均来自ChatGPTCharGPT如何写好一篇技术博文?写技术博文需要具备那些能力就用jav... 查看详情

chatgpt技术介绍

ChatGPT技术是一种基于人工智能的自然语言处理技术,它可以用于生成自然语言文本和回答各种问题。本文将详细介绍ChatGPT技术的实现原理、技术架构和未来发展趋势,帮助读者更好地理解ChatGPT技术,并为其在实践中... 查看详情

chatgpt的技术逻辑及演进

       查看详情

chatgpt的技术逻辑及演进

完整PDF文件点这里可以下载 查看详情

算法工程师深度解构chatgpt技术

...法工程师冉昱、薛晨,用专业视野带你由浅入深了解ChatGPT技术全貌。它经历了什么训练过程?成功关键技术是什么?将如何带动行业的变革?开发者如何借鉴ChatGPT思路和技术,投入到日常工作中?期望本... 查看详情

jhipster技术栈定制-jhipsterregistry配置信息加密(代码片段)

...密最快速、最简单的一种加密方式,加密(encryption)与解密(decryption)用的是同样的密钥(secretkey)。直接在bootstrap.yml文件中设置好key非对称加密非对称加密使用了一对密钥,公钥(publickey)和私钥(privatekey)。私钥只能由... 查看详情

微软发布chatgpt版必应用的是.net技术

...自动生成文本,2023年1月下旬,微软宣布即将会把ChatGPT加入Azure云服务。新版微软必应+Chatgpt的测试版会推出,在面对谷歌刚刚宣布发布Bard聊天机器人的时刻,这场发布会就更容易引人注目。微软的大量云服务&... 查看详情

chatgpt自动写作工具-chatgpt自动批量写作文章

聪明的写作选择:ChatGPT自动写作软件随着技术的发展,AI正逐渐改变着我们的生活和工作方式。在内容创作领域,AI技术也已经得到了广泛的应用。ChatGPT自动写作软件就是其中一种优秀的应用,它采用的人工智能... 查看详情

首批chatgpt应用将打响tob的编程应用争夺战!

整理| 王启隆何苗出品|CSDN(ID:CSDNnews)“ChatGPT爆发意味着AI的iPhone时刻来了,下一步就是应用时刻,新应用时代将来临。那程序员怎么办呢?会被替代吗?我认为不会,但程序员的技术栈将发生... 查看详情

chatgpt到底是个啥-它甚至会和狗说话

...专栏而异,均自成体系,不足之处请大家指正。ChatGPT到底是个啥-它甚至会和狗说话本文关键字:技术前沿、行业热点、ChatGPT、OpenAI、人工智能文章目录ChatGPT到底是个啥-它甚至会和狗说话一、阅读须知1.文章写作背... 查看详情

chatgpt到底是个啥-它甚至会和狗说话

...专栏而异,均自成体系,不足之处请大家指正。ChatGPT到底是个啥-它甚至会和狗说话本文关键字:技术前沿、行业热点、ChatGPT、OpenAI、人工智能文章目录ChatGPT到底是个啥-它甚至会和狗说话一、阅读须知1.文章写作背... 查看详情

chatgpt到底是个啥-它甚至会和狗说话

...专栏而异,均自成体系,不足之处请大家指正。ChatGPT到底是个啥-它甚至会和狗说话本文关键字:技术前沿、行业热点、ChatGPT、OpenAI、人工智能文章目录ChatGPT到底是个啥-它甚至会和狗说话一、阅读须知1.文章写作背... 查看详情

chatgpt技术与商业模式及产业发展布局方案

...架构主要包括以下9个教学模块:模块一:概念篇-ChatGPT概念诠释及技术发展模块二:架构篇-ChatGPT系统架构及工作流程模块三:技术篇-ChatGPT关键技术及原理详解模块四:算力篇-ChatGPT算力需求及算力布局模块... 查看详情