关键词：
欢迎关注我，获取我的更多笔记分享
大家好，我是极智视界，本文介绍一下 昆仑芯k200 全高全长推理卡。
先说标题，我特意写了 "全高全长推理卡"，这是因为看到网上有挺多文章拿昆仑k200 来对标 英伟达T4卡(以表达昆仑芯性能之强悍)，这是不对的，昆仑k200是全高全长卡，而T4是半高半长卡，这俩不是一个级别上的对比，所以拿昆仑芯k200对标诸如T4卡、昇腾300卡之类的半高半长卡，都是不公平的。如果非要硬比，大致可以用 "T4*2" 或 "昇腾300卡*2" 来对标 昆仑芯k200，这样看起来还算公平。
再来说昆仑芯k200，其已在百度内部规模应用，且与百度的飞桨pp有深度的融合。
先来看看k200的性能指标 (就按前面的跟T4对比，但实际你要内心要用 "T4*2" 来对比)。
再强调一下，用 "T4*2" 的数据去对比，这样整体推演到同级别的 k200 性能并没有特别突出，特别是内存方面，也只能做到和 T4卡一致，这对于全高全长卡来说，不管是训练还是推理，都是不够的。
如果你要在网上检索 "昆仑芯k200部署算法" 之类的技术文章或者说案例，会发现挺少，这说明昆仑的生态做的不够好，但生态不够好不一定就是产品不够好。百度在2011年就开始布局打造昆仑芯，这么多年孕育出的产品，而且经过几代的进化，特别是已经在百度内部规模应用，可以看出昆仑芯一定有它存在的优势，值得研究一番。
- 说说AI框架，前面说到昆仑芯和百度飞桨有着深度融合，飞桨有着很好的生态和挺大的使用人群，不断会有更加新的、更加优秀的算法移植到飞桨上。如果你和昆仑芯的技术有一些对接，他们肯定会推荐你在昆仑卡上使用飞桨，这支持的更加好。但回过来，现实是用pytorch和tf的人更多(应该说绝大多数)，特别是pytorch，近几年一些优秀的算法大多用pytorch来实现。那么随之会带来一个普遍的问题：如果是用pytorch或tf，那么怎么使移植到昆仑卡的代价更低呢？答案是：onnx。虽然有很多人吐槽onnx，但不能否认的是，超多的硬件厂商统一支持的一定会优先考虑onnx，它的适应性确实是其他AI框架无法比拟的。既然大家都支持onnx，为何不把部署链路调整到以onnx为起点呢 (你肯定不会只是在一个硬件上部署算法，那么考虑如何高效的在不同硬件上部署算法也是一个现实的问题)。
- 再说说推理sdk，昆仑的推理sdk跟昇腾的一样，也是基于tvm的，这个部署技术栈越来越多地被不同家硬件厂商所采用 (不只有昇腾、昆仑)，为啥就不多说了，这也说明了tvm的强大。这样一来，一个适应性很强的部署链路可以是：onnx -> tvm/tvm变种 -> 推理。
另外需要注意的是，这里介绍的昆仑芯k200并不是昆仑芯的最强卡，k200是基于昆仑芯1代芯片的，还有更强的r200，r200是基于昆仑芯2代芯片的，这个下次再做介绍。
【极智视界】
搜索关注我的微信公众号「极智视界」，获取我的更多经验分享，让我们用极致+极客的心态来迎接AI ！
百度世界2021：百度大脑升级昆仑芯2量产智能云加速ai落地爆发
...，依托百度智能云加速产业智能化升级。第二代百度昆仑AI芯片“昆仑芯2”也宣布量产，中国“芯”再登新高地。作为百度AI技术积累和产业实践的 查看详情
极智ai|tensorrtparser构建模型推理方法(代码片段)
欢迎关注我的公众号[极智视界]，获取我的更多笔记分享 大家好，我是极智视界，本文介绍一下TensorRTParser构建模型推理方法。 TensorRT构建模型推理一般有三种方式：(1)使用框架自带的TensorRT接口，如TF-TRT... 查看详情
极智ai|libtorch调用模型推理方法(代码片段)
欢迎关注我的公众号[极智视界]，获取我的更多笔记分享 大家好，我是极智视界，本文介绍一下libtorch调用模型推理方法。 之前写了一篇《ubuntu安装libtorch》，所以关于ubuntu上安装libtorch的方法，有兴趣的... 查看详情
极智ai|多场景覆盖看昇腾新推出的atlas300系列新卡(代码片段)
欢迎关注我的公众号[极智视界]，获取我的更多笔记分享 大家好，我是极智视界，本文介绍一下昇腾新推出的Atlas300系列新卡。 2022年，昇腾推出了新一代Atlas300系列卡，场景覆盖全面，包括推理卡=... 查看详情
极智ai|libtorch调用模型推理方法(代码片段)
欢迎关注我的公众号[极智视界]，获取我的更多笔记分享 大家好，我是极智视界，本文介绍一下libtorch调用模型推理方法。 之前写了一篇《ubuntu安装libtorch》，所以关于ubuntu上安装libtorch的方法，有兴趣的... 查看详情
极智ai|libtorch调用模型推理方法(代码片段)
欢迎关注我的公众号[极智视界]，获取我的更多笔记分享 大家好，我是极智视界，本文介绍一下libtorch调用模型推理方法。 之前写了一篇《ubuntu安装libtorch》，所以关于ubuntu上安装libtorch的方法，有兴趣的... 查看详情
3年完成2款云端ai芯片研发量产，百度造芯为什么这么快？
...号QbitAI3月完成独立融资、估值130亿元，6月分拆成立昆仑芯科技，8月发布昆仑2.0……今年，百度在造芯上，都是大动作。其中最瞩目的莫过于：将智能芯片架构部独立融资、分拆成立昆仑芯（北京）科... 查看详情
极智ai|初识tensorrtplugin(代码片段)
欢迎关注我的公众号[极智视界]，获取我的更多笔记分享 大家好，我是极智视界，本文介绍一下初识TensorRTPlugin。 TensorRT构建模型推理一般有三种方式：(1)使用框架自带的TensorRT接口，如TF-TRT、Torch-TRT... 查看详情
ai芯片与systemverilog参数化
...拥抱变化，聚焦提升产品力ChatGPT及大模型技术大会上，昆仑芯科技研发总监王志鹏表示：“作为一家芯片公司，需要对市场的需求和变化非常敏感，才能使硬件产品始终精准匹配主流需求。”大模型对计算的要求主要体现在三... 查看详情
极智ai|算能sdk架构
欢迎关注我的公众号[极智视界]，获取我的更多经验分享大家好，我是极智视界，本文介绍一下算能SDK架构。邀您加入我的知识星球「极智视界」，星球内有超多好玩的项目实战源码下载，链接：https://t.zsx... 查看详情
极智ai|谈谈caffe框架(代码片段)
欢迎关注我的公众号[极智视界]，获取我的更多笔记分享 大家好，我是极智视界，本文介绍一下谈谈caffe框架。 大部分同学应该都知道，caffe是一个古老而又优秀的深度学习训练框架，用过caffe的大部分都... 查看详情
ai简报20210716期上海张江又一款ai芯发布寒武纪切入自动驾驶芯片
.../ufZ1M2B819_O_JHSIzQhfgAI芯片公司瀚博半导体，发布了云端推理AI芯片SV100系列，以及搭载该系列芯片的AI推理加速卡VA1。SV100系列是瀚博为云 查看详情
极智ai|教你使用深度学习模型调试器polygraphy(代码片段)
欢迎关注我的公众号[极智视界]，获取我的更多笔记分享 大家好，我是极智视界，本文讲解一下深度学习模型调试器polygraphy的使用方法。 对于深度学习模型的部署，往往涉及多种框架之间的转换，一般... 查看详情
上海张江又一款ai芯发布！性能超英伟达t4，amd背景团队创办，快手投资
...币A+轮融资的AI芯片公司瀚博半导体，发布了云端推理AI芯片SV100系列，以及搭载该系列芯片的AI推理加速卡VA1。在发布会上，瀚博半导体创始人兼CEO钱军展示了SV100系列的首款产品——SV102智能视觉芯片，瀚博半... 查看详情
极智ai|谈谈昇腾cannaipp(代码片段)
欢迎关注我的公众号[极智视界]，获取我的更多笔记分享 大家好，我是极智视界，本文介绍一下谈谈昇腾CANNAIPP。 昇腾CANN的全称是ComputeArchitectureforNeuralNetworks，是昇腾针对AI场景推出的异构计算架构。前几天... 查看详情
模型推理聊一聊昇腾canntbe算子开发方式(代码片段)
欢迎关注我的公众号[极智视界]，获取我的更多笔记分享 O_o >_< o_O O_o ~_~ o_O 本文主要聊一聊华为昇腾CANNTBE开发方式。 之前也写过几篇关于昇腾部署相关的文章，在做昇腾卡部署或有兴趣的同学可以查... 查看详情
极智ai|昇腾cannatc模型转换(代码片段)
欢迎关注我的公众号[极智视界]，获取我的更多笔记分享 大家好，我是极智视界，本文介绍一下昇腾CANNATC模型转换。 昇腾CANN的全称是ComputeArchitectureforNeuralNetworks，是昇腾针对AI场景推出的异构计算架构，... 查看详情
极智ai|讲解tensortactivation算子(代码片段)
欢迎关注我的公众号[极智视界]，获取我的更多笔记分享 大家好，我是极智视界，本文讲解一下TensorRTActivation算子。 激活函数在神经网络中具有增加非线性、数据归一化或调整数据分布的作用。在分类、目标检... 查看详情