关键词：
整理AI性能指标
Sorting out AI performance metrics
推理性能的最佳衡量标准是什么？
在人工智能加速器的世界里，对于给定的算法，芯片的性能经常以每秒万亿次的运算量（TOPS）来表示。但有许多原因说明，这可能不是最好的数据。
“客户真正想要的是每美元的高吞吐量，”人工智能加速器公司FlexLogix的首席执行官GeoffTate说。
Tate解释说，拥有更多的tops并不一定与更高的吞吐量相关。在batch size批量大小为1的边缘应用程序中尤其如此。数据中心之类的应用程序可以通过使用较大的批处理并行处理多个输入来提高其吞吐量（因为有备用的顶部），但这通常不适合边缘设备。
例如，Tate将Flex Logix’ InferX X1设备与市场领先的GPU设备进行了比较。虽然GPU提供了3到4倍的吞吐量，最高10倍，但使用的dram数量是8倍。Tate认为这使得flexlogix的架构更具资源效率。
Tate提出的每美元吞吐量指标听起来很合理，但实际上，要找到可靠的产品成本信息来进行直接比较并不容易。诸如需要多少DRAM，或者某个芯片有多少硅面积等因素可以作为成本的指标，可惜不是精确的。
Flex Logix的InfereX X1设备将于2019年年底前投产。将提供大约8.5个top。
ResNet-50公司
TOPS作为度量标准的另一个问题是，通常在运行ResNet-50时进行度量。
Tate说：“ResNet-50不是客户关心的基准，但是人报告最多的一个。“不太相关的原因是使用了非常小的图像。”
如今，ResNet-50在很大程度上被视为过时，已经存在了一段时间，已经成为引用顶级数据的事实标准。有充分的理由继续使用作为一个标准；其中包括努力保持所有分数至少在一定程度上具有可比性，以及使这一事实上的标准对所有类型的设备（即使是很小的设备）都可用。然而，不足以真正挑战当今为数据中心推理而构建的巨大芯片，也不足以炫耀能力。
行业基准
除了事实上的标准，当然还有各种各样的组织在为人工智能加速器开发基准（参见：MLPerf、DawnBench、EEMBC等）。
虽然MLPerf已经发布了推断结果，但Tate认为这个基准过于面向数据中心。在这个场景中，认为在第90个时间段，一个设备的延迟是一个性能指标。
“在边缘，我认为顾客不想知道第90个百分位，想知道第100个百分位。想知道：能保证我什么？Tate说，将自动驾驶作为一种边缘应用，在这种应用中延迟非常关键。
在更复杂的图像处理任务（如目标检测）上的性能更适合于比较当今高端的人工智能加速器
当信息在多个处理器内核和内存之间传输时，长尾延迟对于那些遭受总线争用的系统来说是一个典型的问题。虽然现在的许多设备使用高带宽内存接口，但在可能发生争用的情况下，理论上仍然存在延迟。
flexlogix基于FPGA的推理处理器设计每次都有完全相同的延迟（Groq也声称这一点，尽管坚称自己的设备不是FPGA）。
“由于我使用的是我的共同创始人在核心发明的FPGA互连，因此从内存到乘法累加器，到激活逻辑，再到内存，都有一条完全专用的路径。所以没有争议：事情就是这样。Tate说：“我的利用率不是百分之百，但我的利用率比其所有体系结构都要高得多。”。
市场
对于这一领域芯片初创公司数量的激增，泰特对FlexLogix的前景持乐观态度。
“当芯片投入使用，软件运行，展示演示，当看到价格和力量……很快，那些不在上四分之一的公司就会消失。”。
泰特的预测是，根据不同的细分市场（训练、推理、数据中心、edge、超低功耗等），这一领域可以支持10或15种芯片产品。今天提供的产品在计算能力方面跨越了多个数量级，因此并不都是直接相互竞争的。
泰特提到沃伦•巴菲特的名言：“在未来的一两年里，将有一场大规模的牛群淘汰，当潮水退去时，可以看到谁在裸泳。”
性能测试-概念篇（三）
...容量场景2.7.3、稳定性场景2.7.4、异常场景2.8.1、场景结果整理2.8.2、监控结果整理2.8.3、性能整体分析2.8.4、性能结论2.8.5、优化建议2.8.6、运维建议性能验证：验证系统是否达到指定的指标。举例：RT是300ms,QPS/TPS是否可以达到800... 查看详情
2021年底粉丝大馈赠，熬夜7天肝出这一份3000字性能测试学习笔记(代码片段)
...试需要掌握哪些知识。下面是根据本人的理解，粗略整理的一个学习大纲，基本上涵盖了软件测试工程师需要掌握的全部技能，希望对想进阶或者准备进阶学习的朋友提供一点指引。目录性能测试概念性能指标模型性... 查看详情
地址标准化服务ai深度学习模型推理优化实践
...处理等领域的实际业务场景中广泛落地，对它的推理性能优化成为了部署环节中重要的一环。推理性能的提升：一方面，可以充分发挥部署硬件的能力，降低用户响应时间，同时节省成本；另一方面，... 查看详情
性能测试常见的性能测试指标
从性能测试分析度量的角度，性能指标的维度如下：系统性能指标资源性能指标中间件指标数据库指标稳定性指标可扩展性指标可靠性指标接下来从各自维度常见指标及指标含义看看各个性能测试指标一、系统性能指标... 查看详情
性能测试常见的性能测试指标
从性能测试分析度量的角度，性能指标的维度如下：系统性能指标资源性能指标中间件指标数据库指标稳定性指标可扩展性指标可靠性指标接下来从各自维度常见指标及指标含义看看各个性能测试指标一、系统性能指标... 查看详情
（转）超全整理！linux性能分析工具汇总合集
...系统的兴趣，以及对底层知识的强烈欲望，因此整理了这篇文章。本文也可以作为检验基础知识的指标，另外文章涵盖了一个系统的方方面面。如果没有完善的计算机系统知识，网络知识和操作系统知 查看详情
（转）超全整理！linux性能分析工具汇总合集
...系统的兴趣，以及对底层知识的强烈欲望，因此整理了这篇文章。本文也可以作为检验基础知识的指标，另外文章涵盖了一个系统的方方面面。如果没有完善的计算机系统知识，网络知识和操作系统知 查看详情
java项目性能调优，精心整理
一面自我介绍项目中的监控：那个监控指标常见的有哪些？微服务涉及到的技术以及需要注意的问题有哪些？注册中心你了解了哪些？consul的可靠性你了解吗？consul的机制你有没有具体深入过？有没有和其... 查看详情
性能测试性能测试之性能测试指标详解（性能指标cpu内存负载磁盘）
目 录一 系统性能测试指标1.1响应时间1.2并发1.3点击量/点击率1.4吞吐量/吞吐率1.5TPS/QPS1.6PV/UV二 Linux服务器性能指标2.1CPU使用率2.2内存占用率2.3系统平均负载2.4磁盘IO2.5linux常用性能命令2.5.1CPU2.5.2内存2.5.3负载2.5.4磁盘2.5.5整体... 查看详情
软件性能指标
转载：http://blog.csdn.net/aovenus/article/details/7755770浅谈软件性能测试中关键指标的监控与分析一、软件性能测试需要监控哪些关键指标？软件性能测试的目的主要有以下三点：? 评价系统当前性能，判断系统是否满足预期的性能... 查看详情
性能测试都有哪些指标，对一个登录功能做性能测试，都有哪些指标？
性能测试常用指标从外部看，主要有：1、吞吐量：每秒钟系统能够处理的请求数，任务数2、响应时间：服务处理一个请求或一个任务的耗时3、错误率：一批请求中结果出错的请求所占比例从服务器的角度看，性能测试关注CPU，... 查看详情
地址标准化服务ai深度学习模型推理优化实践
...语言处理等领域的实际业务场景中广泛落地，对它的推理性能优化成为了部署环节中重要的一环。推理性能的提升：一方面，可以充分发挥部署硬件的能力，降低用户响应时间，同时节省成本；另一方面，可以在保持响应时间不... 查看详情
性能测试的主要指标
性能事物、物品的某些特性的评价值时间角度、处理能力软件性能测试用一定的技术、找出或验证某个性能指标的测试性能测试的相关概念：负载测试：逐步增加并发数直至出现拐点（拐点：报错、服务器报错服务器宕机，响应... 查看详情
系统性能指标之vmstat
系统性能指标之vmstatvmstatprocs-----------memory-------------swap-------io------system-------cpu-----rbswpdfreebuffcachesisobiboincsussyidwast10974128514711213541213686280153134529300719741285147608135424136 查看详情
服务性能监控指标
Apache性能监控支持以下指标：Apache吞吐率Apache并发连接数Apache并发连接数详细统计，包括读取请求、持久连接、发送响应内容、关闭连接、等待连接 Lighttpd性能监控支持以下指标：Lighttpd吞吐率Lighttpd并发连接数Lighttpd并发连... 查看详情
Vuejs 的性能指标
】Vuejs的性能指标【英文标题】：PerformancemetricsforVuejs【发布时间】：2022-01-2201:50:51【问题描述】：我正在寻找Vue应用程序的性能指标。有关整个应用程序的指标，但也适用于某些特定组件。我知道我可以使用Vue.config.performance=tru... 查看详情
性能测试指标都有哪些?
参考技术A问题一：性能测试中要关注哪些主要的性能指标服务器系统资源方面本机的CPU占用率，内存占用率磁盘的读写指标网络的占用情况基础吞吐率事务处理速度如平均登录时间，操作平均响应时间至于每个指标的标准，要... 查看详情
如何跟踪来自 Vertex AI 管道的参数和指标
】如何跟踪来自VertexAI管道的参数和指标【英文标题】：HowtotrackparameterandmetricsfromVertexAIpipelines【发布时间】：2021-11-2706:46:28【问题描述】：我们在GoogleCloudsVertexAI中同时使用VertexAI训练作业和Kubeflow管道。在训练作业中，我们通... 查看详情