如何把go调用c的性能提升10倍?

朝闻道 朝闻道     2022-09-18     149

关键词:

目前,当Go需要和C/C++代码集成的时候,大家最先想到的肯定是CGO。毕竟是官方的解决方案,而且简单。

但是CGO是非常慢的。因为CGO其实一个桥接器,通过自动生成代码,CGO在保留了C/C++运行时的情况下,搭建了一个桥来沟通C/C++世界和Go的世界。这就意味着,兼容性很好,但是对C的函数的调用,必须先把当前的goroutine挂起,并切换执行栈到当前的线程M的主栈(大小2MB)。如果不做这个操作,那么只能在goroutine的栈上执行C函数调用,可是,goroutine的栈一般都很小,很容易就导致了栈溢出了。

调用C函数的时候,必须切换当前的栈为线程的主栈,这带来了两个比较严重的问题:

  1. 线程的栈在Go运行时是比较少的,受到P/M数量的限制,一般可以简单的理解成受到GOMAXPROCS限制;
  2. 由于需要同时保留C/C++的运行时,CGO需要在两个运行时和两个ABI(抽象二进制接口)之间做翻译和协调。这就带来了很大的开销。

minio项目的一个副产品是 c2goasm 项目,这个项目也被 go-cv-simd 项目使用获得了很好的效果。

c2goasm 的角色是一个 汇编语言转换器,输入是 clang输出的amd64汇编,输出是go汇编。而clang的输入是C/C++语言。限制是不能有RTTI和异常。也就是说不能有C/C++运行时提供的高级功能。

c2goasm输出的go汇编,交给go的工具链可以直接生成go的可执行代码。

c2goasm和CGO比,最大的改进就是:

  1. 不再有C/C++运行时,也就没了在两者之间不停转换的逻辑开销;
  2. 不需要切换到线程的主栈来执行函数,因为c2goasm生成的是纯正的go函数,不需要线程的主栈就可以执行;

由此就极大的改进了性能,代价是兼容性和可移植性损失了。

技术分享

https://my.oschina.net/linker/blog/1529928

重磅官宣:nacos2.0性能提升10倍

简介:​Nacos2.0作为一个跨代版本,彻底解决了Nacos1.X的性能问题,将性能提升了10倍。作者:席翁继Nacos1.0发布以来,Nacos迅速被成千上万家企业采用,并构建起强大的生态。但是随着用户深入使用,逐渐暴露一些性能问题,因... 查看详情

10倍,boostkit鲲鹏全局缓存3大创新技术助力ceph性能提升

...的痛点,采用三大创新技术,有效的提高了Ceph的性能,最高可以将Ceph性能提升10倍。本文分享自华为云社区《【云驻共创】BoostKit鲲鹏全局缓存技术助力Ceph性能提升10倍,真香》,作者: 查看详情

tidb:向量化执行使表达式性能提升10倍成为可能

向量化执行使表达式性能提升10倍成为可能查询执行引擎对数据库系统性能非常重要。TIDB是一个开源兼容MySQL的HTAP数据库,部署广泛使用的火山模型来执行查询。不幸的是,当查询一个大库时,向量化模型会造成较高的解释开销... 查看详情

7-10倍写入性能提升:剖析wiredtiger数据页无锁及压缩黑科技

7-10倍写入性能提升:剖析WiredTiger数据页无锁及压缩黑科技导语:计算机硬件在飞速发展,数据规模在急速膨胀,但是数据库仍然使用是十年以前的架构体系,WiredTiger尝试打破这一切,充分利用多核与大内存时代来重新设计数据... 查看详情

13倍性能,3倍稳定性提升!ucloud云硬盘做了这些事

近期,我们推出高性能SSD云盘,满足用户对高性能的场景需求。SSD云盘相比普通云盘,IOPS提升了13倍,稳定性提升了3倍,平均时延降低了10倍。为了做到这些,我们从去年10月份开始对云盘的架构进行了重新设计,充分减少时延... 查看详情

10个步骤让你的应用提升10倍性能

点击上方“朱小厮的博客”,选择“设为星标”后台回复"书",获取后台回复“k8s”,可领取k8s资料-   目录   - 建议一:使用反向代理服务器让应用更快更安全建议二:增加负载均衡服务器建议三&#x... 查看详情

java中的5个代码性能提升技巧,最高提升近10倍(代码片段)

...已经收录,欢迎Star。这篇文章介绍几个Java开发中可以进行性能优化的小技巧,虽然大多数情况下极致优化代码是没有必要的,但是作为一名技术开发者,我们还是想追求代码的更小、更快,更强。如果哪天你发现... 查看详情

springboot+@async注解一起用,速度提升100倍!

简介: 异步调用几乎是处理高并发Web应用性能问题的万金油,那么什么是“异步调用”?“异步调用”对应的是“同步调用”,同步调用指程序按照定义顺序依次执行,每一行程序都必须等待上一行程序执行完成之后才能执... 查看详情

使用apachespark对mysql调优查询速度提升10倍以上

在这篇文章中我们将讨论如何利用ApacheSpark来提升MySQL的查询性能。介绍  在我的前一篇文章 ApacheSparkwithMySQL 中介绍了如何利用ApacheSpark实现数据分析以及如何对大量存放于文本文件的数据进行转换和分析。瓦迪姆还做... 查看详情

meta公司内部项目-raptorx:将presto性能提升10倍(代码片段)

...文件描述符和footer缓存Alluxio数据缓存软亲和调度Performance性能UserGuide用户指南概要速览RaptorX是Meta(前“Facebook公司”,下文统称“Meta”)公司的一个内部项目名称&# 查看详情

java中的5个代码性能提升技巧,最高提升近10倍(代码片段)

...已经收录,欢迎Star。这篇文章介绍几个Java开发中可以进行性能优化的小技巧,虽然大多数情况下极致优化代码是没有必要的,但是作为一名技术开发者,我们还是想追求代码的更小、更快,更强。如果哪天你发现... 查看详情

java中的5个代码性能提升技巧,最高提升近10倍(代码片段)

这篇文章介绍几个Java开发中可以进行性能优化的小技巧,虽然大多数情况下极致优化代码是没有必要的,但是作为一名技术开发者,我们还是想追求代码的更小、更快,更强。如果哪天你发现程序的运行速度不尽... 查看详情

我只改五行代码,接口性能提升了10倍!(代码片段)

背景某公司的一个ToB系统,因为客户使用的也不多,没啥并发要求,就一直没有经过压测。这两天来了一个“大客户”,对并发量提出了要求:核心接口与几个重点使用场景单节点吞吐量要满足最低500/s的要求... 查看详情

如何利用缓存机制实现java类反射性能提升30倍

1SSM框架简介SSM框架,即SpringMVC+Spring+Mybatis三个开源框架整合在一起的缩写。在SSM框架之前生产环境中SSH框架占据多数,即Struts2+Spring+Hibernate三个开源框架整合而成。后因Struts2爆出众多高危漏洞,导致目前SSM逐渐代替SSH成为主流... 查看详情

如何利用缓存机制实现java类反射性能提升30倍

一次性能提高30倍的JAVA类反射性能优化实践。文章来源:宜信技术学院&宜信支付结算团队技术分享第4期-支付结算部支付研发团队高级工程师陶红《JAVA类反射技术&优化》分享者:宜信支付结算部支付研发团队高级工程师... 查看详情

英特尔至强新添七大算力神器,pytorch训练性能可提升至10倍!

英特尔、英特尔标识、以及其他英特尔商标是英特尔公司或其子公司在美国和/或其他国家的商标。©英特尔公司版权所有。* 文中涉及的其它名称及商标属于各自所有者资产点击阅读原文,了解更多内容! 查看详情

如何一步步提升go内存缓存性能(代码片段)

v1.0.5到v1.1.0的性能优化过程背景介绍ecache是一款极简设计、高性能、并发安全、支持分布式一致性的轻量级内存缓存,支持LRU和LRU-2两种模式项目地址:https://github.com/orca-zhang/ecache准备工作原则基于真实的度量。——《重构——... 查看详情

新入职了一个卷王,一来就把性能提升4倍,这谁受的了~

...,刚30岁。。。结果没想到人家上来就把现有项目的性能优化了一遍,直接给公司节省了一半的成本,这种“王炸”打法,直接给所有人整懵了。一问情况,才知道这位仁兄也是一路被虐过来的。去年疫情原因... 查看详情