关键词：
10月26日，字节跳动宣布开源BitSail数据集成引擎。BitSail意为“数据航行”，可支持二十余种异构数据源间的数据同步，提供离线、实时、全量、增量场景下的全域数据集成解决方案，从而打通困扰企业数字化转型的“数据孤岛”，帮助企业用户更有效地发挥数据资产价值。
BitSail开源地址：https://github.com/bytedance/bitsail
据悉，BitSail起源于2018年。当时字节跳动的业务场景日益复杂，数据源越来越多，数据量更是呈爆发式增长。为了支撑公司业务快速发展，字节跳动数据平台团队开始自研数据集成引擎。
数据集成引擎技术架构图
新引擎最初基于Apache Flink实现，历经多年持续改进和创新，现已具备批式集成、流式集成和增量集成三类同步模式，并支持分布式水平扩展和流批一体架构，在各种数据量和各种场景下，一个框架即可解决数据集成需求。此外，BitSail采用插件式架构，支持运行时解耦，从而具备极强的灵活性，企业可以很方便地接入新的数据源。
目前，BitSail不仅服务于抖音、今日头条等字节跳动内部业务，也服务了火山引擎多家企业客户，其稳定性、数据传输质量和运维成本等方面经过“千锤百炼”，已经具备较高的产品成熟度。
数据显示，BitSail在字节跳动内部每天的任务量超过20万，传输的数据行数超过百万亿行，其中单批任务达到千亿行、单流任务达到千万QPS，支持10分钟级延迟SLA。通过在火山引擎的云原生环境和客户专有云环境等不同场景的打磨，在确保数据传输安全性的同时，BitSail的功能细节和性能得到进一步优化，可以满足企业绝大部分使用需求。
自2015年至今，字节跳动已开源了50多个项目，早期大多为工程师个人兴趣驱动。今年5月，字节跳动宣布成立开源委员会，为技术开源引入公司级的策略、规范与流程机制。BitSail项目负责人表示，做好开源的“北极星指标”，在于真实落地，帮助开发者在生产环境或实际业务中创造价值。BitSail会持续夯实基础能力，并结合内外部业务实践输出更多创新的特性，帮助企业用户走好数字化“第一步”。
— 推荐阅读 —
助力企业数据飞轮转起来！火山引擎云原生数仓bytehouse全面大促中
...增长瓶颈，推动转型升级的一致共识。在大环境持续推动数字化转型的政策扶持下，企业仍然需要一个可借鉴的成熟经验模式，来彻底理解和实践数据驱动到底应该“怎么动”、“从哪里开始动”。而字节跳动内部长达10年所沉... 查看详情
直播预告|企业如何轻松完成数据治理？火山引擎dataleap给你一份实战攻略！
...动数据平台微信公众号，回复【1】进入官方交流群企业数字化转型正席卷全球，这不仅是趋势所在，也是企业发展必然面对的考题，也是企业最关心、最难决策的难题，数字化不仅仅考验企业的技术“硬”实力，还考验选型、... 查看详情
助力公益数字化火山引擎向公益机构捐赠多款技术产品
...服务、火山翻译AR智能眼镜、抖音多帐号管理平台、企业数字化安全办公平台飞连、聆镜视频直播一体机、PicoVR一体机等多款技术产品。首批捐赠对象为中国扶贫基金会、中国红十字基金会、壹基金、爱佑慈善基金会、北京市企... 查看详情
字节跳动开源隐私合规检测工具appshark
一、背景随着移动互联网的高速发展，人们的生产生活也逐渐从PC电脑端转移到手机等移动端，各类移动App也如雨后春笋般产生。受限于代码的开发质量等原因，App中或多或少的会存在安全漏洞或因开发设计不谨慎引入的违规收... 查看详情
助力企业数字化升级，火山引擎发布云上增长解决方案
...降本增效、精细化运营、混合办公等诸多挑战。如何通过数字化转型实现可持续的高质量增长，成为企业共同关注的问题。火山引擎是字节跳动旗下六大业务板块之一。火山引擎总裁谭待介绍，云上增长方案结合了字节... 查看详情
字节大战腾讯元宇宙；docker自己定制镜像；vmware云桌面助力秦皇岛市第一医院；微软开源cloudkatana；...
NEWS本周新闻回顾字节大战腾讯元宇宙：布局社交产品Pixsoul，上线游戏“重启世界”字节投资的代码乾坤，已于近日正式上线了元宇宙游戏《重启世界》。就在两个月前，被称为“元宇宙第一股”的Roblox登陆国内&#... 查看详情
字节跳动如何从0到1打造一个开源项目？
本文整理自51CTO开源基础软件学习季的直播公开课《字节跳动的开源实践与思考》 像很多公司一样，字节跳动接触开源也有一个从0到1、由浅入深的过程，大体经历三个阶段： 第一阶段，使用开源。为了推动业务更快发... 查看详情
行业沙龙第八期丨订单结算在线协同，助力企业生意增长
...各大公司高管、行业翘楚及企业精英汇聚一堂，围绕数字化订单管理 查看详情
速度超快！字节跳动开源序列推理引擎lightseq(代码片段)
这应该是业界第一款完整支持Transformer、GPT等多种模型高速推理的开源引擎。2017年Google提出了Transformer[1]模型，之后在它基础上诞生了许多优秀的预训练语言模型和机器翻译模型，如BERT[2]、GPT系列[13]等，不断刷新着众多自然语... 查看详情
火山引擎进军云市场，计划未来三年服务十万客户
...是在未来3年联合一千家合作伙伴、助力十万家客户实现数字化转型。图：字节跳动副总裁杨震原分享火山引擎技术理念字节跳动的快，造就火山引擎的云据杨震原回忆，他在2014年加入字节跳动，当时公司内部讨... 查看详情
字节跳动核心竞争力到底是什么？
2012年创建的字节跳动，短短几年时间发展到估值接近千亿美元的互联网大鳄，拥有今日头条、抖音、西瓜视频等多个爆品app，除了搭上了移动互联网的春风，其企业自身的核心竞争力也得到了极大的体现。因此，对其核心竞争... 查看详情
行业沙龙第八期丨订单结算在线协同，助力企业生意增长
...各大公司高管、行业翘楚及企业精英汇聚一堂，围绕数字化订单管理进行探讨交流，展示和讨论最新政策导向、市场趋势及最新数字化转型成果，期望创造更多商机。数商云方案中心封金华老师围绕“订单结算在线协... 查看详情
字节跳动公司有没有年休假？
...休假日、休息日不计入年休假的假期。 参考技术B有啊。字节跳动是一家非常不错的公司，待遇很好。 查看详情
一经开源就火了，字节跳动开源微服务中间件cloudwego(代码片段)
...整编综合自：https://github.com/cloudwego/kitex9月8日，字节跳动正式宣布开源CloudWeGo。这是一套以Go语言为核 查看详情
牛逼，字节跳动又一开源大作！程序员的福音！
...对AndroidApp的PLThook框架。这个框架也是最近才开源，字节跳动团队 查看详情
itsm五大趋势助力企业数字化转型
数字化转型是CIO、信息技术从业人员都非常关注的流行趋势，那么什么是数字化转型？它真的发生了吗？答案是：Yes！数字化转型正在发生！经过数十年的发展，信息化已经逐渐成为企业发展的驱动力，想想那些打破行业规则的... 查看详情
极狐gitlab硬实力助力中国开源生态建设
...信息技术产业创新，促进产业协作，加快各行业数字化进程等方面的作用日益突出。为满足各类企业级用户技术创新与敏捷迭代的需求，9月23日，极狐GitLab在京举办了“一场开在issue上的媒体会”，活动现场&#x... 查看详情
字节跳动开源最新gan压缩算法，算力消耗可减少至1/46(代码片段)
字节跳动近期开源了一项代号为OMGD的压缩技术。这是字节自研的GAN（生成对抗网络）压缩算法，在保证生成效果不变的前提下，算力消耗最低可以减少到原来的1/46，相比之前业界的最佳压缩效果提升一倍多。... 查看详情