苹果m1芯片下运行flink程序使用rocksdb状态后端兼容性问题(代码片段)

做人要厚道2013 做人要厚道2013     2023-02-03     276

关键词:

flink 的版本 1.13.6 的 rocksdb 连接器不支持apple 的 m1 芯片,主要是 so 文件不兼容 m1 芯片。在 idea 运行的时候会报错:incompatible architecture (have (x86_64), need (arm64e)))

可以在 pom.xml文件中添加如下依赖解决:(注意下面3 个依赖的顺序不能调整)

<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-statebackend-rocksdb_2.12</artifactId>
    <version>1.13.6</version>
    <exclusions>
        <exclusion>
            <groupId>com.ververica</groupId>
            <artifactId>frocksdbjni</artifactId>
        </exclusion>
    </exclusions>
</dependency>

<dependency>
    <groupId>org.rocksdb</groupId>
    <artifactId>rocksdbjni</artifactId>
    <version>7.7.3</version>
    <scope>provided</scope>
</dependency>

<dependency>
   <groupId>com.ververica</groupId>
   <artifactId>frocksdbjni</artifactId>
   <version>6.20.3-ververica-1.0</version>
</dependency>

在苹果m1上运行linux虚拟机变得容易了

...户可以借助Multipass(一个免费的虚拟机程序)在苹果M1上运行 Linux 虚拟机。自从苹果推出M1芯片以来,人们为在其上运行Linux做出了许多努力。尽管这项工作仍在进行中,但Canonical似乎已经实现了在苹果M1上以虚... 查看详情

使用了12个月的苹果m1芯片,我发现了它的「致命」弱点(代码片段)

...出品|CSDN(ID:CSDNnews)首先,我仍然相信苹果M1的芯片在技术上取得了巨大的飞跃,再次站在了创新的最前沿,然而一旦新鲜感消失之后 查看详情

macos(m1芯片arm架构)下如何安装tensorflow(代码片段)

...品有Miniforge,同样也能实现类似的效果。此外,苹果官方称还支持添加metal插件,从而可以调用集成在M1芯片中的GPU部分,但是目前只支持tensorflow2.5和2.6的版本,而本节使用使用的版本是tensorflow2.4python3.8,... 查看详情

flinkrocksdb介绍以及flink对rocksdb的支持

1.概述转载:「Flink」RocksDB介绍以及Flink对RocksDB的支持2.RocksDB简介RocksDB是基于C++语言编写的嵌入式KV存储引擎,它不是一个分布式的DB,而是一个高效、高性能、单点的数据库引擎。它是由Facebook基于Google开源的k... 查看详情

无法在苹果 m1 芯片中的颤振项目上执行 pod 安装

】无法在苹果m1芯片中的颤振项目上执行pod安装【英文标题】:Can\'tperformpodinstallonflutterprojectinapplem1chip【发布时间】:2021-11-0806:19:33【问题描述】:我最近做了一个Flutter项目,并将该项目移到了我的带有m1芯片的新macmini上。我... 查看详情

在 flink 1.13 中配置 RocksDB

】在flink1.13中配置RocksDB【英文标题】:ConfigureRocksDBinflink1.13【发布时间】:2021-06-0402:11:31【问题描述】:我在Flink1.13版本中读过EmbeddedRocksDBStateBackend但有大小限制,所以我想保留我之前Flink版本1.11的当前配置,但关键是这种配... 查看详情

苹果硅 M1 + 泊坞窗

】苹果硅M1+泊坞窗【英文标题】:AppleSiliconM1+docker【发布时间】:2021-09-0810:04:47【问题描述】:我有一个dockerfile和docker-compose可以在基于Intel和/或AMD的芯片上正常运行,但是当它预期构建在M1AppleSilicon芯片上时会出现一些问题。... 查看详情

flink的可靠性保证-状态存储

...持久化,每次读写都产生网络IO,整体性能不太好;3基于RocksDB的RocksDBStateBackend-本地文件+异步HDFS持久化,当前版本在生产环境下使用的选择用RocksDB+HDFS的方式进行State的存储,State存储分两个阶段,首先本地存储到RocksDB,然 查看详情

linux系统适配苹果m1芯片的项目有新进展

导读苹果自研的M1芯片于2020年正式发布,从产品发布起,一些开发者便开始了将 Linux 系统适配M1芯片的项目。近日消息苹果自研的M1芯片于2020年正式发布,从产品发布起,一些开发者便开始了将Linux系统适配M1芯... 查看详情

对标苹果m1,谷歌自研arm芯片或将于2023年发布?(代码片段)

...整理|郑丽媛出品|CSDN(ID:CSDNnews)去年,苹果推出的自研芯片M1令世界瞩目,由此苹果也逐渐摆脱对英特尔的依赖。或许是因为看到了M1芯片发展势头不错,近来有传闻说谷歌也开始研发自家的ARM芯片了。... 查看详情

React Native Project 没有在使用 Apple M1 芯片的 iOS 模拟器上运行

】ReactNativeProject没有在使用AppleM1芯片的iOS模拟器上运行【英文标题】:ReactNativeProjectisnotrunningoniOSSimulatorusingAppleM1chip【发布时间】:2021-07-2413:33:28【问题描述】:我对ReactNative并不陌生,已经研究了一段时间,但我现在面临的问... 查看详情

使用了12个月的苹果m1芯片,我发现了它的「致命」弱点

...出品|CSDN(ID:CSDNnews)首先,我仍然相信苹果M1的芯片在技术上取得了巨大的飞跃,再次站在了创新的最前沿,然而一旦新鲜感消失之后,裂痕就会慢慢显现,我们的看法也会逐渐改变。没有任何一... 查看详情

如何使用 M1 芯片在我的 Mac 上运行 pyqt5

】如何使用M1芯片在我的Mac上运行pyqt5【英文标题】:Howcanirunpyqt5onmymacwithM1chip【发布时间】:2021-04-3005:25:34【问题描述】:现在。当我运行它时。错误导致ImportError:dlopen(/Users/v/Library/Python/3.8/lib/python/site-packages/PyQt5/QtWidgets.abi3.so,... 查看详情

深度学习系列50:苹果m1芯片加速pytorch(代码片段)

1.介绍Apple的MetalPerformanceShaders(MPS)作为PyTorch的后端来加速GPU训练。MPS后端扩展了PyTorch框架,提供了在Mac上设置和运行操作的脚本和功能。MPS通过针对每个MetalGPU系列的独特特性进行微调的内核来优化计算性能。新... 查看详情

运行使用 Apple M1 芯片(基于 ARM 的系统)构建的容器时出现“执行格式错误”

】运行使用AppleM1芯片(基于ARM的系统)构建的容器时出现“执行格式错误”【英文标题】:"execformaterror"whenrunningcontainersbuildwithAppleM1Chip(ARMbasedsystems)【发布时间】:2021-06-2909:41:37【问题描述】:预期行为:我可以运行使... 查看详情

苹果发布新款m1芯片,安卓阵营被碾压,只能无奈哀叹

苹果发布了新款M系列芯片,性能较M1最高提升70%,已超越Intel的处理器,对安卓处理器更是碾压,可谓地球最强的PC处理器。苹果这次发布了两款芯片,分别是M1Pro和M1max,均由台积电以5nm工艺生产,M1Pro... 查看详情

ARM64架构(M1芯片):无法安装pg gem(使用PostgresApp)

】ARM64架构(M1芯片):无法安装pggem(使用PostgresApp)【英文标题】:ARM64architecture(M1chip):Cannotinstallpggem(usingPostgresApp)【发布时间】:2021-04-2420:35:50【问题描述】:我一直在尝试在运行BigSur的计算机(带有M1的MacbookPro2020)上安装... 查看详情

电脑是苹果m1芯片的,安装的pd虚拟机win11安装好后进入win系统安装不了软件?

电脑是苹果m1芯片的,安装的pd虚拟机win11安装好后进入win系统安装不了公司的erp数字报价系统软件,输入序列号时提示无效序列号怎么处理参考技术A因为,m1类的cpu,是arm架构的,你安装时就知,许多软件不一定兼容指令集的,PD17... 查看详情