为啥会出现纱线内存错误?

     2023-03-23     68

关键词:

【中文标题】为啥会出现纱线内存错误?【英文标题】:Why do I get a yarn memory error?为什么会出现纱线内存错误? 【发布时间】:2018-06-02 18:41:08 【问题描述】:

在 HDP 2.6.3、Spark 2.2 和 Zeppelin 0.7.3 中出现此错误:

java.lang.IllegalArgumentException: Required executor memory (12288+384 MB) is above 
the max threshold (8192 MB) of this cluster! Please check the values of 
'yarn.scheduler.maximum-allocation-mb' and/or 'yarn.nodemanager.resource.memory-mb'.

yarn.nodemanager.resource.memory-mb 最大 (8GB)。

我有 4 个节点,每个节点 16GB,所以我有 yarn.scheduler.maximum-allocation-mb = 14.25GB。

我试过了:

export ZEPPELIN_JAVA_OPTS="-Dspark.executor.memory=2g -Dspark.cores.max=7"

没有运气。

问题是12288,我该如何减少它? 蒂亚!

【问题讨论】:

【参考方案1】:

您可以随时提出yarn.nodemanager.resource.memory-mb,它应该与yarn.scheduler.maximum-allocation-mb 相同。 8 GB 是默认值,而不是最大值。

【讨论】:

C ++(Windows)向量为啥会出现内存错误?

】C++(Windows)向量为啥会出现内存错误?【英文标题】:C++(Windows)Howcomevectorsgetmemorywrong?C++(Windows)向量为什么会出现内存错误?【发布时间】:2011-08-0907:18:12【问题描述】:好吧,也许我正在做一些非常愚蠢的事情,但我很... 查看详情

为啥会出现错误:“InternalCompilerError:请求的静态内存负载超过 32 个字节”?

】为啥会出现错误:“InternalCompilerError:请求的静态内存负载超过32个字节”?【英文标题】:Whytheerror:"InternalCompilerError:Staticmemoryloadofmorethan32bytesrequested"?为什么会出现错误:“InternalCompilerError:请求的静态内存负载超... 查看详情

为啥我的 .gitlab-ci.yml 在纱线测试中不断失败,并出现错误“/bin/sh: 1: react-scripts: not found”?

】为啥我的.gitlab-ci.yml在纱线测试中不断失败,并出现错误“/bin/sh:1:react-scripts:notfound”?【英文标题】:Whydoesmy.gitlab-ci.ymlkeepfailingonyarntestwitherror"/bin/sh:1:react-scripts:notfound"?为什么我的.gitlab-ci.yml在纱线测试中不断失败,... 查看详情

为啥 QApplication 会出现内存泄漏?

】为啥QApplication会出现内存泄漏?【英文标题】:WhydoesQApplicationgivememoryleaks?为什么QApplication会出现内存泄漏?【发布时间】:2014-01-1006:25:07【问题描述】:我有一个简单的代码:#include<QApplication>intmain(intargc,char*argv[])QApplica... 查看详情

VSCode:纱线,但出现错误:数据检查不正确

】VSCode:纱线,但出现错误:数据检查不正确【英文标题】:VSCode:yarn,butgoterror:incorrectdatacheck【发布时间】:2021-12-0310:45:39【问题描述】:我克隆了vscoderepo并运行yarn来安装deps。但出现错误:[1/4]????Resolvingpackages...[2/4]????Fetchingpa... 查看详情

我在全球范围内安装了纱线,但出现错误“zsh:找不到命令:纱线”

】我在全球范围内安装了纱线,但出现错误“zsh:找不到命令:纱线”【英文标题】:Iinstalledyarnglobally,butgoterror"zsh:commandnotfound:yarn"【发布时间】:2021-12-0104:57:26【问题描述】:npminstall-gyarn>yarn@1.22.15preinstall/Users/myname/... 查看详情

为啥调用 UIDynamicBehavior 的动作闭包后会出现内存泄漏/保留循环?

】为啥调用UIDynamicBehavior的动作闭包后会出现内存泄漏/保留循环?【英文标题】:Whyistherememoryleak/retaincycleaftertheactionclosureofUIDynamicBehavioriscalled?为什么调用UIDynamicBehavior的动作闭包后会出现内存泄漏/保留循环?【发布时间】:201... 查看详情

为啥这段代码会导致页面错误?

】为啥这段代码会导致页面错误?【英文标题】:Whydoesthiscodecausepagefaults?为什么这段代码会导致页面错误?【发布时间】:2015-01-2123:57:27【问题描述】:我分配了512mb的内存,然后我每4096个字节修改一次(这应该会导致每次修... 查看详情

为啥将按钮添加为子视图时会出现内存泄漏?

】为啥将按钮添加为子视图时会出现内存泄漏?【英文标题】:WhydoIgetamemoryleakwhenaddingabuttonasasubview?为什么将按钮添加为子视图时会出现内存泄漏?【发布时间】:2010-02-2219:04:12【问题描述】:我有一个使用tableview的应用程序,... 查看详情

为啥会出现 NSException 错误?

】为啥会出现NSException错误?【英文标题】:WhyanNSExceptionerror?为什么会出现NSException错误?【发布时间】:2011-09-0819:49:50【问题描述】:我已将以下代码放入...;NSDictionary*plainPart=[NSDictionarydictionaryWithObjectsAndKeys:@"text/plain",kSKPSMTPP... 查看详情

为啥在 swift 中创建字符串时会出现内存泄漏?

】为啥在swift中创建字符串时会出现内存泄漏?【英文标题】:WhyisthereamemoryleakatStringcreationinswift?为什么在swift中创建字符串时会出现内存泄漏?【发布时间】:2015-07-1408:58:43【问题描述】:泄漏是RootLeak,在这张图片中,同一行... 查看详情

为啥 GoogleSignInAccount 会出现此错误?

】为啥GoogleSignInAccount会出现此错误?【英文标题】:whythiserroroccurredwithGoogleSignInAccount?为什么GoogleSignInAccount会出现此错误?【发布时间】:2021-08-0421:19:16【问题描述】:我正在尝试使用Google登录帐户,但我的代码出错了classAuthVi... 查看详情

为啥电脑开机总是显示错误127

开机总是显示“错误127”是为什么,请高手帮忙该内存不能readwritten常见原因使用Windows操作系统的人有时会遇到这样的错误信息:“0X????????指令引用的0x00000000内存,该内存不能written”,然后应用程序被关闭。如果去请教一些“... 查看详情

为啥即使没有错误,表单也会出现错误消息?

】为啥即使没有错误,表单也会出现错误消息?【英文标题】:Whytheformiserrormessageiscomingevenafternothavingtheerror?为什么即使没有错误,表单也会出现错误消息?【发布时间】:2014-04-0115:25:11【问题描述】:在以下代码中,错误如下... 查看详情

c程序为啥会崩溃?

参考技术AC语言程序运行出现exe停止工作的原因是因为内存溢出和编译器错误。第一种:内存溢出内存溢出(outofmemory)通俗理解就是内存不够,程序所需要的内存远远超出了主机内安装的内存所承受大小,就叫内存溢出。系统... 查看详情

为啥删除 UITableView 行时会出现错误?

】为啥删除UITableView行时会出现错误?【英文标题】:WhyisanerroroccurringwhenaUITableViewrowisdeleted?为什么删除UITableView行时会出现错误?【发布时间】:2011-12-0520:35:11【问题描述】:我正在尝试使用AppleTableViewProgrammingGuide中描述的标准... 查看详情

Android:为啥会出现这个错误?

】Android:为啥会出现这个错误?【英文标题】:Android:Whyamigettingthiserror?Android:为什么会出现这个错误?【发布时间】:2015-07-0123:11:27【问题描述】:我正在尝试将位图添加到我的目录中。它保存了图像,但我收到了蓝色字样的... 查看详情

如何在不出现以下错误的情况下启动纱线?

】如何在不出现以下错误的情况下启动纱线?【英文标题】:HowdoIstartyarnwithoutgettingthefollowingerror?【发布时间】:2021-12-2813:41:34【问题描述】:安装所需的依赖项后,我尝试通过在终端中键入yarnrunstart来启动开发服务器,我得到... 查看详情