正文

OOZIE：JA009：RPC 响应超出最大数据长度

 2023-04-18  199

关键词：

【中文标题】OOZIE：JA009：RPC 响应超出最大数据长度【英文标题】：OOZIE: JA009: RPC response exceeds maximum data length 【发布时间】：2018-12-05 13:06:48 【问题描述】：

OOZIE wordcount 示例给出 JA009：RPC 响应超出最大数据长度。我们将 ipc.maximum.data.length 加倍并重新启动了 NameNode。

2018-12-05 17:55:45,914  WARN MapReduceActionExecutor:523 - SERVER[******] USER[******] GROUP[-] TOKEN[] APP[map-reduce-wf] JOB[0000004-181205174411487-oozie-******-W] ACTION[0000004-181205174411487-oozie-******-W@mr-node] No credential properties found for action : 0000004-181205174411487-oozie-******-W@mr-node, cred : null
2018-12-05 18:10:46,019  WARN ActionStartXCommand:523 - SERVER[******] USER[******] GROUP[-] TOKEN[] APP[map-reduce-wf] JOB[0000004-181205174411487-oozie-******-W] ACTION[0000004-181205174411487-oozie-******-W@mr-node] Error starting action [mr-node]. ErrorType [TRANSIENT], ErrorCode [JA009], Message [JA009: RPC response exceeds maximum data length]
org.apache.oozie.action.ActionExecutorException: JA009: RPC response exceeds maximum data length
    at org.apache.oozie.action.ActionExecutor.convertExceptionHelper(ActionExecutor.java:463)
    at org.apache.oozie.action.ActionExecutor.convertException(ActionExecutor.java:437)
    at org.apache.oozie.action.hadoop.JavaActionExecutor.submitLauncher(JavaActionExecutor.java:1070)
    at org.apache.oozie.action.hadoop.JavaActionExecutor.start(JavaActionExecutor.java:1512)
    at org.apache.oozie.command.wf.ActionStartXCommand.execute(ActionStartXCommand.java:243)
    at org.apache.oozie.command.wf.ActionStartXCommand.execute(ActionStartXCommand.java:68)
    at org.apache.oozie.command.XCommand.call(XCommand.java:290)
    at org.apache.oozie.service.CallableQueueService$CompositeCallable.call(CallableQueueService.java:334)
    at org.apache.oozie.service.CallableQueueService$CompositeCallable.call(CallableQueueService.java:263)
    at java.util.concurrent.FutureTask.run(FutureTask.java:266)
    at org.apache.oozie.service.CallableQueueService$CallableWrapper.run(CallableQueueService.java:181)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
    at java.lang.Thread.run(Thread.java:745)
Caused by: org.apache.hadoop.ipc.RpcException: RPC response exceeds maximum data length
    at org.apache.hadoop.ipc.Client$IpcStreams.readResponse(Client.java:1808)
    at org.apache.hadoop.ipc.Client$Connection.receiveRpcResponse(Client.java:1163)
    at org.apache.hadoop.ipc.Client$Connection.run(Client.java:1059)

任何帮助将不胜感激。谢谢

【问题讨论】：

您使用的端口号可能有问题。试试这个：***.com/a/60701948/8504709> 【参考方案1】：

您是否尝试修改 hdfs-site.xml 中的配置？

<property>
     <name>ipc.maximum.data.length</name>
     <value>134217728</value>
</property>

如果它已经足够高，那么确保 fs.default.name 的 core-site.xml 配置使用的是 ip 而不仅仅是 localhost。

<configuration>
       ....
        <property>
                <name>fs.default.name</name>
                <value>hdfs://your ip:9000</value>
        </property>
</configuration>

【讨论】：

目前我们正在使用这个配置： ipc.maximum.data.length134217728 而在 core-site.xml 我们使用的是 ip。虽然我们的 hadoop 集群是 HA，所以我们也尝试过。 fs.defaultFShdfs://clustername 同样在oozie中，我们需要设置哪些配置。你确定你的namenode已经启动了吗？运行 JPS 会得到什么？是的 NameNode 和所有的 DataNode 都已启动。我已经从 jps 以及 myip:50070 仔细检查了它

超出存储分配。服务器响应是：4.3.1 消息大小超过固定的最大消息大小

】超出存储分配。服务器响应是：4.3.1消息大小超过固定的最大消息大小【英文标题】：Exceededstorageallocation.Theserverresponsewas:4.3.1Messagesizeexceedsfixedmaximummessagesize【发布时间】：2011-08-0222:06:12【问题描述】：我正在使用SMTPclient发送... 查看详情

Pig : 容器在 cdh 5 中使用 oozie 运行超出物理内存限制

】Pig:容器在cdh5中使用oozie运行超出物理内存限制【英文标题】：Pig:Containerisrunningbeyondphysicalmemorylimitsincdh5usingoozie【发布时间】：2015-08-1014:17:31【问题描述】：我正在尝试运行一个简单的猪脚本，该脚本在gruntshell中运行f9但不能... 查看详情

样式化数据表以不超出屏幕

...第一个屏幕截图的最大尺寸。当浏览器变小时，它必须是响应式的。这是我的代码：查看详情

009_html布局响应式设计

HTML布局网站常以杂志、报纸样式显示使用<div>元素的HTML布局，方便通过css对其进行设计<!DOCTYPEhtml><html><head><style>#header{background-color:balck;color:white;text-align:center;padding:5px:}#nav{line-heit 查看详情

ora-01144_表空间数据文件超出最大限制

Oracle11gR2扩展表空间报ORA-01144错误。数据块大小为8K的数据库，单个数据文件大小限制在32GB内。解决办法：1、增加表空间数据文件的方式；2、创建BIGFILE表空间；查看详情

asp.netdictionary时间长了，出现索引超出了数组界限

一个static的dictionary，用来存放数据，key是10秒钟按照时间产生的，数据插入到数据库中后，dictionary[key].clear()、Dispose()和remove,但是运行一个多月后，出现System.Collections.Generic.Dictionary`2.Insert(TKeykey,TValuevalue,Booleanadd)错误，重新启动... 查看详情

在大型数据网格中分页时“超出最大请求长度”[重复]

】在大型数据网格中分页时“超出最大请求长度”[重复]【英文标题】："MaximumRequestLengthExceeded"whenpaginginlargeDatagrid[duplicate]【发布时间】：2015-04-2712:01:59【问题描述】：我的asp.netWeb应用程序中有一个Datagrid，它显示大约100... 查看详情

使用 JSON-RPC 缓存响应

】使用JSON-RPC缓存响应【英文标题】：CachingresponseswithJSON-RPC【发布时间】：2017-05-1108:42:08【问题描述】：在REST中我们可以通过URL缓存响应，但在JSON-RPC中所有数据都是传入的主体，那么我们如何在JSON-RPC中缓存响应？是否可以在... 查看详情

-1103 错误域=NSURLErrorDomain 代码=-1103“资源超出最大大小”iOS 13

...e"iOS13【发布时间】：2019-07-0915:07:27【问题描述】：当响应在iOS13上过大（14kb）时，我们会遇到以下网络错误。[-1103]ErrorDo 查看详情

求助#oracle数据库超出最大连接数

参考技术A那就别一直都连着，操作完就断开连接，下次操作再连参考技术Baltersystemsetprocesses=300scope=spfile;altersystemsetsessions=335scope=spfile;修改processes和sessions值必须重启oracle服务器才能生效查看详情

尝试更新配置文件数据时超出最大调用堆栈大小 - React Native

】尝试更新配置文件数据时超出最大调用堆栈大小-ReactNative【英文标题】：Maximumcallstacksizeexceededwhentryingtoupdateprofiledata-ReactNative【发布时间】：2021-12-1408:08:09【问题描述】：我正在尝试更新我的firebase实时数据库中的数据，但是... 查看详情

grpc实现服务端消息推送(代码片段)

...一元RPC一元RPC是最简单的RPC类型，它是一种单向的请求-响应模式。客户端向服务端发送一个请求，并等待服务端响应。ServerStreamingRPC：服务器流式RPC服务器流式RPC是一种服务端主动向客户端发送流式数据的RPC类型。在这种RPC类... 查看详情

RabbitMQ RPC 关闭最终消息的响应队列

】RabbitMQRPC关闭最终消息的响应队列【英文标题】：RabbitMQRPCcloseresponsequeueonfinalmessage【发布时间】：2016-03-1704:53:58【问题描述】：我计划用RabbitMQ实现一个RPC模式。客户端将发送一条消息以请求来自服务器的数据快照。服务器将... 查看详情

Vue.js“超出最大调用堆栈大小”错误。将数据从父母传递给孩子失败

】Vue.js“超出最大调用堆栈大小”错误。将数据从父母传递给孩子失败【英文标题】：Vue.js"Maximumcallstacksizeexceeded"error.Passingdatafromparenttochildfailing【发布时间】：2017-11-1503:43:22【问题描述】：我无法将数据从父母传递给孩... 查看详情

Javascript中的堆栈与堆？（超出最大调用堆栈大小）

】Javascript中的堆栈与堆？（超出最大调用堆栈大小）【英文标题】：Stackvs.HeapinJavascript?(Maximumcallstacksizeexceeded)【发布时间】：2012-06-2622:47:35【问题描述】：我正在尝试构建一个网页，我需要在JavaScript中铲出大约100MB的数据。使... 查看详情

组件篇值rpc（上）(代码片段)

...据包接收处理结果数据包解析返回数据包Server端监听端口响应连接请求接收数据包解析数据包，调用相应方法组装请求处理结果数据包发送结果数据包设计“用户”服务功能需求：用户信息管理—CRUD调用方式：TCP长... 查看详情

PyQT实时显示串口数据在QtCore.QTimer.singleShot()上抛出最大递归深度超出异常

...显示串口数据在QtCore.QTimer.singleShot()上抛出最大递归深度超出异常【英文标题】：PyQTrealtimedisplayofserialportdatathrowingmaximumrecursiondepthexceededexceptiononQtCore.QTimer.singleShot()【发布时间】：2018-12-1611:21:17【问题描述】：我的应用场景：从... 查看详情

Firebase 函数：未处理的错误 RangeError：超出最大调用堆栈大小

】Firebase函数：未处理的错误RangeError：超出最大调用堆栈大小【英文标题】：FirebaseFunction:UnhandlederrorRangeError:Maximumcallstacksizeexceeded【发布时间】：2019-01-2417:18:38【问题描述】：我有以下可调用函数，它从我的数据库中获取一些... 查看详情

正文