正文

记一次storm提交任务遇到的坑(代码片段)

zzf0305  zzf0305  2023-02-01  320

关键词：

摘要:主要是自己没有真正理解storm jar命令参数的意义。

情景复现：

　　在storm集群中使用命令提交后，在UI界面中，一直看不见任务提交上来的任务，但是在集群提交的shell界面中，是可以看到相关任务的日志输出情况的。

　　下面是导致任务提交不上去的代码：

　　　　解释：storm jar xxxxxxx.jar com.主函数名　　

　　　　　　　在storm集群中使用此命令进行提交时，jar包后面是需要输入主函数的。

if (args.length < 1) 
　　LocalCluster cluster = new LocalCluster();
   //在本地运行
   cluster.submitTopology(properties.getProperty(TOPOLOGY_NAME, DEFAULT_TOPOLOGY_NAME), config, builder.createTopology());
 else 
   StormSubmitter.submitTopology(properties.getProperty(TOPOLOGY_NAME, DEFAULT_TOPOLOGY_NAME), config, builder.createTopology());

　　此代码中的args你可能会和我一样，理解成是输入的主函数的路径，就理解成在提交时输入了主函数，这儿就不小于1了，就是在集群上运行了。

　　但是，实际的情况是，你在集群上，提交任务时，后面输的主函数的路径，不代表你从控制台输入的参数个数。（有点绕，自己多做两次实验就可以了）

　　如果想要使用上面的方法：正确的姿势是：storm jar xxxxxxx.jar com.主函数名随便再输入一个参数(我这儿的配置文件等，不是从控制台获取，随便输入没有任何实际意义)

　就可以使用上面的方法了。

记一次使用cobar踩到的坑(代码片段)

起因起因是因为日志里经常报出锁等待超时的错误，并且这个是环环相扣的，一个锁等待会直接引发另外的锁等待，所以危害非常严重，影响非常深远。寻找原因发现是C3P0报出了DEADLOCK，如下图所示：分析... 查看详情

spark-streaming任务提交遇到的坑

一、背景　　基本所有公司互联网公司都会有离线和实时任务，达到实时的目的手段据个人了解有storm、spark-streaming、flink。今天来探讨一下spark-streaming任务的开发到上线过程中遇到的问题。　　公司领导最近提了一个实时展示... 查看详情

记一次拿webshell踩过的坑(如何用php编写一个不包含数字和字母的后门)(代码片段)

0x01前言最近在做代码审计的工作中遇到了一个难题，题目描述如下：<?phpinclude‘flag.php‘;if(isset($_GET[‘code‘]))$code=$_GET[‘code‘];if(strlen($code)>40)die("Long.");if(preg_match("/[A-Za-z0-9]+/",$code))die("NO.");@eval($ 查看详情

记一次typescript+react的match的坑(代码片段)

1importReactfrom"react";2importmatchfrom‘react-router-dom‘34interfaceProps5match:match<id?:string>678constRdx:React.FC<Props>=(match:Props)=>9constid=match.params.id;10return(11<div>12我是Rdx页面,id是id13</div>14);1516exportdefaultRdx 查看详情

记一次解密的坑

做项目遇到请求对方页面,对方返回的参数串直接拼接到我的URL上,是一个加密串.因为忘记了之前有URLEncoder这个步骤,解密的时候没有使用URLDecoder进行解密,直接使用AES解密遇到报错,Inputlengthmustbemultipleof16whendecryptingwithpad还可能报Il... 查看详情

记一次springboot开发中所遇到的坑和解决方法

记一次SpringBoot开发中所遇到的坑和解决方法mybatis返回Integer为0，自动转型包空指针异常当我们使用Integer去接受数据库中表的数据，如果返回的数据中为0，那么Integer便为null，这时候将Interger自动转型为int，则会出现空指针... 查看详情

记一次抓狂的乱码经历(代码片段)

常年Eclipse的守旧派久闻IDEA大名，终于在dalao的安利下入了IDEA的坑（（才不是因为可以用翻译插件入坑一段时间，因为在编码方面了解的还算比较多，平时基本没遇到过乱码问题，并且在第一次使用IDEA时就修改了设置中所有编码... 查看详情

记一次weblogic发布springboot遇到的坑

项目使用的是Springboot，之前直接使用JAR包的方式发布，但在客户这边实施发布的时候，客户使用的容器是weblogic，版本为10.3.6。痛苦就此开始！不过项目组还有另外一个也同样使用了Springboot，他们已经顺利发布了，嗯~再百... 查看详情

记一次简单的自动投票操作(代码片段)

朋友在社区居委会上班,偶尔会有一些投票活动,每个人都有任务,得投到多少票才行,有点烦人又浪费时间,所以就想写一个自动投票的,这次是这个网址,规则:选择其中一个视频,点击下方的"投票",输入手机号码,提交... 查看详情

storm提交包自带的jar任务示例(代码片段)

storm程序启动详见：linuxcentos7.6安装ApacheStorm1.2.3https://blog.csdn.net/wei198621/article/details/115449855启动示例程序过程[root@storm51storm]#echo$STORM_HOME/usr/local/storm[root@storm51storm]#lltot 查看详情

记一次若依微服务版mybatis升级mybatis-plus之后遇到的坑

参考技术A错误：mybatis升级mp后启动报错：经过大佬 AbstractCulture的在线指导，在debug模式下源码逐步执行之后发现问题出在mp解析xml文件的时候出现错误，没加载到自己的bean 查看详情

记一次nginx代理两个tomcat(代码片段)

　　今天在公司里遇到一个问题，就是一个服务器上发布两个tomcat，端口号什么的都改完了，就是证书这一块过不去。突然想起来nginx可以做反向代理，就试着用了一下nginx。以前也没有用过，于是在网上查找了大量的关于nginx的... 查看详情

记一次项目上线后log4j2不输出日志的坑(代码片段)

公司项目采用了Log4j2来输出日志，在开发环境和测试环境下均可以输出日志，但在生成环境就没有日志输出。开始毫无头绪，后来通过不断的排查，终于解决了这个问题。在此记录下该问题的解决过程，便于后续查... 查看详情

记一次学习kibaba踩过的坑(windows环境)

下载地址ElasticSearch:https://www.elastic.co/cn/downloads/elasticsearchLogstash:https://www.elastic.co/cn/downloads/logstashKibana:https://www.elastic.co/cn/downloads/kibana安装Kibana的过程中遇到这样的问题查看详情

wpf中timespan的坑(代码片段)

原文:WPF中TimeSpan的坑记一次在WPF中，在将格式为“DD.HH:mm:ss”字符串转换成TimeSpan时遇到的坑如果字符串为：DD.HH:mm:ss，转换结果正确。例如：1varcurrentValue="2.12:25:45.555";2TimeSpanresult;3varsuccess=TimeSpan.TryParse(currentValue,out 查看详情

记一次文件读写遇到的bug(代码片段)

代码一：#include<sys/types.h>#include<sys/stat.h>#include<fcntl.h>#include<iostream>#include<unistd.h>usingnamespacestd;intmain() char*buf=newchar[8]; //can't 查看详情

记一次文件读写遇到的bug(代码片段)

代码一：#include<sys/types.h>#include<sys/stat.h>#include<fcntl.h>#include<iostream>#include<unistd.h>usingnamespacestd;intmain() char*buf=newchar[8]; //can't 查看详情

记一次运行spark程序遇到的权限问题(代码片段)

设置回滚点在本地运行时正常，在集群时就报错，后来是发现ceshi这个目录其他用户没有写的权限，修改其他用户的权限就好了 hdfsdfs-chmod777/ceshi 查看详情