关键词：
【中文标题】Nifi：如何在 nifi 中同步两个目录【英文标题】：Nifi: How to sync two directories in nifi 【发布时间】：2017-09-21 07:07:34 【问题描述】：我必须将我的响应流文件写在一个目录中，而不是从中获取数据更改它，然后将它放在其他目录中我想让这两个目录同步（我的意思是每当我删除或更改流文件在一个目录中时也应该在其他目录中更改）我有超过 10000 个流文件，所以 chechlist 不是一个好的解决方案。你能推荐我吗：
-
任何可以帮助我完成此操作的控制服务？
任何更好的方法我都可以在没有控制器服务的情况下完成这项任务
【问题讨论】：
rsync tool 我可以在 nifi 中使用 rsync 我的意思是我可以制作工作流以便 rsync 捕获 hdfs 目录中的更改吗？ 或者我可以在自定义处理器中实现它我的意思是如果我编写自定义处理器或者我可以为本地目录实现 rsync 吗？ 【参考方案1】：您可以使用ListFile、FetchFile 和PutFile 处理器的组合来检测文件系统目录中的单个文件写入更改并将其内容复制到另一个目录。但是，这不会检测文件删除，因此我相信更好的解决方案是在ExecuteProcess 处理器中使用rsync。
据我所知，rsync 不适用于 HDFS 文件系统，所以在这种情况下，我建议使用像 Helix 或 DistCp 这样的工具（我没有特别评估这些工具）。您可以通过ExecuteProcess 从“命令行”调用它们，或者将客户端库包装在ExecuteScript 或自定义处理器中。
【讨论】：
nifi同步中文表中文字段名(代码片段)
NiFi同步中文表、中文字段名一目的 假设Oracle数据库中有一个中文表，其字段名为纯中文。我们希望将表数据同步到MySQL数据库中，在MySQL数据库中创建同等类型的英文表名称和英文字段名称。那么在中文字段向英文字... 查看详情
nifi同步中文表中文字段名(代码片段)
NiFi同步中文表、中文字段名一目的 假设Oracle数据库中有一个中文表，其字段名为纯中文。我们希望将表数据同步到MySQL数据库中，在MySQL数据库中创建同等类型的英文表名称和英文字段名称。那么在中文字段向英文字... 查看详情
nifi同步api接口数据(代码片段)
NIFI同步API接口数据前言通过NIFI同步工具，从API接口中获取指定数据，并同步到MySQL数据库一、测试接口1.接口地址https://api.apiopen.top/api/getImages?page=0&size=52.接口数据二、NIFI任务流部署1.InvokeHTTP1.1配置HTTPMethod指... 查看详情
NiFi Bootstrap 如何确定 NiFi 是不是未运行？
】NiFiBootstrap如何确定NiFi是不是未运行？【英文标题】：HowdoesNiFiBootstrapdetermineifNiFiisnotrunning?NiFiBootstrap如何确定NiFi是否未运行？【发布时间】：2021-06-1719:13:13【问题描述】：我看到NiFi偶尔会重新启动。在nifi-app.log中没有错误指... 查看详情
如何在 Nifi 的虚拟环境中运行具有依赖关系的 python 脚本？
】如何在Nifi的虚拟环境中运行具有依赖关系的python脚本？【英文标题】：HowtorunapythonscriptwithdependenciesinavirtualenvironmentinNifi?【发布时间】：2020-08-0422:34:32【问题描述】：在Nifi中有没有办法运行一个python脚本，该脚本具有从不同... 查看详情
如何使用nifi在mysql中获取最后插入的记录
】如何使用nifi在mysql中获取最后插入的记录【英文标题】：Howtofetchlastinsertedrecordinmysqlusingnifi【发布时间】：2019-02-2609:42:13【问题描述】：我正在尝试在mysql数据库中插入一条记录，并在使用nifi插入成功时获取最后插入的记录。... 查看详情
大数据nifi（十八）：离线同步mysql数据到hdfs
文章目录离线同步MySQL数据到HDFS一、配置“QueryDatabaseTable”处理器 查看详情
如何在 Apache NiFi 中管理、排序和过滤大量流？
】如何在ApacheNiFi中管理、排序和过滤大量流？【英文标题】：Howtomanage,sort,andfilterlargenumbersofflowsinApacheNiFi?【发布时间】：2019-01-2005:09:54【问题描述】：ApacheNifi每个实例只为您提供一个画布。这不适合管理数百个流。可以对流进... 查看详情
数据湖：数据同步工具nifi
...主要思想密切相关。以下是一些主要的NiFi概念以及它们如何映射到FBP：ProcessorFBP映射：InformationPacket描述：processor是各种处理插件执行器，我们可以从中选择一个或者一组进行执行。ProcessGroupFBP映射：subnet描... 查看详情
如何在 NiFi 中跟踪 HDFS Active Namenode 更改事件？
】如何在NiFi中跟踪HDFSActiveNamenode更改事件？【英文标题】：HowtotrackHDFSActiveNamenodechangeeventinNiFi?【发布时间】：2018-09-1408:20:03【问题描述】：我有带有Active和StanbyNamenodes的HDFS集群。有时，当集群重新启动时，Namenode会交换它们的... 查看详情
如何在 Apache Nifi 中合并分区的 Json
】如何在ApacheNifi中合并分区的Json【英文标题】：HowtomergepartitionedJsoninApacheNifi【发布时间】：2019-09-2122:14:44【问题描述】：您好，我正在拆分大小从2GB到3GB的Json文件。我应该如何设置“合并内容”处理器以拥有原始文件？我在... 查看详情
Ambari 与 Nifi 有啥区别……这些风筝、香蕉在 Ambari 或 Nifi 中是如何使用的？
...Ambari与Nifi有啥区别……这些风筝、香蕉在Ambari或Nifi中是如何使用的？【英文标题】：WhatisthedifferencebetweenAmbariVsNifi...alsohowarethesekite,bananausedinAmbariorNifi?Ambari与Nifi有什么区别……这些风筝、香蕉在Ambari或Nifi中是如何使用的？【发... 查看详情
大数据nifi（十五）：nifi入门案例二
文章目录NiFi入门案例二一、配置“GenerateFlowFile”处理器1、拖拽“Processor”在弹框中输入“GenerateFlowFile”< 查看详情
大数据nifi（十五）：nifi入门案例二
文章目录NiFi入门案例二一、配置“GenerateFlowFile”处理器1、拖拽“Processor”在弹框中输入“GenerateFlowFile”< 查看详情
如何在 Apache NiFi 的 ExecuteProcess 中运行 sed
】如何在ApacheNiFi的ExecuteProcess中运行sed【英文标题】：HowdoIrunsedinExecuteProcessinApacheNiFi【发布时间】：2016-02-2211:20:12【问题描述】：我有csv日志文件，我使用ogr2ogr将其转换为GeoJSON，然后运行sed以清理elasticsearch。具体来说：og... 查看详情
大数据nifi：nifi架构
文章目录NiFi架构一、NiFi核心概念 查看详情
如何在 NIFI 中对 json 响应应用条件
】如何在NIFI中对json响应应用条件【英文标题】：howtoapplyconditiononjsonresponseinNIFI【发布时间】：2020-09-0704:47:06【问题描述】："alamrs":["correlate":["","",""],"event":"","group":"","history":["event":"","href":"","id":"","resource":"abc","status":" 查看详情
大数据nifi：什么是nifi
文章目录什么是NiFi一、NiFi背景介绍二、传统数据流解决方案遇到的问题三、NiFi特点什么是NiFiApacheNiFi是一个易于使用、功能强大而且可靠的数据处理和分发系统，在大数据生... 查看详情