Kettle csv导入,在格式错误的行中设置空值

     2023-04-18     125

关键词:

【中文标题】Kettle csv导入,在格式错误的行中设置空值【英文标题】:Kettle csv import, set null value in rows with format errors 【发布时间】:2020-07-20 13:04:08 【问题描述】:

我创建了一个导入作业,它从 CSV 文件中读取数据并将它们(进行一些更改)保存在 Mysql DB 中。 作业有效,但有时我的输入文件很脏,如果我为日期设置格式,我有一个例外,无法详细说明文件。

如图所示,我设置了日期格式。

不幸的是,有时这些值没有正确填写。如果值不是日期,我想设置一个空日期。相反,到目前为止,我得到的只是一个例外:

为不符合给定格式的单元格设置空值的最佳方法是什么?

【问题讨论】:

【参考方案1】:

我使用文本文件输入而不是 CSV 文件输入解决了问题。它嵌入了这个逻辑。

【讨论】:

请注意,您忽略了错误而不是管理它们。这意味着格式不正确的记录可能不会存储在数据库中。您应该有一个错误处理步骤,将错误日期转换为您想要的任何日期,然后将它们存储在数据库中。

ALTER TABLE,在非空列中设置空,PostgreSQL 9.1

】ALTERTABLE,在非空列中设置空,PostgreSQL9.1【英文标题】:ALTERTABLE,setnullinnotnullcolumn,PostgreSQL9.1【发布时间】:2012-11-1814:10:18【问题描述】:我有一个非空列的表,如何在该列中设置一个空值作为默认值?我的意思是,我想做这... 查看详情

如何使用kettle进行数据导入.csv

参考技术A在kettle中新建一个转换,再保存,再点击新建一个DB连接2.    Csv文件内容3.    按住shift连接两个图标,只能连接出错的红线。4.    点击连线上的红叉(不是太容易点,多试试... 查看详情

etl工具kettle的csv输入和excel输入

...常将excel或者csv的数据导入到数据库中,这里讲下怎么通过kettle进行导入;首先说下这两种格式的区别:CSV是文本文件,用记事本就能打开,XLS是二进制的文件只有用EXCEL才能打同时CSV(*.csv)文件格式只能保存活动工作表中的单元格所显... 查看详情

Sqoop2 Hbase 导入:无法为行键列插入具有空值的行

】Sqoop2Hbase导入:无法为行键列插入具有空值的行【英文标题】:Sqoop2HbaseImport:Couldnotinsertrowwithnullvalueforrow-keycolumn【发布时间】:2017-04-2613:06:44【问题描述】:我正在尝试使用sqoop作业将数据从oracle迁移到Hbase。看起来它已成功... 查看详情

在 csv 导入 pandas 期间跳过行

】在csv导入pandas期间跳过行【英文标题】:Skiprowsduringcsvimportpandas【发布时间】:2014-01-0509:49:07【问题描述】:我正在尝试使用pandas.read_csv()导入.csv文件,但是,我不想导入数据文件的第二行(索引=1的行用于0索引)。我看不出... 查看详情

PHP:在导入 csv 数据的脚本中出现解析错误

】PHP:在导入csv数据的脚本中出现解析错误【英文标题】:PHP:ParseErrorinscriptimportingcsvdata【发布时间】:2015-12-0910:00:17【问题描述】:我创建了这个小脚本来解析一个cvs文件,然后将它传递给mysql。我需要对其进行一些编辑,但... 查看详情

从 csv 文件批量插入 - 忽略有错误的行 - SQL Server

...2017-03-3000:09:08【问题描述】:我正在尝试将数据从csv文件导入SQLServer。csv文件中有数千个条目,其中有很多行包含不正确的数据。CSV文件中的一些行是:`"ID"|"EmpID"|"FName"|"LName"|"Gen 查看详情

将分隔文件 (.csv) 中的行导入 MS-Access 表

】将分隔文件(.csv)中的行导入MS-Access表【英文标题】:Importrowsfromdelimitedfile(.cvs)intoMS-Accesstable【发布时间】:2014-06-1914:29:42【问题描述】:系统背景:我正在使用带有用户界面的Access2010和存储数据库的MicrosoftSQLServer2008后端。问... 查看详情

如何在swiftUI中的List中设置空列背景颜色?

】如何在swiftUI中的List中设置空列背景颜色?【英文标题】:HowtosetemptycolumnbackgroundcolorinListinswiftUI?【发布时间】:2020-01-1719:54:50【问题描述】:我发现.listRowBackground(Color.Red.Blush)可以设置列表行列,但是在列表中有一些空行仍然... 查看详情

kettle文本文件导入没有表头

参考技术A很简单,用excel做个合适的表头,然后点击“获取字段”,则界面中获得了整个表头。在这个界面中复制整个信息表,然后到csv的输入界面把字段粘贴上,然后去掉“第一行包含表头”的对勾即可 查看详情

csv格式文件用excel打开身份证显示错误

...用excel打开就成了科学计数法,用文本打开或者打开空表导入外部数据可以查看完整的身份证号,但是需要使用excel一些数据处理操作比如筛选的时候就不行了,而且原csv表里是能够显示完整身份证号的,要怎么弄?原因:打开... 查看详情

导入到 phpmyadmin 时如何设置空值?

】导入到phpmyadmin时如何设置空值?【英文标题】:Howtosetnullvalueswhileimportingtophpmyadmin?【发布时间】:2011-06-0803:28:15【问题描述】:我正在尝试将.csv文件导入phpmyadmin,其中几个字段故意留空。我需要将这些字段注册为空值,而不... 查看详情

在 Pentaho Kettle 中设置初始存储库时出错

】在PentahoKettle中设置初始存储库时出错【英文标题】:ErrorsettingupinitialrepositoryinPentahoKettle【发布时间】:2016-02-2017:25:27【问题描述】:我是第一次设置pentaho。它能够看到mysql,但是当我尝试设置初始存储库时,它给了我这个错... 查看详情

kettle导入数据到hive出现多余的几行全部是null值的情况

 Kylin构建Cube的时候老是报错,说是有空值,其实源数据中是不存在空值的。为什么建Cube的时候会有呢?执行完毕后使用Hive查询发现多了好几行全部是null的行。 这在源数据中是不存在的。分析可能的原因是文本类型中存... 查看详情

使用 Pentaho Kettle 将空值替换为 NA

】使用PentahoKettle将空值替换为NA【英文标题】:ReplacenullvaluewithNAusingPentahoKettle【发布时间】:2016-03-3007:22:51【问题描述】:我有一个输入csv文件,其中一列字段值为空。我想在我的目标表中将该字段值替换为NA。在我的目标表中... 查看详情

SQL从具有空值的行数据中选择MIN值

】SQL从具有空值的行数据中选择MIN值【英文标题】:SQLSelectingMINvaluefromrowdatawithnullvalues【发布时间】:2012-08-1716:45:15【问题描述】:我在Oracle中的表是这样的ColCol1Col2Col3ColR------------------307340null-106032null20409080nullnull108045813050我也... 查看详情

CSV 文件格式

...:10【问题描述】:我有问题:我需要能够使用PHP将CSV文件导入MSAccess数据库。我有一个脚本可以做到,但是我的不对。原来的格式是:但脚本使用以下格式:这两个文件都是.csv。如何将第一种文件格式转换为所需的格式?我下面... 查看详情

Excel PowerQuery:数字列中的空值

...-0818:47:57【问题描述】:我正在使用PowerQuery查询从CSV文件导入数据。CSV文件中的某些单元格是空的。导入PowerQuery时,这些单元格会收到错误“无法将值null转换为数字类型”。该字段被(正确地)标识为type=number。但是,我真的 查看详情