[hadoop3.x]银行海量转账数据分层案例(代码片段)

manor的大数据奋斗之路 manor的大数据奋斗之路     2023-01-10     395

关键词:

银行每一天都有大量的转账、交易需要保存、处理。用户每进行一笔交易或者转账,银行都需要将用户转账的所有相关信息保存下来。
四大银行:

银行有非常多的用户,四大银行拥有数10亿的用户。要保存的数据量可想而知。如果说有的数据,都同等对待,为了保证使用数据的性能,采用的是高性能存储,这将是一笔不小的资源浪费。实际上,超过一定时间的数据,数据访问的频率要低得多。例如:用户查询5年前的转账记录、要比查询1年类的转账记录频率要低得多。

所以,为了能够更好地利用资源,需要对数据进行分层。也就是不同时间范围的数据,放在不同的层(冷热温)中。
5.1 存储分层策略
按照以下配置,在HDFS的source目录中创建以下几个文件夹:

文件夹路径 存储策略 说明

/source/bank/transfer/log_lte1y DISK 存储一年以内采集的数据 /source/bank/transfer/log_gt1y ARCHIVE 存储1年以上的数据

5.2 测试

创建文件夹

hdfs dfs -mkdir -p /source/bank/transfer/log_lte1y
hdfs dfs -mkdir -p /source/bank/transfer/log_gt1y

指定存储策略

hdfs storagepolicies -setStoragePolicy -path /source/bank/transfer/log_lte1y -policy HOT
hdfs storagepolicies -setStoragePolicy -path /source/bank/transfer/log_gt1y -policy COLD

查看存储策略

hdfs storagepolicies -getStoragePolicy -path /source/bank/transfer/log_lte1y
hdfs storagepolicies -getStoragePolicy -path /source/bank/transfer/log_gt1y

上传文件测试

上传文件到linux

rz

一年

hdfs dfs -put /root/bank_record.csv 
/source/bank/transfer/log_lte1y/bank_record_2020_9.csv

五年

hdfs dfs -put /root/bank_record.csv 
/source/bank/transfer/log_gt1y/bank_record_2015_9.csv

假设现在到了2021年10年,我们可以将之前的数据移动到log_gt1y

hdfs dfs -mv /source/bank/transfer/log_lte1y/bank_record_2020_9.csv 
/source/bank/transfer/log_gt1y/bank_record_2020_9.csv

案例银行转账存储过程(代码片段)

1ifobject_id(N‘usp_transfer‘,N‘P‘)isnotnull2dropprocusp_transfer3GO4createprocusp_transfer5@fromchar(4),----转账人6@tochar(4),--收账人7@balancemoney,--转账金额8@resultNumberintoutput--转账结果(1表示成功,2表示失败,3表示余额不足)9 查看详情

手写实现自定义简易版spring(实现ioc和aop)(代码片段)

...义简易版Spring(实现IoC和AOP)源码地址点这里1、银行转账案例界面2、银行转账案例表结构3、银行转账案例代码调用关系4、银行转账案例关键代码TransferServletpackagecom.tao.servlet;importcom.tao.service.impl.TransferServiceImpl;importcom.ta... 查看详情

手写实现自定义简易版spring(实现ioc和aop)(代码片段)

...义简易版Spring(实现IoC和AOP)源码地址点这里1、银行转账案例界面2、银行转账案例表结构3、银行转账案例代码调用关系4、银行转账案例关键代码TransferServletpackagecom.tao.servlet;importcom.tao.service.impl.TransferServiceImpl;importcom.ta... 查看详情

大数据hadoop2.x与hadoop3.x相比较都有哪些变化

参考技术A在这篇文章中,我们将讨论Hadoop2.x与Hadoop3.x之间的比较。Hadoop3版本中添加了哪些新功能,Hadoop3中兼容的Hadoop2程序,Hadoop2和Hadoop3有什么区别?我们希望Hadoop2和Hadoop3之间的这个功能的区别将帮助回答上述问题。Hadoop2.x... 查看详情

jsp+servlet+mysql实现简单的银行登录转账功能

jsp+servlet+mysql实现简单的银行登录转账功能 【前期的准备】html(登录界面),servlet(处理业务逻辑),jsp(主要实现界面),mysql(实现与数据库的简单的交互)先从一个登录页面开始(利用表单提交,action=“jsp实现页面”)... 查看详情

jdbc事务的处理-----模拟银行转账业务

定义:  数据库事务(简称:事务)是数据库管理系统执行过程中的一个逻辑单位,由一个有限的数据库操作序列构成。概要:  一个数据库事务通常包含了一个序列的对数据库的读/写操作。它的存在包含有以下两个目的... 查看详情

PayPal和转账到多个银行账户

】PayPal和转账到多个银行账户【英文标题】:PayPalandtransfertomultiplebankaccounts【发布时间】:2020-10-2612:12:27【问题描述】:我目前正在开发一个用户A可以从用户B那里购买东西的应用。我想做的是让用户A使用PayPal付款。然后在后端... 查看详情

jdbc——事务

银行转账案例演示1.需求:一个账号fromAccount向另一个账号toAccount转入money元钱2.分析:检查两个账号是否存在,不存在的话,结束转账行为检查转出账号的里金额是否充足,不充足,结束转账行为,充足的话,进行扣款money元转入... 查看详情

jdbc实现jdbc实现银行的转账事务

JDBC中的事务是默认提交的,也就是说每执行一次PreparedStatement,那么数据就会被写入到磁盘。如果需要关闭默认提交,使用 voidsetAutoCommit(false) .db.propertiesdriverClassName=oracle.jdbc.OracleDriverurl=jdbc:oracle:thin:@localhost:1521:xeuse 查看详情

大数据技术——hadoop3.x入门搭建+安装调优(1.入门)(代码片段)

...环境准备3.2克隆虚拟机3.3在hadoop102安装JDK3.4在hadoop102安装Hadoop3.5Hadoop目录结构四、Hadoop运行模式4.1本地运行模式(官方WordCount)4.2完全分布式运行模式(开发重点& 查看详情

银行海量交易数据是怎么存储的

...助企业经营决策更积极目的的资讯。”分析和决策这才是银行引入“大数据”处理的关键因素。仅仅对于“海量流水数据提供给客户查询”而言,只是满足了客户的某个功能性需求而已。一般来说,银行的数据都是结构化的、持... 查看详情

✨[hadoop3.x]新一代的存储格式apachearrow

...停留在Hadoop2.x阶段,本系列将依据黑马程序员大数据Hadoop3.x全套教程,对2.x没有的新特性进行补充更新,一键三连加关注,下次不迷路& 查看详情

[hadoop3.x系列]googleoption概要及使用(代码片段)

...停留在Hadoop2.x阶段,本系列将依据黑马程序员大数据Hadoop3.x全套教程,对2.x没有的新特性进行补充更新,一键三连加关注,下次不迷路!1.1实现思路分析使用GoogleOption解析命令行参数。读取要采集的数据目录&#... 查看详情

[hadoop3.x系列]googleoption概要及使用(代码片段)

...停留在Hadoop2.x阶段,本系列将依据黑马程序员大数据Hadoop3.x全套教程,对2.x没有的新特性进行补充更新,一键三连加关注,下次不迷路!1.1实现思路分析使用GoogleOption解析命令行参数。读取要采集的数据目录&#... 查看详情

✨[hadoop3.x]新一代的存储格式apachearrow

...停留在Hadoop2.x阶段,本系列将依据黑马程序员大数据Hadoop3.x全套教程,对2.x没有的新特性进行补充更新,一键三连加关注,下次不迷路& 查看详情

转账到用户的银行账户

】转账到用户的银行账户【英文标题】:Transferstouser\'sbankaccount【发布时间】:2014-08-2704:56:11【问题描述】:在贝宝上,用户可以通过银行卡或贝宝账户在网站上购买服务。但是网站是否可以自动向用户的银行账户转账?提前谢... 查看详情

[hadoop3.x系列]hdfsresthttpapi的使用httpfs(代码片段)

...停留在Hadoop2.x阶段,本系列将依据黑马程序员大数据Hadoop3.x全套教程,对2.x没有的新特性进行补充更新,一键三连加关注,下次不迷路!历史文章[hadoop3.x系列]HDFSRESTHTTPAPI的使用(一)WebHDFS🍑HTTPFS概述lHttpHDFS... 查看详情

[hadoop3.x系列]hdfsresthttpapi的使用httpfs(代码片段)

...停留在Hadoop2.x阶段,本系列将依据黑马程序员大数据Hadoop3.x全套教程,对2.x没有的新特性进行补充更新,一键三连加关注,下次不迷路!历史文章[hadoop3.x系列]HDFSRESTHTTPAPI的使用(一)WebHDFS🍑HTTPFS概述lHttpHDFS... 查看详情