大数据学习之linux进阶02

hidamowang hidamowang     2022-11-30     513

关键词:

大数据学习之Linux进阶

1-> 配置IP

1)修改配置文件
vi /sysconfig/network-scripts/ifcfg-eno16777736

2)注释掉dhcp
#BOOTPROTO="dhcp"

3)添加配置(windows->ipconfig -all)

IPADDR=192.168.50.179
NETMASK=225.255.255.0
GATEWAY=192.168.50.1
DNS1=219.141.136.10

4)重启网卡
service network restart

2-> Linux常用目录命令行(增删改查)

1)当前目录下创建文件夹
mkdir 文件夹名

2)创建指定路径文件夹
mkdir 路径

3)修改文件夹名
mv oldname newname

4)删除文件
rm 文件

5)强制删除文件
rm -f 文件

6)递归删除文件夹
rm -r 文件夹

7)强制递归删除
rm -rf

8)拷贝文件
cp 文件 路径

9)拷贝文件夹
cp -r 文件夹 路径

3-> Linux文件的操作命令(增删改查)

1)创建文件
touch 文件名

2)查看文件内容
-》cat 文件名
-》more 文件名 显示百分比,回车下一行,空格向下一页,q退出
-》less 文件名 可以使用PgUp PgDn 向上和向下翻页,q退出
-》tail -10 查看文件的后10行
tail -f 监控文件(flume)

3)vi编辑
按i:插入内容
按esc:退出编辑模式
按:wq!

4)删除
rm -rf 文件名

4-> Linux压缩和解压命令
进入sftp:alt+p

1)解压
tar -zxvf 压缩包
z:调用gzip压缩命令进行压缩
x:解压文件
v:显示运行过程
f:指定文件名

2)打包
tar -zcvf 打包后文件名 打包文件 打包文件...
c:打包文件

5-> linux其它常用命令

1)显示当前所在位置
pwd

2)搜索命令
find / -name "a.txt"

whereis date

3)查看进程
ps -ef
ps -ef | grep 进程名
| 含义:上一条命令的输出时下一条命令的输入

4)yum软件包管理器
yum search 软件
yum install tools

5)权限操作
方法1:chmod u+x 文件名

方法2:如图所示

技术图片

 



6-> linux用户操作

1)添加用户
useradd 用户名
passwd 用户名

2)切换用户
su 用户名

3)权限
vi /etc/sudoers
root ALL=(ALL) ALL

麦子深度学习之-机器学习算法高级进阶

麦子深度学习之-机器学习算法高级进阶随笔背景:在很多时候,很多入门不久的朋友都会问我:我是从其他语言转到程序开发的,有没有一些基础性的资料给我们学习学习呢,你的框架感觉一下太大了,希望有个循序渐进的教... 查看详情

大数据入门学习之hadoop技术优缺点

大数据入门学习之Hadoop技术优缺点(1)Hadoop具有按位存储和处理数据能力的高可靠性。(2)Hadoop通过可用的计算机集群分配数据,完成存储和计算任务,这些集群可以方便地扩展到数以千计的节点中,具有高扩展性。(3)Hadoop能够在节... 查看详情

嘉明的云计算与大数据学习之大数据综合实验案例(代码片段)

...se:3.8。2.实验步骤概述本案例共包含4个实验步骤。(1)本地数据集上传到数据仓库Hive。(2)Hive数据分析。(3)Hive,MySQL、HBase数据互导。(4)利用R进行数据可视化分析。实验整体的流程如下:将数据源抽取到HDFS存储;通过Hive清洗... 查看详情

分享《深度学习之tensorflow:入门原理与进阶实战》pdf+源代码

下载:https://pan.baidu.com/s/1IAfr-tigqGE_njrfSATT_w《深度学习之TensorFlow:入门、原理与进阶实战》,李金洪著。中文PDF,939页,带书签目录,文字可以复制粘贴。配套源代码。如图: 查看详情

大数据学习之kafka消息队列31

一:Kafka概述离线部分:Hadoop->离线计算(hdfs/mapreduce)yarnzookeeper->分布式协调(动物管理员)hive->数据仓库(离线计算/sql)easycodingflume->数据采集sqoop->数据迁移mysql->hdfs/hivehdfs/hive->mysqlAzkaban->任务调度工具hbase-&g 查看详情

大数据学习之_01_linux学习_02_组管理和权限管理+定时任务调度+linux磁盘分区挂载+linux的网络配置+进程管理(重点)+软件包管理+大厂面试题+感悟分享+资料附录(代码片段)

10组管理和权限管理10.1Linux组的基本介绍10.2文件/目录的所有者10.3文件/目录的所在组10.4权限的基本介绍10.5rwx权限详解10.6修改权限指令-chmod10.7修改文件所有者-chown10.8修改文件所在组-chgrp10.9最佳实践-警察和土匪游戏11定时任务调... 查看详情

大数据学习之sqoop框架25

...apache.org/ 2)场景传统型缺点,分布式存储。把传统型数据库数据迁移。ApacheSqoop(TM)是一种用于在ApacheHadoop和结构化数据存储(如关系数据库)之间高效传输批量数据的工具。 2:Sqoop安装部署1)下载安装包2)解压tar-zx... 查看详情

大数据学习之hdfs的工作机制07

1:namenode+secondaryNameNode工作机制2:datanode工作机制 3:HDFS中的通信(代理对象RPC)下面用代码来实现基本的原理1:服务端代码packageit.dawn.HDFSPra.RPC.server;importjava.io.IOException;importorg.apache.hadoop.HadoopIllegalArgumentExce 查看详情

大数据hadoop学习之搭建hadoop平台(2.1)

   关于大数据,一看就懂,一懂就懵。 一、简介  Hadoop的平台搭建,设置为三种搭建方式,第一种是“单节点安装”,这种安装方式最为简单,但是并没有展示出Hadoop的技术优势,适合初学者快速搭建;第二种是“... 查看详情

分享《深度学习之tensorflow:入门原理与进阶实战》pdf+源代码

下载:https://pan.baidu.com/s/1zI-pblJ5dEwjGVe-QQP9hQ更多资料:http://blog.51cto.com/3215120《深度学习之TensorFlow:入门、原理与进阶实战》,李金洪著。中文PDF,939页,带书签目录,文字可以复制粘贴。配套源代码。如图: 查看详情

分享《深度学习之tensorflow:入门原理与进阶实战》pdf+源代码

下载:https://pan.baidu.com/s/1zI-pblJ5dEwjGVe-QQP9hQ更多资料:http://blog.51cto.com/3215120《深度学习之TensorFlow:入门、原理与进阶实战》,李金洪著。中文PDF,939页,带书签目录,文字可以复制粘贴。配套源代码。如图: 查看详情

分享《深度学习之tensorflow:入门原理与进阶实战》pdf+源代码

下载:https://pan.baidu.com/s/1zI-pblJ5dEwjGVe-QQP9hQ更多分享资料:https://www.cnblogs.com/javapythonstudy/《深度学习之TensorFlow:入门、原理与进阶实战》,李金洪著。中文PDF,939页,带书签目录,文字可以复制粘贴。配套源代码。如图:  查看详情

大数据学习之提交job流程,排序11

...序4)二次排序 3 案例:在流量汇总输出文件里的数据 进行分区,每个分区中的数据进行排序 数据预览,这里只是进行了流量的汇总,没有进行分区和排序& 查看详情

大数据spark“蘑菇云”行动代码学习之adclickedstreamingstats模块分析

2016年大数据Spark“蘑菇云”行动代码学习之AdClickedStreamingStats模块分析  系统背景:用户使用终端设备(IPAD、手机、浏览器)等登录系统,系统采用js脚本发送用户信息和广告点击信息到后台日志,进入flume监控,通过kafka... 查看详情

hive学习之五《hive进阶—udf操作案例》详解

hive—UDF操作udf的操作过程:在HIVE会话中add 自定义函数的jar文件,然后创建function,继而使用函数。 下面就以下面课题为例:课题:统计每个活动的PV和UV一、Java通过正则表达式,截取标题名称。以链接,截取标红的... 查看详情

大数据学习之hadoop生态圈(代码片段)

...6、Hadoop的优点及缺点7、Hadoop组成前言上篇文章讲述了大数据的发展及历程,这篇文章就带大家进入大数据的技术应用,以下文章观点或描述如有错误,请指正!!1、什么是hadoop广义&#x 查看详情

pgl图学习之图神经网络erniesageunimp进阶模型[系列八](代码片段)

PGL图学习之图神经网络ERNIESage、UniMP进阶模型[系列八]原项目链接:fork一下即可:https://aistudio.baidu.com/aistudio/projectdetail/5096910?contributionType=1相关项目参考:(其余图神经网络相关项目见主页)关于图计算&图学习的基础知识概... 查看详情

android开发学习之进阶技巧(代码片段)

一、全局获取ContextAndroid提供了一个Application类,每当程序启动的时候,系统会自动将这个类进行初始化。可以定制一个自己的Application类,便于管理程序内的一些全局状态信息,如Context。新建类继承Application,... 查看详情