关键词:
大数据学习之Linux进阶
1-> 配置IP
1)修改配置文件
vi /sysconfig/network-scripts/ifcfg-eno16777736
2)注释掉dhcp
#BOOTPROTO="dhcp"
3)添加配置(windows->ipconfig -all)
IPADDR=192.168.50.179
NETMASK=225.255.255.0
GATEWAY=192.168.50.1
DNS1=219.141.136.10
4)重启网卡
service network restart
2-> Linux常用目录命令行(增删改查)
1)当前目录下创建文件夹
mkdir 文件夹名
2)创建指定路径文件夹
mkdir 路径
3)修改文件夹名
mv oldname newname
4)删除文件
rm 文件
5)强制删除文件
rm -f 文件
6)递归删除文件夹
rm -r 文件夹
7)强制递归删除
rm -rf
8)拷贝文件
cp 文件 路径
9)拷贝文件夹
cp -r 文件夹 路径
3-> Linux文件的操作命令(增删改查)
1)创建文件
touch 文件名
2)查看文件内容
-》cat 文件名
-》more 文件名 显示百分比,回车下一行,空格向下一页,q退出
-》less 文件名 可以使用PgUp PgDn 向上和向下翻页,q退出
-》tail -10 查看文件的后10行
tail -f 监控文件(flume)
3)vi编辑
按i:插入内容
按esc:退出编辑模式
按:wq!
4)删除
rm -rf 文件名
4-> Linux压缩和解压命令
进入sftp:alt+p
1)解压
tar -zxvf 压缩包
z:调用gzip压缩命令进行压缩
x:解压文件
v:显示运行过程
f:指定文件名
2)打包
tar -zcvf 打包后文件名 打包文件 打包文件...
c:打包文件
5-> linux其它常用命令
1)显示当前所在位置
pwd
2)搜索命令
find / -name "a.txt"
whereis date
3)查看进程
ps -ef
ps -ef | grep 进程名
| 含义:上一条命令的输出时下一条命令的输入
4)yum软件包管理器
yum search 软件
yum install tools
5)权限操作
方法1:chmod u+x 文件名
方法2:如图所示
6-> linux用户操作
1)添加用户
useradd 用户名
passwd 用户名
2)切换用户
su 用户名
3)权限
vi /etc/sudoers
root ALL=(ALL) ALL
麦子深度学习之-机器学习算法高级进阶
麦子深度学习之-机器学习算法高级进阶随笔背景:在很多时候,很多入门不久的朋友都会问我:我是从其他语言转到程序开发的,有没有一些基础性的资料给我们学习学习呢,你的框架感觉一下太大了,希望有个循序渐进的教... 查看详情
大数据入门学习之hadoop技术优缺点
大数据入门学习之Hadoop技术优缺点(1)Hadoop具有按位存储和处理数据能力的高可靠性。(2)Hadoop通过可用的计算机集群分配数据,完成存储和计算任务,这些集群可以方便地扩展到数以千计的节点中,具有高扩展性。(3)Hadoop能够在节... 查看详情
嘉明的云计算与大数据学习之大数据综合实验案例(代码片段)
...se:3.8。2.实验步骤概述本案例共包含4个实验步骤。(1)本地数据集上传到数据仓库Hive。(2)Hive数据分析。(3)Hive,MySQL、HBase数据互导。(4)利用R进行数据可视化分析。实验整体的流程如下:将数据源抽取到HDFS存储;通过Hive清洗... 查看详情
分享《深度学习之tensorflow:入门原理与进阶实战》pdf+源代码
下载:https://pan.baidu.com/s/1IAfr-tigqGE_njrfSATT_w《深度学习之TensorFlow:入门、原理与进阶实战》,李金洪著。中文PDF,939页,带书签目录,文字可以复制粘贴。配套源代码。如图: 查看详情
大数据学习之kafka消息队列31
一:Kafka概述离线部分:Hadoop->离线计算(hdfs/mapreduce)yarnzookeeper->分布式协调(动物管理员)hive->数据仓库(离线计算/sql)easycodingflume->数据采集sqoop->数据迁移mysql->hdfs/hivehdfs/hive->mysqlAzkaban->任务调度工具hbase-&g 查看详情
大数据学习之_01_linux学习_02_组管理和权限管理+定时任务调度+linux磁盘分区挂载+linux的网络配置+进程管理(重点)+软件包管理+大厂面试题+感悟分享+资料附录(代码片段)
10组管理和权限管理10.1Linux组的基本介绍10.2文件/目录的所有者10.3文件/目录的所在组10.4权限的基本介绍10.5rwx权限详解10.6修改权限指令-chmod10.7修改文件所有者-chown10.8修改文件所在组-chgrp10.9最佳实践-警察和土匪游戏11定时任务调... 查看详情
大数据学习之sqoop框架25
...apache.org/ 2)场景传统型缺点,分布式存储。把传统型数据库数据迁移。ApacheSqoop(TM)是一种用于在ApacheHadoop和结构化数据存储(如关系数据库)之间高效传输批量数据的工具。 2:Sqoop安装部署1)下载安装包2)解压tar-zx... 查看详情
大数据学习之hdfs的工作机制07
1:namenode+secondaryNameNode工作机制2:datanode工作机制 3:HDFS中的通信(代理对象RPC)下面用代码来实现基本的原理1:服务端代码packageit.dawn.HDFSPra.RPC.server;importjava.io.IOException;importorg.apache.hadoop.HadoopIllegalArgumentExce 查看详情
大数据hadoop学习之搭建hadoop平台(2.1)
关于大数据,一看就懂,一懂就懵。 一、简介 Hadoop的平台搭建,设置为三种搭建方式,第一种是“单节点安装”,这种安装方式最为简单,但是并没有展示出Hadoop的技术优势,适合初学者快速搭建;第二种是“... 查看详情
分享《深度学习之tensorflow:入门原理与进阶实战》pdf+源代码
下载:https://pan.baidu.com/s/1zI-pblJ5dEwjGVe-QQP9hQ更多资料:http://blog.51cto.com/3215120《深度学习之TensorFlow:入门、原理与进阶实战》,李金洪著。中文PDF,939页,带书签目录,文字可以复制粘贴。配套源代码。如图: 查看详情
分享《深度学习之tensorflow:入门原理与进阶实战》pdf+源代码
下载:https://pan.baidu.com/s/1zI-pblJ5dEwjGVe-QQP9hQ更多资料:http://blog.51cto.com/3215120《深度学习之TensorFlow:入门、原理与进阶实战》,李金洪著。中文PDF,939页,带书签目录,文字可以复制粘贴。配套源代码。如图: 查看详情
分享《深度学习之tensorflow:入门原理与进阶实战》pdf+源代码
下载:https://pan.baidu.com/s/1zI-pblJ5dEwjGVe-QQP9hQ更多分享资料:https://www.cnblogs.com/javapythonstudy/《深度学习之TensorFlow:入门、原理与进阶实战》,李金洪著。中文PDF,939页,带书签目录,文字可以复制粘贴。配套源代码。如图: 查看详情
大数据学习之提交job流程,排序11
...序4)二次排序 3 案例:在流量汇总输出文件里的数据 进行分区,每个分区中的数据进行排序 数据预览,这里只是进行了流量的汇总,没有进行分区和排序& 查看详情
大数据spark“蘑菇云”行动代码学习之adclickedstreamingstats模块分析
2016年大数据Spark“蘑菇云”行动代码学习之AdClickedStreamingStats模块分析 系统背景:用户使用终端设备(IPAD、手机、浏览器)等登录系统,系统采用js脚本发送用户信息和广告点击信息到后台日志,进入flume监控,通过kafka... 查看详情
hive学习之五《hive进阶—udf操作案例》详解
hive—UDF操作udf的操作过程:在HIVE会话中add 自定义函数的jar文件,然后创建function,继而使用函数。 下面就以下面课题为例:课题:统计每个活动的PV和UV一、Java通过正则表达式,截取标题名称。以链接,截取标红的... 查看详情
大数据学习之hadoop生态圈(代码片段)
...6、Hadoop的优点及缺点7、Hadoop组成前言上篇文章讲述了大数据的发展及历程,这篇文章就带大家进入大数据的技术应用,以下文章观点或描述如有错误,请指正!!1、什么是hadoop广义 查看详情
pgl图学习之图神经网络erniesageunimp进阶模型[系列八](代码片段)
PGL图学习之图神经网络ERNIESage、UniMP进阶模型[系列八]原项目链接:fork一下即可:https://aistudio.baidu.com/aistudio/projectdetail/5096910?contributionType=1相关项目参考:(其余图神经网络相关项目见主页)关于图计算&图学习的基础知识概... 查看详情
android开发学习之进阶技巧(代码片段)
一、全局获取ContextAndroid提供了一个Application类,每当程序启动的时候,系统会自动将这个类进行初始化。可以定制一个自己的Application类,便于管理程序内的一些全局状态信息,如Context。新建类继承Application,... 查看详情