大数据工程师需要学习哪些?

author author     2023-04-15     647

关键词:

现在想学大数据,希望网友给个中肯的回答,谢谢

    Java :只要了bai解一些基础即可,做大数据不需要很深的Java 技术,学java SE 就相当于有学习大数据。

    Linux:因为大数据相关软件都是在Linux上运行的,所以Linux要学习的扎实一些,学好Linux对你快速掌握大数据相关技术会有很大的帮助,能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置,能少踩很多坑,学会shell就能看懂脚本这样能更容易理解和配置大数据集群。

    Hadoop:这是现在流行的大数据处理平台几乎已经成为大数据的代名词,所以这个是必学的。

    Zookeeper:这是个万金油,安装Hadoop的HA的时候就会用到它,以后的Hbase也会用到它。

    Mysql:我们学习完大数据的处理了,接下来学习学习小数据的处理工具mysql数据库,因为一会装hive的时候要用到,mysql需要掌握到什么层度那?你能在Linux上把它安装好,运行起来,会配置简单的权限,修改root的密码,创建数据库。

    Sqoop:这个是用于把Mysql里的数据导入到Hadoop里的。

    Hive:这个东西对于会SQL语法的来说就是神器,它能让你处理大数据变的很简单

    Oozie:既然学会Hive了,我相信你一定需要这个东西,它可以帮你管理你的Hive或者MapReduce、Spark脚本,还能检查你的程序是否执行正确。

    Hbase:这是Hadoop生态体系中的NOSQL数据库,他的数据是按照key和value的形式存储的并且key是唯一的,所以它能用来做数据的排重,它与MYSQL相比能存储的数据量大很多。

    Kafka:这是个比较好用的队列工具。

    Spark:它是用来弥补基于MapReduce处理数据速度上的缺点。

    请点击输入图片描述

参考技术A 由浅入深依次掌握:

Java语言基础:
Java语言基础、Java流程控制、Java字符串、Java数组与类和对象、数字处理类与核心技术、I/O与反射,多线程、Swing程序与集合类;
HTML、CSS与JavaScript:
PC端网站布局、HTML5+CSS3基础、WebAPP页面布局、原生javascript交互功能开发、Ajax异步交互、jQuery应用;
JavaWeb和数据库:
数据库、javaWeb开发核心、JavaWeb开发内幕;
Linux基础:
Linux安装与配置、系统管理与目录管理、用户与用户组管理、Shell编程、服务器配置、Vi编辑器与Emacs编辑器;
Hadoop生态体系:
Hadoop起源与安装、MapReduce快速入门、Hadoop分布式文件系统、Hadoop文件I/O详解、MapReduce工作原理、MapReduce编程开发、Hive数据仓库工具、开源数据库HBase、Sqoop与Oozie;
Spark生态体系:
Spark简介、Spark部署和运行、Spark程序开发、Spark编程模型、作业执行解析、Spark SQL与DataFrame、深入Spark Streaming、Spark MLlib与机器学习、GraphX与SparkR、spark项目实战、scala编程、Python编程;
Storm实时开发:
storm简介与基本知识、拓扑详解与组件详解、Hadoop分布式系统、spout详解与bolt详解、zookeeper详解、storm安装与集群搭建、storm-starter详解、开源数据库HBase、trident详解;
投入时间和精力,以兴趣来驱动学习。在整个的学习过程中贯穿着代码实战。看的代码是别人的,动手写出来的是自己的。自己动手写代码,记忆更加深刻,效率更高。本回答被提问者采纳
参考技术B 一、认识大数据大数据本质其实也是数据,不过也包括了些新的特征,数据来源广;数据格式多样化(结构化数据、非结构化数据、Excel文件等);数据量大(最少也是TB级别的、甚至可能是PB级别);数据增长速度快。而针对以上新的特征需要考虑很多问题:例如,数据来源广,该如何采集汇总?采集汇总之后,又该存储呢?数据存储之后,该如何通过运算转化成自己想要的结果呢?对于这些问题,我们需要有相对应的知识解决。

二、大数据所需技能要求Python语言:编写一些脚本时会用到。

Scala语言:编写Spark程序的最佳语言,当然也可以选择用Python。

Ozzie,azkaban:定时任务调度的工具。

Hue,Zepplin:图形化任务执行管理,结果查看工具。

Allluxio,Kylin等:通过对存储的数据进行预处理,加快运算速度的工具。

必须掌握的技能:、 HBase(、 Kafka、Storm/JStorm、Scala、Python、Spark (Core+sparksql+Spark streaming ) 、辅助小工具(Sqoop/Flume/Oozie/Hue等)
参考技术C

你好,大数据学习的内容包括8个阶段的内容:

你可以按照顺序学习,先学习基础的东西,希望你早日学有所成。

参考技术D 要成为大数据工程师,必备的技能有Java,Spark,Hadoop,Hive和Big Data。

大数据工程师需要掌握哪些技能?

对于大数据工程师而言,您至少要掌握以下技能:一门JVM系语言:当前大数据生态JVM系语言类的比重极大,某种程度上说是垄断也不为过。这里我推荐大家学习Java或Scala,至于Clojure这样的语言上手不易,其实并不推荐大家使用... 查看详情

大数据开发工程师需要具备哪些技能?

可以根据招聘要求学习:1、o展示构建大数据解决方案的经验。Hadoop生态圈体验:Hadoop、Spark、MapReduce、Hive/Pig、Yarn、HBase等o有使用RDBMS和NoSQL栈的经验(ElasticSearch,HBase,Cassandra)o具备良好的Python统计和科学编程能力o有数据可视化工具... 查看详情

要成为一名大数据开发工程师必备哪些技能?

首先我们要了解Java语言和Linux操作系统,这两个是学习大数据的基础,学习的顺序不分前后。大数据Java:只要了解一些基础即可,做大数据不需要很深的Java技术,学javaSE就相当于有学习大数据基础。Linux:因为大数据相关软件... 查看详情

如何成为一个大数据工程师?学习路线图是什么?

...的路上很迷茫,不知道该如何成为一名合格的大数据开发工程师,也不知道该学习哪些技术,下面就给大家谈谈如何成为一个大数据开发工程师!想要成为大数据工程师,首先要更新自己的技术库,也就是说需要将自己以前学习... 查看详情

做大数据工程师需要掌握哪些技能呢?

...业,通过对数据的挖掘分析来影响企业的商业决策。Hadoop工程师用人企业普遍要求掌握以下技术:1、熟悉Linux开发环境,熟悉Shell命令2、熟悉Java、python、scala语言(至少一种)3、具备较丰富的基于Hadoop、MapReduce、Yarn、Storm、Spark... 查看详情

入门机器学习需要掌握哪些数据技能?

...到了网络搜索上。 但在那个时候,机器学习还和普通的工程师无缘。开发一个机器学习系统,需要读个PhD,还得找到一群想法类似、志同道合的朋友。 现在,机器学习终于更强大也更亲民了。 一个普通的软件工程师,不需要去... 查看详情

学习大数据技术需要掌握哪些java基础

大数据产业已进入发展的“快车道”,急需大量优秀的大数据人才作为后盾。如果你是Java编程出身,那学习大数据自然是锦上添花;但如果你是刚刚接触大数据技术,还在Java编程基础阶段,这篇文章非常值得你看!首先,我们... 查看详情

大数据到底能做什么?需要学习哪些知识?

相信很多大数据的初学者或者想转行大数据开发的朋友最关注的问题就是大数据开发到底可以做什么。什么是大数据??"大数据"这个词频繁的出现在媒体是2007年之后的事了。尽管已经过去了10多年的时间,但是大家对它... 查看详情

想转行到大数据开发需要学习哪些技术?

想转行到大数据开发需要学习哪些技术?如果要学习大数据,不管你是零基础,还是有一定的基础,都是要懂至少一种计算机编程语言,因为大数据的开发离不开编程语言,不仅要懂,还要精通!但这门编程语言不一定是java。... 查看详情

大数据kafka都有哪些优势能力呢?

...效,给大家免费分享一大批资料,帮助大家在成为大数据工程师,乃至架构师的路上披荆斩棘。在这里给大家推荐一个大数据学习交流圈:658558542欢迎大家进群交流讨论,学习交流,共同进步。当真正开始学习的时候难免不知道... 查看详情

大数据学习需要哪些课程?

...+英文)7课|01.Tableau8.0快速入门视频教程10课|参考技术A大数据技术专业属于交叉学科:以统计学、数学、计算机为三大支撑性学科。培养面向多层次应用需求的复合型人才。想要学习大数据课程推荐选择【达内教育】。大数据专... 查看详情

机器学习中,有哪些特征选择的工程方法?

机器学习中,有哪些特征选择的工程方法?数据和特征决定了机器学习的上限,而模型和算法调参只是逼近这个上限而已。0,特征本身是否具有基础的表征能力或者判别性,例如方差筛选法。方差是衡量一个变量的离散程度(即... 查看详情

如何自学大数据自学大数据方法

...息相关的Hadoop知识,学完能够胜任离线相关工作,包括ETL工程师、任务调度工程师、Hive工程师、数据仓库工程师等。找份上万的工作分分钟哦!6、第六阶段:学习spark,能够胜任Spark相关工作,包括ETL工程师、Spark工程师、Hbase... 查看详情

学python的10个有效方法都有哪些?

...大数据的时代,用python做大数据也是可以的,大数据分析工程师也是炙手可热的职位;全栈工程师:如今程序员都在向着全栈的方向发展,而学习python更具备这方面的优势;系统运维:python在很多linux中都支持,而且语法特点很... 查看详情

数据分析需要掌握哪些知识?

...会快速写程序分析数据。当然,编程技术不需要达到软件工程师的水平。要想更深入的分析问题你可能还会用到:Exploratoryanalysisskills、Optimization、Simulation、MachineLearning、DataMining、Modeling等。业务理解对业务的理解是数据分析师... 查看详情

从大数据工程师那里知道的大数据学习方法

首先要认识大数据什么是大数据?可能有人会说写字楼的所有人的资料信息就是个大数据。NO!这里的数据只能说比较大,但却不能称之为大数据。百度百科上给出了很明确的解释“大数据(bigdata),指无法在一定时间范围... 查看详情

从bat大数据工程师那里总结的大数据学习方法

认识大数据什么是大数据?可能有人会说写字楼的所有人的资料信息就是个大数据。NO!这里的数据只能说比较大,但却不能称之为大数据。百度百科上给出了很明确的解释“大数据(bigdata),指无法在一定时间范围内用常规软... 查看详情

大数据高级开发工程师——spark学习笔记(代码片段)

文章目录Spark内存计算框架SparkSQLSpark的动态资源划分1.Executor动态调整范围?2.超时被杀的Executor中持久化数据如何处理?3.如何开启Spark的动态资源划分4.动态资源分配策略5.动态资源回收策略Spark调优1.分配更多的资源分配... 查看详情