正文 

当前位置： 首页 > java > java教程

大数据架构师技能图谱

losbyday losbyday     2022-08-03     330

关键词：

大数据通用处理平台

  1. Spark
  2. Flink
  3. Hadoop

分布式存储

HDFS

资源调度

Yarn

Mesos

机器学习工具

Mahout

  1. Spark Mlib
  2. TensorFlow (Google 系)
  3. Amazon Machine Learning
  4. DMTK (微软分布式机器学习工具)

 

数据分析/数据仓库(SQL类)

  1. Pig
  2. Hive
  3. kylin
  4. Spark SQL,
  5. Spark DataFrame
  6. Impala
  7. Phoenix
  8. ELK

8.1 ElasticSearch

8.2Logstash

8.3Kibana

消息队列

  1. Kafka(纯日志类，大吞吐量)
  2. RocketMQ
  3. ZeroMQ
  4. ActiveMQ
  5. RabbitMQ

流式计算

  1. Storm/JStorm
  2. Spark Streaming
  3. Flink

日志收集

Scribe

Flume

编程语言

  1. Java
  2. Python
  3. R
  4. Ruby
  5. Scala

数据分析挖掘

MATLAB

SPSS

SAS

数据可视化

  1. R
  2. D3.js
  3. ECharts
  4. Excle
  5. Python

机器学习

机器学习基础

  1. 聚类
  2. 时间序列
  3. 推荐系统
  4. 回归分析
  5. 文本挖掘
  6. 决策树
  7. 支持向量机
  8. 贝叶斯分类
  9. 神经网络

机器学习工具

  1. Mahout
  2. Spark Mlib
  3. TensorFlow (Google 系)
  4. Amazon Machine Learning
  5. DMTK (微软分布式机器学习工具)

算法

一致性

  1. paxos
  2. raft
  3. gossip

数据结构

  1. 栈，队列，链表
  2. 散列表
  3. 二叉树，红黑树，B树
  4. 图

常用算法

1.排序

插入排序

桶排序

堆排序

2.快速排序

3,最大子数组

4.最长公共子序列

5.最小生成树

最短路径

6.矩阵的存储和运算

云计算

云服务

  1. SaaS
  2. PaaS
  3. IaaS
  4. Openstack
  5. Docker

End.

转自：http://www.36dsj.com/archives/4520

来源：http://www.ha97.com/5734.html

架构师技能图谱

...码级别工具优化系统优化工程架构能力开发语言设计模式数据结构与算法开发工具本文出自“运维自动化”博客，请务必保留此出处http://shower.blog.51cto.com/4926872/1976315 查看详情

it技术技能图谱-架构师

StuQ技能图谱项目Github地址：http://github.com/TeamStuQ/skill-map架构师应该算是所有入门程序员的最初设定的目标吧。之前的文章：1。IT技术技能图谱-前端工程师 查看详情

史上最全java架构师技能图谱（上）

...进阶、web开发、框架与工具四大技能图谱。下篇将包含大数据以及性能、设计模式、UML、中间件、分布式集群、负载均衡、通讯协议、架构设计等技术图谱等章节本文作者，陈睿优知学院创始人，免费提供系统的互联网产品技术... 查看详情

史上最全java架构师技能图谱（下）

“java架构史上最全技能图谱分为上下两篇，这是java架构史上最全图谱下篇，包含：大数据以及性能、设计模式、UML、中间件、分布式集群、负载均衡、通讯协议、架构设计等技术图谱等章节。如果需要上篇内容：数结构算法、j... 查看详情

20张最全的devops架构师技术栈图谱(代码片段)

...阿里巴巴常用小框架架构方法论图谱设计模式秘籍图谱大数据技能图谱云计算图谱3.2云计算技能图谱OpenResty技能图谱容器技能图谱开发语言宝典运维技能图谱5.9软件工程图谱DevOps图谱前端开发图谱后端开发图谱软件发布流程各位... 查看详情

前端架构师图谱

...&wfr=spider&for=pc#前言以下是获取到的一位阿里的前端架构师整理的前端架构p7的技能图谱，当然不是最完整、最系统的，所以之后我会一直维护更新这里的内容。技术架构考核范围vue.js  react.js  nodejs 查看详情

转:作者李艳鹏:史上最全的架构师图谱

...的分享，其中每个秘籍图谱里面的内容都是互联网高并发架构师应该了解和掌握的知识，笔者索性把这些图谱收集在一起，并且归类便于查找和学习，希望能够帮助到每一位想成为架构师或者已经是架构师的小伙伴，这里我们的... 查看详情

不得不看！史上最全的三十多张架构师图谱！

...的分享，其中每个秘籍图谱里面的内容都是互联网高并发架构师应该了解和掌握的知识，笔者索性把这些图谱收集在一起，并且归类便于查找和学习，希望能够帮助到每一位想成为架构师或者已经是架构师的小伙伴，这里我们的... 查看详情

阿里大数据架构师必备技能，你“佩奇”了嘛？

这两天真的是被《啥是佩奇》这支广告片刷屏了。佩奇明明是个喜剧角色，却把所有人都给看哭了！中间的剧情，小孙子一句：“想要佩奇”，结果爷爷就开始了满村子的寻找佩奇，到最后寻找到了小编认为是最好看的佩奇不知... 查看详情

大数据技能图谱

下面是StuQ发布的大数据技能图谱，比较实用，供参考 大数据处理框架Spark-RDD-SparkSQL-SparkStreaming-MLLibHadoop-HDFS(分布式文件系统)-Mapreduce（计算框架）-Yarn（资源管理平台）-Pig（piglatin语句到mapreduce的映射）-Hive（数据仓库，提... 查看详情

it技术技能图谱-运维工程师

书接上文StuQ技能图谱项目Github地址：http://github.com/TeamStuQ/skill-map之前的文章：1。IT技术技能图谱-前端工程师2。IT技术技能图谱-架构师 查看详情

架构师图谱·微服务&消息队列篇(代码片段)

...常用的消息队列，包括相关的选型以及一些理论基础数据库&分布式篇：主要集中在数据库、分布式（一致性/锁/缓存/发号/任务调度等）尾篇：分享一些流媒体、Devops、项目管理、团队建设方向的一些经验... 查看详情

架构师图谱

1、架构师图谱1.2Java架构师图谱.jpg1.3微服务架构秘籍.jpg1.4一致性图谱.jpg1.5互联网大流量的方法.jpg1.6安全秘籍.jpg 1.7阿里巴巴常用小框架.jpg1.8架构方法论图谱.jpg 1.9设计模式秘籍图谱.jpg2.1JVM垃圾回图谱.png2.2Java并发图谱.jp... 查看详情

十年java架构师分享的一些干货，成为架构师的必备技能

...分布式系统是一个古老而宽泛的话题，而近几年因为“大数据”概念的兴起，又焕发出了新的青春与活力。除此之外，分布式系统也是一门理论模型与工程技法。学习分布式系统的同学往往会感觉：“入门容易，深入难”的确，... 查看详情

成为架构师课程系列架构师的核心能力地图

目录架构师核心能力总结#综合技术能力分层总结#数据结构和算法知识图谱总结#Java工程师【核心基础】知识图谱总结 查看详情

程序员技术图谱集合

java程序员5年执业路线指南微服务架构师DBA大数据 查看详情

mysql数据库笔试题，阿里一线架构师分享的技术图谱，进阶加薪全靠它

1.2Spring复习大纲：依赖注入Ioc+Beans+注解+数据访问+AOP+MVC等1.3Spring全家桶笔记：Spring+SpringBoot+SpringCloud+SpringMVC面试题（含解析）+学习书籍+学习思维脑图02分布式架构近几年目前分布 查看详情

资源工具分享（第1期）：后端架构师技术图谱

...java-books从初级开发者到资深架构师，看这些书就够了数据结构队列集合链表、数组字典、关联数组栈树二叉树完全二叉树平衡二叉树二叉查找树（BST）红黑树B，B+，B*树LS 查看详情