大数据运维的主要工作内容是啥?

author author     2023-05-10     172

关键词:

大数据相关工作岗位很多,有大数据分析师、大数据挖掘算法工程师、大数据研发工程师、数据产品经理、大数据可视化工程师、大数据爬虫工程师、大数据运营专员、大数据架构师、大数据专家、大数据总监、大数据研究员、大数据科学家等等

数据分析师:
工作内容:
a.临时取数分析,比如双11大促活动分析;产品的流量转化情况、产品流程优化分析,等等;
b.报表需求分析--比如企业常见的日报、周报、月报、季报、年报、产品报表、流量转化报表、经营分析报表、KPI报表等等;
c.业务专题分析:
精准营销分析(用户画像分析、营销对象分析、营销策略分析、营销效果分析);
风控分析(策略分析,反欺诈分析,信用状况分析);
市场研究分析(行业分析、竞品分析、市场分析、价格分析、渠道分析、决策分析等等);
工具和技能:
工具: R、Python、SAS、SPSS、Spark、X-Mind、Excel、PPT
技能:需掌握SQL数据库、概率统计、常用的算法模型(分类、聚类、关联、预测等,每一类模型的一两种最典型的算法)、分析报告的撰写、商业的敏感性等等;

数据挖掘工程师:
工作内容:
a.用户基础研究:用户生命周期刻画(进入、成长、成熟、衰退、流失)、用户细分模型、用户价值模型、用户活跃度模型、用户意愿度识别模型、用户偏好识别模型、用户流失预警模型、用户激活模型等
b.个性化推荐算法:基于协同过滤(USERBASE/ITEMBASE)的推荐,基于内容推荐,基于关联规则Apriot算法推荐,基于热门地区、季节、商品、人群的推荐等
c.风控模型:恶意注册模型、异地识别模型、欺诈识别模型、高危会员模型、
电商领域(炒信模型、刷单模型、职业差评师模型、虚假发货模型、反欺诈模型)
金融领域(欺诈评分模型、征信评分模型、催收模型、虚假账单识别模型等)
d.产品知识库:产品聚类分类模型、产品质量评分模型、违禁品识别模型、假货识别模型等
e.文本挖掘、语义识别、图像识别,等等
工具和技能:
工具: R、Python、SAS、SPSS、Spark、Mlib等等
技能:需掌握SQL数据库、概率统计、机器学习算法原理(分类、聚类、关联、预测、神经网络等)、模型评估、模型部署、模型监控;

数据产品经理:
工作内容:
a.大数据平台建设,让获取数据、用数据变得轻而易举;构建完善的指标体系,实现对业务的全流程监控、提高决策效率、降低运营成本、提升营收水平;
b.数据需求分析,形成数据产品,对内提升效率、控制成本,对外增加创收,最终实现数据价值变现;
c.典型的大数据产品:大数据分析平台、个性化推荐系统、精准营销系统、广告系统、征信评分系统(如芝麻评分)、会员数据服务系统(如数据纵横),等等;
工具和技能:
工具: 除了掌握数据分析工具,还需要掌握 像 原型设计工具Auxe、画结构流程的X-Mind、visio、Excel、PPT等
技能:需掌握SQL数据库、产品设计,同时,熟悉常用的数据产品框架

数据研发工程师:
工作内容:
a.大数据采集、日志爬虫、数据上报等数据获取工作
b.大数据清洗、转换、计算、存储、展现等工作
c.大数据应用开发、可视化开发、报表开发等
工具和技能:
工具:hadoop、hbase、hive、kafaka、sqoop、java、python等
技能:需掌握数据库、日志采集方法、分布式计算、实时计算等技术
参考技术A 大数据运维,这里指互联网运维,通常属于技术部门,与研发、测试、系统管理同为互联网产品技术支撑的4大部门,这个划分在国内和国外以及大小公司间都会多少有一些不同。

一个互联网产品的生成一般经历的过程是:产品经理(product manager,非技术部)需求分析、研发部门开发、测试部门测试、运维部门部署发布以及长期的运行维护。

一般来讲国内的互联网运维负责软件测试交付后的发布和管理,其核心目标是将交付的业务软件和硬件基础设施高效合理的整合,转换为可持续提供高质量服务的产品,同时最大限度降低服务运行的成本,保障服务运行的安全。本回答被提问者和网友采纳
参考技术B 回答

负责大数据底层基础架构平台的运维、规划、部署、管理、扩容和优化等;保障系统7*24小时的稳定性和可用性,构建系统监控,容灾,自动化等运营体系; 负责组件Hadoop, Hive, Presto、Spark、Airflow 等大数据组件运维调优;参与大数据相关的开发工作。 任职要求: 本科及以上学历,至少2年以上大数据运维经验;精通Shell及Hadoop/Spark/Hive/Flink/调度系统等生态集群的建设及性能优化;熟悉Java语言,并有数据开发经验者优先(如数据仓库、数据分析、用户画像、算法等);思路敏捷清晰,较强的外部沟通能力;有责任心及抗压能力,有强烈的自驱力,并有良好的团队协作精神。

linux运维工程师的主要工作是啥?

...上的相关软件服务、程序代码(Java、Php、Python)和企业核心数据正常运行,使得企业能够优质、高效、快速的为企业的客户提供服务,从而盈利赚钱,随着企业增长,服务器和服务数量、要求也会成倍增加,对运维的能力和运维人... 查看详情

运维工程师后期的主要工作内容是啥?

参考技术A运维是一个广义概念,可以理解为运行和维护,这也和具体的学习以及工作息息相关,要想进行维护,首先要先把服务搭建起来,也就是先运行。这里我们所说的运维是指对服务器和数据库及集成环境的运维。首先运... 查看详情

云时代idc自动化运维的几大神器

...ttps://blog.csdn.net/English0523/article/details/52572114自动化运维是数据中心、互联网企业高度重视的方向,数据中心的从纯手工、重复地进行软件部署运 查看详情

数据管理员dba是啥意思?

...,也有公司把DBA称作数据库工程师(DatabaseEngineer),两者的工作内容基本相同,都是保证数据库服务7*24小时的稳定高效运转。扩展资料优秀的DBA不仅关心自己运维的数据库系统的原理和发展,而且紧跟业界数据库前沿技术,并关... 查看详情

第1篇-对蓝鲸运维的个人理解

...运营系统,推动企业企业内部的工具文化;并利用云和大数据技术为企业实现精细化的工作活 查看详情

运维的日常工作开发平台及工具

...的研发和测试协调处理产品问题4、基于工作中的问题和数据分析进行抽取,将运维经验理念落地沉淀为方法论/工具/系统/平台,并制定相关的改进计划,在各个技术方向上落地实现,最终反馈回运维工作中,提高运维本身的效... 查看详情

系统运维的几大利器

1、持续集成jenkins2、代码检测SonarQube3、日志:  CAT、ELKStack=Logstash+Elasticsearch+Kibana  http://docs.sonarqube.org/display/SCAN/Analyzing+with+SonarQube+Scanner+for+Jenkins https://www.gitbook.co 查看详情

DWH和大数据科学之间的主要区别是啥[重复]

】DWH和大数据科学之间的主要区别是啥[重复]【英文标题】:WhatisthemajordifferencebetweenDWHandBigDataScience[duplicate]DWH和大数据科学之间的主要区别是什么[重复]【发布时间】:2015-12-2522:17:24【问题描述】:大数据科学和数据仓库都是用... 查看详情

转:理念篇关于数据驱动运维的几点认识

转自: http://mp.weixin.qq.com/s?__biz=MzA4NjAzMjEyOA==&mid=200143127&idx=1&sn=b8d3f71659958a9ff60291b3892cfb66#rd 在一个新的环境中工作了两个多月,从业务模式、平台建设、工作方法和团队工作风格各个方面都有了一些认识。有了这... 查看详情

linux运维方向需要学些啥,之后可以从事哪些工作?

...对业务的掌握也决定了运维工程师的未来发展前景。2、数据库工程师:是一个非常重要的岗位,也是公司非常重视的职位,主要包含数据库内核、云数据库等,长远的发展可以从事技术专家、数据库架构师等职位。3、Linux研究... 查看详情

运维的就业前景

运维的就业前景   从行业角度来看,随着中国互联网的高速发展、网站规模越来越来大、架构越来越复杂,对专职网站运维工程师、网站架构师的要求会越来越急迫,特别是对有经验的优秀运维人才需求量大,而且是... 查看详情

运维工作梳理(代码片段)

1.1Linux运维的主要工作内容  1、什么是linux运维      参考博客:https://blog.csdn.net/dxt16888/article/details/80865720      1. 运维是指大型组织已经建立好的网络软硬件的维护,就是要保证业务的上线与运作的正常。... 查看详情

用大数据思维做运维监控

今天一大早就看到了一篇文章,叫【大数据对于运维的意义】。该文章基本上是从三个层面阐述的:工程数据,譬如工单数量,SLA可用性,基础资源,故障率,报警统计业务数据,譬如业务DashBoard,T... 查看详情

自动化运维的理解

...复杂的软件,容易出错。 2.软件监控,对系统性能,数据库,安全,网络等多个方面的监控。时刻了解运行的健康状况。以及可以从日常检查的重复工作中脱离出来,更从全局关注整个运维的健康发展。  查看详情

腾讯linux运维职位日常主要做啥工作

关于腾讯Linux运维职位的工作内容可以上相关招聘网站查看,一般情况下来说包含以下工作内容:初中级运维的日常涉及工作:1、评估产品需求及发展需求,设计网站架构。2、选择IDC公司、云产品,CDN等产品。3、采购服务器、... 查看详情

it“背锅侠”的逆袭,智能运维的未来是ar?

...#xff0c;以一天只睡4个小时为指导,向007看齐,身为运维的我可以体验社畜的忙碌和劳累。”一位运维人员自嘲道。作为技术部门,运维与研发、测试、系统管理同为互联网产品技术支撑的4大部门。也正是因为IT领域工... 查看详情

凤凰项目(沙盘特别版)--一个iit运维的传奇故事读后感

...认为有意义的句子:1、“变更”就是对应用程序、数据库、操作系统、网络或 查看详情

对运维工作的理解

(一)运维,从字面意思很容易理解,就是运营、维护。有很多朋友认为,在互联网公司中Linux系统运维的工作就是安装系统,部署服务处理紧急故障,为公司里的开发人员及其他部门提供支持服务。同时,还可能负责公司办公... 查看详情