数据埋点的设计

北京小辉 北京小辉     2023-02-21     584

关键词:

“无意中发现了一个巨牛的人工智能教程,忍不住分享一下给大家。教程不仅是零基础,通俗易懂,而且非常风趣幽默,像看小说一样!觉得太牛了,所以分享给大家。点这里可以跳转到教程。”。

目录

一、埋点的意义

       编辑导语:对于数据分析师来说,好的数据源是数据分析的根基,采集到的数据质量决定了数据广度和质量,影响着分析报告的所有环节。在获得高质量数据的过程中,数据埋点这一动作尤为必要,这是针对特定用户行为或事件进行捕获、处理和发送的相关技术及其实施过程。今天本文作者就为我们总结,如何做好数据埋点。

       埋点是数据分析的基础,一套好的埋点体系,可以支撑后续的数据清洗、数据储存、数据产品、数据分析等,可以使整个数据应用事半功倍,极大提高数据使用效率。

       那么埋点具体应该怎么做,有什么注意事项呢?某知名大厂具有丰富埋点经验的数据产品经理来为我们逐一揭晓。

二、埋点是什么?

       埋点是一种用户行为数据化的记录,基于业务或者产品需求,对用户在产品内产生行为的每一个事件对应的页面、位置、属性等植入相关代码,并通过采集工具上报统计,采集的数据可以用来分析网站/APP的使用情况,用户的使用习惯等等,延伸出用户画像、用户偏好、转化路径等一系列数据产品。

       通常的记录维度为who、when、what、where、how,即用户通过某种方式,在何时何地做了何事。举个例子游戏ID:1001,上午十点,在峡谷击杀了一个boss(bossID:abc)。


       如上举例,数据分析师或者数据产品,通常需要对产品的用户行为(How:read)进行收集,设计出对应的埋点体系,产出一份严谨、体系化,且能支撑后续数据分析需求的埋点文档,那么怎么设计出一份规范的埋点文档呢?

三、埋点文档如何设计?

       首先:梳理出产品的功能结构及业务流程,将核心流程梳理出来,确定关键指标,并细化各流程的影响因素,同时想清楚上下游的接入口是什么,避免埋点的重复,提高埋点复用性。

       其次:规划出数据分析的框架,基于产品功能的路径转化和重要指标链路,设计出可供记录的埋点框架,使埋点契合分析框架的逻辑,避免冗余。

       同时,埋点是用来记录用户的行为,埋点文档需要提供给前、后端研发进行埋点开发,所以文档中的信息尽量描述清楚,并且与开发拉会议,要求对埋点的理解对齐一致。

       文档信息具体包括:

       从以上举例中可以看出,埋点文档除了公共字段(Who、When、What、Where)外,主要记录关于How的设计,主要包括:

1. 埋点、埋点含义、触发场景

  • 埋点文档中必须写出埋点上报时机,同时描述准确;
  • 规定攻击怪物成功时上报,而不是战斗阶段;
  • 击杀的怪物记录的是当前血量而不是满血血量,因为考虑怪物可能是残血。

2. 参数、参数名称、参数值类型

       1)参数里记录的是针对埋点行为,所包含的信息,埋点行为不同,对应的信息也不同,所以不能作为公共字段记录在数据表中,会以json形式,记录在字段中,分析时需要使用具体的信息,可通过函数解析出来(get_json_object)。

       json记录的数据,分为key和value,如:role_type(key):1(value),所以上述举例的整体json如下,可以用:

3. 备注信息

       备注信息的意义就是解释说明,例如文档中只记录了物品和怪物的id,具体的名称没有记录,是因为日志中存储中文易出现乱码,仅记录id即可达到分析需求,并且减少数据量。

       同时,埋点文档中,除了第一页sheet表中展示埋点文档外,其后需要附加写出含多个枚举值参数的编码表,方便数据人员进行分析对照,数据查询。

       埋点文档设计完成后,即可提交至研发同学,讲解埋点文档。产品的大部分核心数据都是基于埋点完成,例如用户行为分析、转化分析、流失跳出分析、核心功能分析等。

       其重要性不言而喻,那么我们如何保证埋点的准确性呢?

四、如何做埋点验收?

       埋点验收并不一定是要在开发完成,提交安装包之后才开始验收,在前期、中期、后期尽量使用一些策略来多方保障埋点质量。

1. 埋点文档评审

       埋点文档设计完成后,数据组内需要进行评审,对埋点和参数逐一检验,包含:

  • 合理性:是否符合用户行为路径;
  • 完整性:是否覆盖产品的所有场景,可以支撑后续的数据应用;
  • 正确性:埋点文档中,除功能的特性埋点,还有一定的公共埋点、公共参数,查看是否与BI报表开发时的规范一致,如果不一致,BI报表不会产生数据。

2. 埋点开发阶段

       埋点开发阶段,与研发团队保持密切沟通,确保和研发的理解保持一致,使其了解每个点的意义以及后续的应用计划。针对重要埋点,重要的参数,研发需提供对应的源码,确保每个枚举值都录入代码中。

       例如:用户关于货币获得,会有多重路径,如果研发将其中两种路径漏写,后续分析中,会造成数据结果的缺失。

3. 埋点验收阶段

       埋点完成,安装包提交之后,数据同学会配合QA同学,一起做埋点验收,需注意以下几个方面:

  • 转化漏斗是否正常:例如广告链路中,从广告展现-曝光-点击-关闭,这条链路的pv是呈漏斗逐渐减少,如果不是,那么需要定位埋点问题;
  • 上报顺序是否正常:新手引导中,id顺序为1-2-3-4,可追踪单一用户id,按时间戳查看上报顺序是否符合规范;
  • 埋点上报是否对应规范中的触发场景。

       实际业务中的埋点验收,是一个复杂繁琐的工作,每个项目对应不同的规范,建议建立一个《埋点验收清单list》,记录需要验收的部分,指派到责任人,逐一签名查验,防止错漏。

数据埋点的设计

...程。”。目录一、埋点的意义    编辑导语:对于数据分析师来说,好的数据源是数据分析的根基,采集到的数据质量决定了数据广度和质量,影响着分析报告的所有环节。在获得高质量数据的过程中,数据... 查看详情

埋点的验证方法

...,识别出url为trace.do的request,然后截取actiontype字段,从数据库中导出埋点的数据,把截取的字段遍历一遍,输出在log里面。 实现方案如下1.写方法,用来截取actionType的idpublicstaticfunctionselectActionType(str) 查看详情

埋点的进化发展史

...ttps://mp.weixin.qq.com/s/VSIQ9SuizaBo8KTCXQxZkQ一直以来,人们把大数据和埋点技术紧紧捆绑在一起,大数据时代也被称为埋点时代。技术发展,更新更快的无埋点技术横空出世。那么埋点技术是不是就此被判了死刑,无埋点就是万能的了... 查看详情

埋点的详细介绍与理解

...者获得授权,非商业转载请注明出处。所谓“埋点”,是数据采集领域(尤其是用户行为数据采集领域)的术语,指的是针对特定用户行为或事件进行捕获、处理和发送的相关技术及其实施过程。埋点的技术实质,是先监听软件... 查看详情

搞懂数据埋点与数据同步

目录(1)到底什么是埋点(2)企业数据埋点方案(3)企业数据同步方案(4)数据漂移场景及处理方案(1)到底什么是埋点埋点的概念:埋点是数据采集中的一个统称,通常也叫做事件... 查看详情

搞懂数据埋点与数据同步

目录(1)到底什么是埋点(2)企业数据埋点方案(3)企业数据同步方案(4)数据漂移场景及处理方案(1)到底什么是埋点埋点的概念:埋点是数据采集中的一个统称,通常也叫做事件... 查看详情

搞懂数据埋点与数据同步

目录(1)到底什么是埋点(2)企业数据埋点方案(3)企业数据同步方案(4)数据漂移场景及处理方案(1)到底什么是埋点埋点的概念:埋点是数据采集中的一个统称,通常也叫做事件... 查看详情

一篇文章搞懂数据埋点与数据同步

目录(1)到底什么是埋点(2)企业数据埋点方案(3)企业数据同步方案(4)数据漂移场景及处理方案(1)到底什么是埋点埋点的概念:埋点是数据采集中的一个统称,通常也叫做事件... 查看详情

自动化测试框架设计

大数据时代,多数的web或app产品都会使用第三方或自己开发相应的数据系统,进行用户行为数据或其它信息数据的收集,在这个过程中,埋点是比较重要的一环。埋点收集的数据一般有以下作用:驱动决策ÿ... 查看详情

移动应用如何埋点收集啥数据以便于统计分析?

...么做的问题,依然还是要从认清是什么开始:一、什么是数据埋点数据埋点让产品或运营等相关人员能按照具体的需求,定制性地统计较为复杂的用户数据。例如想要追踪用户的行为,观察页面相关点击数据,关键路径转化率,... 查看详情

狐友ios客户端埋点的前世今生(代码片段)

...无侵入埋点实现一些问题的总结一、认识埋点所谓埋点是数据领域的专业术语,也是互联网应用里面的一个俗称。埋点的学名应该是事件追踪,对应的英文是EventTracking;它是对特定用户行为或事件进行捕获,然后... 查看详情

字节跳动大规模实践埋点自动化测试框架设计

大数据时代,多数的web或app产品都会使用第三方或自己开发相应的数据系统,进行用户行为数据或其它信息数据的收集,在这个过程中,埋点是比较重要的一环。埋点收集的数据一般有以下作用:驱动决策ÿ... 查看详情

产品日志我们所谈的“数据埋点”到底是什么?

在产品规划的过程中,产品经理的工作往往需要使用数据来进行辅助,而我们获取数据最快捷的核心途径便是“埋点”首先我们来了解埋点的定义,所谓的埋点便是事件追踪EventTracking,也就是针对特定用户行为或... 查看详情

用户行为分析模型实践——h5通用分析模型

作者:vivo互联网大数据团队-ZhaoWei、TianFengbiao、LiXiong本文从提升用户行为分析效率角度出发,详细介绍了H5埋点方案规划,埋点数据采集流程,提供可借鉴的用户行为数据采集方案;且完整呈现了针对页面分析,留存分析的数仓... 查看详情

埋点自动化测试框架设计

  大数据时代,多数的web或app产品都会使用第三方或自己开发相应的数据系统,进行用户行为数据或其它信息数据的收集,在这个过程中,埋点是比较重要的一环。埋点收集的数据一般有以下作用:1. 驱动决策:ABtest、漏... 查看详情

app埋点测试

手把手教你进行APP数据埋点2017年09月18日11:02:46 hackeey 阅读数:42543经过大半年的努力,产品终于开始趋向稳定,之前的版本一直在探索,需求经常改动,没时间系统进行埋点。随着产品的稳定以及工作的深入,越发认识... 查看详情

搞懂数据埋点与数据同步

目录(1)到底什么是埋点(2)企业数据埋点方案(3)企业数据同步方案(4)数据漂移场景及处理方案(1)到底什么是埋点埋点的概念:埋点是数据采集中的一个统称,通常也叫做事件... 查看详情

前端如何设置埋点?(代码片段)

...户在这个监控点做了什么事等等;2.埋点的目的是什么?数据埋点是数据分析的准备工作,只有埋点了才可以获得数据进行分析,所以在做足数据埋点之后,我们可以拿到想要的目标数据;1)行为数据:时间,地点,人物,交互... 查看详情