基于无埋点技术的用户行为分析

author author     2022-09-27     629

关键词:

用户行为分析从狭义来看是用户的行为数据分析,但是广义来说这一个词包含用户分析,用户行为的结果分析,用户的行为分析。用户行为的结果和用户的行为分析是不一样的,一个是结果,一个是过程。现在国内市场上关于用户行为分析的产品分为基于前台数据的用户行为分析和基于后台数据的用户行为分析。基于前台技术的用户行为分析侧重于用户的行为分析,而基于后台技术的用户行为分析侧重于用户行为的结果分析。这两类产品可以说是有一定的片面性,完成的只是用户行为分析的一部分。基于这个现状来谈谈全面的用户行为分析应该怎么做。这篇文章主要会从数据来源和数据收集方式两个角度来说。

 

 数据来源

数据是用户行为分析的大前提,一切的分析都始于数据,巧妇难为无米之炊。用户行为的数据来源有前台点击数据和后台业务数据。仅仅使用后台的业务数据,会导致前台用户行为缺失,这样和仅仅通过数据库做传统地统计实现的效果差不多。假设有两种路径能够下单(用字母D表示),A-B-C-E-D 和A-B-F-D。那么仅仅通过后台数据我们知道一个客户下单了,下单金额是多少,那么如果我们想知道哪种路径引导才能让客户更容易下单呢?

仅仅使用前台数据,还是上面那个例子,虽然能够识别出用户是来自A-B-F-D下单的,但是要想分析这个路径带来的用户有多大价值,在之后这个用户有没有回来,他之后有在我们产品消费了多少,像这种复杂的分析,依赖前台数据也是做不到的。

如果想分析用户结果是依靠什么行为产生的,以此来优化产品和业务来反向获得更好的结果,相反的想要根据用户行为来衡量行为模式的效果, 就需要将前后台数据打通进行关联分析。举个例子,订单金额大于1万的高净值客户行为以及其转化率这个指标就必须通过前台数据和后台数据相结合的方式。

怎么把来自前台和后台的用户数据关联起来?这是需要解决的问题。

 数据收集技

用户行为数据收集技术主要有两种:埋点和无埋点。先来科普先这两种技术方式,以及说明下应该怎么选择。

埋点

所谓埋点就是为了数据分析的需求在原本的复杂的代码逻辑之上在加上N行获取数据的代码。比如如果想获取某商品的点击数量,就得在点击事件的中搜集点击的商品数据,发出包含商品名称和点击事件的数据({productname,clicktime})。

埋点的优势:

1)埋点最大的优势就是数据都是手动编码产生的,灵活性比较大,可以更好得支持一些扩展数据。

2)埋点由于是按照埋点逻辑进行的预处理,所以对之后的分析友好,分析效果也比较好。

埋点的劣势:

1)埋点最重要的前提条件是必须十分清楚目标,即需要收集什么样的数据必须提前确定。所以埋点最容易出现的问题就是漏埋,一般来说在发布前一定要经过谨慎的校验和测试,因为一旦版本发布出去而数据采集出了问题。

2)在产品的迭代过程中,如果代码再迭代的时候忽略了埋点逻辑的更改,从而导致后续的分析逻辑不准,甚至导致产品bug。更甚于对于产品迭代比较快的场景,埋点就是一个定时炸弹。

无埋点

埋点技术和无埋点技术都需要在原有的业务代码上进行改动。无埋点就是通过编程语言自身的特点来完成数据收集的自动化过程。比如前台无埋点其实就是通过监听JS事件,把页面上发生的所有事件都采集下来。后台无埋点实现比较复杂,但是说起来很简单,其实就是将网络数据进行旁路反解析,前后端交互的数据肯定都会经过网络,所以网络中应该包含了绝大多数业务数据。 

无埋点的优势:

1) 相对于埋点方式带来的收益就是正好就是埋点容易产生的问题,由于采集的是全量数据,所以产品迭代过程中是不需要关注埋点逻辑的,也不会出现漏埋、误埋等现象。

2)无埋点方式因为收集的是全量数据,可以大大减少运营和产品的试错成本,试错的可能性高了,可以带来更多启发性的信息。

3)最后一点,也是最清楚的一点,就是减少了因为人员流动带来的沟通成本。

无埋点的缺陷,也是无埋点存在的一些质疑点:

1)适用大部门,通用的场景,有少部分需要埋点的场景覆盖不了。

2)无埋点采集全量数据,给数据传输和服务器增加压力

根据前面关于埋点和无埋点的科普,我们都明白其实两个方式都有其自身的优势和缺陷,知乎上关于这两个讨论点的文章也有很多,有人在批埋点,有人在批无埋点。关于技术,我们还是理性看待吧,它们两个不是你死我活的关系,通过我们调研的得到的情况是,目前没有方案能够完美解决无埋点问题,但是我们致力于研究最大限度通过通用方式解决埋点问题,尽量减少埋点代码,埋点代码越少,出错的可能性就越低。我们选择使用前台无埋点和后台无埋点技术相结合的方式来获取用户数据。

 

 如何利用无埋点打通前后台数据

当前的分析手段,都需要进行大量埋点以及关联才能做到前台和后台数据打通,有没有可能通过无埋点将前后台数据自动关联打通?

前台无埋点弊端

前端无埋点针对数据分析比较简单需求是很合适的,如果是仅仅分析页面跳转,转化率、或者控件点击等行为,前端无埋点完全能够胜任。但是如果要做细粒度的分析,仅仅靠前端无埋点可能存在困难,最关键的原因就是前台采集技术再先进也还是有些数据难以采集到,比如客户的下单金额等数据,这些数据很多都是以html形式传到前台,在不同的技术实现中,前台所展示的金额数据可能仅仅是展示数据,并不会再传至后台。所以导致如果想要做一些按照客单价分群的行为,就很难仅仅依靠前端无埋点技术来实现。

后台无埋点的引入

在典型的前后台交互的程序中,数据最通用的来源,我们发现是wired data。Wired data应该包含了90%以上的细粒度的业务数据,只是这些数据是以不同格式存在于wired data中,这里面的难度就是设计一种数据处理方案,能够通用的将存在于wired data的数据利用起来,这是后台无埋点的实现关键。

前后台数据自打通

谐云科技独创地推出了前后台关联无埋点技术,通过无埋点将前后台数据自动关联打通,而前后台无埋点的关联点就在于cookie,在用户请求中埋入特殊的sessioniduid。后台的数据采集wired data中如用户信息,通过sessioniduid关联之后,就可以知道某次下单业务是哪个用户操作的,在页面上有何种行为。我们采用这种方式实现了前后数据的自动关联。

埋点的进化发展史

...,大数据时代也被称为埋点时代。技术发展,更新更快的无埋点技术横空出世。那么埋点技术是不是就此被判了死刑,无埋点就是万能的了?非也,二者只会进化的更为高级。 为什么这样说呢?其实从埋点技术的诞生和发展... 查看详情

关于数据埋点,你需要知道的技术方案和规范流程

...到数据分析的准确性,如果准确性得不到保障,那么所有基于埋点得出的结论,都是不可信的。辛辛苦苦做了很久的方案,一旦因为一个疏忽的小问题,导致下游集中投诉,其实非常划不来。道理每个人都懂,但现实情况中,数... 查看详情

cobub无码埋点关键技术的实现

...数据时代的到来,数据采集也已经变的越来越重要。前端埋点作为一个比较成熟的数据接入手段被广泛应用着。目前埋点分为两种方式,有码与无码埋点。有码埋点比较容易理解,即调用SDK的API,在代码中插入埋点的相关代码,... 查看详情

数据埋点是什么?

数据埋点是什么?所谓“埋点”,是数据采集领域(尤其是用户行为数据采集领域)的术语,指的是针对特定用户行为或事件进行捕获、处理和发送的相关技术及其实施过程。比如用户某个icon点击次数、观看... 查看详情

数据采集方案初探

...据怎么采集?会话粒度的数据怎么获取?埋点与无埋点采集?背景数据采集是整个数据分析的前奏,直接关系到后续数据展现的准确性。本文聚焦网站及H5编写的微信服务号,旨在统一用户行为数据采集方式&#x... 查看详情

5.数据中台---数据汇聚联通:打破企业数据孤岛(代码片段)

...实现收集全部行为的目的。 这也经常被称为无痕埋点、无埋点。 b)可视化埋点 将终端设备上用户的一部分操作,通过服务端配置的方式有选择性的记录并保存。 c)代码埋点 根据需求来定制每次的收集内容,需要对相应... 查看详情

优云老王谈埋点:人生处处有埋点

说到埋点,的确是用户最感兴趣的话题之一,优云Web产品在内测阶段便收到了用户的各种反馈,反复问我无码埋点是怎么做的。在此我专门与大家聊聊埋点以及各种实现方案的利弊。 1、埋点的来历 先说下埋点的来历,... 查看详情

搞懂数据埋点与数据同步

目录(1)到底什么是埋点(2)企业数据埋点方案(3)企业数据同步方案(4)数据漂移场景及处理方案(1)到底什么是埋点埋点的概念:埋点是数据采集中的一个统称,通常也叫做事件... 查看详情

搞懂数据埋点与数据同步

目录(1)到底什么是埋点(2)企业数据埋点方案(3)企业数据同步方案(4)数据漂移场景及处理方案(1)到底什么是埋点埋点的概念:埋点是数据采集中的一个统称,通常也叫做事件... 查看详情

搞懂数据埋点与数据同步

目录(1)到底什么是埋点(2)企业数据埋点方案(3)企业数据同步方案(4)数据漂移场景及处理方案(1)到底什么是埋点埋点的概念:埋点是数据采集中的一个统称,通常也叫做事件... 查看详情

数据埋点的设计

...什么?    埋点是一种用户行为数据化的记录,基于业务或者产品需求,对用户在产品内产生行为的每一个事件对应的页面、位置、属性等植入相 查看详情

埋点的详细介绍与理解

...载请联系作者获得授权,非商业转载请注明出处。所谓“埋点”,是数据采集领域(尤其是用户行为数据采集领域)的术语,指的是针对特定用户行为或事件进行捕获、处理和发送的相关技术及其实施过程。埋点的技术实质,是... 查看详情

一篇文章搞懂数据埋点与数据同步

目录(1)到底什么是埋点(2)企业数据埋点方案(3)企业数据同步方案(4)数据漂移场景及处理方案(1)到底什么是埋点埋点的概念:埋点是数据采集中的一个统称,通常也叫做事件... 查看详情

友盟埋点安卓技术点

参考技术A数据埋点让产品或运营等相关人员能按照具体的需求,定制性地统计较为复杂的用户数据。例如想要追踪用户的行为,观察页面相关点击数据,关键路径转化率,分析某个事件活动效果时,就需要事先进行数据埋点。... 查看详情

埋点技术:“呵呵,你在网上的一举一动,都在我眼皮子底下”

...题库、技术互助、简历模板。文末公众号领取1、什么是埋点埋点又称为事件追踪(EventTracking),指的是针对特定用户行为或流程事件进行捕获,处理和发送的相关技术及其实施过程。埋点为优化产品和运营决策... 查看详情

用户行为分析模型实践——h5通用分析模型

...联网大数据团队-ZhaoWei、TianFengbiao、LiXiong本文从提升用户行为分析效率角度出发,详细介绍了H5埋点方案规划,埋点数据采集流程,提供可借鉴的用户行为数据采集方案;且完整呈现了针对页面分析,留存分析的数仓模型规划方... 查看详情

埋点测试埋点接口测试

2018-12-01  15:56:22    http://www.sohu.com/a/257194700_465988埋点是一种数据分析工具,用来分析用户行为。捕捉用户数据,管理数据。埋点是一种客户端行为采集方式。分为代码埋点、全埋点、可视化埋点。 为什么要专门埋点... 查看详情

ios全埋点解决方案-用户标识

...为,需要标识用户。选择合适的用户标识,可以提高用户行为分析的准确性,尤其是是漏洞留存分析等,这些和用户分析相关的功能。对于唯一标识一个用户,我们需要考虑两种场景。用户登陆之前如何标识用户登陆之后如何标... 查看详情