浅谈埋点及其质量保障
埋点又称为事件追踪（Event Tracking），指的是针对用户行为或事件进行捕获、处理和发送的相关技术及其实施过程。用大白话说：就是通过技术手段“监听”用户在APP、网站内的行为。
二、埋点的作用如果我们想要收集用户行为数据，就可以通过埋点来实现。
•比如想要了解一个用户在APP里面点击了哪些按钮，看了哪些页面，做了哪些事情等。
•再比如想要了解有多少人用过某些功能，使用的频率次数等。
三、埋点的使用--数据流整体介绍【 3.1、实时数据 】
•实时数据源头从点击流开始，客户端SDK上报埋点数据，采集服务会将上报的埋点写入JDQ写集群，然后通过fregeta任务将数据汇总到JDQ读集群。
•下游flink任务会从读集群消费原始topic，然后将加工后的topic吐出，供下游业务消费。
•下游业务如：黄金眼、商智、搜推广等。
【 3.2、离线数据 】
•离线数据源头从点击流开始，客户端SDK上报埋点数据，采集服务会将上报的埋点写入cfs网盘，然后通过离线抽数服务将数据落入数仓。
•数仓会经过多层加工，将数据处理成为业务需要的口径，提供给数据应用使用。
•下游业务如：黄金眼、商智、搜推广等。
四、埋点相关团队各团队职责：
【 5.1、业务产品提需 】
•业务产品首先将需求提给埋点产品
•需要注意的点：埋点相关的需求新增或变更，都需要提给埋点产品走子午线平台。
•线上问题：20230527京东APP小程序加购解析失败，就是因为需求比较紧急，没有走子午线，产品自己维护了文档，导致字段修改后，下游无法解析。
【 5.2、设定埋点方案 】
•埋点产品接收到需求之后，启动评审会，评审需求是否合理、是否遗漏、参数是否完善、是否需要通知第三方业务、确定排期等。
•埋点产品会根据评审结果，在子午线制定埋点方案
•埋点产品产出埋点方案后，会拉业务、开发、测试、数据侧共同参与方案评审，确认方案是否完整、参数是否合理
•附：埋点方案举例：http://stream.jd.com/ddrx/#/requirement/9097
【 5.3、埋点开发 】
•前端研发拿到埋点方案之后，按照埋点方案进行开发
•需要注意的点：开发需要在约定埋点上线的版本分支开发，注意不要提前跟版上线
•线上问题：2023年10月12日搜索结果页小时达相关订单指标下降，就是因为埋点没有经过测试，提前发版，导致下游无法解析
【 5.4、埋点测试 】
•开发完毕后提测，测试需要进行上报规则验证，详见：6.2.2、上报规则用例
•测试在track平台对埋点进行字段验证，详见：6.2.1、字段验证用例
•验证完毕后，输出测试报告。详见：6.3.3、track平台使用
【 5.5、埋点验收 】
•埋点产品对测试产出的测试报告中的测试记录进行验证
•同时进行数据的落表验证
【 5.6、埋点上线 】
•验收完毕后，子午线对应的版本状态修改为上线
•前端跟版上线
•需要注意的点：开发每次需要使用最新线上master分支拉新的开发分支，上线前合并代码时，确保拉分支到现在过程中没有其他上线，如果有的话需要重点关注，避免覆盖上次上线的内容。
•线上问题：2023年10月18日京霄LBS相关业务看板数据异常，就是因为上线合并的分支覆盖了上一次上线的正常版本，导致上报出错。
六、埋点的主要质量保障--埋点测试【 6.1、埋点常见问题 】
常见问题大概有几种：
•埋点需求没有走子午线，上报内容错误
•业务在修改逻辑时，忘记修改埋点上报
•埋点上线时没有做好上下游同步
•新增字段数据结构下游无法兼容
•。。。
【 6.2、埋点测试用例--上报内容的质量保障 】
6.2.1、字段验证用例
•验证埋点上报与方案中设置的字段名称、字段类型是否一致
•如果埋点方案有标注参数长度，或者参数为枚举时，需要验证
•如果为嵌套json，需要注意不破坏原有json结构
6.2.2、上报规则用例
1）pv场景
场景1：正常进入页面
◦行为：正常进入pv页面并停留◦预期结果：正常只上报1条pv埋点，且page_id、page_param和文档保持一致◦特殊场景：
1.tab嵌套页面场景：进入时只上报1条主tab pv埋点，切换tab时上报另外一个tab的pv埋点，如出现进入时出现2条pv埋点(1条外层大框架pv埋点，1条主tab pv埋点)，则上报错误；重复切换tab不会再次上报相同页面pv◦易出现问题▪正常进入页面时无pv埋点上报，切换相关tab时才会上报埋点▪进入页面时无pv埋点上报，离开页面时才上报pv埋点
场景2：回退到该页面场景◦行为：正常进入A页面并停留，再在该场景下点击某一元素进入到下级B页面，再回退到该A页面◦预期结果：原生会上报3条pv埋点，分别为A、B、A，且A页面的page_id、page_param和文档保持一致，h5回退不会上报pv埋点◦易出现问题：回退页面不上报A页面pv埋点场景3：快速离开页面场景（主要解决pageParam参数中存在服务端下发参数，如果接口未响应，pv埋点也需要正常上报）
◦行为：正常进入页面并快速离开该页面◦预期结果：正常上报1条pv埋点，且page_id、page_param和文档保持一致◦易出现问题：场景4：下拉刷新场景
◦行为：正常进入页面，然后下拉刷新◦预期结果：下拉刷新不会再上报pv埋点◦易出现问题：场景5：APP切至后台或锁屏场景
◦行为：正常进入页面，然后APP切至后台或锁屏，再次打开或解锁◦预期结果：不会再上报pv埋点，依据规范：https://joyspace.jd.com/sheets/2O5EyX8TJnKtnmpWGylt ◦易出现问题：2）点击场景
场景1：进入页面不点击
◦行为：不点击对应元素◦预期结果：依据埋点文档，如未要求默认上报，则此处不会上报点击埋点（部分埋点有默认点击埋点的逻辑，该种场景符合预期）◦易出现问题：场景2：正常点击
◦行为：正常点击对应元素◦预期结果：正常上报1条点击埋点，且event_id、page_id、page_param、event_param、json_param、et_model和文档保持一致◦易出现问题：场景3：点击无跳转（无功能触发，无交互变化）
◦行为：正常点击无交互的对应元素◦预期结果：不上报点击埋点事件◦易出现问题：场景4：滑动埋点
◦行为：滑动浏览后停止◦预期结果：上报点击埋点事件◦易出现问题：3）曝光场景
场景1：正常进入页面，此时未漏出该元素（测试曝光元素的是否未漏出就上报）
◦行为：正常进入页面，此时未漏出该元素，然后离开该页面◦预期结果：不会上报对应的曝光埋点◦易出现问题：未漏出就进行曝光埋点的上报
场景2：正常进入页面，此时该元素已漏出展示(需要分别测试该元素刚刚漏出、漏出50%、漏出100%的场景，确保和埋点文档中元素曝光的空间限定、时间保持一致，测试曝光元素的上报时机及空间限定）
◦行为：正常进入页面，此时该元素已漏出指定比例，然后离开该页面◦预期结果：该元素上报时机 = 埋点文档内的要求的上报时机(漏出上报 or 离开页面时上报)，上报参数保持一致◦易出现问题：
▪埋点文档要求离开页面上报曝光，实际为漏出就上报，反之亦然。
▪埋点文档要求漏出100%才算曝光，实际漏出一px像素就上报埋点
▪曝光逻辑两端不一致，安卓和ios的曝光数据量相差极大•场景3：测试曝光元素的上报时机
◦行为：正常进入页面，此时该元素已漏出100%，分别触发不同的离开页面场景：进入下级页、返回前页、刷新页面、切换到其他tab页面、进入后台5种场景◦预期结果：该元素对应曝光上报次数 = 埋点文档内的要求的次数◦易出现问题：埋点文档要求离开页面上报曝光，实际为漏出就上报、或者离开页面场景漏掉某种场景，导致曝光数据未及时上报场景4：正常进入页面（测试曝光元素的页面内去重逻辑）
◦行为：正常进入页面，上下滑动页面使得该元素重复出现2次，之后再离开页面，◦预期结果：该元素对应曝光上报次数 = 埋点文档内的要求的次数（是否页面内去重，只上报一次曝光）◦易出现问题：场景5：正常进入页面（测试曝光元素的返回上报逻辑）
◦行为：正常进入页面，上下滑动页面使得该元素出现，之后再进入下级页面或其他tab页，再从下级页面返回，再离开该页面◦预期结果：从下级页面或其他tab页返回后上报对应元素的曝光◦易出现问题：
▪要求返回重新上报曝光，实际返回后未重新上报•场景6：曝光数据的下拉刷新场景（测试曝光元素的下拉刷新上报逻辑）
◦行为：正常进入页面，该元素100%出现，然后下拉触发页面刷新◦预期结果：下拉刷新后再次上报◦易出现问题：
▪要求刷新后重新上报曝光，实际未上报【 6.3、埋点测试工具--track平台 】
6.3.1、平台链接
http://jagile.jd.com/track/trackTest/workSpace
6.3.2、平台简介
Track是APP、M、小程序全域一站式埋点质量平台。支持代理、扫码的方式无痕收集埋点，并通过统一规则中心对埋点数据进行自动校验，方便测试、开发、产品、业务快速高效的查看测试埋点。同时能够在埋点自测、冒烟、回归等环节，通过遍历技术对埋点进行自动化测试，节约人耗，提高了埋点质量的效能。
6.3.3、平台使用
1）生成埋点方案
此处需要，在子午线维护好的埋点方案链接。
2）生成后选择此埋点方案
3）选择好后，上报方式，选择扫码上报
填好对应的站点，生成二维码，使用相机扫码，打开app就可以上报了
4）触发需要测试的埋点事件，会在下方实时上报里出现，选择对应的事件，右边会出现上报的字段信息
5）对比字段，进行测试结果打标，打标之后生成测试报告。
- END -