火山引擎DataLeap:从抖音电商来看,“数据质量治理”怎么做?|全球快播
经过近年发展,抖音电商的体量和规模已经相当可观。
基于数据驱动思路,抖音电商在数仓建设、数据管理等层面实现准确分析和测量数据,做出以数据为依据的决策,从而推动业务快速发展。本文对话抖音电商团队,为你揭秘庞大数据体量下的数据质量管理最佳实践。
【资料图】
数据有效性、及时性、准确性关系到C端用户体验和B端商家决策,在数据体量庞大的情况下,难以避免数据缺失、纬度错误、产出延时等问题,这与数据质量管理息息相关。据抖音电商数据团队介绍,之前数据质量问题集中体现在:历史数据繁多,导致无法准确定位异常数据;缺乏合理的监控规则;补齐表监控规则时间、人力成本高等。
为了高效、便捷实现数据质量监控,抖音电商数据团队引入火山引擎DataLeap数据质量平台,通过数据波动监控、异常报警、数据内容探查及差异对比工具等功能,保证数据在生产及使用流程中的可靠性和合理性,避免因为数据质量导致的数据失信、决策失误等事故。
抖音电商数据团队主要介绍了数据质量监控、数据异常治理两个场景。
在数据质量监控上,抖音电商通过火山引擎DataLeap对抖音APP存量数据质量配置监控,并沉淀合理的监控规则,方便监控任务的配置情况及把关数据质量。
火山引擎DataLeap数据质量平台
首先,在监控范围上,通过数据质量平台实现ToB、ToC 任务覆盖全量监控,及时规避数据质量风险;其次,在推进机制上,由于 ToC链路上游多且监控任务带来过多计算资源消耗,抖音电商团队优先从核心数据链路开展数据质量监控;最后,在落地执行上,通过确立目标、Owner和进度,完成表行数、重复值、空值、表字段、异常值的梳理。
最终实现抖音电商数据质量管理全链路标准化,即由牵头人发起配置事项,通过火山引擎DataLeap数据质量平台完成监控配置,并跟踪完成情况,最后相关数据被推送至看板,方便相关数据研发人员查看和复盘。
对于数据异常情况,抖音电商团队主要通过火山引擎DataLeap表探查的能力来解决。
数仓中较多数据表字段存在异常值、空值,在使用前无法感知,导致在数据使用时才发现质量问题,再由业务方反馈,处理效率较低。火山引擎DataLeap具备制定统一的监控规范与开发规范能力,支持检测历史数据异常以及空值等情况,并默认处理、标注数据属性,确保无数据质量问题,才推进表上线流程。
除数据质量治理外,火山引擎DataLeap还具备数据集成、开发、运维、资产、安全等全套数据中台建设能力,有效提升数据研发效率、降低管理成本,目前已经应用于泛互联网、制造、新零售、汽车等领域。(作者:康峰)
关键词:
-
火山引擎DataLeap:从抖音电商来看,“数据质量治理”怎么做?|全球快播
2023-03-23 -
世界最资讯丨教育部:深化基础学科拔尖人才培养模式改革 重点打造体系化、高水平基础学科人才培养平台
2023-03-23 -
《狼图腾》导演再出巨作《燃烧的巴黎圣母院》, 重温法国国宝级导演让-雅克·阿诺的艺术生涯
2023-03-23 -
厚黑学读后感
2023-03-23 -
热资讯!听得见孩子心声 看到得学生快乐——亳州学院实验小学开设心理健康教育课10年
2023-03-23 -
环球速看:郑州人事考试基地建成投用 可实现15万名考生同时开考
2023-03-23 -
化学发光法测hiv几周彻底排除(化学发光法)-重点聚焦
2023-03-23 -
传奇开服一条龙怎么样_中华开私服一条龙
2023-03-23 -
小欢喜丁一扮演者是谁
2023-03-22 -
坑产是什么意思怎么算_坑产是什么意思
2023-03-22 -
平安个人无抵押贷款 个人无抵押贷款可以贷多少
2023-03-22 -
【速看料】银行停息挂账有什么说法? 银行信用卡还不上后果是什么?
2023-03-22 -
学习成绩不好就一定是不努力吗?
2023-03-22 -
打新必看|3月23日中科磁业申购,值得打吗?
2023-03-22 -
BIM在智慧城市城市建设中的关键作用|环球今日讯
2023-03-22 -
全球快看点丨东兴证券:近期建议关注复苏明显的出行链相关领域,酒店、餐饮、旅游板块
2023-03-22 -
黄山市气象局更新暴雨蓝色预警【IV级/一般】【2023-03-22】 天天热门
2023-03-22 -
勇者斗恶龙最好玩的一部_勇者斗恶龙哪部最好玩 焦点精选
2023-03-22 -
赛腾股份:3月21日获融资买入1328.17万元,占当日流入资金比例9.11% 今日讯
2023-03-22 -
安斯财务人员易犯错误系列:出纳人员易犯的75个错误 热资讯
2023-03-22 -
远洋集团延期支付原定于3月21日到期6亿美元永续次级债利息
2023-03-21 -
每日精选:9级阵风+沙尘!预警升级!今年来北方最大规模沙尘来袭
2023-03-21 -
趵突泉_趵_全球快消息
2023-03-21 -
400余名“煤亮子”齐聚“煤炭之城”角逐“技能状元”
2023-03-21 -
世界最新:qq陌生人发奇怪的信息_qq陌生人
2023-03-21 -
和讯个股快报:2023年03月21日 立霸股份 (603519),该股股价成功突破年线压力位_环球信息
2023-03-21 -
国乒5金3银晒出全家福!日本世乒赛:张本、伊藤参赛,并力捧新人
2023-03-21 -
特步发布奖励申明:拟重奖何杰155万元、杨绍辉126万元_天天微动态
2023-03-21 -
女尊男生子是什么意思(好看的女尊男生子小说)
2023-03-21 -
优化结构 中国造船业持续保持全球领先
2023-03-20
-
守住网络直播的伦理底线
2021-12-16 -
石窟寺文化需要基于保护的“新开发”
2021-12-16 -
电影工作者不能远离生活
2021-12-16 -
提升隧道安全管控能力 智慧高速让司乘安心
2021-12-16 -
人民财评:提升消费体验,服务同样重要
2021-12-16 -
卫冕?突破?旗手?——武大靖留给北京冬奥会三大悬念
2021-12-16 -
新能源车险专属条款出台“三电”系统、起火燃烧等都可保
2021-12-16 -
美术作品中的党史 | 第97集《窗外》
2021-12-16 -
基金销售业务违规!浦发银行厦门分行等被厦门证监局责令改正
2021-12-16 -
保持稳定发展有支撑——从11月“成绩单”看中国经济走势
2021-12-16