iData游戏数据基础服务系列介绍(一)

在游戏数据服务的生命周期中,数据接入为数据处理分析、数据挖掘等上层应用提供数据支撑。

在游戏数据服务的生命周期中,数据接入作为数据服务体系idata中的基础服务,为数据处理分析、数据挖掘等上层应用提供数据支撑。数据接入是数据服务的起点,向用户提供了游戏日志统一采集的平台(Tlog)及运营数据管理平台(ODM)、元数据管理及数据质量监控 (iMeta)、数据传输(DT/TDBank)、运维数据提取及运维基础等诸多数据服务。

      iData数据服务体系中数据基础服务的位置如下:

   

    提供的服务内容:

Ø 日志接入:为各业务提供统一游戏日志接入、日志入库的服务;

Ø 数据传输:为各业务提供数据入库数据仓库的全流程接入服务,为后续数据使用提供统一数据源;

Ø 数据监控:为各业务提供数据流转全方位、实时的数据监控服务;

Ø 数据提取:为各业务提供个性化、实时性高的数据提取服务;

Ø 基础运维:为iData数据服务体系提供基础运维服务;

Ø 流程保障:指对以上各方面活动的执行进行流程方面的引导与监督,保证活动有序、有效的执行。

      下面详细介绍iData基础服务层组件及工作流程,让大家了解到游戏生命周期中,数据接入所扮演的角色。

 一、  游戏日志统一采集的平台(Tlog)

      Tlog是腾讯游戏日志统一采集的平台,作为游戏流水日志入数据仓库的数据来源,规范了游戏日志统一接入、简化游戏日志的运营。

1、 日志处理系统

 

 Ø   GameSvr通过UDP方式向Tlogd写入日志;

 Ø   Tlog把日志内容写入文本文件;

 Ø   LogTool从文本文件中读取信息,经过协议转换,存储到LogDB;

 2、 Tlog接入时序图

 

 1)   接入准备:主要服务游戏研发,指导api的接入事宜;

 2)   接入前期:运维侧按tlog标准准备好硬件资源和软件环境;

 3)   申请接入:申请部署环境和接入到tlog管理平台ODM系统;

 4)   正式接入:受理、完成接入;

 5)   检查验收:验证接入情况;

 6)   运营:保证游戏的正运营。

 

3、 日志标准化接入

 1) 接入方式:使用tlog api或者UDP方式;

 2) 接入协议:用xml协议描述日志结构;

  3) 自主检查:通过checklog自动化检查工具,游戏开发者可自行检查日志内容与xml文件正确性;

 4) 接入周期:新业务接入在1小时内搞定,新开大区5分钟之内可以搞定;

 5) 日志内容:按照《腾讯互娱游戏接入日志内容规范》输出游戏日志,比如,角色创建日志

 4、 运营数据管理平台(ODM)

      ODM作为tlog接入、运营、管理的统一平台,集成了业务管理、tlogd_server服务器集群管理、告警监控、变更管理、自助运营工具等一系列功能,极大方便了tlog的接入和运营。

二、  数据质量监控服务(iMeta)

      元数据管理主要提供游戏数据产生到落地、以及TDW分布式集中的流转过程中的数据质量指标监控和数据地图服务。

1、 数据监控了什么?

      数据流转质量指标监控,包括数据流转量、时延、完整度、正确度等指标,见图:

       目前监控业务覆盖度5,6星级业务已经覆盖率达到100%,同时针对业务的数据进行分级监控,重点数据重点监控。同时,在针对监控告警的进行告警收敛的优化,主要从事件相关性,时间相关性,流程相关性,数据运营事件回环反馈角度来进行告警收敛。

    现在监控的腾讯游戏数据入库数据仓库的完整度和正确度阀值是0.999;0.999三个9的标准。(游戏日志本身产生的问题不记)

       我们监控的纬度如下:

 Ø  数据完整度---数据条数在传输过程中是否有异常;

 Ø  数据正确性---数据内容是否异常:行列移位,中文编码等;

 Ø  数据传输时延---目前要保持在从数据产生到数据正式入库到数据仓库保证在<2小时;

 Ø  数据异常---数据产生,传输,入库等各个环节的机器,进程异常;

 Ø  数据变更---数据地图,数据字典的变更是实现全流程的自动化实施以及异常监控;

 

2、带来的效果和收益

 Ø  减少业务数据质量问题所带来的突发;

 Ø  增加业务数据的可靠度和可用度;

 Ø  减少运维配置变更沟通时长,提升实施配置变更自动化准确程度(TDW数据入库);

 Ø  更好的为周边系统提供系统服务支持,例:经分、业务受理等;

 

3、接入流程介绍

    3.1 数据监控接入概述

      数据监控外部依赖的系统是CC互娱配置系统和ODM运营数据管理平台系统。这里,简述下系统关系图以便理解快速接入。

      由以上的元数据管理系统关系图可以看出,配置变更管理在整个系统中的重要作用,它是整个系统能够配置化、自动化运营的关键作用。所以,所需要接入的业务必须要在CC和ODM系统上有标准化的配置。

2.2 数据监控接入流程

    下面给出业务接入imeta元数据管理系统接入的正常时序流程:

 

 

三、  数据传输服务

      数据传输(DT/TDBank) 是将数据接入到数据仓库TDW的快捷、方便的工具,具有主动拉取数据、自动分拣入库、实时监控接入状态等特点,解决了海量的数据快速写入数据仓库的问题。同时具备如下特点:

Ø  配置简单

  只需要三项简单的配置,即可完成数据仓库的接入;

Ø  自动入库

  会根据配置,自动拉取数据并进行分拣入库,无需人工干预;

Ø  实时监控

  全面实时地监控配置任务状态,及时地了解数据接入情况;

Ø  功能强大

      可支持各种类型的数据源接入,并提供丰富的管理功能。支持批量导入导出操作,减轻重复工作量。

Ø  历史数据自定义补录

      DT可支持对历史数据单表级别任意时间段 自定义进行数据补录。

      在数据采集支持方面,数据传输已经覆盖了各个IEG各游戏业务各种接入方式,主要包括:

 1)文件读取(Tail方式);

 2)消息接入(TCP/UDP方式);

 3)MySQL binlog实时同步(测试中);

 4)HTTP 请求消息;

 5)Syslog消息。

      数据传输(DT/TDBank)  旨在统一数据接入入口,提供多样的数据接入方式,以及高效实时的分布式数据分发,实现完整的数据生命周期管理和数据服务。总之,只要告诉数据传输 数据在哪里,数据是什么,数据要怎么用,数据传输 就会自动完成一整套的数据采集分拣和处理流程。

1、 数据接入流程

2、 监控指标

  

 四、  运维数据提取服务

    运维数据提取主要是根据业务项目组的要求,高效提取相应的数据包,数据源包括tlog、dr等。运维个性化数据提取作为业务idea自助提取的一种补充,提供了个性化、实时性更强以及游戏状态数据的提取。目前,idea自助提取平台已接入107款业务,包括:地下城与勇士、穿越火线、洛克王国、英雄联盟、御龙在天、QQ飞车、七雄争霸、QQ炫舞、逆战、qtalk、QQgame、AVA、QQ炫舞2、H2、QQ华夏、NBA2k、斗战神、QQ宠物、Q宠大乐斗、寻仙、QQ三国、QQ音速、轩辕传奇、农牧场、woz、warface、部落守卫战 等。 数据管理组已经完成接入运管中心,共计101款业务的日常数据需求统计。

1、 数据提取流程

 1) 需求系统运维提取

      

 1.1、项目相关同事在iflow需求管理系统提交数据提取需求,同时估计是否与运维做前期沟通;

 1.2、数据中心同事进行需求认领,并与需求人沟通需求细节;

 1.3、运维人员估计需求是否可以通过idea自助提取,并同步信息给业务侧,以便下次业务侧idea自助提取;

 1.4、当idea不能满足时,运统人员登录idab运维数据提取平台做数据拉取、分析操作;

 1.5、将分析结果邮件或rtx交付给业务需求提交人,流程结束。

2) idea自助提取任务

      业务侧可登录自助提取平台提取数据,如涉及复杂需求可走“需求系统运维提取”流程。

 3) 外网活动数据提取流程

  3.1、项目相关同事在流程系统提交数据统计需求;

  3.2、由数据中心安排同事进行数据提取,并反馈给需求人;

  3.3、需求人联合运维和数据中心进行公式核对,并对数据进行抽查;

  3.4、得到运维确认后,需求人使用数据,在对外后密切关注反馈情况。

 

五、 运维基础服务

    运维基础服务覆盖了数据中心整个运维体系,涉及资源、运营质量、效率与成本等,具体包括平台高可用、异地容灾、监控、资源统一申请与管理等,规范业务上线、运营、下线流程,最终实现DO分离。基础运维体系图:

 

 1、经分运管设备移交项目- 400多台运管经分设备移交至数据中心运维运营,实现DO分离、基础运维覆盖;

 2、提高平台高可用性- 完成中心重点平台去单点,对多台服务器的功能关键点部署负载均衡调度。

 3、提升数据容灾能力 - 对数据中心重点数据存储平台(经分统计数据、DR文件等)实现异地备份;

 4、监控告警建设 - 数据中心总重点平台服务、进程监控覆盖100%,数据中心设备基础监控覆盖100%。

 5、运维日常操作规范建设 - 运维常用代码接入VSS平台管理,提高代码、脚本复用,合理安排人力,提高人力资源利用最大化;

 6、设备虚拟化建设 - 通过将资源利用率低、突发性高业务设备迁移至虚拟化环境,让资源利用率最大化,降低运营成本。

 7、设备“铁将军”- 通过接入“铁将军”项目,实现架构平台部服务器帐号集中式管理、实名登陆,权限最小化分配,超级权限严格控制,操作全审计等;

 8、开发测试环境 - 通过剥离平台开发、测试、生产环境,规范业务发布流程标准,引用SVN版本控制手段,可提升开发及服务质量。

 

六、  结束语

      作为idata基础服务组件,为上游应用提供稳定、高质量的数据来源服务,最终为互娱游戏业务提供精细化服务打下基础,为了让大家更加了解基础服务组件的各环节及平台,后续将以系列文章逐一进行介绍,敬请期待。

最新文章
1重磅上新:Android 15开发者预览版云真机,尽享全新特性 Android 15 预览版计划从 2024 年 2 月开始启动,到向 AOSP 和 OEM 提供最终的公开版本时结束,最终版本预计将在今年年底发布。
2免费加码!超值的新人福利来了! 为了向客户提供更优质的服务,释放技术红利,腾讯WeTest新增赠送很多安全类产品额度。平台用户在完成个人认证和企业创建能进一步享有更多服务礼包。
4跨越界限!PerfDog Evo(v10.0)版,打破游戏与APP性能测试壁垒! 跨越界限!PerfDog Evo(v10.0)版,打破游戏与APP性能测试壁垒!
5腾讯WeTest :为用户开新篇,八周年惠享巨献! “腾讯WeTest八周年惠享巨献”活动盛大开启!热门产品低至1折2,购买核心服务立享满减优惠,等您来参与!
购买
客服
反馈