我是网易游戏数据研发工程师，很高兴能向大家分享我在这个岗位的工作心得。

在业内，数据研发工程师分为两个方向：数据治理和数据产品研发。我会从这两个方向分别讲述它们的工作内容，希望能对你的职业选择有所帮助。

数据治理：搭建高校高质的“数据仓库”

我现在更多是在做数据处理方向的工作，工作的核心内容都在与数据打交道。在公司端游数据的时代，由于游戏数目不多，一般数据的流程都是游戏的线上服务器直接在游戏维护的期间，把数据导出一份到对应的分析服务器进行数据处理和分析。

显然，这种数据处理方式，在分析和统计上会有滞后的延迟。导致一些玩法活动的分析，系统的修改的影响等数据都要在一周之后才能了解到实际的变动和影响，缺乏了时效的属性， 数据的价值就难以展现出来。

我们每天要处理公司几百款游戏的百TB级别数据，这就对数据研发工程师提出了很高的要求，沿用以前的流程显然不合实际。

为了更高效的处理如此庞大的数据，必然需要一个“数据仓库”进行管理和存储，用它收集各个产品的数据，同时进行整理清洗，根据使用的场景进行分类和计算，最后完成一系列的分层展示。数据仓库设计的好坏，直接影响到数据的使用效率和维护成本。

经历了端游到手游的数据爆炸式增长，我们对数据的高效处理主要体现在离线数据处理和实时计算两个方面。

先说离线数据的处理方式：

1)   根据游戏的日志规模，智能设置计算的存储与计算资源；

2)   对于海外发行产品的数据处理，自动识别时区数据，货币统一业务转换等；

3)   采用各种不同的计算引擎进行批处理（包括但不限于：hive(mr),hive(spark), presto,tez)，对数据进行预计算；

4)   OLAP 采用流行的计算框架及预计算方式，实现多维度组合的大规模数据能够在秒级查询出结果；

5)   对离线数据提一些关键的业务， 采用搜索引擎的技术，solr, es等，加速我们的模糊搜索；

6)   对离线数据的处理， 我们进行了深度的定制，对每一个核心的接口进行改造与优化，让数据处理完全分布计算与存储，充分利用计算机资源。

实时计算方面则经历了批处理到事件驱动处理的变迁。

以前，实时数据是批处理或微批处理，数据通过文件的形式，每隔1-10分钟或文件达到100M就抄送到平台进行计算，这个过程是有延迟的。

现在以事件驱动形式，一条条处理实时数据，日志生成写入文件就会被直接检查到，再采集到消息队列，进入实时计算平台，延迟相当小，数据处理达到秒级或亚秒级，也就是说，当一个玩家刚登录到游戏里，我们在1秒内，就可以知道DAU（日活跃用户数量）发生了变化。

在离线数据与实时计算两方面的进步，反映了数据处理手段的高效。当然，仅仅高效还不够，我们还要确保数据质量，避免出现问题。

早期由于整个大数据平台和数据仓库的ETL过程、 数据同步、采集的过程都比较复杂，有时会出现一系列的数据问题，比如：

1)   数据截断；

2)   数据不符合规范，无法解释丢失；

3)   数据延迟到达，导致部分指标计算缺失；

4)   某类作业报错，导致依赖的作业无法处理；

5)   平台故障等事件。

而且这些问题都很分散，没有集中的入口，出一个问题处理一个问题，没有经验的积累与反查。

于是，我们建立了全流程监控的数据质量系统，包括数据的采集，离线、实时数据处理过程，指标的统计过程涉及数据处理的每个环节，对指标级数据，采用实时与周期性的监控， 通过环节，同比，及根据一定的算法进行波动检测， 对异常的数据进行监测。

有了这个系统以后，整个生产线从数据来源、处理过程、计算结果都得到监控，任意环节出现问题都可以根据不同的等级进行告警，让负责的同学知道情况，从而第一时间解决。

数据产品研发：打造价值无限的数据中台

经过多年的沉淀，我们积累了海量的数据和强大的数据处理及算法能力，并将这些数据和技术进行整合打造出强悍的普罗米修斯数据中台，为游戏全面赋能。

普罗米修斯数据中台联通了全部网易游戏数据，提供更细致的玩家行为分析，对游戏日志实时采集，算法实时计算，满足不同应用场景的实时性需求，助力产品进行数据洞察与决策。利用中台丰富的算法和强大的计算框架，为游戏的智慧化设计提供解决方案，已为多款大DAU产品提供全方位服务。普罗米修斯数据中台的自动化特性，可快速、灵活满足上层应用的要求，满足个性化数据和应用的需求。

普罗米修斯数据中台如此强大，它是如何做到的呢？

如图是普罗米修斯数据中台的整体架构。依托Omega批处理平台和US自研的Noah机器学习及流式计算平台，中台形成了丰富的数据资产，覆盖了游戏内数据、各类论坛评论数据、各类排行榜数据、各直播平台数据、玩家标签数据、用研问卷数据等各类数据。

建立在数据资产之上，是数据中台的明星产品——UData大数据分析系统。它为产品提供了各项基础分析数据和定制分析指标，而流失分析、留存分析、付费分析、社交分析、渠道分析等作为该系统的重要功能，深受各产品的喜爱。普罗米修斯中台提供的数据挖掘服务，涵盖了个性化推荐、舆情监控、自然语言处理、社交网络挖掘、用户画像等领域，全面赋能产品的运营、设计与交互。

在普罗米修斯数据中台中，UData个性化推荐平台作为一款重量级产品，已经为网易游戏大部分产品提供了稳定高效的个性化推荐服务。而Noah机器学习平台作为中台中的拳头产品，为中台的稳定、高效、机动能力打下坚实基础。

UData个性化推荐系统的优势是：低成本、一站式服务。

它利用全网易游戏海量的玩家画像、游戏内完备的用户行为数据，结合成熟的个性化推荐系统架构和机器学习算法，为公司游戏提供全方位的个性化推荐服务。截止到目前，已有80余款产品接入使用，涵盖了网易绝大部分产品，支持各类型的推荐场景。

UData个性化推荐的整体生态系统如图所示。网易的任何一款产品都可以快速自动化的接入到平台中，各产品策划通过平台提供的精细化运营功能，自由设计并投放个性化推荐活动，并及时掌握推荐系统的运营效果，实时监控各活动的稳定性。

推荐系统实时监控并获取玩家的行为日志，通过离线计算、实时计算、在线推荐等，形成玩家行为到线上推荐的闭环。

1）离线计算：利用Noah机器学习平台和Omega批处理平台，对Hadoop分布式系统上的玩家行为数据和画像数据，进行离线特征计算与模型训练，将玩家和物品特征写入存储系统，并将训练的模型输出。

2）实时计算：利用流式计算平台，实时进行玩家和物品特征的维护。

3）在线推荐：根据玩家的行为，从在线存储中对玩家的推荐结果进行初步找回，形成推荐候选集。利用Noah机器学习平台训练的模型，对候选集使用模型进行预测，并进行排序，将推荐结果返回给玩家。

基于UData推荐系统，我们已经服务网易大量产品的推荐业务。

Noah机器学习平台着重于为算法开发赋能。

作为我们自主研发的分布式机器学习算法平台，它在普罗米修斯数据中台起着举足轻重的作用，用户可以自定义计算流程图（DAG），通过简洁的可视化界面操作即可完成复杂的机器学习任务，功能覆盖算法开发、评估、管理、生产的全生命周期，帮助开发者提高开发效率，提升算法性能，开拓全新业务模式。它具备以下特性：

低门槛：算法研发过程拖拉拽，应用对接过程配置化，持续生产过程免开发，全方位降低算法落地门槛；

一站式：覆盖数据接入、数据处理、特征工程、模型训练、模型预测、模型评估以及模型发布全流程；

可扩展：业务开发过程标准化和平台化，实现应用案例的可复制性和规模效应，提升业务落地效率。

如图是Noah机器学习平台的架构。用户通过托拉拽的方式在平台上完成机器学习实验的开发，平台对实验进行调度，拆解成单个算子进行运行。每个算子节点根据配置提交到Spark集群、TensorFlow集群等进行计算。

利用Noah机器学习平台的高效性，各类个性化推荐业务已经完成在Noah上的落地。

在网易游戏做数据研发，有什么优势？

在网易游戏做数据研发，优势在于业务数据宏大和平台的统一。这就意味着你可以接触到千万PV的数据服务研发和各种高并发/高可用的场景，以及前沿的大数据处理技术（如：Flink、Spark、Hadoop、Hbase）和前沿/主流的工程研发技术（包括但不限于：web前端/app客户端/服务端/API），还有丰富多样的技术栈，应用于各种类型的系统。

海量数据和先进技术可以给予新人巨大的发挥空间和成长空间，同时我们还有一套完备科学的培训体系，确保新同学在优秀团队以及优秀导师的带领和帮助下快速成长，也会给予足够多的项目级别的应用开发机会。

如果你技术功底扎实，对数据非常敏感，那么我们很欢迎你加入游戏数据研发工程师的队伍，和数据打交道并不枯燥，你一定会爱上这个行业。