(1)两个大数据BI系统从设计到实现,分别为核心开发者和后端负责人。
(2)掌握Python/Django,Hive,Linux,Spark Streaming,ElasticSearch。
(3)掌握Java基础,Hadoop生态,web生态与数据库,restful RPC,SQL和NoSQL。
(4)长期使用各Linux系统,云产品,接入三方sdk等,文档阅读能力强。
(5)熟悉一些其他语言,入门级机器学习(增强学习),Docker。
XX手游SDK服务器后端
项目简介:
着迷网与合一集团为发行游戏推出的手游SDK,其中提供有用户系统,支付与三方登录,绑定等功能,连接内容提供商与用户端,传统的后端,django+mysql+redis实现。
个人职责:
(1)和IOS与Android前端配合,进行版本功能控制。
(2)设计并开发客服系统,允许权限账号进行补单/查单,大R账户查询等。
(3)对已有接口进行修改维护,包括但不限于:
合服,分离接口功能,修复bug,内部系统,结构控制,兼容国内与海外等。
(4)对新需求实现新接口,包括但不限于:
微信/google/爱贝/MOL/分期支付,微信/微博/qq登录,绑定三方账号等。
(5)更新部署与维护。(Celery,Supervisor,Uwsgi,Nginx)
XX数据平台(BI系统)
项目简介:
公司整体的大数据平台,囊括数十款移动端游戏和一些运维向数据分析,由各语言的SDK提供数据报送通讯,收入后进行ETL,之后开始分析出报表,由restful RPC 提供分析报表的查询,包含有周期性的批处理数据,以及当日实时数据报表。除此以外,还提供有记录服务(对大量内容记录进行永久存储与实时查询)排序服务(海量数据快速实时排序)等平台服务。
个人职责:
(1)云服务选型及购买,关联,维护以及环境搭建,项目部署与监控(nginx,uwsgi,shell)。
(2)协助运营方确定数据分析需求,根据需求设计事件打点与字段。
(3)提供接口(django)与Java SDK,协助完成PHP,Lua SDK,异步报送采集数据。
(4)对接收到的数据分别进行流分析(spark streaming)和批处理(beeline,hive),产出历史与实时数据,并将报表数据入库(elasticsearch)。
(5)提供基于Elasticsearch的排序服务和记录服务。
(6)提供高度抽象restful API(django实现),供各产品后端展示,与服务使用方调用。
(7)对公司运营向决策提供大数据支持,以及异常排查,危险预警。
公司整体的大数据平台,囊括数十款移动端游戏和一些运维向数据分析,由各语言的SDK提供数据报送通讯,收入后进行ETL,之后开始分析出报表,由restful RPC 提供分析报表的查询,包含有周期性的批处理数据,以及当日实时数据报表。除此以外,还提供有记录服务(对大量内容记录进行永久
django web系统,使用简单的表单和数据库,为某学校的老师提供简单的问卷统计,和自动短信提醒功能。