某BI系统

猿急送>天津兼职程序员>草小诚>

案例列表

基本信息

案例ID：132141

技术顾问：草小诚 - 4年经验 - 着迷网

联系沟通

微信扫码，建群沟通

项目名称：某BI系统

所属行业：文化娱乐 - 游戏

->查看更多案例

案例介绍

公司整体的大数据平台，囊括数十款移动端游戏和一些运维向数据分析，由各语言的SDK提供数据报送通讯，收入后进行ETL，之后开始分析出报表，由restful RPC 提供分析报表的查询，包含有周期性的批处理数据，以及当日实时数据报表。除此以外，还提供有记录服务（对大量内容记录进行永久存储与实时查询）排序服务（海量数据快速实时排序）等平台服务。
个人职责：
（1）云服务选型及购买，关联，维护以及环境搭建，项目部署与监控（nginx，uwsgi，shell）。
（2）协助运营方确定数据分析需求，根据需求设计事件打点与字段。
（3）提供接口（django）与Java SDK，协助完成PHP，Lua SDK，异步报送采集数据。
（4）对接收到的数据分别进行流分析（spark streaming）和批处理（beeline，hive），产出历史与实时数据，并将报表数据入库（elasticsearch）。
（5）提供基于Elasticsearch的排序服务和记录服务。
（6）提供高度抽象restful API（django实现），供各产品后端展示，与服务使用方调用。
（7）对公司运营向决策提供大数据支持，以及异常排查，危险预警。