语言:java,scala
技术:hadoop,hdfs,hive,impala,hbase,kafka,spark,sparkstreaming,clickhouse,redis,elasticsearch,shell
一.公安大数据实战应用平台
基于大数据的公安实战应用平台以大数据为基础,以服务公安实战为宗旨,依托于公安机关掌握 的丰富信息资源,根据实战业务,重点围绕维稳处突、打击犯罪、治安治理三项任务,紧紧抓住 指挥处置、侦查办案、巡逻防控等环节,着力打造实用的业务化平台。 我负责的工作内容:
1.底层数据接入
2.实时布控预警
3.主题库建设
4.时空轨迹分析
5. 数据碰撞
6. 同行分析
二.手游数据分析平台
随着游戏玩家的不断增加,游戏玩家的操作日志每天都是TB级别的数据量,使用常规的数据处理 方式比较困难。公司开始引入大数据分析处理游戏日志以提升玩家游戏体验,留存以及付费等。 我负责的工作内容:
1.初期的大数据平台搭建以及维护
2.清洗过滤加工游戏日志数据到大数据平台,需要离线的写入hive,实时的写入clickhouse/hbas e/kafka 做实时分析查询。
3.引入clickhouse 列式存储数据库,处理即时查询业务
4.使用hive,spark sql处理报表数据
5.提供数据查询接口