语言
java 熟练
python 熟练
scala\shell 入门
框架
spring mvc 熟练
django 熟练
组件
spark 熟练
hadoop 熟练
redis 熟练
kafka 熟练
solr 熟练
habse 熟练
zookeeper 熟练
项目需求:
根据公安提供的数据与罪犯的轨迹进行碰撞来抓获相关嫌疑人、根据案件轨迹与数据碰撞来智能推荐相关嫌疑人、根据活动轨迹判断常住地信息、根据常住地信息初步判断人员身份、根据案件与数据碰撞来找出相关嫌疑人等等都是依据已获得的所有人员数据与已知条件进行碰撞或者只是对已知数据做一些转换聚合操作来处理相关数据,将其分析结果展示或者预留做进一步分析来达到数据处理的目的,在将TB甚至PB级的数据使用spark内存处理达到高效与准确,将hbase+solr中的原始信息与分析结果进行对比验证准确性,最终更快更有效的抓获相关的犯罪嫌疑人
项目技术:
Windows7+Centos7+hadoop+spark + IntelliJ IDEA + PostgreSQL+ hadoop +kafka + solr +Hbase+java
主要职责:
负责scala代码的编写完成大数据分析任务,负责java 接口与文档改动完成旧接口改动与新接口编写,负责维护平台组件正常运行(基于公司已经产品化的脚本),数据遗失等问题的任务跟综