Web开发⼯具:eclipse/idea(会用)
Web开发框架:spring+springMVC+mybatis/springboot(日常开发会用)
⽇志框架:elk (可以独⽴部署),熟悉log4j等。
流式数据处理框架:albatis-io
⼤数据框架:了解hadoop,Impala。
数据库相关:mysql/pgsql/oracle/sqlsrever/kafka/mongo/arango/es/redis(以往工作常常使用)
版本管理、⽂档和⾃动化部署⼯具:svn/ Git/sourcetree/GitKraken(以往工作常常使用)
操作系统:基于linux/ widows/开发
项⽬部署:可以独⽴在linux服务器部署web,batch等项⽬
原型设计:有Axure画原型的经验
项⽬数据表结构设计:web开发时做过两年的组⻓,拥有⽐较丰富的表结构设计经验。
消息队列:kafka,rabitmq,datahub ,activmq(以往工作常常使用)
并发编程:了解并发编程可以处理线程。
设计模式:单例模式,⼯⼚模式,代理模式,常常使用静态内部类⽅式的单例模式初始内存,加载一次性初始化配置项。
接口开发:webservice/http resful接口都有开发经验
前端框架:javascript(jquery),拥有前后端通过nginx代理的项⽬开发经验
依赖打包插件maven: 可以使⽤maven进⾏项⽬管理打包部署(常常解决jar冲突)。
⽂档阅读:可以阅读英⽂⽂档⾃我提升
其他:有图库(arango)开发的经验,有数据清洗,挖掘,计算的经验,有数据字段mapping的经验。
项⽬1名称:智推
项目简介:杭州市萧山公安局打防管控智能化平台。
项目责任:智推积分计算部分,特征研判标签工厂等系统计算出的数据中带有每一类特征/事件发生的次数。需要一个独立的接口把这些count算成分值,支撑页面展示。入参一批人的各类特征的发生的次数,即count值,读取积分配置系统,各类特征所属的单项积分,算出个单项计分,向上追溯算出综合积分,在向上追溯算出每个实体总分。
项⽬2名称:关系系统
项目简介:此系统用来处理关系数据上图,是公司数据处理生态中的一环。
框架及技术:springboot+mybatis+nginx+jquery+maven+mysql+mongo+arango+kafka+albatis-io
java版本:java8
项⽬责任:
1,arango图库数据查询展⽰(主要业务有群体分析,⾎缘分析,关系图展⽰。维护节点,导⼊关系数据⽂
档)
2,增量全量数据关系计算⼊图库
个⼈负责:与产品原型沟通设计表结构并给出开发计划,图库查询接口开发⼯作,数据⼊图库数据处理batch开发⼯作
数据数仓部分 1,关系数据处理 2,数据流模式设计 web开发部分 1,数据上图 2,系统表结构设计
公司数据数仓组件(由于已经离职大多数都已找不到) etl.dpc,subject,search等组件配置系统优化