能够熟练掌握springMVC,mybatis,springBoot框架
能够熟练使用springboot框架中thymeleaf前端模板
能够熟练使用mysql数据库,熟练掌握sql语句
能够熟练使用Linux命令,会编写shell脚本
熟悉开源平台nifi,会使用nifi进行流数据处理
熟悉Python 会编写Python脚本
会使用pandas对数据处理,
熟悉Python flask框架
会使用nifi发送http请求
掌握编写nifi自定义Processor技术
熟悉kafka使用原理,会使用kafka进行数据暂存
会搭建kafka集群
熟悉Elasticsearch 有Java及Python使用Elasticsearch经验
封装过Java netty http协议的sdk
掌握将kafka中数据转存到Elasticsearch技术
熟悉hbase数据库,熟悉HBase的开源SQL引擎Phoenix
会使用Java代码操作hbase数据库
会使用go及gin框架
掌握源生JavaScript以及jQuery技术
会使用git
有openresty实际开发经验,会编写lua脚本
大数据平台 反欺诈应用案例
1、开发环境:java
2、项目描述:为金融公司提供数据分析的业务以及服务,在进行支付或者信贷的过程中对个人、公司提供一个信用评估的服务。在欺诈者可能发生欺骗行为之前就将他们可能实施的行为扼杀在摇篮里,减少金融行业企业的风险。
3、责任描述:
(1)使用springboot作后台开发
(2) 将清洗好的数据存入kafka。
(3) 获得是否逾期信息后将数据存入Elasticsearch。
(4) 将Elasticsearch中的数据进行可视化展示(kibana)。
(5) 将各数据库的可视化展示嵌入到后台管理系统。