本人具备扎实的java基础和了解scala开发
熟悉常用的开发框架,ssm,springboot,spring cloud shiro,jpa,spring security ,quartz.
熟悉大数据开发:hdfs/spark/flume/elasticsearch
熟悉消息中间件:rabbitmq/kafka
在数据库方面,熟悉:mysql sqlserver redis
在前端方面熟悉 jquery,vue,bootstrap,layui.
熟悉微信小程序/微信公众号开发
熟悉项目管理工具:git,maven
熟悉服务器:tomcat Nginx
熟悉linux的常用基本命令
熟悉邮件服务器ewomail
熟悉常用的开发工具:sts/IntelliJ IDEA/vs code
Interesting video /小程序/app端
此项目是模仿抖音的一款短视频应用,
项目架构采用 spring boot + cloud 做分布式开发
我所负责的服务是 用户服务、大数据处理服务、搜索服务
在用户服务方面,使用了spring security做安全框架,涉及的功能有扫码登录、第三方登录、面对面扫码、实名审核、等其他CURD操作。
在大数据处理服务这块,使用了flume做日志采集,在通过kafka消息队列输送到spark streaming进行数据处理,主要是收集用户的ip地址,浏览视频的时长、类型、消耗的流量、用户的活跃时段、通过分析算法, 获取有用的数据进行视频推荐,等等。
搜索服务,这块使用了elasticsearch 做搜索引擎,对用户的搜索关键词做个性化搜索推荐,以及将数据传输到kafka- > spark steaming 做实时热搜榜。