熟悉大数据处理架构,如Hadoop、Spark、Flink、Hive、Kafka
拥有3年数据开发经验,可搭建完整数据服务,后端服务等
熟悉Java、Python、Scala等编程语言
对机器学习有一定了解,可做简单的模型预测,如文本分类、图像处理、垃圾分类等
离线数仓,整体数据流程处理;
实时数据大屏展示;
基金数据分析、组合净值计算;
股票数据指标分析;
在线人数实时监测;
用户运动轨迹描绘;
用户画像;
此项目为日志分析系统,图片中不展示源码 整体架构用到 redis+mysql+spark+kafka+flume+hive 通过flume采集日志数据发送到kafka,利用spark进行实时处理,功能中自定义UDF,再利用数据库保存数据,借由前端框架进行展示
利用用户在网页中的session信息对用户进行用户画像分析。 使用技术为 Java + Scala + Spark + Redis + Mysql 如用户的登录设备,ip地址,访问请求头,时间,频率,跳转链接,链接所属分类等,利用信息对用户整体的偏好进行归类,以此作为推荐系统