熟练使用spring cloud微服务架构分模块分业务搭建分布式高可用服务系统
使用redis处理高频访问数据,kafka队列消息通知,eureka服务注册与zuul网关管理,openFeign进行微服务调用,ribbon负载均衡,Hystrix熔断等基础构架。
负责公司主要编码工作与bug修复,Jenkins自动化打包与项目部署,linux服务器维护与中间件部署。
罗网大数据平台
1.项目概述:该项目为公司数据中心部门的项目,由自己申请转入希望学习实践更多知识,主要通过爬虫收集网络热门抖音、微博、小红书等网红数据进行清洗分析,提取出各大广告主需要的精准投放红人的粉丝画像如:粉丝区域分别、性别分别、年龄分别、人群分别等等以及红人的主要信息如:粉丝数,播放量、点赞量、营销额、直播数据等等。为广告主提供快捷方便易用的精准广告投放服务。
2. 涉及的技术: ● springboot、mybatis技术:项目基本架构使用springboot框架,采用前后端分离开发。数据库技术使用mybatis。 ● java、python爬虫技术:*数据的第一步是网络爬虫,本人主要负责微博数据的爬取工作,通过python等技术获取网页数据,通过登录验证,进行元数据的获取 。 ●消息队列技术:由于红人数据需要每日更新,爬虫抓取机器与速度有限,所以使用消息队列机制逐个获取任务进行爬取。 ●mysql技术:深入了解mysql技术,数据清洗需要处理千万级别的数据,对应数据库的索引与链表查询、分组、排线等技术深入学习实践,生成红人的报表与红人排行日榜周榜月榜等数据。 ● redis缓存技术:由于数据库是千万数据所有查询比较慢,为了提供良好的用户体验,每次清洗完数据把榜单等数据存入缓存,并对每日第一次请求红人详情数据也存入缓存,以加快用户访问速度
1.项目概述:该项目为公司数据中心部门的项目,由自己申请转入希望学习实践更多知识,主要通过爬虫收集网络热门抖音、微博、小红书等网红数据进行清洗分析,提取出各大广告主需要的精准投放红人的粉丝画像如:粉丝区域分别、性别分别、年龄分别、人群分别等等以及红人的主要信息如:粉丝数,播放量、
项目概述:本项目为公司业务主要平台,作为现代化展会服务平台,为客户提供从展商预览,展会预约,购票到入场一站式服务。为展商提供高效的展务办理流程包括展会店铺管理,商品管理,展位管理,员工邀请与展商证生成等。 ● 主要负责工作:对项目需求进行讨论与设计,对数据库进行设计与索引优化,使