了解spring boot, spring cloud, mybatis等开源框架
了解tomcat, Kafka
对Java线程池, 锁, 集合, jvm等有一定了解, 看过部分源码
了解python编程
了解MySQL, redis等数据库
速派系统:该项目是公司核心服务,基于spring cloud框架,使用redis分布式缓存,同时Elasticsearch提供查询功能,筛选生成分配任务,记录任务的整个生命周期,并统计员工绩效,主要分为过滤端,生成端,分配端三个服务
项目流程:过滤端过滤第三方请求,生成任务的基本属性发送至生成端,nginx以轮询的方式选择实例,读取redis生成具体任务并落盘至leveldb,写入Elasticsearch存储及查询,发送Kafka消息通知分配端分配到具体员工客户端,并实时更新任务状态直至任务完成
表级同步:该项目是公司核心基础服务,基于Spring boot框架,以Kafka作为消息中间件,将公司内网加工后的数据同步到外网供客户下载
项目流程:当数据被加工修改入库时,触发表触发器,分发端基于mybatis框架读取数据库,接收信号,将消息发送至Kafka对应的topic,打包端从Kafka上消费消息,使用线程池并发处理, 根据业务逻辑并发打包相关数据,发送至Kafka,下载端消费Kafka,解包入库,主要难点是发送消息时的异常处理,收集所有已知异常,根据能否重试分为两大类,可重试异常记录进度重试,不可重试异常及时跳过不阻塞,同时根据异常的处理情况提交Kafka消费位移
主要功能是同步币安的历史数据,可以在这个数据上做一些操作,如计算一段时间内某币种的涨跌,所有币种的涨幅等等
背景是想看的视频在网站上是分段的, 想要保存在本地很麻烦,就有了这个脚本用来解析下载视频并把视频拼接成一个