埃睿迪(北京)信息基数有限公司 2018年4月 - 2019年3月
java高级工程师 研发部 北京
埃睿迪(北京)信息基数有限公司:主要提供工业大数据治理服务
主要负责:数据基础服务平台的微服务SpringCloud的架构,RabbitMq高可用消息系统为服务架构,和同事一起开发
工业数据纬度/和指标的入库服务。
用户基础服务:
教育经历
构建高可用安全的的用户公共服务,提供不同系统注册,登录,token鉴权,路由处理,容器管理等
高可用消息系统为服务:
构建keepalived+HaProxy+镜像+双活集群的RabbitMa集群
创建生产端组件包括:生产者消息确认、消息发送、可靠性消息存储、重试,延迟、定时抓取,失败处理等
创建消费端组件: 消费者监听器,消息异常处理,消息幂等服务等
纬度和指标
通过不同的纬度(年月日工厂等),指标等动态创建数据表,通过发布任务将工厂中大量的生产数据etl后存入数据
库中
项目所用技术:SpringCloud/Mysql/redis/kafka/schedule/vue.js
分布式日志系统
通过mysql 的二进制日志和CONNECTION_ID 记录每一个登陆用户修改操作
elk 和 spark 回收并处理所有系统的日志信息,并将处理后的结果通过图表展示出来