耐心、耐心、耐心、耐心、耐心.......
技术栈:
精通 j2EE ,JMM (原子性、可见性、有序性)、JVM 、集合、线程池、IO
排序算法、数据结构
设计模式(单例,工厂,代理,消费者生产者,策略,责任链,观察者,模板,装饰者)
熟练掌握:linux,mysql,ODPS,Neo4J(图)
熟练掌握:springboot,mybatis,redis,schedulex,powerjob,sentinel,rocketmq,kafka,elasticsearch,git,maven
熟练掌握:html,css,js,electron,node.js,vue,webpack
1. 项目介绍:
通过全链路数据流转图谱帮助企业建立数据流转刻画能力,基于图谱提供数据处理合规检测、数据泄露风险检测能力,帮助企业实现数据安全风险评估。
在对业务无干扰的前提下,以敏感数据为核心,围绕人、应用、业务三要素基于图计算绘制全链路数据
流转图谱,提供事前厘清现状、事中风险识别、事后路径追踪、日常安全运营等能力, 帮助企业客户建
立健全数据安全风险评估机制和体系建设。
基于用户执行的操作记录,构建出用户请求过程图谱
参与功能主要涉及元数据拉取任务、操作数据拉取任务、DI 数据拉取任务、DFT 切面日志数据拉取任
务、构建操作数据血缘任务、构建 APP 血缘任务、构建 DFT 切面血缘任务、ODPA的 TABLE 信息拉取任务、用户信息拉取任务,以拉取到侧操作记录,生成用户到应用,应用到应用、应用到字段、应用到字段组、字段组到字段、字段到表、字段到字段、表到数据库、数据库用户到数据库的相互关系,存入到图数据库和 ES 数据库中,在前端以图的形式展示出 TOP 热度应用系统、TOP 热度表、TOP 热度人员、TOP 新访问应用、TOP 新访问表、TOP 新访问人员。
2. 技术架构:
springboot + redis + caffeine + elasticsearch + powerjob + Neo4j
3. 项目职责:
血缘项目从0到1的功能开发,参与项目项目设计、库表设计、产出相关文档、服务部署、单元测试、
解决线上问题
4. 业绩:
● 采用 powerjob 任务批处理 + 线程池 + redis ,将20万解析需1.5小时的任务优化至15分以内
● 采用 CaffeineCache 作为一级缓存, redis 作为二级缓存,将页面查询响应20s+ 优化至0.5s以内
● 采用分布式架构,物理机可水平扩展,增加批处理任务执行能力
● 采用 elasticsearch 集群,增加大批量数据情况的数据库稳定性
这是一个BI平台,酷炫大屏展示,能随时随地掌控业务动态,让每个决策都有数据支撑。 多数据源支持,内置mysql、elasticsearch、kudu驱动,支持自定义数据集省去数据接口开发,目前已支持30+种大屏组件/图表,不会开发,照着设计稿也可以制作大屏。
一个BI平台,酷炫大屏展示,能随时随地掌控业务动态,让每个决策都有数据支撑。 多数据源支持,内置mysql、elasticsearch、kudu驱动,支持自定义数据集省去数据接口开发,目前已支持30+种大屏组件/图表,不会开发,照着设计稿也可以制作大屏。 三步