熟悉 AI 辅助编程
熟悉 java、python 基础
熟悉 springboot、spring-dubbo、spring-cloud ,了解 springMVC、Django
熟悉 kafka ,了解 vue、js/html
熟悉 mybatis,MySQL、redis 、部分底层数据结构,了解 Orcale、HBase、sqlserver
熟悉 selenium、pyppeteer
熟悉 Nginx、jenkins
熟悉常见 Shell、vim、Git 指令
信控系统 2023.04 – 2023.09 java开发工程师
● 描述:中诚信给予的外包项目,驻场开发,12个功能模块负责其中8个与其他模块的非核心部分。项目名称等信息需要保密
● 技术栈:spring-cloud
● 职责范围:
(1)、中诚信外包准入相关,寻找、确认二包团队
(2)、与中诚信沟通项目前期启动情况,根据需求大纲制定报价
(3)、三方参与客户相关部门访谈,了解业务、流程、宏观战略、授信所需等信息
(4)、与中诚信沟通划分责任范围,项目分工制定,确定驻场规则
(5)、三方参与需求调研、现状调研,沟通制定业务流程规则
(6)、组织人员驻场等准备工作
(7)、接收原型,共同制定开发流程与人员调配,与二包领队共同负责一审业务代码,与中诚信 DBA 沟通我方 sql 语句提交,管理代码及相关文件无泄漏
(8)、使用中诚信的禅道管理项目流程,并根据提交的 BUG 交予相关人员修改
(9)、接收中诚信提供的数据模型及文档,并指导模型的使用
(10)、参与测试上线,代码文档交付,保障功能上线
爬虫综合系统--万象信用 2020.02 – 2021.07 Java工程师、爬虫工程师
● 描述:各类爬虫系统太多维护和开发都不方便,业务上虽不同但很多代码其实都是可复用的,所以催生了整合所有爬虫及爬虫相关的项目。离职时正在执行中期方案
● 技术栈:spring-dubbo、httpclient、mybatis、redis 集群、Selenium、jvppeteer、Layui、Nginx、jenkins
● 职责范围:
(1)、基于各种爬虫的特性和业务上,提出具体整合方案,包含前期、中期、后期方案
(2)、配合领导构建项目框架,完成前期方案,并迁移爬虫监控等功能
(3)、征信报告系统-企业信用信息平台相关新实时爬虫的开发,并进行中期方案;
(4)、破解公示网站 js 反爬,基于变量名混淆 js 生成 cookies 参数的破解
● 项目业绩:
(1)、除了 dubbo 微服务基础构建外其他功能均由本人开发
(2)、破解公示网站 js 反爬
(3)、制定爬虫开发流程
DTS数据测试综合项目--万象智慧 2020.02 – 2021.07 Java工程师
● 描述:DTS 共两套业务线,涵盖6个系统。北京项目组裁撤后我维护其中4个系统,一条业务线即紧急数据处理交予我操作,其流程比较复杂。
(1)、前台业务系统:主要调用其他征信产品接口做数据处理,进行对个人征信风险的管控,springcloud 框架
(2)、后台管理系统:主要用于维护参数字段,在不明原因下这块功能被单独作为了一个项目,还不是微服务纯 springboot
(3)、紧急数据处理:主系统、工具系统共计2个。与银行个人征信相关的手动业务线,大部分流程需要远程桌面手操数据库。主系统 DTS2 为该业务的自动化实现,在技术上让人耳目一新,但是由于多种原因弃用了。
● 技术栈:springboot、springcloud、MySQL、Orcale
● 职责范围:
(1)、前台业务系统:协助处理业务,系统的维护,新产品接口相关功能的开发
(2)、后台管理系统:维护系统与参数字段,保障新产品接口的参数输入
(3)、紧急数据处理:在有限时间内完成紧急数据处理的业务流程,并导出交付
(4)、编写操作文档,并培训同事能接手项目
● 项目业绩:
(1)、某次紧急业务数据处理中,千万级数据量 sql 调优
(2)、在仅有两天的交接时间、原开发人员失联、业务逻辑复杂、系统复杂的情况下,明确并规范操作流程归入文档,保障多次紧急业务处理的数据0出错
百度医疗项目--万象信用 2019.04-2021.07 Java工程师、爬虫工程师
● 描述:包含前台综合处理系统,后台 pyppeteer 爬虫
- 前台综合处理系统:结合填写的信息和爬取的信息,经过数据处理,产出医院及医院工作人员相关信息的报告,Java 项目
- 后台爬虫:该项目基于 Django与 pyppeteer 开发完成,爬取国家食品药品监督管理总局,可控制 Chrome 完成请求、解析、截图等任务。并提供对应 api 实现爬虫调用,因异步调用需要,Django 只接收任务并分发,爬虫通过轮询 redis 消息总线获取任务和参数。HBase 存储网页快照。有一个简单的心跳监控和邮件预警。
● 技术栈:springboot、Django、pyppeteer、MySQL、HBase、redis 集群、tensorflow、numpy、Pillow、FT
角色 | 职位 |
负责人 | 中级Java工程师、爬虫工程师 |
队员 | 前端工程师 |
队员 | 后端工程师 |