主要从事Java开发,熟悉spring、springboot、mybatis、mysql、redis、rabbit、dubbo等,做过爬虫开发,实现模拟登陆部分网站。
熟悉Python开发,熟悉scrapy等爬虫框架,flask等web框架。
公司内部使用的数据库分区自动管理项目,目前公司内部所有数据库分区表均通过该项目进行维护,已上线一年半左右,无重大bug,无误删数据事故,运行稳定。
公司内部第三方接口管理项目,管理公司对接的第三方接口调度,包括接口开关,接口调用次数、成功率、耗时统计,接口失败多策略预警,接口计费,接口统计报表生成与展示等功能,已上线一年左右,运行正常,无重大bug。
公司内部使用项目预警系统,实现多种预警策略,灵活调整,及时预警,通过邮件、短信、电话等多种方式实现及时通知预警人员,已上线一年左右,运行稳定。
社保、公积金、美团、饿了么等多个网站爬虫开发,线上运行超过半年,使用httpclient进行爬虫开发,抽离出通用的模拟登陆与爬取流程,抽离出统一的交互api,通用的html解析工具类,大大缩短了爬虫开发周期,研发只需要专注于破解网站相关策略,目前公司爬虫研发组大部分爬虫项目使用相同方式开发爬虫,简单爬虫可在一天内完成可用的API开发。