综合能力: 爬虫 | web开发 | java | 分布式 | python | react
java基础扎实(熟悉io、多线程、集合等基础框架,熟悉jvm内存管理、GC算法,熟悉JVM参数)
熟练使用RPC、消息队列、数据库(Mysql)、缓存、ODPS
熟练java web开发。掌握spring(springboot、spring mvc)、mybatis应用及其原理
熟练使用Apache commons lang、pool、HttpClient、IO、poi 及Google Guava等三方jar包快速开发
熟悉linux和shell编程,熟悉python
熟练前端开发react、js、jquery、bootstrap,2年web系统开发、数据可视化开发经验
高德抓取平台
目的:
正所谓知己知彼 百战不殆,为了使公司产品能够跟随瞬息万变的潮流而不断更新,特成立情报团队,获取互联网行业的最新动态,使产品占据有竞争力的优势
描述:
这是一个大型的分布式自动化抓取平台。它完美的诠释了数据变现这一流程,它从对抗、破解、调度、抓取、解析、存储、推送为业务方提供优质数据,目前实现可配置化
北京2022年冬奥会和残奥会组织委员会项目管理系统 2017.06 – 2018.06
目的:为保证北京2022冬奥/残奥顺利完成,我公司为助力冬奥,派我现场开发此项目
使用人群:冬奥组委、残奥会、国际奥组委、国际残奥会。
描述:
这是一个为知名组织(奥组委、残奥会、亚组委、军运会)服务的大型赛事运行管理系统,该系统分为中英文两个版本,采用spring国际化实现,系统包括城市运行、基础设施完成进度,文件传递、统计报表,自定义审批流、自定义权限控制,以及报警模块(spring定时调度)
使用技术:spring、springMVC、myatis、FTP、Redis、Quartz、webSocket、dubbo
该项目解决XSS攻击、SQL注入攻击、点击劫持攻击、越权操作漏洞、CSRF跨站请求伪造 等网络安全漏洞。
在此项目成功后,我们在此基础上又开发了 杭州亚组委项目管理系统、武汉军人运动会赛事运行管理系统
新华社新闻信息统计监测系统
目的:大数据时代,新华社在党中央的直接领导下开展绿色网络 文明上网的相关工作,肩负党和人民赋予的神圣使命,为党团结带领全国各族人民走向美好的明天(摘之需求文档),特委托中科院某实验室开发信息监测系统,发现和制止海外、国内发布的涉黄、涉华、造谣、聚众、不正确思想的行为。
描述:该系统分为信息监测和业务稿件处理两大核心,信息监测结果通过大屏展示(数据可视化),业务稿件根据权限级别做相应处理,
系统流程:第三方数据通过接口推送或我公司自己的采集程序 将数据写入kafka,清洗服务订阅kafka获取数据根据规则将可用数据进行处理写入ElasticSearch,并记录mongo ,使用Dubbo+Zookeeber+redis+jfinal构成微服务,接下来就由WEB服务调用微服务对数据可视化