擅长技术:
①后端开发,Java语言
后端熟练掌握SSM、SpringBoot、SpingCloud等常见框架使用,开发过各类管理系统
②前端开发,Vue
可独立完成前后端开发
③擅长爬虫
熟悉常见反爬机制,可编写对应爬虫脚本,以及爬新措施,理解http相关协议,能够熟练运用代理池
④ElasticSearch搜索引擎
曾在公司搭建过企查查亿级数据搜索引擎,熟悉Es配置,Kibana数据可视化
①网易云音乐爬虫
编写网易云音乐爬虫项目,获得数百万数据,并可持续爬新,包括歌曲、评论、专辑、歌单、电台等信息
②企查查爬虫与搜索引擎构建
爬取企查查数据并将其构建为搜索引擎供公司内部使用,目前约有1.6E数据,总量3T
③公司企商宝项目
熟练使用SpringBoot、SpringCloud等技术完成有关管理系统的搭建
该作品为网易云音乐数据抓取 抓取内容包括歌曲信息、评论、歌单、专辑、分类、电台和电台节目等数据 一共爬取数百万数据,并可持续爬新。
本项目针对企查查进行数据抓取 一共抓取数据1.6E,并可持续抓取最新企业注册数据,包括基本信息和额外数据,比如失信和风险信息等 并将其数据导入ES搜索引擎供企业内部搜索使用 采用kibana进行数据可视化及分析
本项目针对企查查进行数据抓取 一共抓取数据1.6E,并可持续抓取最新企业注册数据,包括基本信息和额外数据,比如失信和风险信息等 并将其数据导入ES搜索引擎供企业内部搜索使用 采用kibana进行数据可视化及分析