ID：391258
楼庆华18158141555
高级python工程师
- 公司信息：
- 耀华
- 工作经验：
- 2年
- 兼职日薪：
- 800元/8小时
- 兼职时间：
- 下班后
- 所在区域：
- 杭州
- 西湖
技术能力
我是一名专注于网络爬虫与数据采集的开发工程师，拥有丰富的爬虫项目经验，擅长高效、稳定地抓取和处理海量数据。熟悉多种反爬虫策略的应对方案，能够根据需求定制化开发数据采集系统，并提供数据清洗、存储和分析的一站式解决方案。
电商网站数据采集系统
使用Scrapy框架抓取某电商平台商品信息（价格、评论、库存等）。
应对动态加载和反爬策略，设计IP代理池和请求频率控制机制。
数据存储至MySQL，并通过API接口提供实时查询服务。
新闻媒体舆情监控
抓取多家新闻网站的文章内容，实时监控热点话题。
使用Selenium处理动态渲染页面，结合NLP技术进行情感分析。
数据存储至MongoDB，并通过可视化工具展示分析结果。
社交媒体数据采集与分析
抓取某社交平台的用户动态、评论及互动数据。
设计分布式爬虫系统，提升抓取效率。
使用Pandas进行数据清洗，生成用户行为分析报告。
项目经验
电商网站数据采集系统
使用Scrapy框架抓取某电商平台商品信息（价格、评论、库存等）。
应对动态加载和反爬策略，设计IP代理池和请求频率控制机制。
数据存储至MySQL，并通过API接口提供实时查询服务。
新闻媒体舆情监控
抓取多家新闻网站的文章内容，实时监控热点话题。
使用Selenium处理动态渲染页面，结合NLP技术进行情感分析。
数据存储至MongoDB，并通过可视化工具展示分析结果。
社交媒体数据采集与分析
抓取某社交平台的用户动态、评论及互动数据。
设计分布式爬虫系统，提升抓取效率。
使用Pandas进行数据清洗，生成用户行为分析报告。
