猿急送>

其他其它兼职程序员

ID：341961

C..HφPE 身份已认证

技术部职员

公司信息：
中铁十局电务公司

工作经验：
15年

兼职日薪：
500元/8小时

兼职时间：
下班后

所在区域：
其他
全区

技术能力

专业技能：
Python爬虫技术：拥有深厚的Python编程基础，熟练掌握Python爬虫技术的核心要点，能够高效地进行数据采集和解析。
高效数据采集：
request库：精通使用request库进行HTTP请求，能够处理各种请求类型（如GET、POST等），并有效管理请求头、请求体等参数，确保数据采集的准确性和稳定性。
xpath：熟练使用XPath进行HTML/XML文档的解析，能够精准定位并提取所需数据，提高数据采集的效率和质量。
正则表达式（re）：掌握正则表达式的语法和用法，能够灵活处理字符串匹配、替换、提取等任务，解决复杂文本数据的处理问题。
抓包技术：熟悉抓包工具的使用（如Wireshark、Fiddler等），能够分析网络请求和响应，获取关键数据接口，为爬虫开发提供有力支持。

高效数据提取：
Scrapy框架：精通Scrapy框架的使用，能够构建高效的爬虫项目，实现数据的自动化采集和解析。熟悉Scrapy的组件架构、中间件机制等，能够灵活定制爬虫行为，提高数据采集的效率和可靠性。

Selenium框架：熟练掌握Selenium框架的使用，能够模拟用户操作进行网页数据的采集。熟悉Selenium的API、WebDriver等，能够处理复杂的JavaScript渲染页面，解决动态加载数据的问题。
异步多线程：具备深厚的异步编程和多线程技术基础，能够利用异步IO和多线程提高数据采集的并发性和效率。熟悉Python的asyncio、threading等模块，能够合理设计爬虫架构，实现高效的数据采集。

JavaScript逆向能力：具备深厚的JavaScript逆向能力，能够分析并破解各种复杂的JavaScript加密、混淆等防爬策略。熟悉JavaScript的调试技巧、代码分析方法等，能够定位并绕过防爬机制，实现数据的正常采集。

验证码破解与IP协议处理：
验证码破解：熟悉常见的验证码类型（如数字验证码、字母验证码、图片验证码等）及其破解方法。能够利用OCR技术、机器学习算法等手段实现验证码的自动识别和破解。
IP协议处理：熟悉IP协议及其相关防爬策略（如IP封锁、IP频率限制等）。能够利用代理IP、IP池等技术手段绕过IP封锁，实现数据的正常采集。同时，能够合理设置请求间隔、请求频率等参数，避免触发IP频率限制。

项目经验

XX网站数据采集项目：负责构建并优化Python爬虫程序，实现XX网站数据的自动化采集和解析。通过深入分析网站结构和数据接口，成功绕过网站的防爬机制，实现了高效稳定的数据采集。该项目为公司的业务决策提供了有力的数据支持。

XX电商平台价格监控项目：利用Scrapy框架和Selenium框架构建爬虫程序，实现对XX电商平台商品价格的实时监控。通过合理的线程调度和异步IO处理，提高了数据采集的并发性和效率。同时，通过破解验证码和IP封锁等防爬策略，确保了数据的正常采集和解析。

案例展示

微博热搜、微信公众平台登录逆向

1.对微博热搜标题及其内的评论等数据进行爬取。 2.对微信公众平台的登录密码进行逆向爬取登录及其验证。
微信文娱榜

爬取微信文娱榜的数据, 并保存到csv文件中, 字段: 标题, 热度 url: https://weibo.com/hot/entertainment
爬取某网站的数据

利用异步将该网站中前10页的数据抓取下来 url: https://spa16.scrape.center/page/1 1.字段: 书名, 作者, 评分 2.保存到csv中