猿急送>

北京其它兼职程序员

ID：354681

孤独的根号三

无

公司信息：
无

工作经验：
1年

兼职日薪：
600元/8小时

兼职时间：
下班后
周六
周日
可工作日远程

所在区域：
北京
海淀

技术能力

Python: 熟练掌握Python语言，熟悉Python的多线程、异步IO等高级特性。
Java: 掌握Java基础，具备使用Java开发网络爬虫的能力。
网络与爬虫
网络协议: 深入理解HTTP/HTTPS协议，熟练使用各种网络调试工具。
爬虫原理: 精通爬虫原理，熟悉反爬虫机制及破解方法。
框架与库: 熟练掌握Scrapy、BeautifulSoup、Requests等主流爬虫框架与库。
数据存储与处理
数据库: 熟练使用MySQL、MongoDB等数据库，具备数据存储与优化能力。
数据分析: 熟悉Pandas、NumPy等数据分析库，能够进行数据清洗、分析和可视化。
自动化测试
Selenium: 熟练掌握Selenium库，能够编写自动化测试脚本。

项目经验

数据采集: 使用Python编写网络爬虫，爬取指定电商网站的商品价格、促销信息等数据。
反爬策略对抗: 针对目标网站的反爬虫策略，采用了IP代理池、浏览器模拟等技术进行破解。
数据存储: 设计了基于MySQL的数据存储方案，确保数据的持久化与高效查询。
预警系统: 开发了价格预警功能，当商品价格低于预设阈值时，通过邮件或短信通知用户。
自动化测试: 使用Selenium进行爬虫的自动化测试，

案例展示

爬取数据

我们选择网站作为数据来源，目标是获取该网站上的古诗数据，包括标题、朝代、作者和正文，并将这些数据存储到数据库中。考虑到直接复制页面内容再进行分析存储的工作量巨大且不切实际，我们决定采用第三方工具htmlunit进行网页
爬取数据

我们选择简历网站作为数据来源，目标是获取该网站上的古诗数据，包括标题、朝代、作者和正文，并将这些数据存储到数据库中。考虑到直接复制页面内容再进行分析存储的工作量巨大且不切实际，我们决定采用第三方工具htmlunit进行网页信息抓取。