猿急送>

深圳其它兼职程序员

ID：348923

liberty

爬虫工程师

公司信息：
深水

工作经验：
8年

兼职日薪：
500元/8小时

兼职时间：
可工作日远程

所在区域：
深圳
福田

技术能力

我是一名具备多种技术技能的自由职业者，专注于数据获取、自动化和Web开发领域。以下是我的主要技能和经验：

数据获取与分析：熟练使用 Selenium 和 Playwright 进行网页自动化操作，能够模拟用户行为获取动态网页数据。掌握 BeautifulSoup 和 XPath 对HTML和XML数据进行解析和提取。

数据库管理：熟悉 MySQL 和 MongoDB 数据库的设计、优化和管理，能够进行复杂的查询和数据操作，确保数据存储和访问的效率和安全性。

Web开发与后端技术：拥有扎实的 Python 编程基础，能够开发和维护高效的Web应用程序和后端服务。熟悉 Django 和 Flask 框架，能够快速搭建稳健的Web应用。

自动化工具和框架：熟练使用影刀RPA 实现业务流程的自动化，提高工作效率和准确性。擅长 Scrapy 框架进行数据爬取和处理，处理大规模数据并实现自动化处理流程。

我在兼职平台上提供数据采集、自动化脚本开发、数据库管理和Web开发等服务。无论您是需要定制的数据抓取解决方案，还是需要优化现有数据库或开发新的Web应用，我都能为您提供高效和专业的解决方案。期待与您合作，共同推动项目的成功！

项目经验

项目背景：这是一家制造PCB并出口到其他国家的外贸型公司，由于近几年公司的营收一直处于一个稳定数值上下，提出了扩大市场和客户群体的计划，已达到营收增长的目的

项目计划：通过爬虫程序爬取境外定向客户公司的数据，存储到本地数据库，为业务员开发客户和背调客户提供数据支持

项目实施：作为项目负责人和实施者，首先明确了目标数据的特性，例如“电子类”和“制造商”。使用了搜索引擎的高级搜索功能，定向访问如邓白氏、Compass、ZoomInfo和RocketReach等提供商业数据和客户信息的网站。在爬取过程中，我遇到了多种反爬虫策略，包括IP检测、动态页面和Cookie管理等，针对每种策略，我采取了具体的技术解决方案，例如代理IP池管理、JavaScript逆向工程以及Selenium模拟登录和Cookie刷新策略。

项目成果：通过持续优化爬虫程序和爬取策略，每日成功爬取有效数据。显著提升了业务部门的客户开发速度和数量。