猿急送>

杭州其它兼职程序员

ID：314550

【忏魂】逝炎身份已认证

无

公司信息：
无

工作经验：
1年

兼职日薪：
500元/8小时

兼职时间：
可工作日驻场（自由职业原因）

所在区域：
杭州
拱墅

技术能力

拥有Web数据采集和爬虫开发经验；
熟悉HTTP和HTTPS协议，能够发送请求和处理响应；
具备解析HTML/CSS的能力，能够提取网页结构和内容；
熟悉XML和JSON数据格式，能够解析和提取其中的数据；
熟练使用正则表达式进行模式匹配和数据提取；
具备对数据库进行增删改查的经验，能够将爬取到的数据存储和管理；
了解常见的反爬虫机制，有应对和绕过反爬虫限制的能力，掌握验证码、字体反爬与JS逆向等技术；
具备模拟登录和处理登录认证的技能；
熟悉多线程或多进程技术，能够提高并发性能；
具备对爬取的数据进行清洗、去重和处理的能力。

项目经验

爬取全国建筑市场监管公共服务平台、深征信数据
爬取豆瓣、网易云音乐、微博等评论数据
爬取淘宝、京东等电商平台商品价格、销售与评论数据
抓包爬取小说、音乐、视频
bilibili、极验、知乎等验证码识别
闪职、实习僧、自如等字体反爬
微信、有道、百度等常见JS逆向

案例展示

全国建筑市场监管公共服务平台数据

监管局数据采集地址：http://jzsc.mohurd.gov.cn/data/company 需求：用requests模块采集30页数据，自动化技术绕道，用mysql建表进行存储字段：包含企业名称、法定代表、注册地
深征信数据抓取

地址：https://webapi.cninfo.com.cn/#/marketDataDate 任务：抓取证券代码、证券简称、交易日期、开盘价、最高价、最低价、收盘价、成交数量（股）需求：使用requests模块
处理京东、b站、知乎等常见验证码识别

利用selenium配合opencv或打码平台实现全自动模拟处理各种验证码识别，以上展示案例包括京东、极验、知乎等常见滑块类验证码，以及以bilibili为例的图片文字类验证码