ID：318250
jadx
python爬虫工程师
- 公司信息：
- 软通动力
- 工作经验：
- 4年
- 兼职日薪：
- 500元/8小时
- 兼职时间：
- 可工作日驻场（自由职业原因）
- 所在区域：
- 重庆
- 全区
技术能力
熟悉python，JavaScript语言
熟悉requests、aiohttp发生请求，熟悉scrapy框架，scrapy-redis分布式框架，liunx下的定时启动爬虫
熟悉mysql、mongodb、redis数据库的增删改查
熟悉多线程，多进程，协程
熟悉正则表达式、xpath提取网页数据，Ajax获取动态数据，解析json、jsonp数据
熟悉charles抓包工具
熟悉js逆向技术，包括浏览器调试，哈希、对称、非对称加密，国密算法，webpack技术，能过混淆代码，浏览器补环境
能过cookie反爬虫，比如加速乐、瑞数4
能过用js过极验验证码，无感、滑块、文字点选，文字点选需要使用打码平台
能用set、布隆过滤器、哈希、md5去重
能自行搭建部署crawlab分布式爬虫监管系统
项目经验
电商类数据采集
项目名称：电商数据采集
项目描述：采集1688，亚马逊等电商平台数据
项目流程：
1. 根据关键字搜索到所需要的数据
2. 破解各种反爬措施
3. 分布式采集数据
4. 将数据清洗入库到mongdb
案例展示
-
异步cookie池
一个简单的cookie池，对应网站是闪职，这个网站是专门的爬虫工程师练习网站.在这里感谢网站作者的贡献 该项目全部是异步编程 用户名密码存入mongodb数据库中，cookie存入redis数据库中 使用了redis的发布订阅模式，cookie过期后会自动登录，如果cook
-
爬取视频的项目
项目用的aiohttp异步库发生请求 本项目的难点是过无限debugger，需要手动去源码过定时器和条件分支，不然浏览器点一律不在此处执行会有内存爆破，浏览器会卡死 视频下载地址在m3u8文件里面，需要AES-128解密。下载的文件是ts，需要合并 用ffmpeg命令行工具
相似人才推荐
-
600元/天python开发悦天云数据有限公司概要：五年python开发经验，擅长Linux操作系统开发，根据需求拟定开发计划，设计数据库表结构，编写核
-
800元/天高级Python开发工程师中国通信服务集团概要：我们团队具备10+年行业数字化转型方案设计经验，以及机器学习、AI算法研发、大数据分析、人工智能解决 -
1000元/天python高级工程师上海鼎医概要：作为一名Python开发工程师，我拥有广泛的技能和经验。我熟练掌握Python编程语言及其相关库和框
-
1100元/天算法工程师华为概要：1.python独立开发，后台接口部署 2.机器学习算法开发 3.深度学习开发，不限于自然语言处
-
500元/天python C Arduino开发大连海事大学概要：数据预处理与流程搭建： 在实验中，我积累了广泛的数据预处理和流程搭建经验。这包括数据清洗、特征选择
-
1000元/天python 爬虫工程师武汉华导物联网概要：提供服务： (1) 网站数据(评论、商品信息、图片、pdf文档、音视频等)提取、清洗、存储、可视化
-
500元/天python爬虫工程师湖南科技公司概要：具有 2 年 Python 爬虫开发经验，熟悉网络爬虫和数据挖掘技术。曾参与多个项目的技术研发和团队
-
900元/天python高级测试开发商汤科技概要：1. 根据业务线的需求，开发定制的自动化测试工具，完成测试工具及平台的代码编写、调式、测试、相关开发
