ID：288162
桉
后端开发
- 公司信息：
- 凯捷咨询（中国）有限公司
- 工作经验：
- 1年
- 兼职日薪：
- 500元/8小时
- 兼职时间：
- 可工作日驻场（自由职业原因）
- 所在区域：
- 广州
- 天河
技术能力
1. 具备网页抓包能力及逆向分析能力，熟悉常见反爬机制及解决方法
2. 熟悉 HTTP 协议、熟练掌握 HTML5、CSS，JavaScript，Ajax 等技术
3. 熟练运用正则表达式、XPath、bs4 提取网页数据
4. 熟练掌握 scrapy、feapder、scrapy-redis 等爬虫框架，有构建分布式爬虫经验
5. 熟练运用 MySQL、MongoDB、Redis 等数据库进行数据清洗，存储入库
6. 熟练使用 selenium 自动化工具模拟登录、绕过反爬手段获取网页数据
7. 能够使用多线程、多进程、aiohttp 提高爬虫效率
8. 能够使用 scrapyd、Gerapy、Docker 部署爬虫服务
9. 掌握 Flask 框架
10. 掌握 Linux 基本命令和常用操作，熟练使用 Git 等版本管理工具
项目经验
爬取过各类网站：
新闻类型：36氪、长沙晚报、巨潮资讯
短视频榜单：新榜、红人点集、巨量星图
电商类型：考古加、唯品会、聚美优品
政务类型：阳关问政、金昌市公共资源交易网、海关总署、麻章区政府网
金融类型：乙方宝、蛋卷基金、同花顺
房地产：诸葛找房、房天下、乐居二手房
二手车：瓜子二手车、人人车、二手摩托车
图片类型：极简壁纸、彼岸图网
案例展示
-
爬虫项目
爬取考古加网站商品数据（名称，价格，销量，浏览量，推广人数），断点调式接口数据，破解网站反爬手段（ob混淆，AES 加密）。
-
爬虫项目
利用 scrapy 框架提取阳光问政网站咨询数据，xpath 提取网页数据，处理翻页跳转，数据清洗存储至 MongoDB
相似人才推荐
-
1200元/天Linux系统开发联想集团概要： （1）7年Linux工作经验，熟练掌握RHEL/CentOS/Ubuntu系统常用的shel
-
500元/天无无概要：具有扎实的数据基础理论和知识，了解计算学科的基本概念、知识结构和典型方法，具有数字化、模块化和层次化
-
700元/天测开工程师美图概要：可独立开发前后端平台 脚本语言：python 后端开发框架：django/fastapi 前端
-
500元/天全栈开发及企业信息系统建设实施二重概要：从07年至今，一直参与企业信息化建设，经手过MES、PDM、ERP、EHR等多个系统，现作为企业信息
-
500元/天机器人研发工程师北京银河易控科技有限公司概要：长期从事嵌入式软硬件开发，具有丰富的项目经验。 1. 精通C/C++语言，熟悉python语言。
-
500元/天博士nlp方向在读大学概要：熟练掌握python语言，对pytorch使用熟练，对fairseq等框架有较深掌握。对linux系
-
1000元/天IT工程师深圳市奔凯安全技术股份有限公司概要：1、熟练python。 2、熟悉odoo系统框架，有多年的odoo系统开发经验。熟悉odoo前后端
-
500元/天软件工程师无概要：本人于2019年毕业，在上海一家上市工作做Labview测试工程师，负责产品的烧录，产线的上位机技改
