北京其它兼职程序员

ID：318836

这人好啊

爬虫工程师

公司信息：
无

工作经验：
1年

兼职日薪：
500元/8小时

兼职时间：
可工作日驻场（自由职业原因）

所在区域：
北京
海淀

技术能力

1. 熟练使用 Python 语言和常见的第三方库；有良好的代码风格及编程能力
2. 熟悉使用正则表达式、Xpath 和 BeautifulSoup 等相关网页提取技术
3. 熟悉 Scrapy 框架的使用，同时有过 Scrapy-redis 分布式爬虫经验
4. 熟悉 Fiddler、AirtextIDE 等 app 爬虫工具
5. 熟悉 MySQL、redis 等数据库
6. .熟悉常见的反爬机制，如验证码识别、IP 封禁、UA 监测和 cookie 认证等；了解加密数据的处理
7. 了解 web 框架 Django 和 Flask
8. 了解多进程多线程和协程的相关使用
9. 了解代码管理工具 git
10. 了解多进程多线程和协程的相关使用
11. 了解前端 HTML，CSS，JS，AJAX 等相关前端知识
12. 了解 Linux 操作系统，熟悉其基本操作
13. 了解数据清洗，能够使用 NumPy、Pandas 等工具进行数据处理

项目经验

航空机票信息查询
项目描述：
应客户需求,对某国外航空公司网站进行机票信息爬取，然后把数据交给用户，供用户平台使用。
责任描述：
使用 Scrapy 框架，主要进行页面分析、数据采集、数据清洗、数据保存等处理
1. 登录验证码的处理-该网站验证码比较简单，采用 Scrapy 自带的验证码处理模块
2. 由于只能使用国外 IP，使用代理 IP，并添加 user-agent 和延时规避反爬
3. 使用 Xpath、正则和 lxml 的 etree 模块进行页面解析与数据提取
4. 使用 Mongodb 数据库保存爬取数据

相似人才推荐

联系需求方端客服

热门标签列表

程序员接私活程序员兼职企业外包外包案例

热门城市人才

北京兼职程序员上海兼职程序员广州兼职程序员深圳兼职程序员杭州兼职程序员成都兼职程序员天津兼职程序员重庆兼职程序员武汉兼职程序员西安兼职程序员南京兼职程序员长沙兼职程序员苏州兼职程序员厦门兼职程序员福州兼职程序员合肥兼职程序员济南兼职程序员青岛兼职程序员大连兼职程序员长春兼职程序员沈阳兼职程序员哈尔滨兼职程序员石家庄兼职程序员太原兼职程序员无锡兼职程序员南昌兼职程序员洛阳兼职程序员郑州兼职程序员南宁兼职程序员珠海兼职程序员宁波兼职程序员昆明兼职程序员东莞兼职程序员贵阳兼职程序员温州兼职程序员佛山兼职程序员中山兼职程序员海口兼职程序员常州兼职程序员兰州兼职程序员呼和浩特兼职程序员乌鲁木齐兼职程序员海外兼职程序员其他兼职程序员山东兼职程序员远程兼职程序员

热门城市职位

北京程序员招聘上海程序员招聘广州程序员招聘深圳程序员招聘杭州程序员招聘成都程序员招聘天津程序员招聘重庆程序员招聘武汉程序员招聘西安程序员招聘南京程序员招聘长沙程序员招聘苏州程序员招聘厦门程序员招聘福州程序员招聘合肥程序员招聘济南程序员招聘青岛程序员招聘大连程序员招聘长春程序员招聘沈阳程序员招聘哈尔滨程序员招聘石家庄程序员招聘太原程序员招聘无锡程序员招聘南昌程序员招聘洛阳程序员招聘郑州程序员招聘南宁程序员招聘珠海程序员招聘宁波程序员招聘昆明程序员招聘东莞程序员招聘贵阳程序员招聘温州程序员招聘佛山程序员招聘中山程序员招聘海口程序员招聘常州程序员招聘兰州程序员招聘呼和浩特程序员招聘乌鲁木齐程序员招聘海外程序员招聘其他程序员招聘山东程序员招聘远程程序员招聘

热门人才推荐

热门职位推荐

iOS工程师Android工程师前端工程师后端工程师嵌入式工程师UI设计师产品经理测试工程师运维工程师游戏工程师运营/编辑其它

找人才 | 接项目 | 招聘专员 | 京ICP备16030138号-1 | Copyright © 2015-2024 猿急送