ID：167184
SUN
python爬虫工程师
- 公司信息：
- 北京克赛科技有限公司
- 工作经验：
- 2年
- 兼职日薪：
- 500元/8小时
- 兼职时间：
- 可工作日远程
- 所在区域：
- 北京
- 海淀
技术能力
1.熟练掌握爬虫原理，熟练使用urllib、request、scrapy模块从浏览器爬取数据，对request做过简单封装,熟练使用re、xpath解析网页；
2.熟悉使用asyncio做异步爬虫；
3.熟悉常见反爬和突破手段如：对用户行为的反爬技术；
4.用户信息采集系统采集人人网、百合网、世纪佳缘网等各社交类网站用户信息，数据量将近一亿。 数据采集后，存入 hadoop 体系下的 hbase 中
5.对爬取的数据 做数据清洗，熟练sqoop于mysql做数据交互，熟悉word，excel等离线数据的清洗以供其他部门使用；
项目经验
用户信息采集系统采集人人网、百合网、世纪佳缘网、51job、58招聘、boss直聘、乐职网、招聘狗、万行教师、智联等网站用户信息，数据量将近一亿。 数据采集后，存入 hadoop 体系下的 hbase 中，展示到Web页面。
相似人才推荐
-
800元/天python开发部门北京爱德科技有限公司概要：前端技术：熟悉 Html、Css、Javascript、Jquery、Bootstrap 等 Web
-
500元/天python高级工程师郑州信达科技有限公司概要：孟子·尽心上》：“民非水火不生活”。 《汉书·萧望之传》：“人情，贫穷，父兄囚执。闻出财得以生
-
500元/天Python Web开发东莞市邦邻信息科技有限公司概要：Python Web全栈开发，爬虫 Python Web全栈开发，爬虫 Python Web全栈
-
500元/天高级Python工程师背景美信时代科技有限公司概要：精通Php、Java、Python语言,具有独立完成项目的能力； 精通Mysql、Oracle、S
-
500元/天python工程师上海汇捷信息科技有限公司概要：熟悉web前端开发，软件开发，微信小程序开发，擅长vue开发、python、js 精通静态页面的编
-
1500元/天python平安银行概要：•精通 PHP 和 Python 开发语言，拥有多年的一线开发经验 •了解主流的 WEB 服务器，
-
800元/天python开发工程师郑州悉知信息科技有限公司概要：Web开发：Python2.7/Python3.5 企业微信第三方服务商接入 Web框架：Dja
-
800元/天Python研发工程师译方科技（北京）有限公司概要：Python 逾 15 年使用经验，熟悉丰富的 Python 语言库，例如：django、nltk、
