ID：174982
lery
爬虫工程师
- 公司信息：
- 搜房网
- 工作经验：
- 5年
- 兼职日薪：
- 500元/8小时
- 兼职时间：
- 下班后
- 周六
- 周日
- 可工作日远程
- 所在区域：
- 北京
- 海淀
技术能力
1、熟悉Python、Java，了解perl，有较扎实的编程功底和良好的编码习惯；
2、熟练使用Python多进程，熟练使用消费者/生产者模式，了解队列；
3、熟悉HTTP协议，熟练使用requests请求，熟练使用selenium模拟登陆等操作浏览器行为；
4、熟练使用scrapy框架进行配置抓取；
5、熟练使用正则表达式、BeautifulSoup，了解xpath等网页提取文本内容；
6、熟练使用SqlServer、Mysql、Sybase等关系型数据库，熟练使用并能够优化sql语句，了解
trigger，procedure；
7、熟练使用httpwatch、fiddler、火狐浏览器等解析网站请求的工具；
8、熟练使用Linux相关命令，熟悉ps/awk/crontab，shell编写及MySQL的安装和配置；
9、熟练使用svn、git、cvs等代码版本控制工具；
10、了解MongoDB、Cassandra等Nosql数据库，熟练使用增删改查等操作；
10、了解Web应用相关语言技术，例如：HTML，XML，CSS，JavaScript；
11、了解elasticsearch，建立mapping，对数据的存储操作。
12、熟悉常见反扒策略，能够解决爬虫反爬等问题。
项目经验
B站，酒店(华住，铂涛，洲际，香格里拉)，汽车(瓜子，优信，易车)，房源(房天下，贝壳，安居客，58，赶集及开发商楼盘网站等)，招聘网站，新闻资讯(中国经济网，新浪资讯等)，商品类(京东，寺库，a2奶粉)，新浪登录操作，外文网站抓取。
相似人才推荐
-
800元/天软件工程师深圳朝阳电子概要：嵌入式工作10年，熟悉软硬件开发。C，android，ios，都能使用。 嵌入式工作10年，熟悉软
-
500元/天数据库开发工程师中科软概要：1.可以使用shell脚本进行程序的开发 2.熟练使用oracle数据库，对数据有较强的敏感性，有 -
600元/天工程师工具开发概要：主要需要c，c++。Python等脚本语言也会。 主要从事电脑软件开发，工具开发，脚本开发，协议分 -
500元/天高级数据工程师亚信科技有限公司概要：本人熟练使用oracle、influxdb、gbase等数据库，精通SQL语言，能够熟练地使用ket
-
1100元/天plm/pdm开发工程师北京能科股份有限公司概要：熟悉java 、c/c++，从事eclipse插件开发，熟悉swing以及部分互联网技术。 善于进
-
500元/天学生学生概要：经常给喜欢的明星打投所以比较了解这个模式，签到、打榜、连续看多少天视频可解锁资源等等… 我会经常与
-
1500元/天大数据工程师上海珍岛概要：Java服务端开发，spring boot，spring clouder使用。 mysql数据库，
-
1000元/天高级开发工程师酷狗音乐概要：有mssql/mysql/postgresql/mongodb、redis/couchbase/me
