ID：161109
｜D
爬虫工程师
- 公司信息：
- 兰州大方电子有限公司
- 工作经验：
- 1年
- 兼职日薪：
- 500元/8小时
- 兼职时间：
- 下班后
- 周六
- 周日
- 可工作日驻场（离职原因）
- 可工作日驻场（自由职业原因）
- 所在区域：
- 兰州
- 全区
技术能力
熟练java语言，熟悉网页解析框架jsoup，httpclent，熟悉抓包程序如fidder。
熟练运用正则表达式解析url地址，熟悉mysql，nosql数据库
掌握java多线程，熟悉office相关的javaAPI。
熟悉反爬技术，可以伪装爬虫。
项目经验
1.代理池：可以给外界提供稳定的免费代理，防止采集数据的时候爬虫被封。
2.java爬虫框架：基于广度优先遍历算法，多线程爬取网页数据，能够较为快速的完成爬取任务，并且具有自己封装的多个实用工具，如：并发url队列，地址解析和逆地址解析，能够保证爬取的数据具有一定的正确性和完整性。
3.携程网景点爬取：爬取相应的景点，并且解析出相应的经纬度。
4.甘肃省公交站点爬取：利用伪装爬虫技术，爬取甘肃省所以站点保存在mysql，并且对所有的站点进行地址解析得出相应的经纬度。
5.ftp数据采集：将ftp的excel文件定时解析采集到mysql数据中。
5.数据清洗：应用正则表达式和数据字典，对数据库中的缺失数据和乱码数据进行清洗。
相似人才推荐
-
500元/天研发总监书壳儿网络概要：我们的团队集信息化咨询、设计、开发、运营一条龙服务。 团队核心成员包括来自新浪、东软、GOOGLE
-
1000元/天高级全栈长城物业有限公司概要：13年IT经验 技术栈主要是: vue,react,java,webpack,eleme
-
800元/天机器学习算法工程师益丰科技集团概要：1. 熟悉Java、Python等语言；熟悉MySQL数据库；Linux编程技术等。 2. 熟悉机
-
500元/天项目经理北京百知教育科技有限公司概要：Python、Django、爬虫、requests、BeautifulSoup、Scrapy、机器学
-
600元/天数据工程师上汽概要：技术能力包括： 1. 基于SQL Server平台的OLAP数据分析平台，包括SSIS（ETL）， -
1000元/天主程乐卓科技概要：1. 有多年 Cocos Creator开发过微信小游戏等相关的项目开发经验 2. 熟悉 Jav
-
500元/天助理工程师中国航发商发概要：Python编程： 1.2017年12月-2018年4月，在华为技术有限公司，担任LTE项目技术助 -
500元/天集成部经理天助盈通概要：C#、asp.net后端、webservice、socket、文字转语音、MQ集成、webapi数据
微信接收人才推送
关注猿急送微信平台，接收实时人才推送
接收人才推送
联系需求方端客服