ID：228418
罗洪
数据采集工程师
- 公司信息：
- 福缘科技
- 工作经验：
- 1年
- 兼职日薪：
- 500元/8小时
- 兼职时间：
- 可工作日驻场（自由职业原因）
- 所在区域：
- 深圳
- 宝安
技术能力
1. 精通Python语言，熟练掌握正则表达式、Xpath、CSS等网页信息抽取技术；
2. 熟悉常用的库requests/parsel/json/csv/gevent等；
3. 熟悉异步并发爬虫，多线程，多进程以及协程爬虫
4. 熟练掌握主流爬虫框架scrapy；
5. 熟悉常见反爬机制，如headers和cookie认证，以及验证码和各种滑动验证识别，有自建IP代理池并应用IP代理池进行伪装爬取信息；
6. 熟练掌握应用Selenium实施动态抓取；
7. 熟悉使用fiddler抓包工具；
8. 熟悉mysql、mongodb、redis数据库
9.了解各种加密算法，对解决js加密反爬和字体反爬也有一定应对经验
项目经验
足球赛事数据获取
项目描述：
1.对历年及最新的球赛数据进行抓取。
2.分析目标站点，确定采用抓取的方式，优化抓取流程。
3.分析反爬机制，采取合适的反反爬方式。
责任描述：
1.分析网页的结构，决定采用接口爬虫。
2.分析每个国球球赛数据公布的url的差异，构建正确的Request请求。
3.使用xpath、re、css解析网页的数据。
4.在Scrapy Downloader Middleware 中配置随机的User-Agent、代理IP。
5.使用Pipeline 将数据存储到mysql、csv、json等。
6.在settings中配置失败重启次数、超时时间以及启动下载中间件与pipeline。
相似人才推荐
-
600元/天无无概要：C++C++C++C++C++C++C++C++C++C++C++C++C++C++C++C++C+ -
500元/天爬虫工程师山东二进制科技有限公司概要：主Python开发，熟练掌握Django、Flask、FastAPI后端框架，熟悉Scrapy爬虫框 -
500元/天学生长江大学概要：在校大学生，电子信息工程专业，通过英语四六级，计算机二级，参加过数据挖掘，数学建模，大数据和算法，互
-
500元/天在校湖南工程职业技术学院概要：可对具有效果的图片进行初步的PS仿制，熟练的使用PS。可对有效果图以及个别素材的H5网页进行仿制制作
-
500元/天算法工程师深圳博实结概要：会C# ASP.NET HTML JS CSS 网页开发 VUE 网页开发 SQL 数据库设
-
500元/天无无概要：语言：python（熟练掌握），R，java，c，stata 技能：web前端，html，爬虫，a
-
500元/天在校学生尚未工作概要：会熟练的试用python做数据收集项目。静态网页，动态网页，json数据包，都可以。 会使用sel
-
500元/天研究生上海交通大学概要：软件：视觉软件：Halcon；画图软件：Solidworks AutoCad；科研软件：MATLAB
