ID：223959
李商隐
爬虫工程师
- 公司信息：
- 豪威
- 工作经验：
- 1年
- 兼职日薪：
- 600元/8小时
- 兼职时间：
- 下班后
- 周六
- 周日
- 所在区域：
- 深圳
- 龙岗
技术能力
1、好的沟通和理解需求的能力，能对上级交代的任务准确无误完成
2、熟练掌握爬虫requests、scrapy、scrapy-redis爬虫流程，掌握正则表达式、xpath提取网页资源方法，定时启动爬虫
3、熟悉各个网站常见反爬策略，能根据网页分析出常见反爬手段
4、熟悉前端代码，可以分析目标网站真实request地址和response内容，使用代理试水网站反爬虫级别
5、针对不同反爬虫级别网站，做出具体Scrapy部署，使用工具包括不局限于：伪造User-Agent，批量IP代理池，设置并发数量及下载速度
项目经验
项目概况：爬取上海期货交易所信息+遇到问题及解决方案如下：
1、数据量小，用requests爬取
2、数据都存在表格中，每次的表格结构不一样，需要分段解析html表格
3、保存到mysql中以便用数据制表
项目概况：爬取豆瓣、猫眼电影信息+遇到问题及解决方案如下：
1、数据量较少，用requests爬取
2、需要的数据通过抓包返回json数据
3、转字典提取想要的数据
4、保存MongoDB和CSV
5、使用logging模块编写监控程序进行爬虫监控，并根据日期定向输出日志到log文件
案例展示
-
期货数据
爬取各个金融数据网站，存进数据库以便使用，制作交互界面实现金融数据图表展示，分析行业走势，用于基本面分析。
-
数据爬虫
爬取各个金融数据网站，存进数据库以便使用，制作交互界面实现金融数据图表展示，分析行业走势，用于基本面分析。
相似人才推荐
-
1000元/天研发部主管比优及概要：公司职务：研发部负责人 工作内容：程序研发 项目内容：多媒体展厅项目为主 曾出差，长沙工读学校
-
900元/天高级后端工程师北京鳄梨科技有限公司概要：语言（熟悉）：python，c++，typescript，php，Java 数据/缓存：mysql
-
500元/天计算机科学专业硕士在读学生爱丁堡大学概要：1.UE4蓝图逻辑代码编写，可编写3D动作类RPG的角色逻辑，擅长编写游戏AI的行为树。也可搭建地图
-
500元/天美工 网站建设ruiju概要：网站美工 可以按照图片进行网站的前端编写，并且通过主流的cms进行编写使用和对cms的二次开发，熟悉
-
600元/天资深测试工程师中国电子科技集团第三十研究所概要：1、主要服务于国家各大军工项目测试，掌握各项测试技术，熟练运用测试工具； 2、能够独立（带领团队）
-
500元/天电商设计师Topdisk概要：熟练使用PS、ai、cdr、ae、pr设计软件以及办公软件，会各类平面设计工作，办公室的墙体企业文化
-
500元/天软件工程师 视觉工程师自己概要：机器视觉领域，熟练使用c++，c#，Qt，Matlab等语言框架；熟悉opencv，pcl等开源库；
-
800元/天技术部主管中闽汇通概要：熟练Java后端Springboot，mysql，redis，消息中间件，安卓原生开发，微信小程序开
