ID：191615
Desire
数据专员
- 公司信息：
- 宝尊电商
- 工作经验：
- 2年
- 兼职日薪：
- 500元/8小时
- 兼职时间：
- 下班后
- 所在区域：
- 上海
- 静安
技术能力
熟悉 linux 系统使⽤,熟悉 HTML,CSS,JavaScripy,了解Ajax,JQuery 等前端技术
熟悉关系型数据库(Mysql),⾮关系型(Redis,Mongodb等) 的基本操作
熟悉基于 Cookie 的⽹站登录原理
擅⻓使⽤ lxml 模块，Xpath，Json，Re 进⾏数据提取
熟悉 requests 模块和Scrapy 框架及Scrapy-redis 分布式框架，熟悉应对常⻅的反爬措施
熟悉最新的自动化爬虫工具pyppeteer，可以绕过淘宝的滑块验证
项目经验
通过pyppeteer自动化登陆到淘宝上拿到登陆后的cookie，然后用request请求目标网页，获取商品的基本信息对销量不好的产品进⾏促销活动，对客户的新产品的型号进⾏实时监测，判断商品价格的趋势和⾛向使⽤mysql 数据库进⾏存储数据,使⽤ requests 来发送请求、time 设置延迟等
使⽤ re、random、urllib 等模块，使⽤ scrapy 框架抓取商品的信息,使⽤ ip 池、User-Agent 池来防⽌反爬技术。
案例展示
-
有好货，聚划算等数据采集
获取商品的基本信息对销量不好的产品进⾏促销活动，对客户的新产品的型号进⾏实时监测，判断商品价格的趋势和⾛向 使⽤ mysql 数据库进⾏存储数据,使⽤ requests 来发送请求、time 设置延迟等 使⽤ re、random、urllib 等模块，使⽤ scrapy 框架抓
-
京东手机信息采集
销售要求将所有⼿机的型号,价格,评论,配置等记录到 csv ⽂件 创建好 scrapy 框架项⽬ 将配置,价格等信息写⼊到 mongodb,并导出⼀个 csv 格式⽂件 使⽤代理 ip、cookie、user-agent 来解决反爬⾍机制
相似人才推荐
-
1000元/天设计起家、前端精通一直做江苏、上海分包概要：1. PS UI设计，PC、移动端，从风格定位到整套出图，至少提供二选一方案； 2. HTML+C
-
500元/天C 嵌入高级软件工程师箭牌家居集团概要：1. C 、C++语言嵌入式开发，多年实战，目前在卫浴领域做智能马桶软件开发，瑞萨RL78、恩智浦
-
1000元/天主程多益网络科技有限公司概要：能良好掌握c++，lua，python，c#，ts等语言，使用unity，cocos，laya等引擎
-
2000元/天工程师科技概要：11111111111111111111111111111111111111111111111111 -
700元/天Unity3d开发工程师中科院遥感所概要：1.熟练掌握Unity引擎以及C#面向对象编程思想，熟练使用FSM框架 2.熟练使用 Unity、
-
1000元/天CTO，技术总监广州正顺信息科技有限公司概要：从事计算机相关工作12年以上，除了管理工作，长期处于一线开发，因为掌握技能比较全面，主要技能如下：
-
600元/天软件开发工程师北京东华原医疗设备有限责任公司概要：C#和.NET六年开发经验。 Java六年开发经验 Java web 三年开发经验。 Delp
-
500元/天高级开发工程师上海天天鲜果电子商务有限公司概要：拥有8年的php后台开发工作经验，熟悉PHP的OOP和MVC模式，熟练掌握mysql的常用操作及优化
