ID：172946
王州
Python爬虫工程师
- 公司信息：
- 杭州粉象家科技
- 工作经验：
- 2年
- 兼职日薪：
- 500元/8小时
- 兼职时间：
- 可工作日驻场（自由职业原因）
- 所在区域：
- 杭州
- 西湖
技术能力
熟悉Python语法，3年以上python语言开发经验
熟练使用Linux开发环境，以及常用的Linux命令
熟悉HTTP/HTTPS协议、TCP/UDP、熟悉Socket，熟悉Shell脚本编程
熟练使用requests、re、以及xpath进行数据提取
熟悉使用基于多进程、多线程、协程编写高并发爬虫
熟悉使用asyncio、aiohttp编写高效率的异步爬虫
熟练使用Selenium自动化测试工具，实施动态HTML抓取
熟悉Scrapy及Scrapy-Redis分布式框架
熟练Flask框架下的相关业务接口开发
熟悉应用MongoDB、Redis、MySQL数据库设计及SQL语句
熟悉使用git分布式版本控制系统
熟悉HTML、CSS、Javascript等
熟悉TensorFlow、PyTorch深度学习框架，了解scikit-learn机器学习框架
熟悉numpy，pandas，matplotlib等框架的使用
项目经验
2019/5-2019/6抖音爬虫 --- 抓取抖音好物榜所属公司：
杭州粉象家科技有限公司
项目描述：
该数据抓自：抖音App—搜索—人气榜单—好物榜，抓取分为： 1.人气好物，更新时间（每天中午12:00）；2.分类榜单（每个榜单只有Top10），精品女装，潮流男装，美妆个护，食品饮料，母婴用品，3C数码。抓取视频链接、抖音描述，点赞数，评论数，转发数，以及对应的淘宝商品，该爬虫分为两步，第一步获取商品列表页，这一步需要cookie，第二步根据提取出来的抖音商品id获取详情数据
责任描述：
1. 分析请求过程并通过代码实现，进行数据抓取
2. 负责对数据进行清洗。解析入库，并进行后续更新
3. 爬虫程序的后续维护与持续优化
相似人才推荐
-
500元/天数据开发，python开发某世界五百强金融公司概要：数据库开发：精通DB2、Oracle 数据分析：精通DB2、python 报表开发：精通smar -
500元/天python，java,Android,机器学习(gan)保密概要：python爬虫，beautifulsoup，scrapy hrml解析 MySQL的使用 j -
1000元/天研发经理（JAVA/PHP/ANDRIOD/PYTHON）中基凌云科技有限公司概要：2010年开始做后端研发从事web开发，移动端开发，15年开始从事于大数据开发。 能熟练使用jav
-
500元/天python工程师深圳德昌电机概要：微信小程序,手机APP，H5网页开发，网站搭建。本人技能： 1.Web应用前后端全栈式开发。 2
-
700元/天Python高级开发个哦女鬼很是探智立方概要：熟练使用Python的Django、Flask、Swagger、FastApi主流框架 • 熟练掌
-
600元/天python爬虫工程师 SEO工程师零壹财经概要：SEO常规全网整站优化，提高网站访问量及传播效果，定期进行网站推广效果跟踪、评估、制作网络推广效果的
-
800元/天python高级开发工程师深圳万事富科技有限公司概要：我是一名python的高级开发工程师，有丰富的爬虫，web经验。在爬虫方面，熟悉scrapy，scr
-
800元/天java+前端+python神彩科技有限公司概要：J2EEweb应用开发 WEB服务器Tomcat SSH三大开源框架 Oracle、MySQL
