ID：281956
Flipped-199605
Python全栈工程师
- 公司信息：
- 腾讯
- 工作经验：
- 3年
- 兼职日薪：
- 1000元/8小时
- 兼职时间：
- 下班后
- 所在区域：
- 北京
- 海淀
技术能力
后端框架：Django, Flask, Tornado
前端框架：Vue, React, jQuery
数据库：Redis, MySQL
工具：vim, pycharm,vscode
其他：HTTP, TCP/IP, WebSocket
外语：大学英语四级，能流畅阅读英文文档
项目经验
通过异步爬虫爬取HGMD，构建mysql数据库
我的职责
1，采用asyncio+aiohttp以达成高并发，异步请求。
2，通过timeout设置超时重发机制，因为HGMD为国外网站，防止因为网络卡顿导致页面抓取不到产生数据不全的现象。
3，通过继承aiohttp.ClientSession类来保存cookie对象，以应对基于cookie的反扒策略
4，使用xpath进行页面解析，解析出的数据通过PyMysql模块存储于mysql数据
分布式爬虫爬取北京市企业信用信息网
我的职责
首先爬取首页后通过xpath匹配每个的信息块的span后构建请求，并通过scrapy.Request发送请求，用xpath匹配需要的信息。
同时循环创建下一页请求的form表单，通过scrapy.FormRequest发送POST请求。所有爬取的信息缓存到redis数据库中，
最后通过编写python脚本将redis数据库中数据读取出来加入mysql数据库。
其他爬取的网站：搜狐新闻、豆瓣、腾讯新闻网。
相似人才推荐
-
500元/天Python来也科技有限公司概要：我从业经验3年，做过公司的前端开发工程师。 我的技能：前端, 小程序, Flutter, Java
-
500元/天Python开发工程师达观数据概要：编程语言: Python、JavaScript、Shell、HTML、PHP 开发系统: Wind
-
500元/天python爬虫工程师中职通概要：1.python，2.request，3.Scrapy框架，4.XPath、re、Beautiful
-
500元/天python开发者无概要：python爬虫，全自动化模拟操作，如按键精灵游戏操作，，uibot自动化办公，以及易语言，JS网页
-
1000元/天全栈高级工程师360doc概要：1、13年互联网开发经验、擅长web全栈开发，小程序开发，鸿蒙next开发、python爬虫、pyt
-
1000元/天python开发工程师广州致远科技有限公司概要：主语言：python开发通吃，如：爬虫、web开发、数据分析、AI识别。 副语言：java Web
-
500元/天python无概要：python会基础，C++会一些基础的算法，Java中会springboot及springMVC框架
-
500元/天python工程师同略信息科技有限公司概要：Python语言基础：掌握Python脚本、Python界面编程能力、掌握数据库、掌握基本爬虫、掌握
