ID：321940
以物物物
python
- 公司信息：
- 浪潮
- 工作经验：
- 8年
- 兼职日薪：
- 500元/8小时
- 兼职时间：
- 下班后
- 周六
- 周日
- 所在区域：
- 山东
- 全区
技术能力
熟悉office等办公软件
熟练而全面掌握通信及计算机网络专业知识
熟悉SQL Server、MySQL等数据库操作，了解Oracle数据库操作熟悉Linux系统基本操作，熟悉C++、python等编程语言
熟悉计算机软件工程理论;熟悉测试流程和技巧
项目经验
项目时间：2022-01到2022-10
项目名称：分布式爬虫爬取北京市企业信用信息网
项目描述：
这个项目是通过scrapy-redis搭建分布式爬虫爬取企业信用信息网公布栏，爬取列表页每一项下的子页获取数据
我的职责
首先爬取首页后通过xpath匹配每个的信息块的span后构建请求，并通过scrapy.Request发送请求，用xpath匹配需要的信息。
同时循环创建下一页请求的form表单，通过scrapy.FormRequest发送POST请求。所有爬取的信息缓存到redis数据库中，
最后通过编写python脚本将redis数据库中数据读取出来加入mysql数据库。
其他爬取的网站：搜狐新闻、豆瓣、腾讯新闻网
相似人才推荐
-
1000元/天Python架构师、爬虫工程师、Web后端工程师HW概要：1、能开发windows、app、web的各种自动化程序。 2、能开发各种爬虫程序，并解决各种高难
-
700元/天python全栈工程师绿谷集团概要：我具备以下技能： Python Web开发：我熟悉使用Python语言进行Web开发，能够使用
-
500元/天python软件开发师无概要：我是一名热爱Python编程的软件开发工程师，拥有丰富的开发经验和技术能力。我擅长使用Python语
-
500元/天python开发武汉创客部落科技有限公司概要：本人获得 Python 湖南省省赛个人二等奖，具有django 开发网站和系统经验，国外大型电商网站
-
500元/天python开发员中移铁通概要：擅长python自动化爬虫，基于微信的自动化功能实现，例如监控微信群聊，发现关键词后根据成员要求去网
-
500元/天python北京天融信网络安全技术有限公司概要：基础语法的理论知识、HTML5+CSS3、BootSrap、Node.js、Vue.js、Linux
-
500元/天python爬虫江西应用科技学院概要：python 爬虫定制，数据抓取，可爬取网页公开的数据，评论，文章，数据，图片等，数据须合法合规，高
-
1000元/天高级python开发工程师鲨鱼科技概要：python 4年开发经验 擅长后端开发、爬虫、数据采集、数据处理、数据分析等。 熟练掌握各类型
