ID：164167
勇往直前 持之以恒
python爬虫工程师
- 公司信息：
- 河北趣行计算机有限公司
- 工作经验：
- 6年
- 兼职日薪：
- 500元/8小时
- 兼职时间：
- 下班后
- 周六
- 周日
- 所在区域：
- 北京
- 西城
技术能力
1.熟悉使用Python语言进行编程，有良好的编程习惯，遵循PEP8编码规范；
2.熟悉使用Linux中vim、ls等基本命令，可在Linux系统设置定时任务，部署SVN版本控制器；
3.熟悉requests模块的的使用，熟悉使用Scrapy爬虫框架；
4.熟悉使用re、xpath、bs4等模块完成对网页数据的处理；
5.熟悉使用numpy、matplotlib、pandas对数据进行处理；
6.熟悉使用fiddler、charies软件对浏览器和手机app进行抓包，熟悉使用浏览器的调试功能对网站数据进行抓包；
7.熟悉网页爬虫的逆向技术，可以通过Nodejs、PyExecjs以及前端的相关技术实现有关md5、rsa、sm4、base64的接口请求；
8.熟悉MySQL、Redis、MongoDB、ES数据库，熟悉MySQL数据库以及ES数据库的基本操作命令;
9.了解Python多进程、多线程的使用；
10.了解HTTP、TCP/IP，UDP协议及相关网络传输技术；
11.了解sklearn机器学习算法库，包括回归，分类，聚类基本算法训练模块；
项目经验
项目描述：大数据洞察项目是一个对网站、app、电子报纸、论坛、自媒体进行数据采集并清洗数据然后按需求展示的大数据平台项目，包含新闻推荐、新闻快报、本地资讯、热点追踪、数据建工、数据分析等模块。
责任描述：
1.负责实现批量采集app数据爬虫的框架的设计以及网站爬虫框架的设计；
2.负责完成对手机app的抓包，找到相应的接口，并生成对应的模板，完成对app数据的采集；
3.负责完成对网站数据的抓包，并生成对应的模板，完成对网站数据的采集；
4.负责根据DBSCAN算法完成对新闻的专题分类模块
相似人才推荐
-
800元/天Python研发工程师Air概要：熟练使用LInux 操作系统，并能基于Python、Shell、Go、Vue进行运维自动化平台的开发
-
500元/天python爬虫开发smg概要：linux各种服务搭建，shell脚本，python flask网站开发 scrapy爬虫开发
-
800元/天python开发工程师马哥教育概要：1. 主语言python，掌握常用主流web框架django，flask 2. 熟练前后端分离AP
-
500元/天python全栈智园概要：熟练掌握python语言，熟悉Django/Flask WEB开发框架。 熟悉MySQL/Mong
-
500元/天Python开发工程师四川兴惠科自动化科技有限公司概要：掌握C#、php、Python语言，对mysql、SQL Server数据库有所掌握，对前端的HTM
-
500元/天python工程师没有概要：1利用python.根据需要爬取数据进行需求分析，遇到防爬从的网站，则运用防爬虫的手段。 2.利用
-
500元/天python工程师富士通概要： 熟悉 Python 编程，熟悉常用的 Python 模块； 熟悉 Linux 命令行，熟悉
-
1000元/天python全栈爱编程教育有限公司概要：1.掌握 Python语言开发项目，熟悉Python的常用库，掌握python大中型服务器的开发
