1.Python 基础扎实, 有良好的编码习惯;
2.熟练基于 Requests, Scrapy, Selenium 各模块的数据抓取,利用Xpath, BeautifulSoup,Re 的数据清洗, 验证码,登录,js异步加密,等各种反爬措施的应对;
3.熟练Python Web技术, Django 框架, Django + uWSGI + Nginx 部署, Socket 编程;
4.熟悉数据库MySQL, Redis, MongoDB;
5.了解HTML + CSS 网页设计, 熟悉JavaScript, Ajax, JQuery脚本技术运用, 和基于BootStrap框架流式布局、响应式布局;
6.Linux平台,Git 协同开发;
7.熟悉面向对象思想,了解计算机基础、数据结构和算法。
1、设计了一个爬虫软件,能够爬取数据,在某个网站上爬取所有投标人的软件,来爬取四五万投标人的电话、职务等数据。
2、网课自动化软件。
自动打开相应虚拟机,通过mitmproxy抓取相应软件的cookie,自动化完成软件的相应任务,并且把可以数据同步到本地,随时查看、更新。
爬取指定网页的所有投标人,把对应的姓名、公司、电话、职务、地址等相关信息导出到excel表格,共四万多条数据。
爬取指定网页的所有投标人,把对应的姓名、公司、电话、职务、地址等相关信息导出到excel表格,共四万多条数据。