精通Python语言,C语言和面向对象的编程
熟悉常用的第三方Python库,如Beautiful Soup和Scrapy和request_html等等
熟练使用SQL和NoSQL数据库,如MySQL和MongoDB
熟悉Flask和Django框架
有良好的编码习惯和团队合作能力
具备良好的英语读写能力
1:使用selenium爬取瓜子网站的相关二手车信息
2:使用python和BeautifulSoup爬取斗破苍穹小说并且将数据存储到MongoDB数据库中
3:使用scrapy框架模拟登陆爬取17k网站
4:使用scrpya框架爬取淘车网相关的二手车信息,包括二手车标题,二手车基本信息,二手车价格,二手车标签
5:使用scrapy爬取网易新闻中的国内、国际、军事、航空这四类新闻
......
在该项目中负责整个代码,通过使用js逆向爬取百度翻译,并且在敲代码的过程中,会进行对应的注释,方便他人看懂代码
通过使用scrapy框架模拟登录csdn并且爬取个人主页的相关信息和html代码,并且将其以html文件的形式存储下来
使用scrapy爬取网易新闻中的国内、国际、军事、航空这四类新闻,并且将其存储为json格式的文件中