1、python爬虫,能够使用python爬取网页内容,并对内容进行初步分析。
熟悉Scrapy,Newspaper,selenium 等爬虫框架,并着手使用。了解PySpider,Grab,Python-goose,Beautiful Soup等爬虫框架。了解淘宝,百度,知乎等一些网站的架构
2、了解js相关内容,经常使用dom,jQuery等
3、matlab操作,论文使用程序以及simulink仿真
在某公司有着一年的实习经验,完成过两个类似的爬虫项目:
1. 爬取网页获取所有图片,并对图片进行分析的项目,为实习项目,主要承担获取图片整理的任务;
2. 知乎网页的爬取,为外包项目,在另一平台接的任务
接过相关js的任务,主要为网页工具的编写,使用js操作csv文件,不兼容ie
在大二至研究生阶段主要使用的工具,算法,控制方向,负责多篇二区论文的主要编程工作
爬取指定网页的图片,获取所有的图片地址进行保存。 在该网站中,有着许多折叠页,需要进行分析该折叠页是否存在图片,存在则打开 将获取的图片信息进行整理,图片的尺寸等
爬取社交网页,其中一项是对某一贴下的回复人群的回复内容与该人的信息进行提取,并分析结果进行整理并打包