1.熟悉Python语言,有两年的爬虫、搜索、数据分析经验,熟悉爬虫、熟悉Numpy、Pandas等数据分析工具
2. 了解HTML、JavaScript,CSS的基本操作,熟悉Django框架和Flask框架,熟悉Ajax
3. 了解数据库MySQL,MongoDB的基本操作
跨境电商平台爬虫系统
项目描述:爬取跨境电子商务平台wish,eBay,Amazon,aliexpress上的相应产品的标题,销量,售价,发货地
项目职责:
• 对要爬取的网站的信息进行页面分析,利用beautifulsoup和selenium的方法对要爬取的数据进行匹配
• 利用fiddler和浏览器进行数据抓包
•模拟浏览器登录,进行了相应的反爬,并对匹配到的数据进行简单的处理.
• 在对网页中链接的抓取时,对链接进行去重处理
• 将爬取到的图片存入本地,将其他信息存入到MySQL数据库.