网络爬虫:熟悉Scrapy、requests、selenium,
web后端框架django
掌握数据分析工具jupyter、pandas、numpy
开发语言:Python、Go
数据库:MySQL、MongoDB、Redis
电商爬虫 爬虫开发
项目描述:对国内外主流电商平台的商品进行抓取
项目职责:
- 分析抓取策略:对网站进行深入分析,包括:网页结构,请求方式、身份识别、网页更新策略,并选择合适的爬行策略,以提升爬虫效率和稳定性
- 数据抓取:使用selenium模拟浏览器进行数据抓取
- 数据清洗:使用python对数据进行清洗,分类,可视化,入库