java(spring,spring mvc,mybatis) 熟练 使用时长: 1年6月
python(django,scrapy) 良好 使用时长: 8月
js/jquery,Vue.js 熟练 使用时长: 1年6月
MySQL,MongoDB 良好 使用时长: 6月
基于Scrapy的京东数码信息采集系统
项目描述
该项目使用的是Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。主要爬取的是京东的数码商品,解决了京东一页爬取30条数据(Ajax加载)问题,异步MongoDB存储,动态代理,分布式爬取。然后使用Django和百度Echarts进行数据可视化,最后运用爬取的评论数据作为训练集,使用朴树贝叶斯算法写了一个评论的情感分析