项目名称:京东平台笔记本参数爬取及可视化
项目描述:
对京东平台上的笔记本商品信息进行大数据可视化分析,帮助了解笔记本市场的现状、趋势、需求、竞争等情况,为笔记本厂商、经销商、消费者等提供 有价值的参考和建议。
负责描述:
负责数据爬取,数据清洗处理,数据可视化;
针对JavaScript动态加载的内容和京东反爬虫机制,使用selenium模拟真实用户的行为来自动化网页浏览器操作进行信息爬取;
使用bson(json_util)将 Python 字典转换为 JSON 格式的字符串,以便于写入文件或进一步处理;
编写静态网页,使用ECharts库将处理好的数据可视化;