**商城数据爬取

猿急送>上海兼职程序员>花⃰花⃰与⃰旺⃰财⃰>

案例列表

基本信息

案例ID：159169

技术顾问：花⃰花⃰与⃰旺⃰财⃰ - 5年经验 - 比特

联系沟通

微信扫码，建群沟通

项目名称：**商城数据爬取

所属行业：工具 - 办公软件

->查看更多案例

案例介绍

该项目开发工具使用的是VS2015，数据库使用有MySQL、Redis及SQLite、使用的框架有Layui+Mvc
该项目主要功能区域主要分为三块：数据采集、任务分配、数据详情整理、数据展示；
1、服务器上主要运行任务分配机、数据展示站点、MySQL数据库及Redis(用于存储大量临时产生的商品数据)；
2、根据配置好的目标网址及对应爬取项Xpath，优先获取商品分类及最热搜索关键词清单，存至该项目主数据库MySQL中；
3、服务器本地以及局域网内各台电脑上的采集器启动后，会向Mysql数据库中生生记录
4、任务分配机，将以获取到的商品分类及关键词清单依次分配至给数据采集器清单中的各采集器，
5、数据采集器主要分为：页面下载(包含搜索商品清单界面、商品详情界面、店铺评分界面)、爬取商品清单页面、爬取商品基础数据、爬取商铺信息、爬取关键字(五个小时执行一次)五个功能块，在接收到采集对象类型后，根据目标网址及爬取项的Xpath，开始依次爬取商品大概信息、商铺信息(商铺基础信息、商铺评分信息、)临时存至本地数据库SQLite中，并对SQLite本地数据库进行分表处理，当商品\店铺相关信息某一表中行数大于等于1000时，自动重新创建对应表进行数据存储，当本地SQLite数据处理某些商品/店铺数据数据完毕后，自动存储至服务器上Redis数据库中；
6、任务分配机除根据类型分配爬取任务外、监控个数据采集器是否正常并蒋Redis中的商品及店铺信息分配至数据详情整理器讲筛选过后的数据存储至MySQL数据库中，采用分表的方式。
7、数据展示站点(主要分为管理端、客户端)，采用Layui+Mvc框架实现。由于字数原因大概主要功能如下：店铺信息（单个商铺评分明细）、商品信息查询展示等。
主要负责功能、界面、数据库表结构设计，主要开发语言C#；数据管理及展示界面采用LayUI+Mvc框架；数据库主要使用到MySQL、Redis及SQLite