网络爬虫系统

电子商务-B2C lyons

系统采用java平台编写,以postgresql为存储源,采用多线程协调控制,主从结构模式; 主节点集中式存储metadata,调度、显示整个系统的运行状况,主要包括爬虫监控、周期性任务调度作业启动、DB维护、资源清理等Daemon线程; 爬虫节点执行具体的爬虫任务,主要包括心跳、任务填充、任务工作、任务完成、任务重启、任务取消、任务删除等Daemon线程; FileServer存储爬取文件,执行数据清洗等后处理过程。 系统主要采集淘宝、天猫、京东、苏宁、国美、唯品等国内top10电商平台的页面分析,主要采集平台商品信息、评论信息、邮费信息等。...

网络爬虫系统
网络爬虫系统

分布式采集系统

电子商务-B2C lyons

主要负责数据采集系统和比价系统开发与设计,系统主要采用springboot+dubbo+mysql+mongo架构,主要采集国内top电商平台商品价格数据、优惠券数据、图片数据,为文本比价和图片比价提供数据支撑。...

分布式采集系统
分布式采集系统
------ 加载完毕 ------
联系需求方端客服