案例介绍
项目架构：jdk1.8+Maven+MySQL+MongoDB+Redis+Tomcat+SSM 框架+爬虫 框架 +Hadoop 框架
开发工具：idea
项目描述： 本系统从互联网采集数据并进行整理，用户可以方便快捷的查看数据，快速定位重大舆情信息，进行监测管理。本系统主要通过时间和区域两个维度及时发现相关舆情，以达到及时处理的目的。根据所设置分类，对信息进行整理。用户可自建简报，导出相关数据，整理上报。对于重大信息，以邮件发送、手机推送、电脑弹窗等方式及时发送给用户，以便及时掌握舆情，快速应对。
1、通过Jsoup,httpclient,htmlunit,selenium，OKHttp数据采集技术对微博、微信、论坛、报刊、新闻等网站信息将信息采大型招标数据采集集回来。
2、将数据用Redis去重、清洗入库。
3、将数据放入Hbase备份与存储。
4、负责特殊网页采集任务的分析及采集方案设计。
5、参与开发和优化分布式爬虫系统
案例图片
相似案例推荐
其他人才的相似案例推荐
-
浏览器数据提取辅助工具
浏览器数据提取辅助工具，数据爬取通常涉及大量的文本分析工作，
-
电商网站商品信息爬取
根据京东，淘宝的商品分类爬取商品价格，类别信息。分析获取商品
-
国家企业信息公示系统企业信用数据爬取
通过爬取国家企业信息公示系统，信用中国等网站，获取全国企业信
-
工业物联网APP
工业物联网APP 项目描述 这个项目的主要是为
-
地理化分析系统
作品为地理化分析系统，我在其中担任了架构师和后端开发，包括了
-
企业数据分析平台
该作品是企业级别数据分析平台，我在其中担任了架构师和后端开发
-
飙局
这是关于一个商标的一个查询系统,主要是给企业内部员工和行业内
-
知产岛
这个知产岛(商标系统)主要面向大公司的IPR部门使用,使其方
-
菲莫精英汇
内部网站，不对外开发 内部网站，不对外开发 内部网站，不
-
青岛即墨君澜酒店智能管理系统
本项目是以"智能家具"为核心设计理念，旨
-
容器管理平台
项目采用vue开发，主要使用uxcool组件库，axios,
-
朵朵报修
建筑节能，报修系统 自动调节温度 Echarts图表开发
微信接收人才推送
关注猿急送微信平台，接收实时人才推送
