华研头条(投资舆情参考讯息网站)

基本信息

案例ID:195070

技术顾问:fine - 5年经验 - 北京华研数据有限公司

联系沟通

微信扫码,建群沟通

项目名称:华研头条(投资舆情参考讯息网站)

所属行业:金融 - 股票

->查看更多案例

案例介绍

为民众提供股票公司相关的舆情信息, 包含资讯、研报、 公告、自媒体、股票数据等相关数据和工具
技术要点:Scrapy(舆情资讯爬取) + Requests(股票数据爬取) + Mysql(股票历史数据存取) + Flask(华研头条核心内容接口) + ElasticSearch(舆情数据存取、搜索、数据分析) + Mongo(舆情数据备份、带标签的文章、股票数据存取 和 头条一些网站数据、金融数据和统计结果存取) + Redis(缓存) + Neo4j
责任描述:
1. Scrapy框架建立舆情新闻爬虫基础设施, 设立字段规范,负责爬虫爬取决策和方案(后期有其他同事专门写爬虫);
2. Requests 爬取公司股票的交易信息,金融数据, 存入mysql或者mongo;
3. 利用ElasticSearch系统进行舆情新闻预分类和缓存,还有舆情分析(文章每日数量, 热门作者等)
4. Flask 框架建立爬虫舆情系统的核心内容接口,包括股票、 舆情文章、数据分析结果、搜索功能、用户关注作者和通知等接口;
5. Redis用于缓存和临时数据存取, Neo4j存取公司数据和关系

相似案例推荐

其他人才的相似案例推荐

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系需求方端客服
联系需求方端客服