项目描述:该项目旨在通过爬取直播平台上的弹幕等数据,使用情感分析技术判断观众对直播内容的态度,并通过实时数据可视化展示观众态度的变化情况。该项目使用了多种开源工具来协同工作,实现了从数据采集到数据展示的整个流程。该项目具有实时性、准确性和可扩展性等特点,能够帮助主播快速了解观众对内容的态度,并据此调整直播内容,提高观众满意度。
项目架构:FlieBeat+Zookeeper+Kafka+Flink+Redis+Elasticsearch+Kibana
项目流程:
1. 使用开源爬虫库来爬取直播平台上的弹幕等数据。将爬取到的数据保存为 JSON 文件,然后使用 FileBeat 来监控保存的 JSON 文件,并将文件中的数据实时采集到 Kafka 消息队列中,最大日处理近百万条数据。
2. 基于大连理工大学情绪词典,使用Flink和Jieba分词工具来对采集到的数据进行情感分析。可以判断观众观看直播时的情绪,并进行实时计算。计算结果将被缓存到Redis中。
3. 使用Flink将缓存到Redis中的数据保存到Elasticsearch中。然后使用Kibana来实现实时数据可视化,展示直播平台上观众对内容的态度变化情况。这样,主播就可以根据观众的态度调整直播内容,提高观众满意度。