本地头条是一款移动资讯应用,可以根据定位功能推送身边事的软件,24小时更新当地热点新闻,本地头条还具备 实时点击流的监控能力。粉丝行为实时分析能力,热点资讯分析能力,自媒体创作者还可以通过平台发布优质内容 实现创收,并可以使用数据助手实时分析数据流量。 技术栈: SpringCloud、SpringBoot、SpringMVC、MyBatis、KaFKa、Redis、ShardingSphere-JDBC、Redission、Xxl- Job、ElasticSearch、Nginx、Nacos、Minio、FreeMarker 项目职责: 1、文章展现:使用了FreeMarker生成静态页展示并使用Minio保存海量数据。 2、搜索功能:使用了ElasticSearch技术,提高搜索性能,通过ongoDB存储历史浏览数据。 3、文章审核:使用了DFA算法和自定义敏感词库,调用了阿里云反垃圾机制审核文章内容 4、文章延时发布:这里采用了演示队列思想去设计实现,使用Redis作为队列和MySQL进行数据备份和Xxl-job进 行定时数据同步和定时扫描消费队列信息 5、文章数据存储:使用了ShardingSphere-JDBC实现数据路由,基于它的行内表达式配置相关路由算法,达到水 平分库扩容,并基于其内置时间算法,按照时间进行分表,达到海量数据存储文章数据的目的 6、热门数据排行:采用了Redis的Zset存储热门数据,利用其内部特性对热门文章进行排序和分页,基于点赞,转 发等权重评分进行排序,利用异步机制,将热门文章数据局放入MongoDB进行存储,并将数据前20放入缓存中, 提高热门数据的加载几率。