医药系统

企业服务-数据服务 南山

这个项目当时是分为四层架构,分别是ODS数据贴源层,DW数据处理层,DM指标层,ADS数据应用层。ODS层是将上游系统的数据抽取到hive数仓,DW层对抽取到的数据进行数据处理,如码值替换,空值替换,脱敏处理,DM层根据不同的主题加工不同方向的宽表,ADS层用于数据支持,将整理好的指标数据抽取到MySQL数据库中,使用BI工具完成报表展示。...

医药系统
医药系统

电影系统

企业服务-数据服务 南山

开发一个完整的小说数据平台,涵盖数据抓取、清洗、存储与Web展示的全流程。项目中使用Requests库从多个小说网站抓取数据,包括小说名称、作者、章节内容等,并通过自定义的爬虫策略应对网站反爬机制。抓取的数据经过Pandas进行清洗和格式化处理,确保内容的完整性与一致性。处理后的数据通过PyMySQL存储到MySQL数据库中,确保高效的数据查询和管理。 在平台后端,使用Flask框架构建API接口,实现数据的动态请求与交互,确保前后端分离的设计。前端则通过HTML、CSS以及部分JavaScript实现小说内容的展示,包括搜索、分类浏览和分页功能,确保用户体验流畅。此外,平台还支持数据的增删...

电影系统
电影系统
------ 加载完毕 ------
联系聘用方端客服