python爬虫结合Hadoop

文化娱乐-视频 FANK

项目名称: 基于爬虫和大数据的结合 开发周期: 3个月(2023-2-2023-3) 项目描述: 爬虫将数据导入到mysql数据库中,通过sqoop将MySQL中的数据导入到Hadoop的hdfs中,Hadoop集群运用hive进行sql数据库查询,使用hdfs将数据存储在节点,并实现提取出用户留存率,日创建用户和日活跃用户,用户地址,各个年龄段的用户。通过一系列的数据筛选,提取,转换来调查用户需求,来描绘用户画像。 项目架构: Mysql + Sqoop + Hadoop +python爬虫 技术实现: 1. 使用爬虫将爬到的数据传入mysql里面。 2. 使用Sq...

python爬虫结合Hadoop
python爬虫结合Hadoop

downni视频解析

工具-云盘|下载 FANK

负责后端python爬虫的编写以及接口编写,实现了大部分主流视频的解析,并且是解析到源视频下载地址。...

downni视频解析
downni视频解析
------ 加载完毕 ------
联系聘用方端客服