熟悉python网络爬虫基础库 如:requests库 bs4库 selenium库等
熟悉scrapy网络爬虫框架并在校期间利用scrapy框架爬取百度百科10000条数据并存储到mongodb数据库中
熟悉正则表达式和页面解析技术
对面向对象程序设计有深度的学习和理解以及设计模式的领悟
熟练掌握Mysql 、mongodb等数据库和hive数据仓库
熟悉linux的shell基本指令
掌握C JAVA 的基本语法
利用scrapy框架爬取百度百科网站10000条数据 2023-06至2023-07 代码开发
项目介绍:
利用python的scrapy框架爬取数据并分别把列表页和详细页存储到mongodb数据库中,并进行数据清洗和可视化输出
项目职责:
在项目中担任主要负责人
项目成果:
为公司提供高效的采集数据
利用python的Djongo框架开发影视网站系统 2022-10至2022-11
在项目中的主要负责人 1-10人
项目介绍:
利用python中Djongo框架开发一个web网站,先是用网络爬虫爬取数据信息,分别对数据划分为列表页数据和详细页数据,对数据存储到mysql数据库中并从数据库中导出数据信息进行可视化管理
项目职责:
在项目中的主要负责人
项目成果:
这个网站采用科学可视化处理让客户能直观的看到数据性一目了然
利用scrapy框架爬取百度百科网站10000条数据 2023-06至2023-07 代码开发 项目介绍: 利用python的scrapy框架爬取数据并分别把列表页和详细页存储到mongodb数据库中,并进行数据清洗和可视化输出 项目职责: 在项目中担任
利用python的Djongo框架开发影视网站系统 2022-10至2022-11 在项目中的主要负责人 1-10人 项目介绍: 利用python中Djongo框架开发一个web网站,先是用网络爬虫爬取数据信息,分别对数据划分为列表页数据和详细页数据,对数据