1、掌握SQL语言,熟练子查询,连接查询,能在MYSQL环境下对数据进行增删查改;
2掌握python基本语法,熟悉爬虫,能用requests进行请求发送,能用XPath,Beautiful Soup4进行网页解析和数据提取。
能用pyecharts,pandas,matplotlib进行数据展示和分析。
3、能用kettle工具对数据进行清洗和整理。
4、了解统计学相关知识,以及随机森林,决策树等。
1、曾用做过深圳市二手房房价分析及预测,使用爬虫爬取中国房地产协会网站进行数据收集;使用mysql及kettle进行数据清洗;使用可视化技术进行数据展示和分析。
2、在校期间用mysql做过图书馆书籍整理。
本作品是关于全国各省人口分布可视化展示。 功能:可直观得出全国各省人口数据分布情况。 分析:使用比较分析方法对数据进行分析得出结论。 使用技术:Python,pyecharts。
该爬虫从中国房地产协会爬取房地产信息生成CVS表格。 若有进一步需求可进行数据可视化展示,数据分析。