1.熟悉Python、Java、C、C++编程语言,SQL语言;
2.熟悉MySQL、SQL Server关系数据库,NoSQL非关系数据库,如MongoDB;
3.熟悉大数据处理架构Hadoop的生态系统及安装与使用;
4.熟悉前端框架Bootstrap,熟悉Html、CSS、Javascript等基本的前端开发技术;
5.熟悉PyQt5的使用;
6.熟悉数据爬取、清理、入库和可视化操作;
7.搭建和使用ELK平台。
1.基于ELK的房屋租赁数据可视化平台:增量爬取某网站数据,并进行清理、入库,再从MySQL数据库抽取数据到Elasticsearch,并搭建ELK平台作为后端监测数据平台,最后建立基于Django框架的Web端网站,展示房屋租赁可视化分析结果;
2.基于PyQt5的SQL语言生成器:根据数据库设计与提取数据需求,设计SQL语言生成器,方便程序员根据需求,通过勾选或填入关键信息,生成可以直接运行的SQL语句块,减少查询数据库的代码编写量。
基于ELK的房屋租赁数据可视化平台:增量爬取某网站数据,并进行清理、入库,再从MySQL数据库抽取数据到Elasticsearch,并搭建ELK平台作为后端监测数据平台,最后建立基于Django框架的Web端网站,展示房屋租赁可视化分析结果。
基于PyQt5的SQL语言生成器:根据数据库设计与提取数据需求,设计SQL语言生成器,方便程序员根据需求,通过勾选或填入关键信息,生成可以直接运行的SQL语句块,减少查询数据库的代码编写量。