熟练使用python编程语言,了解常用数据分析库,如geopandas,numpy,gdal.
熟练使用数据可视化分析工具(SPSS/Tableau BI/Power BI)。
熟练使用数据挖掘(Scikit-Learn/Keras/TensorFlow/PyTorch)技能。
熟悉HTML、Java开发语言。
精通SQL编程,了解数据库体系结构,熟悉Linux开发环境。
了解Hadoop、Spark、Flink、Storm等开源大数据产品。
了解Hive、Hbase、Kafka、Zookeeper等大数据生态组件。
基于大数据技术的求职者画像平台
项目背景:网络求职平台日趋成熟,针对学生的就业管理、提高就业率至关重要。
项目过程:该平台由Python、网络爬虫Scrapy、pyspark构建,SQLite数据库和Flask-Web框架协同管理。
项目结果:实现招聘数据管理、招聘数据可视化趋势分析等功能。
基于大数据技术的求职者画像平台 项目背景:网络求职平台日趋成熟,针对学生的就业管理、提高就业率至关重要。 项目过程:该平台由Python、网络爬虫Scrapy、pyspark构建,SQLite数据库和Flask-Web框架协同管理。 项目结果:实现招聘数据管理、招聘数据可视
完整流程:加载M3W项目的数据,使用自编码器进行自监督预训练,提取特征矩阵,使用集成聚类生成伪标签,基于伪标签进行监督训练,得到最终聚类结果