四年大数据工作经验,掌握机器学习和深度学习,简单爬虫技术,熟练掌握linux命令,Hive数据处理,数据仓库设计搭建,以及机器学习算法原理,特征工程,熟练使用mysql数据库,会python,tensorflow
1、在企业客户行为工程项目中,设计客户行为特征指标,使用hive加工客户宽表,然后python特征分析,处理(特征工程),最后使用lightgbm算法建模,通过训练集、测试集的AUC评估指标判断模型优劣。当选定好模型后,再在新的数据集上预测,筛选优质人群,最后进行保险营销推送
2、在企业数据仓库搭建项目中,设计数据仓库基本架构(基础层,数仓层,应用层),通过sqoop开发数据抽取脚本,然后运用雪花模型清晰度沉淀数据作为基础层,通过纬度建模、主题建模等模型,构建DW层,最后根据业务需求,搭建集市应用层