211研究生毕业,从事大数据开发两年,主要是大数据算法和传统机器学习的相关开发。
1、掌握python和scala语言,有两者项目开发经验;
2、熟悉大数据工具spark, 处理过p级数据;
3、熟悉pagerank等网络算法的开发;
4、熟悉传统的机器学习,包括分类聚类算法(决策树与逻辑回归算法等)
5、熟悉常见反爬机制及对应的应对措施,如ua、cookie识别;
6、有较强的数据分析与建模能力,在校期间获得过数学建模国家级二等奖;
7、熟悉Linux常用命令.
1.社区发现以及pagerank算法的开发;
2.金融数据的爬虫;
3.机器学习大数据平台的建设;
4.自动化交易平台的开发(数字货币相关);
5.自然语言项目的开发;