本人现阶段大三,学过编程语言Python,Java,Scala,网络爬虫,MySQL。学习的组建有pandas,Hadoop,spark,用于数据分析,离线数仓。大二期间参加Python竞赛省赛,虽然只拿到了省三,但是对于数据处理有了深刻的影响,目前在参赛大数据赛项担任离线处理位置成员
1.网站日志流量分析,Hadoop+flume数据采集+Java写的MapReduce数据处理+hive数据存储+finbi实现一个web界面展示
2.订单数据实时处理,Hadoop+spark实时处理+Redis数据库存储+Python flask web界面展示动态数据