语言技能: C/Java/Sql :熟悉 C++/Python/Scala :了解
数据结构:掌握基础的数据结构(表,树,图)的操作和常用算法。
软件操作:熟练使用关系数据库mysql;了解k-v数据库redis,熟悉Spark系统的原理,会用hive,Spark对数据进行处理,了解hadoop。
系统操作:熟悉linux的基本命令操作以及在linux平台下的开发。
其它:熟悉SSM开发框架;了解TCP网络协议
1. Offer100 web产品 后台开发人员
「Offer00」是一款主打提供招聘信息的网站。
独立完成整个项目的数据库设计。
独立完成发布招聘信息,招聘信息搜索,职位热度搜索三模块后台开发。
主要收获:熟练使用Mysql和KV数据库Redis;Java编程;MVC模式
2. Deca 基于Spark的GC优化系统 开发人员
「Deca」是一个在Spark基础上实现内存大数据处理的优化机制的系统。
使用soot完成程序分析模块的开发。
程序分析获取的用户自定义类型的信息传给Spark的Task,我们在堆外开辟内存将对象以字节数组的形式存储,并在对象的生命周期结束时回收对象。
主要收获:Spark系统的原理;Java反射机制;soot进行程序分析;熟悉scala编程;对JVM有了进一步的了解
3.软酷网日志分析系统:完成软酷网网站的日志分析,为公司决策者提供服务。 开发人员
网站最受欢迎课程模块开发:用Hadoop mapreduce对数据进行清洗,SparkSql进行统计,统计结果存放在hdfs上,用Sqoop将其导入mysql数据库。
学习推荐模块开发:用ALS/fpgrowth算法,根据学生学习的课程推荐相关课程。
主要收获:SSM框架使用;linux系统;大数据框架(Hadoop,Spark)应用;Java编程;mlib;数据分析;了解git协助团队开发