作为一个java的后端开发者,java基础的技能自然不需赘述,在后端开发的过程中,我遇到过很多不可思议的问题,甚至让人质疑java是否是一门严谨的语言,从刚开始接触编程我学习的是Android,后来开始学习java,慢慢开始拓展学习各类的框架,SSM,SSH,shiro,开始接触各类数据库,redis,orcale,mysql,开始质疑数据开始学习python爬虫,到现在从事大数据的收集,开始了解jvm开始学习各类消息中间件,开始使用hadoop,hbase,spark,开始了解敏捷开发。路在脚下而已。
目前做过的比较大的项目应该是上海移动的物联网项目,上海移动的用户量是1400W以上,每天所产生的需要处理的数据量在2亿条以上,在数据收集,解构,传递,存储的方面都有很大的调整,项目从一开始使用orcale存储数据,使用java直接处理逻辑,使用mq传递数据,在后续的实际生产中出现了较大的性能瓶颈,在硬件设施不足的情况下,对于所使用的工具的要求大大的提高了,我们开始尝试使用redis+orcale作为数据中介,使用redis+kafka做数据的传递,使用spark作为数据仓库处理逻辑,使用hbase+phoenix+orcale作为数据的存储,每一个项目都有一个新的挑战。