熟练掌握java语言,网站框架都是用SpringMVC+Spring+Hibernate或者SPringMVC+Spring+Mybatis框架,用的是nginx+redis缓存+动静分离处理高并发,用的elasticsearch搜索引擎搜索可以加快速度,用过java写爬虫,ip代理,数据伪装加上无界面浏览器爬取,也用过python写过爬虫demo,都在实际项目中实践过。用过rocketmq做分发,理由是任务太多,用mq做分发可以解决高并发问题。
我做过寻购网,负责做过一段时间的页面接口开发,主要做的就是登录注册跟用户中心,后来负责爬取各大商场的商品进行录入,其中涉及到运用redis缓存去重商品,高并发下怎么才能不重复爬取,怎么停止高并发,怎么在高并发下cookies过期后,只用登录一次而不用每个线程都去登录