1.主要使用语言为Python,Node.js ,Golang ,JavaScript 也会,
2.后台框架基本主流的都会,比如flask,django, express,koa,echo,beego等
3.爬虫项目做了不少,大部分都是直接写的没有用框架,小部分使用scrapy
4.然后后台相关的数据库部分,比较熟的就是MySQL和mongodb了,缓存redis
5.消息队列方面用过python相关的celery,rabbitmq也挺熟悉
6.web服务器主要还是用nginx
7.docker 主要还是个人小范围试水,公司生产环境没上
1.独立一人完成一整套爬虫代码的调度,运行,缓存,入库等工作,网站账号数达到1500个,每日抓取数据达到百万条,历史数据保存等。
2.独立一人完成配套数据查询后台,包括登录注册,验证码,查询,激活,权限管理等相关功能,注册用户达到1W人。
3.完成公司分布式消息队列的搭建,任务调度的编写及优化,改进大量数据存入mysql的性能问题。