熟悉Python开发 ,熟悉了解Python标准库和第三方库的使用
熟悉Elasticsearch进行大批量数据存储和搜索,熟悉Elasticsearch使用文档
擅长通过pandas进行数据处理和使用pyecharts进行可视化分析
熟悉MySQL数据库和基本sql语句的使用
熟悉Linux常用命令 , 了解Nginx的基本操作
熟悉爬虫基本原理 ,以及requests和selenium模块的进行数据爬取,熟悉scrapy爬虫框架的部署和使用
通过python处理公司游戏中各种物品的销售数据,并进行可视化分析。通过爬虫框架爬取游戏平台中物品的详细销售数据,并通过pandas和正则进行数据清洗,存储到Elasticsearch数据库中,并使用图表工具完成各类数据的可视化。使用celery中的RabbitMQ消息队列进行大批量的数据的爬取,清洗和存储。