熟练掌握 Hadoop、hbase、hive 等大数据处理和分析工具;
熟练掌握 MongoDB、MySQL、SQLServer 等数据库的使用和管理;
熟练掌握 kettle、finereport 等数据处理和报表生成工具;
熟练掌握 pandas、numpy、re等 数据处理python库;
熟练掌握 xpath、beautifulsoup、request、urllib 等爬虫python库;
Python 框架 django,flask,scrapy等
用python处理过搜狗用户搜索数据,进行数据提取,清洗,存储、可视化等操作;python airflow做定时任务调度,通过python写自动化脚本再使用定时任务。
广州市重点用能单位能耗在线监测数据平台开发。 负责做定时任务数据清洗转换、数据存储工作。 使用技术和工具:python、airflow、kettle、mysql、sqlserver等。
毕设项目,为了解决广大高校毕业生和在职人员获取满意的招聘岗位信息,利用Python对该信息进行收集和分析。首先、以某招聘为例,爬取招聘数据,再将数据做清洗存储,其次,从地区、行业、专业、热门岗位等维度进行数据分析,最后,利用可视化技术,将有效的数据展示给用户。