1.可以熟练运用requests、scrapy、selenium等技术进行数据获取。
2.熟悉django框架的网页搭建。
3.精通数据清洗、数据分析、数据可视化。
4.精通sql编写以及sql语句优化。
5.精通mysql数据库的主从维护与高可用技术。
6.精通mysql数据匹配,数据导入,数据恢复。
1.运用python相关技术对第一ppt网进行全站下载,以及自动化下载学科网文档;
2.修复并完善甲方mysql数据库主从切换后数据丢失以及从库无法写入的故障;
3.对千万级数据进行数据匹配,找出不同数据。
作者角色:python开发工程师 作品功能:对第一ppt进行全站下载,并且将所有ppt按类别分别保存
作者角色:DBA 作品功能:修复mysql数据库主从切换的故障,完善主从切换后从库只读的状态,完善主从切换后原从库在新数据写入与主从数据同步过程的冲突