运维:
1.云原生k8s+docker 0-1构建网站或服务器集群 rancher/kubesphere 管理端
2.各种开源软件 安装配置调优 不限于 高可用keepalived 监控zabbix prometheus ,java开源:es,zk,kafka,rocketmq等等 web应用 nginx tomcat等 批量管理ansible salt等
3.数据库 mysql,redis,mongodb主从集群优化排错
爬虫:
1.静态网站数据采集 xpath bs4 requests
2.JS逆向,防反爬,对称、非对称加密 破解
3.scrapy flask框架使用
运维 8年经验,服务集群搭建,运维500台+阿里云ECS 虚拟化批量管理 备份恢复 系统调优 自动构建CICD 监控告警 回调自愈 等等
爬虫3年 拉取同行数据价格比对,做过逆向 静态动态网页数据提取,字体反爬,cookie反爬,对称 非对称加密破解等
有些网站需要逆向破解 有些需要解密api返回的数据 有些则直接用xpath,有些需要做IP代理池,为了反封ip, 目前接私活 主要做爬虫方向的,运维方向如果有需要可以出架构方案,优化脚本等
有些网站需要逆向破解 有些需要解密api返回的数据 有些则直接用xpath,有些需要做IP代理池,为了反封ip, 数据抓取之后清洗入库 目前接私活 主要做爬虫方向的,运维方向如果有需要可以出架构方案,优化脚本等