python爬虫数据采集、数据分析、自然语言处理、机器学习、图像处理、django/flask后台web开发、pyqt5开发
精通并熟练使用mysql,mongodb,elasticsearch,redis,TDengine,clickhouse等存储数据
selenium模拟登陆网站、appium模拟操作手机、apptools反编译apk破解网站加密
1.100多款app的数据采集(包括拼多多、telegram、twitter、instagram、淘宝等)
2.使用flask、django进行后端开发(为页面提供数据支撑)
3.100多台手机模拟(获取指定app私密数据)
4.selenium破解滑块验证码、模拟登录获取app数据
通过拼多多网页版点击网页商品信息,抓取网站实时发送的http包,通过模拟发包的方式获取商品信息(包括商品价格、商品库存) 聪儿筛选出指定的商品
100多亿的数据存储与检索.对于大数据使用clickhouse可以大大加开页面的查询效率,ceph分布式文件系统可以存储大量资源文件,并且易迁移,针对大数据存储性能比minio要好