4年网络爬虫及网站开发经验
Python多进程、多线程、协程技术
Python运行时内存优化技术
Python程序打包成exe的技术
高并发、抗反爬的网络爬虫技术(XPATH、Regex正则表达式,数据加密解密、数据提取、数据清洗、数据存储优化、验证码破解、代理池构建等)
Web网站后端开发技术(Django、Flask、Mysql、Redis、Nginx、Supervisor)
Mysql数据库设计及数据备份、同步、查询优化技术
Redis、MongoDB数据库使用技术
Django、Scrapy的使用技术
服务器自动化部署及定时调度技术
基于Matlab的图像加密、图像无痕水印技术
1. 基于二手车交易数据的二手车估值平台项目
构建日均爬取20万条以上数据的网络爬虫,从二手车交易平台获取车辆的报价、售价、使用及保养情况等数据,通过机器学习算法对二手车进行估值。主要使用工具:Scrapy、Redis、Django、Mysql。
2. 基于Python、Shell的软件自动打包、测试、部署系统
一个Python和Shell语言结合编写的软件自动化测试系统。
3. 获取贷款客户信用信息的授权爬虫
征得贷款客户的授权后,使用网络爬虫技术获取用户的电话号码的使用情况信息,根据通话记录及充值习惯等进行用户画像,评估用户可信度,降低贷款风险。使用Python、MongoDB、Mysql、requests、异步协程技术、消息队列等技术。
4. 国有企业电商网络平台
使用Django、HTML、Js、CSS、Jquery、Mysql、信息加密解密技术、信息分块传输技术等构建的国企电商平台。
5. 企业招投标信息网络爬虫
获取企业招投标信息的网络爬虫软件,基于Python开发的界面化工具,打包成exe文件,支持密钥鉴权使用。
某国外大学机器学习课程设计作业(CSC148H1 S 20201),一个名为Blocky的主题作业。 由本人使用python3.8和pygame独立开发。 运行起来是一个移动色块的游戏,通过色块的拆分合并和移动旋转,尽量得到更高的分数。
使用scrapy开发的网络爬虫,抓取国外的小说网站翻译的中文小说,在自己的网站展示。 抓取多个网站,分布式高并发。