具备Python爬虫和Java后端开发技能,掌握Python的requests、beautifulsoup、scrapy等爬虫库,熟悉各种逆向技术,能够基于页面逻辑实现有效抓取,解析和存储数据。在Java后端开发方面,熟练掌握Java语言,Spring框架,mybatis等技术栈,能快速开发高质量的RESTful Web服务和分布式系统,同时具备较强的MySQL或Oracle等数据库操作经验,能进行数据库优化和性能调优。另外,具备较强的算法和数据结构基础,理解操作系统和网络原理,能够灵活应用多种技术和工具,具有良好的沟通协作能力。
爬虫项目:
小红书,抖音,微博,红人点集等接口逆向。
采用scrapy框架爬取某美食app数据,还使用BeautifulSoup和正则表达式对数据进行抓取和过滤,使用了MongoDB数据库存储原始数据。此外,利用 Flask 搭建服务器,小程序展示美食制作流程,
后端开发项目:使用Java参与编写了一个在线商城应用程序。该应用程序使用Spring框架进行开发,采用MVC模式,支持用户登录和注册,订单管理,以及商品展示等功能。在数据库方面,应用程序使用MySQL进行数据存储,并使用Redis缓存技术,提高了应用程序的性能。此外,还使用了阿里云服务器,dokcer 进行部署