熟练使用C语言、Python语言、Java语言、Js语言,具有较强的独立开发能力,熟悉Spring框架和Scrapy爬虫框架,掌握docker+redis+动态拨号vps的分布式爬虫技术,能够独立完成微信小程序前端后端搭建,对php未接触,喜欢使用tomcat搭建后端服务器,有独立开发小程序对接微信支付的经验,熟悉mysql,能够独立设计项目数据库结构,熟练使用SSM框架搭建后端,chrome浏览器插件开发略知一二,尝试爬取淘宝天猫时,利用浏览器插件模拟用户登录获取cookie进行从而躲避反爬虫。
1、iwish购微信小程序:利用scrapy爬虫框架,结合splash渲染引擎实现多线程爬虫任务,通过docker容器进行分布部署,使用redis进行任务下达和爬取结果存储,使用SSM框架,处理爬取结果,从而实现用户通过将购物网站(天猫、淘宝、京东、考拉)上的商品链接,通过小程序上传给服务器,服务器下达爬虫软件,爬虫软件爬取后,服务器返回给用户,从而帮助用户实时监控商品信息动态,所有工作,包括小程序开发,后端开发,UI设计,数据库建表建库,爬虫软件开发,chrome插件开发均独立完成,并完成微信小程序内微信支付功能
2、Go签个到微信小程序:提供创建签到(设置项包括签到主题、主持人、参会对象、签到时间、签到地点、签到表、签到备注),根据签到时间和签到地点进行签到校验,提供创建者签到进度,并提供签到进度查看、下载至本地、获取链接、发送至邮箱功能,并通过分享功能(通过小程序或二维码)发送给需要参会的对象,参会对象可参加浏览删除签到,并通过订阅信息获取签到开始提醒和变更提醒,利用SSM框架开发后端,包括小程序开发,后端开发,UI设计,数据库建表建库等均独立完成
iwish购微信小程序实现用户将购物平台的商品链接上传到服务器,服务器下达到爬虫软件中,爬虫软件爬取对应商品信息,服务器获取爬取结果后返回并呈现在小程序上,后续对所有用户上传链接进行周期性爬取并存储到数据库中,从而给用户提供商品价格变动信息,历史价格查询,价格提醒等功能,并提供V
Go签个到是一个免费签到小程序,提供创建签到(设置项包括签到主题、主持人、参会对象、签到时间、签到地点、签到表、签到备注),根据签到时间和签到地点进行签到校验,提供创建者签到进度,并提供签到进度查看、下载至本地、获取链接、发送至邮箱功能,并通过分享功能(通过小程序或二维码)发送给