一、前端:
1、html,熟练掌握;
2、CSS,熟练掌握,并熟悉ES6规范;
3、JavaScript,熟练掌握;
4、vue框架,熟练掌握vue2和vue3、typescript;
5、SACC,熟练掌握。
二、后端:
1、Python,熟练掌握;
2、Flask框架,掌握前后端不分离和RESTful,掌握mail、redis、数据库连接池、线程池、wxpay等模块;
3、爬虫,熟练掌握requests、bs4、selenium等三方包,熟练掌握Scrapy框架。
三、数据库
1、MySQL
1、vue:网易云音乐web的复写
以vue3框架为基础开发的SPA网页,主要应用了多级路由、pinia状态管理、defineProps父子组件通信、Fetch API等模块,实现对music.163.com网页的复写
项目开源地址:https://github.com/psyhero/vue_music163.git
2、Flask:刷视频播放量的网站
项目采用前后端不分离的方式构写,实现用户注册、登录、下订单等功能
Web运行逻辑:用户登录 >> 下订单并支付 >> selenium生成driver执行任务 >> 返回任务完成的状态码并通知用户
MySQL数据:user表单,订单表单,任务表单,spider爬取的user-agent表单、proxy表单
项目开源地址:https://github.com/psyhero/flask-shring.git
3、爬虫:豆瓣电影TOP250数据
使用Scrapy框架爬取豆瓣电影Top250的数据
爬虫逻辑:在豆瓣电影top250页面中爬取详情页链接,并生成Request请求,随后在详情页中定位数据并爬取
使用SQLAlchemy模块建立数据模型,并将爬取的数据分别保存至MySQL数据库和json文件
项目开源地址:https://github.com/psyhero/douban_pro.git
4、爬虫:贝壳租房信息
使用Scrapy爬取北京双井附近位置的租房信息
爬虫逻辑:选定城市、城区(如北京市朝阳区双井),在生成的HTML页面中爬取所需要的租房信息
使用SQLAlchemy模块建立数据模型,并将爬取到的数据保存至MySQL数据库和json文件
项目开源地址:https://github.com/psyhero/beike_pro.git
本项目采用Vue3框架,复写了网易云音乐的web网页,主要内容: 1、使用多级路由导航,使用pinia状态管理,使用defineProps实现父子组件通信; 2、使用Fetch API获取网易云音乐的随机歌曲以作调试; 3、数据动态生成,但目前皆来源于网易云音乐站点。
1、邮件注册与登录,并将相应的数据保存至MySQL; 2、selenium播放任务,以线程池函数的方式完成任务; 3、spider获取driver所需的代理和User-Agent,以便规避视频平台的同一IP固定时间内的播放不计入播放量的规则; 4、支付接口; 5、admi
1.使用Scrapy爬取豆瓣电影Top250的数据; 2.爬虫逻辑:在movie_top250页面中爬取详情页链接,并生成Request请求,随后在详情页中定位数据并爬取; 3.使用SQLAlchemy模块建立数据模型,并将爬取的数据分别保存至MySQL数据库和json文件。