1. 熟悉python、JavaScript、node.js、html、css、vue。
2.能熟悉使用beautifulsoup,xpath来定位和提取网页中的特定信息。
3.握numpy、scipy、matplotlib,pandas这些数据处理方面的第三方pyton库。
3. 熟悉常见的反爬程序,并能处理大多反爬手段。
4. 精通html结构,css样式,javascript脚本。能够分析网页的结构,提取目标数据。
1.百度搜索分析
对百度搜索结果进行爬取+精准定位分析,了解时下热点及进行数据可视化。
2.某淘宝商品批量爬取
对淘宝商品页进行爬取,获取图片及详细内容,进行0货源销售。
2.AI大模型自主部署网页对接
Python+html实现一个chat gpt聊天网页,支持流式聊天,图片文档传输,登陆注册等用户基本信息管理功能。
客户需求: 获取同类商家的所有商品数据+数据图对热门商品进行定位及分析 实现方式: 获取所有通过Python的selenium+pymysql进行淘宝页面爬取,使用正则表达式进行精准定位获取数据,获取数据后放入mysql数据库
客户需求: 客户为电竞行业从业者,需实时获取该游戏最新热点讯息并制作视频,成品为exe文件。 实现方式: 通过输入的词语对百度进行多页数据的爬取,并分析浏览量和热搜条目过滤目标热点定位,通过PyInstaller封装为exe文件。