熟悉Linux环境,精通python爬虫,掌握request、BeautifulSoup、urllib、json、re等爬虫脚本常用库,os、opencv、numpy等文件批处理、图像处理库,精通静态网页源码,动态网页json包抓取,URL分析、拼接。熟练掌握fiddler抓包工具,抓取电脑、手机、安卓模拟器环境的数据,熟练FiddlerScript,熟悉常见的http、https、ftp等常见网络协议。优势:爬虫编写熟练度高,经验老,擅长爬虫性能优化,多进程提高大型数据爬取速度,封装能力强。精通office三件套,掌握PR、PS、AE工具。
项目1:为人工智能抠像项目提供数据采集支持,平台:windows。采集数据源:国内外网站。采集数量:绿幕图片10w+、绿幕视频1w+、4通道图片1w+(网状材质、薄纱材质)。爬虫运行稳定,性能高,反爬能力强。
项目2:为人工智能AI换脸项目提供数据采集支持,平台:windows、linux。采集数据源:国内外图片视频网站、github数据库等国外优质数据库、解析拼接阿里云API,人脸数据采集数量:图片1500w+,视频30w+。连续稳定运行14天,圆满完成数据数量、质量要求。