熟练使用python java,kotlin 使用 pandas 和 NumPy 进行数据处理和分析。使用 Flask 和 Django 框架开发多个小型和中型 Web 应用。编写大量自动化脚本,用于文件处理、数据抓取和系统监控。
使用 requests 和 BeautifulSoup 开发了多个数据抓取脚本,用于从各种网站抓取数据。
项目示例:抓取了一个电商网站的商品信息,包括商品名称、价格、评价等,并将数据存储到 CSV 文件中,用于后续的数据分析
使用 Selenium 和 Puppeteer 开发了多个动态网页爬虫,用于处理 JavaScript 渲染的页面。
抓取了一个在线教育平台的课程信息,包括课程名称、讲师、课程大纲等,并将数据存储到数据库中。
抓取了一个新闻网站的全部文章,支持多节点并发抓取,显著提高了抓取效率
开发了一个爬虫,能够绕过某网站的 IP 封禁和 Cookies 验证,稳定运行数周。
某房地产二手房成交案例,sh二手房,恋家数据,100页 每页30条,一共3000条。 使用python 多线程下载。 包括地区,位置,单价,成交总价,日期,联系人,户型,和房产类型。总量的, 客户想要什么数据,就有什么数据。直接导入数据库或是文件,都可以
日本电视台的各种视频文件下载。相关信息后去,自动化,一键下载。无需守候, 去水印,合并视频,自动化处理,ffmpeg,添加效果,等各种视频的操作,合并,降噪,图片局部内容替换等。