熟练掌握Python编程语言,熟悉Scrapy、BeautifulSoup等爬虫框架,能够独立完成爬虫项目的开发。熟悉数据清洗、预处理、分析的基本流程和方法,能够使用Pandas、NumPy等数据分析工具。了解HTTP/HTTPS协议、TCP/IP协议栈等网络基础知识,能够处理网络请求和响应。熟悉MySQL数据库的使用,能够进行数据存储和查询操作。
实现对某电商平台商品信息的抓取,并提供数据可视化展示功能。抓取过笔*阁的文章,以及腾*视频、哔*哔*的视频和评论,并对评论做出了相应的词云图展示。