这个项目是对新浪,勝讯等网站分类新闻资讯吧取的分布式实现。 1.采用 scrapy-redis 分布式框架实现爬虫集群,分布式使用 Redis 实现 2.存储 Request 请求和指纹集合,并目对各个 Slave 实现集中管理和控制 3.利用 Redis 的高并发读写来实现高速下载 4.采用 mysql 做为本地数据库,将资讯新闻按所属大类、子类以及标题和内容,保存在 mysql 中 5.同时每次下载前会检查请求指纹,防止重复下载,避免资源浪费...
PIXIV 插画批量下载器,它使用 Python 编程语言、PyQt 图形用户界面工具包和爬虫技术,可以让用户轻松地下载 PIXIV 上的插画。这个应用程序为 PIXIV 插画爱好者提供了方便、快速、高效的方式,以收集和保存他们喜欢的插画作品。 该应用程序具有许多有用的功能,如多线程下载,这些功能都使得用户可以更方便地管理和下载插画作品。此外,该应用程序还支持登录 PIXIV 帐户,并能够自动处理登录验证流程,以方便访问受限的插画作品。 该应用程序的用户界面简单直观,用户只需输入插画作品的 ID 或 URL,即可将其添加到下载队列中。用户还可以指定下载插画作品的数量和保存位置。下载...
该项目使用 PyQt 和爬虫技术开发的网络漫画下载器。该应用程序可用于自动下载各种网络漫画,并将它们保存到本地计算机上。这使用户能够轻松地浏览他们喜欢的漫画,以便在没有互联网连接时进行阅读。 该项目利用了 PyQt 提供的图形用户界面 (GUI) 工具包,使用户能够轻松地控制漫画的下载和保存位置。此外,爬虫技术使应用程序能够从各种网络漫画网站上自动抓取漫画,并将它们保存到本地计算机上。 该应用程序还具有许多其他功能,如多线程下载、元数据嵌入和文件打包等。这些功能使用户能够快速浏览和下载漫画,以及对其进行自定义设置,以满足他们的个人喜好和需求。...
沃邮箱 项⽬描述 联通沃邮箱APP升级版是中国联通2022年重磅推出的安全+智能+贴⼼的邮箱,功能和服务全⾯升级。 融合5G、AI等先进科技,打造核⼼竞争⼒:极速收发,业内领先,安全有保障;账号极简,双重提醒等 ⼗⼤亮点全⺠覆盖,⼤容量存储,邮箱⽹盘创新融合,⽂件管理更便捷。 项⽬职责 1. 邮箱kotlin重构框架搭建与技术选型 2. 负责邮箱发件⻚WebView富⽂本功能,收件⼈抄送⼈编辑,下拉窗提示等功能的开发 3. 负责邮箱邮箱⻚邮件正⽂展示,附件下载保存功能的实现 4. 负责邮件发送,撤回 5. 负责邮箱‘设置’⻚⾯功能的实现 联通云盘 项⽬描述 联通云盘是中国联通基于5G⽹络为满⾜...
百度指数查询工具是择云软件工作室开发的一款可以批量采集百度指数的工具。该工具支持采集关键词的搜索指数、资讯指数、需求图谱的关联词搜索热度、人群画像里的地域分布搜索占比,人群性别搜索占比、TGI数据,人群年龄分布搜索占比、TGI数据,兴趣分布搜素占比;工具可以同时一次查询5个关键词,可以同时设置多个地域,时间跨度可以超过一年,支持Excel文件导出,导出关键词每一天的整体指数、PC指数、移动指数以及人群画像、需求图谱的数据文件。...