基本信息

案例ID:205247

技术顾问:你这年龄怎么能睡觉呢 - 3年经验 - 保密

联系沟通

微信扫码,建群沟通

项目名称:雪球数据爬取

所属行业:金融 - 股票

->查看更多案例

案例介绍

采用 golang 作为爬虫抓取语言、使用 yml 文件作为配置文件。循环读取 yml 配置的爬虫项目、然后使用多协程模式并发抓取数据然后保存到 json 文件。当一轮数据抓取完成后、程序会根据 yml 配置文件的睡眠时间进行睡眠、睡眠结束后会再次抓取数据覆盖到当天 json 文件。当修改了 yml 配置文件,不用重启程序、等待下一次任务执行就会应用最新配置。当程序运行时想暂停某个爬虫任务、只需要将 yml 配置文件中对应配置 enable 改为 0 即可暂停该任务抓取。

相似案例推荐

其他人才的相似案例推荐

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系需求方端客服
联系需求方端客服