案例ID:205247
技术顾问:你这年龄怎么能睡觉呢 - 3年经验 - 保密
联系沟通
项目名称:雪球数据爬取
所属行业:金融 - 股票
采用 golang 作为爬虫抓取语言、使用 yml 文件作为配置文件。循环读取 yml 配置的爬虫项目、然后使用多协程模式并发抓取数据然后保存到 json 文件。当一轮数据抓取完成后、程序会根据 yml 配置文件的睡眠时间进行睡眠、睡眠结束后会再次抓取数据覆盖到当天 json 文件。当修改了 yml 配置文件,不用重启程序、等待下一次任务执行就会应用最新配置。当程序运行时想暂停某个爬虫任务、只需要将 yml 配置文件中对应配置 enable 改为 0 即可暂停该任务抓取。
其他人才的相似案例推荐
您已在“基本信息”中填写过联系方式,需求方如选中您简历,会通
自研几十种指标的大数据库,自研各种算法策略,完成了从0-1的
与荔枝返现网英文版相对应的一个中文网站,用户可以在上面看到一
业务前景:服务于中信建投公司,提供全套的期权业务,开发的一款
业务场景:针对大学金融相关学子的在线教投平台,包含了学生端,
使用dotnet core搭建后台管理程序,用来管理后台程序
python实现一个脚本,获取最近100天上证指数中获取5分
1、这是一款基于Qt5开发的证券类股票交易软件,该软件同时支
接手半成品量化交易系统,补充缺失组件,包括国内股票和股指期货
强盛证券有限公司是一家为用户提供沪深股、港美股、杠杆式投资等
E海通财移动端首页,千人前面,定制资讯,白天、黑夜模式,we
接口+UI自动化测试框架 熟练功能、接口、性能、自动化测试
企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才
关注猿急送微信平台,接收实时人才推送