银行验证码统一处理

企业服务-数据服务 hoosu

1.项目背景 公司利用arp机器人完成自动报账,登录需要网盾+验证码的输入,我负责处理验证码问题 2.技术手段以及实现思路 a.银行验证码大多是数字和字母的组合,为提高准确率降低训练速度,采用切割之后再训练的方式 b.不同网站验证码字体特征不一样,分别抓下来500个验证码图片,人工打标签 c.切分分两种,规则一点的直接利用opencv灰度图二值化后的图片,利用像素点切分。不规则的直接使用darknet实现目标检测切分 d.利用keras以及sklearn组建4层卷积网络,以及训练模型...

银行验证码统一处理
银行验证码统一处理

债券网、货币网所有债券发行数据

企业服务-数据服务 hoosu

1.项目背景 需要实时更新上述两个网站最新披露的数据,两个网站存在很多可用信息,爬取量大,时效性要求较高 2.技术手段以及实现思路 a.考虑数据量大,主要为结构化数据,使用mysql数据库,pymysql便于操作,代理池proxypool提供代理数据避免ip封禁b.针对两个网站的项目,建立两个scrapyproject,两个项目实现思路一样。考虑以后会新增其他数据需求,start_requests里面使用主域名。针对不同数据需求分析页面,在生成的新请求里面调用不同的parse函数 c.设置异常处理情况,遇到异常时,记录异常信息保存到本地便于后期分析,setting里面注释钓默认的中间件...

债券网、货币网所有债券发行数据
债券网、货币网所有债券发行数据
------ 加载完毕 ------
联系需求方端客服