案例介绍
项目描述：
抓取网站中的企业信息，并将企业信息的企业状态与天眼查的企业状态同步剔除掉企业状态非正常的企业，然后入Hive资源库中进行下一步的清洗
技术描述：
使用Requests对url进行请求
设置ip代理
设置随机UserAgent
字体反扒
利用Time对爬取间隔设置间断
责任描述:
使用requests对目标网站进行访问并设置ip代理
设置随机UserAgen，对网站进行判断，状态码不等于200或者网站出现错误提示的话对ip和UserAgent进行变更
将加密的字字符串通过正则清洗出来并存储ttf格式，然后将ttf转换成xml格式，接着获取加密字符的动态变化值最后将结果通过字典传入并循环判断替换
用Xpath提取出所要抓取的信息，最后存储为csv格式
将抓取到的企业信息在天眼查进行抓取企业状态以及天眼查同步企业的的联系信息存储为csv格式
将最后的企业信息入到Hive资源库进行下一步清洗
案例图片
相似案例推荐
其他人才的相似案例推荐
-
好衣库
B2R分销电商开创者，致力于打造全球领先的分销电商平台 电
-
其他项目外包项目
● 整套独立完成，包括前后端 1. 初度母婴客户服务（小程
-
采多多垂直采购平台
项目描述：采多多是一款运用互联网思维、采取OAO（线上和线下
-
百思易车服
针对不同客户特殊要求进行区分显示不同模块。 实现小程序购买
-
知名国际代运营名企ERP/数据BI
针对大体量商家一套提供针对性解决方案的OMS系统和数据解决方
-
阔界购ERP SAAS平台管理
项目概述：建立阔界购售货机SAAS平台及阔界商城库存交互体系
-
号卡商城
微店平台是以手厅为入口，基于图文推送、PUSH、LBS、搜索
-
资料进度模拟填报平台
开发环境：Mariadb、Mariadb、springboo
-
网上乐电app
使用Dart语言及flutter框架完成网上乐电app一键报
-
租房管理系统
使用java语言实现了租房管理系统，本系统中需要定义5个业务
-
硅云在线
硅云在线，国内最大的硅B2B平台，年交易量超过百亿。 主要
-
有间杂货铺
此作品是我一人独立开发一人承担的所有的角色，从想法到实施，从
微信接收人才推送
关注猿急送微信平台，接收实时人才推送
