ID:196853

李先生 身份已认证

python工程师

  • 公司信息:
  • 知乎
  • 工作经验:
  • 2年
  • 兼职日薪:
  • 500元/8小时
  • 兼职时间:
  • 下班后
  • 周六
  • 周日
  • 可工作日远程
  • 所在区域:
  • 北京
  • 海淀

技术能力

语言: python,C
数据库: MySQl(主)、postgresql、mongodb、cassandra(地图GIS数据项目主要使用)、redis(主)
框架: django(主)、flask、scrapy、tornado
协作部署相关: Nginx、uwsgi、docker、git、gunicorm
异步相关: 目前主要使用celery
爬虫:scrapy、request、selenium
主要从事后端开发方面的工作,也可以兼职非逆向性的爬虫(只做web类爬虫、app类爬虫不接)。

项目经验

企查查行业公司信息爬取:
爬取需要公司的股权分配图、新闻信息、基本信息等情况。主要难度在token解析以及两个验证码的自动验证、包括登录时候的滑块验证码(selenium解决),以及字符验证码验证(tenserflow训练图片解决 耗时较长主要为了降低日后成本,自己做的话验证码不频繁都用都打码平台接入解决)。
()如需单独训练验证码验证模型,根据验证码类型和难度另外计算价钱。)

无车承运人信息发布平台开发:
主要负责承运人托运人的信息发布模块,用户模块的业务逻辑内容、业务逻辑并不复杂,重点在于供需方的推荐上、这里使用了jieba分词在创建发布信息时候就提取关键词,以关键词进行首次匹配,同时使用了机器学习的算法,根据相似用户的点击id,利用c4.5决策树算法为其推荐感兴趣的用户。

安全管理运输监察
主要负责接口开发,包括根据车牌号、起止时间查询车辆的gps轨迹列表、地图轨迹;根据订单号查询订单信息,根据起止地查询两地的物流运输车辆热力路线图(模型也是自训练的)、根据运单信息、车牌号比对车辆轨迹是否符合运单路线(判断车辆是不是按照既定路线驾驶了)、督查入京车辆及时报警让其撤回(主要是进入5环内的)。对于高频接口查询设置了缓存、减少了数据库查询时间。

案例展示

  • 无车承运人信息发布平台

    无车承运人信息发布平台

    主要为承运人以及托运人提供信息发布的平台,促成物流运单。 参与了数据库的设计、功能模块设计。 主要负责用户注册、登录、权限相关模块。以及承运人、托运人信息发布模块。参与了承运人、托运人信息匹配算法设计。

  • 安全运输监管接口

    安全运输监管接口

    这要查看车辆轨迹、运单信息、车辆的真实轨迹与运单线路是否匹配。以及车辆入京检测。 对于高频访问的接口采用了redis缓存减少数据库查询次数。

  • 安全运输监管接口

    安全运输监管接口

    这要查看车辆轨迹、运单信息、车辆的真实轨迹与运单线路是否匹配。以及车辆入京检测。 对于高频访问的接口采用了redis缓存减少数据库查询次数。

  • 企查查 天眼查等网站信息爬取

    企查查 天眼查等网站信息爬取

    给招商项目提供数据支持、主要负责各个市区的公司数据爬取、包括公司基本信息、公司股权分配图、公司的正负面新闻。主要难点在于登录时候的滑块验证码以及频繁爬取后的字符验证码。滑块使用了selenium模拟、字符使用了tenserflow搭建训练平台。

查看案例列表(含更多 0 个案例)

信用行为

  • 接单
    0
  • 评价
    0
  • 收藏
    1
微信扫码,建群沟通

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系需求方端客服
联系需求方端客服