ID:290413

身份已认证

大三学生

  • 公司信息:
  • 福建江夏学院
  • 工作经验:
  • 1年
  • 兼职日薪:
  • 500元/8小时
  • 兼职时间:
  • 可工作日驻场(自由职业原因)
  • 所在区域:
  • 北京
  • 海淀

技术能力

数据工程师

数据收集和集成:
从各种来源收集数据,网络爬虫
设计和实现ETL(提取、转换、加载)流程
整合不同系统和格式的数据

数据存储和管理:
设计和优化数据库架构
管理数据仓库和数据湖

数据处理和转换:
清洗和预处理原始数据
开发数据转换和处理管道
实现数据质量检查和验证

大数据技术应用:
使用Hadoop、Spark、nifi等大数据工具
开发和维护分布式计算系统
优化大规模数据处理性能

项目经验

1.网络爬虫 h5,JavaScript,web端 熟练掌握request,bs4,selenium,scrapy,playwright 等技术来
2.数据处理分析可视化 文本预处理:包括文本清洗、分词、去除停用词和标点符号等。并将文本转化为可处理的形式。特征提取:将文本转换为数值特征表示形式,以便应用机器学习算法。Matplotlib,Seaborn,Plotly,echarts 数据可视化
3.各种算法,编译原理状态转换器,二叉树,对图片的处理,自动白平衡算法,粒子群算法,bp神经网络,遗传算法,牛顿迭代,数据可视化,机器学习数据挖掘等等

---------------------------------------------------
接的项目是比较小的以上面的为主

案例展示

  • link_crawl

    link_crawl

    封装了4个api接口: 1. 爬取单链接: api接口:http://127.0.0.1:5000/api/v2/single/link 默认:{ url_type: single, max_depth: 0 } 用户传入 post请求 start_url 2. 根据

  • py_auto

    py_auto

    数据同步 同步aws 的s3文档,实时转成PDF并上传到astra DB 用户上传文件(txt,pdf,doc,excel等)到s3,实时使用nifi读取到本地,再进行监控转成pdf,上传到astra DB

查看案例列表(含更多 0 个案例)

信用行为

  • 接单
    0
  • 评价
    0
  • 收藏
    0
微信扫码,建群沟通

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系需求方端客服
联系需求方端客服