ID:351800

@明@

高级软件工程师、大数据开发、架构

  • 公司信息:
  • 大唐电信、爱奇艺、京东商城
  • 工作经验:
  • 13年
  • 兼职日薪:
  • 500元/8小时
  • 兼职时间:
  • 下班后
  • 周六
  • 周日
  • 可工作日远程
  • 所在区域:
  • 重庆
  • 全区

技术能力

1、深入使用 java 语言(13 年),掌握 socket,多线程编程,线程池的使用等 ,MVC 框架 ,常用设计模式,研究 java 开源 软件;
2、深入理解与使用 spring , spring mvc, spring cloud,JSP、HTML、掌握 JavaScript ,extjs4 ,ajax,和百度 echarts 的使用;
3、熟练使用 eclipse,IntelliJ IDEA、tomcat、以及 mysql、pg、Oracle 等数据库;
4、能够结合业务需求 ,设计出对应数据模型,数据库设计, 熟练掌握 SQL 语句 ,能熟练操作数据库的增、删、改、查; 5、有良好的代码编写规范 ,以及文档编写,使用 svn ,git 等项目代码托管;
6、熟悉 linux 常用 shell 命令 ,python 运维脚本, php 简单界面开发;
7、对网络协议 ,DNS ,CDN 等技术有一定了解 ,对 corba,snmp,socket,webservices 等接口可以实现开发;
8、熟练使用 spark,rdd,flink, spark-streaming hadoop 大数据处理,hive,zookeeper,hbase,doris, sqoop 能够使用 java 编写 map/reduce ,以及 hive-sql ,udf 编写程序。
9、熟练使用go,python,php 编程。
10、拥有软件开发与大数据与智能化高级职称。

项目经验

一、数据平台开发与测评算法:
1, 负责数据平台技术架构设计等工作。
2, 负责数据平台微服务模块的设计与开发 ,包括 master,worker,alert,api,web-ui 等。
3 ,负责测评系统测评算法的实现 ,参考团标,YDT 等标准 ,指定测评指标体系 ,和算法实现。 4 ,测评系统的数据架构设计和实现。
5,应用技术部,数据中台:大数据平台,数仓 ,以及大数据运维相关的技术架构设计 ,以及大 数据平台的后端概设 ,详设等 ,以及后端功能开发。
6 ,专利 ,技术架构 ,等评审和编写。
7 ,带领大数据团队 ,实现数据相关各个指标开发 ,BI 等设计。
8 ,负责 java 以及大数据相关技术面试。
软件开放CMMI过程文档编写。
二、大数据开发平台、数据中台
1, 负责数据中台部分微服务模块的设计与开发。
2, 负责元数据系统设计重构与开发
3, 负责数据中台系统权限 ,数据权限流程对接 OA 自动化等
4, Review 代码 ,CICD 系统上线
5, 完成相关过程的稳定编写 ,技术分享等
6, 元数据采集 ,元数据分析 ,元数据服务等模块设计与开发
7, 大数据开发平台流程中心 ,资源中心等模块的设计与开发
三、营销平台
1 ,负责并参与技术架构设计 ,重构 ,优化 ,根据业务规划及技术规划制定应用架构方案; 2 ,参与技术难题攻关 ,持续提升核心系统在高并发 ,海量请求下的高处理性能;
3 ,分析系统瓶颈 ,解决各种疑难杂症 ,对系统进行性能调优;
4 ,完成领导安排的开发和其他任务;
5 ,主动参与技术分享和交流。程序优化 ,测试 BUG 修复等。
四、大数据运维平台
1,大数据平台运维开发, python 数据采集,hadoop,mr 数据分析。Hive 数据管理,分析。Saprk 数据分析。php 界面数据展示。
2,每天 3.2T+scd n(静态 CDN),7.3T+vcd n(视频 CDN),7.2T+调度,以及一些其他程序日志, 内网 DNS,nginx 日志采集存储 ,分析。计算 ,报表。
3,对接,金山云,百度云 ,阿里云,腾讯云,Akamai ,网宿,蓝汛 ,Ucloud ,中兴,中国移动 等商业 CDN,爱奇艺使用的日志下载,分析,(每天共 2T 左右)分析,以及结算。用到,java,python 各个商业 CDN 厂家的 sdk 等技术,api 规范等,进行日志数据统计核对等。
4,go-web 程序调研开发 ,python 运维,数据分析脚本等编写。Java,读取 kafka,spark-rdd 等程序编写 ,重构 ,优化 ,以及维护 ,mongodb,mysql 等数据库的使用。
5 ,对公司系统网络(CDN+系统运维)提供 ,报表 ,准确性 ,完整性 ,实时性等数据支持。以及数据 web 可视化需求等。
6,对以上涉及到的系统,模块,有数据采集 ,日志转 hive,hive-sql,udf 编写分析,spark-rdd 日志分析 ,mysql(分库分表 ,4+T 的库) ,报表程序,java,restful api 编写数据页面展示, 等子模块的优化 ,重构 ,设计 ,运维 ,分析。
7, 日志计算的维度 ,包括但不限于 ,运营商 ,解析 ip 省份 ,城市, 自建与商业 IDC ,用户请 求数 ,流量 ,独立用户数 ,卡顿比 ,错误率 ,慢速比 ,回源相关指标等。展示包括历史曲线趋 势图 ,地图 ,表格查询 ,定时报表等。对各商业 CDN 的使用情况 ,服务质量分析 ,报表等。
8 ,使用 git ,管理代码。以及可以用 docker 搭建部署服务。
五、大型系统存储运维监控
1 ,国家某大型系统运维监控,web 运维开发组组长 ,制定相关运维开发计划,设计。
2,参与全国 31 省大数据加载 roketMQ 数据接入到持久化,相关事实统计量程序的编写。2000+ 服务器状态监控 ,web 项目开发。用到 python,java 等。
3 ,负责制定相关开发计划 ,研究需求。编码实现。上百亿大数据运维数据聚合 ,统计分析等。 4 ,参与上级部门例会 ,编写相关 ppt 演示等。
六、爬虫大数据以及网站 CDN 架构分析项目
依托工业与信息化部电信研究院的互联网平台,全国监测点的数据分析,和互联网 APP 应用网 络爬虫 ,全国监测点数据分析。等的 Java代码的实现。
七、工信部电信研究 C++测速软
对电信行业的综合网管,传输网管,等网管项目后台的数据采集接口的维护,和新接口的实 现。依托工业与信息化部电信研究院的互联网测速平台 ,开发的终端 PC 测速软件。测速软件 MFC 界面编程 ,和一

案例展示

  • 个人技术博客

    个人技术博客

    个人技术博客是一个展示和分享技术知识的平台,覆盖广泛的领域如软件开发、软件工程、前后端技术、大数据、人工智能、运维和CI/CD等。在软件开发方面,博客可以深入探讨编程语言、开发框架、设计模式以及最佳实践,为读者提供解决方案和技术技巧。在软件工程领域,博客内容可能涉及项目管理、软件

  • 数据中台

    数据中台

    1, 数据中台,冷备系统,资源中心,流程中心,前端页面 元数据 ,等部分微服务模块的设计与开发。 2, 元数据管理系统 ,包括 ,数仓 Hive 元数据管理 ,表生命 周期管理 ,库空间 ,表到期 ,告警等 ,hive 元数据采集, 数据地图,血缘关系分析, 表热度分析,数据

查看案例列表(含更多 0 个案例)

信用行为

  • 接单
    0
  • 评价
    0
  • 收藏
    1
微信扫码,建群沟通

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系聘用方端客服
联系聘用方端客服