猿急送>

深圳其它兼职程序员

ID：278003

小菜菜51118 身份已认证

数据开发工程师

公司信息：
怡亚通股份有限公司

工作经验：
6年

兼职日薪：
600元/8小时

兼职时间：
下班后
周六
周日
可工作日远程

所在区域：
深圳
福田

技术能力

熟悉大数据和数据库编程，能独立搭建数据仓库平台，熟练使用Python和shell编程，熟练掌握爬虫开发，具备0-1问题解决能力。熟练使用Hive SQL(HQL), SQL，已通过甲骨文数据库管理证书OCA，熟悉各种主流的BI报表工具

项目经验

一、项目名称：短信邮件告警和群消息机器人系统(Python，SQL)(2019/01-2019/03)
项目描述: 精细化运营系统的DB配置，任务调度，数据迁移和投放需要实时监督，保证系统正常运行，一旦出现异常才能及时处理，为了更快速地响应，
在服务器上编写了一套的python脚本轮询，发现问题会自动发送短信和邮件告警并使用消息机器人同步到工作群。
责任描述：负责开发脚本，每小时轮询一次，主要使用了requests，MySQLdb库。
二、项目名称：房价数据爬取系统(Python)(2017/07-2018/06)
项目描述: 由于公司是房价信息咨询机构，数据的准确性和全面性要求很高，为了适应公司业务上的发展，获取互联网主流的房地产网站免费数据，降低房价数据获取成本占数据总成本的比例，所以需要开发一套系统自动获取竞争对手的房价数据。经过对需求的分析，设计了基于主流二手房网站爬取的系统。系统包括应用、爬虫插件和数据库。主要使用django和scrapy框架开发，数据存储在MySQL数据库。
责任描述：负责各模块开发，实现每日上万条数据的抓取，并节省了原先支付给第三方数据服务公司的费用。