猿急送>

上海其它兼职程序员

ID：327176

Parasol 身份已认证

数据工程师

公司信息：
上海帕米尔信息科技有限公司

工作经验：
5年

兼职日薪：
800元/8小时

兼职时间：
可工作日远程
可工作日驻场（自由职业原因）

所在区域：
上海
静安

技术能力

精通Python语言，熟练java语言，具备良好的编码习惯
熟悉常见的反爬虫策略及应对方案，有丰富的反爬虫作战经验
熟悉Hadoop、Spark、clickhouse等大数据处理框架，具备数据处理和分析能力
熟悉VUE前端框架，熟练应用element-ui、bootstrap、layui等web端UI框架
熟悉windows/Linux操作系统，熟悉docker容器化技术、熟悉shell编程
熟悉MySQL、Mongo、redis等数据库技术，具备数据存储和管理经验
熟悉Flask、Django等WEB框架，了解Tornado框架
熟悉numpy、pandas、matplotlib等数据分析常用模块
具备良好的团队协作精神和沟通能力，能够快速融入团队并开展工作

项目经验

微信机器人
项目描述：实时监控目标微信群中的消息记录，记录解析标记内容，并整理交付给客户
项目职责：
（1）将微信机器人所在群聊中的消息进行收集
（2）参与对不同消息类型的实时解析，标准化入库
（3）根据数据规划需求，清洗标记相关内容
（4）为需求客户提供准确及时的数据交付
舆情分析系统
项目描述：定时抓取各渠道的舆情数据，拟合关键词的热度趋势与股价变化的关系，为客户提供数据参考
项目职责：
（1）抓取各渠道指定关键词的舆情数据，整合入库
（2）根据产品提供的算法，实现ETL工程，分析数据
（3）及时维护关键词数据、抓取需要的必要参数数据
（4）为需求客户提供准确及时的数据交付
研究报告系统
项目描述：定时高频抓取各个渠道的研究报告，数据标准化清洗入库，让客户及行业研究员能够及时、高效的洞察行业
项目职责：
（1）抓取研报来源中的研究报告
（2）各个来源的不同结构数据标准化清洗
（3）根据产品及后端同事需求，将数据结构化解析，并标记相应标签
（4）为需求客户提供准确及时的数据交付

案例展示

研报平台

项目描述：定时高频抓取各个渠道的研究报告，数据标准化清洗入库，让客户及行业研究员能够及时、高效的洞察行业项目职责：（1）抓取研报来源中的研究报告（2）各个来源的不同结构数据标准化清洗（3）根据产品及后端同事需求，将数据结构化解析，并标记相应标签（4）为需求客户
舆情项目

项目描述：定时抓取各渠道的舆情数据，拟合关键词的热度趋势与股价变化的关系，为客户提供数据参考项目职责：（1）抓取各渠道指定关键词的舆情数据，整合入库（2）根据产品提供的算法，实现ETL工程，分析数据（3）及时维护关键词数据、抓取需要的必要参数数据（4）为需求客