远程后端兼职程序员外包

需求描述

项目要求：抖音平台数据爬取入库、数据清洗、接口编写等。

合作方式：整体外包或者远程全职上班，我司可提供前端技术人员（如外包需长期维护项目，且不得以任何理由拒绝维护或者拖延时间）

技术要求：
1、精通Python开发语言。
2、熟练掌握一种开源爬虫框架，如scrapy、webmagic，有研发爬虫框架经验者优先。
3、 熟悉Appium、Selenium等技术 。
4、善于独立分析并解决核心问题，如JavaScript反爬、爬虫策略、防屏蔽规则、验证码识别技术等
5、熟悉使用Mongo,Redis等数据库类型。
6、有抖音、快手、B站等短视频平台爬虫经验。
7、熟练掌握脱壳、反编译技术，能破译抖音APP。

爬虫数据要求（抖音）：
1. 采集直播平台新主播开播数据，内容为：直播间ID.直播间人气.主播时长.主播礼物值 ，按开播时间.主播礼物值.主播时长.直播间人气由低到高的排序 ，每五分钟采集一次.
2. 采集抖音短视频（点赞数.粉丝数.评论内容/评论数.转发数）
3. 分类出每日每周每月热门视频及用户
4. 采集达人相关信息：内容为：达人基本信息、粉丝数，涨粉数、粉丝画像、达人说、带货数据、达人与其他达人粉丝重合度等相关信息。
5.采集抖音商品、店铺的推广达人数、佣金比例、日浏览量、日销量等相关数据。
6.采集mcn机构、星图达人、品牌等相关信息。
7.采集抖音热门BGM、话题、打卡地、明星等榜单数据。
8. Web后台管理端分配员工账号
9.Web展示上述采集到的数据便于员工查看分析

监测（抖音）：
1. 在抖音app或者其他平台监测指定ID主播是否开播，开播后实时直播内容监测，内容为：直播时长、 音浪、在线人数、打赏人数、累计观看人数、粉丝变化、弹幕词、弹幕详情、观众画像（观众来源、性别分布、年龄分布、地域分布等）。
2. 自定义添加监测抖音号粉丝增长,作品点赞.作品评论数/评论内容,转发量（以图表形式展现）
3. 监测数据存入单独的数据库 ，并独立写接口和独立部署到服务器上。
4. 生成自定义时间监测报表

注意：
1.以上数据均为我方独占，所有权均为我方所有.
2.以上信息均为概述，实际开发可能会有变动（增/删/改）

参考案例：1、https://www.douchacha.com
2、https://www.feigua.cn/