比特币当前的数据量已经超过了十亿,为了让公安和银行能对这些比特币数据进行分析,我们开发了该系统:
①使用图数据库neo4j,将十亿级别的数据进行入库并分析;
②在线的数据分析、可视化网页,用于对已有比特币数据、钱包地址进行在线分析
③离线分析使用spark,clickhouse,用到的主要算法是中心度、相似度算法,社区分布算法;
我在其中主要负责:
①使用scrapy爬取各大区块链网站的信息、已经成熟的发现结果;
②搭建django后台,提供多种查询手段的api
③使用vue.js搭建前端可视化界面,将钱包信息显示给用户;对接多个接口,根据用户输入的不同的查询条件,去访问api;
④使用spark和neo4j官方提供的功能,实现pagerank、中心度、相似度等算法
⑤前端主要是使用cytoscape的官方库