TuGraph是蚂蚁集团自主研发的企业级图数据管理平台,提供了从图存储、研发、服务、运维的图研发全链路,方便用户更好的管理、使用图数据。拥有业界领先规模的图集群,解决了图数据分析面临的大数据量、高吞吐率和低延迟等重大挑战,是蚂蚁集团金融风控能力的重要基础设施,显著提升了欺诈洗钱等金融风险的实时识别能力和审理分析效率,并面向金融、工业、政务服务等行业客户。 企业级图数据管理平台TuGraph包含TuGraph DB(在线图数据库引擎)、TuGraph Analytics(图计算引擎)、TuGraph Platform(一站式图平台)及TuGraphLink(数据集成工具)四部分。 TuGraph DB(在线图数据库引擎):分布式企业级图数据库,提供图数据的实时存储和查询能力,主要面向对局部数据的海量并发查询。满足在超大数据量上实现高吞吐率和低延迟,保障业务对事务和数据一致性的要求。对应于数据库领域的联机事务处理 OLTP (Online Transactional Processing) 。 TuGraph Analytics(图计算引擎):低开销高性能的内存图分析系统,提供超大规模图的图数据迭代计算能力,主要面向少量并发下,对全图数据的迭代计算。满足吞吐率较低,但计算量大的业务场景,通常处理时间在秒级到分钟级。对应于数据库领域的联机分析处理 OLAP (Online Analytical Processing)。 TuGraph Platform(一站式图平台):可视化一站式图研发运维管理平台,提供从图模型构建到研发、分析、上线、运维的图数据全生命周期管理。 TuGraphLink(数据集成工具):稳定、高效的图数据集成平台,提供一站式图数据迁移企业级服务,提供各类数据源与图数据库之间的数据迁移、数据实时同步等多种数据传输能力,可协助业务在跨境数据同步、数据灾备、无缝迁移等企业级场景构建安全、高可用、高吞吐的数据链路。
TuGraph已应用于蚂蚁内部300多个场景,包括全图风控、反洗钱、反欺诈、保险知识图谱、花呗图谱、蚂蚁森林、新春五福等业务场景。并向全部业务方提供图的全方位产品服务,服务群体涵盖技术研发人员、算法分析人员、业务分析人员、运维管理人员等。 如果你是技术研发人员,TuGraph将为您提供:
如果你是算法分析人员,TuGraph将为您提供:
如果您是业务分析人员,TuGraph将为您提供:
如果您是运维管理人员,TuGraph将为您提供:
TuGraph使用流程如下图所示: 按照如下步骤使用TuGraph:
在登录打开TuGraph Platform之前需要本地绑定/etc/hosts,具体执行操作如下:
ip geamaker.alipay.net #ip ip为TuGraph Platform所在主机 IP
浏览器上输入 http://geamaker.alipay.net 显示登录界面如下,输入用户名和密码后进行登录。
TuGraph Platform提供默认管理员账户admin/123456,用户亦可自行注册用户。TuGraph Platform提供基于用户-用户组(角色)的权限管理体系,用户通过加入某个用户组来获取该用户组拥有的图项目/数据文件/我的分析/名单/集群等资产的数据权限以及该用户组拥有的功能权限,用户退出用户组后,对应的权限也会被回收。 TuGraph Platform提供自主创建业务域的功能,业务域类似于业务BU的概念,通过业务域实现不同资产的逻辑隔离,用户在选择某个业务域时,会默认进入该业务域的公共用户组下,公共用户组只拥有最低的功能权限,只能看到对该业务域公开的图项目。
在TuGraph Platform登录页,点击“立即注册”即可进行用户注册,如下图所示: 输入用户名、密码,点击注册,完成用户。
管理员用户可以查看所有用户、注册时间,如下图所示: 管理员可点击“密码重置”,进行相关用户密码重置操作,如下图所示:
用户组(类似于角色)主要用于管理用户对TuGraph Platform中各项资源的权限,是TuGraph Platform权限的唯一载体。 用户通过加入某个用户组来获取该用户组拥有的图项目/文件/我的分析/名单/集群等资产的数据权限以及该用户组拥有的功能权限,用户退出用户组后,对应的权限也会被回收。 用户组通过申请TuGraph Platform上的功能权限和功能权限来控制本组的权限范围。 注:用户在选择某个业务域时,会默认进入该业务域的公共用户组下,公共用户组只拥有最低的功能权限,只能看到对该业务域公开的图项目
点击“个人中心->用户组和权限”,进入用户组管理界面,如下图所示: 点击“创建用户组”,进入用户组创建页面,如下图所示: 输入“用户组名称”、“简介”,选择“所属业务域”、“组管理员”等信息,点击“创建并提交审批”,管理员审批通过后完成用户组创建。 可在【个人中心->工单管理】中查看工单详情,找到相应的审批人,联系审批人进行审批。
点击“个人中心->用户组和权限->全部用户组”,进入全部用户组列表页,如下图所示: 点击“申请加入”,进入申请加入页面,如下图: 填写“申请理由”,点击“提交审批”,待管理员完成审批后,加入该用户组。审批显示如下: 注:管理员工单自动审批通过;普通用户橘色工单需要管理员手动审批通过。
点击“个人中心->用户组和权限->我管理的组”,进入“我管理的组”列表页,如下图所示: 在“我管理的组”页面,可以完成“成员管理”、“为组申请权限”、“删除组”等相关操作。
点击“成员管理”,进入组成员管理页面,如下图所示: 可以在此完成组成员的添加、移除、编辑等操作,编辑是指修改组成员角色,比如将“成员”修改为“管理员”。
点击“为组申请权限”将跳转至“组权限查询”页面,如下图: 组权限详细操作详见“2.2.2.5. 组权限”。
点击“个人中心->用户组和权限->我的用户组”,进入“我的用户组”列表页,如下图所示:
点击“退出用户组”,弹出“确定退出本用户组”确认页,如下图所示: 点击“确定”,退出用户组。 注:当退出组时,系统会判断当前组下是否是最后一个人,如果是,需要指定管理员再“退出”,不指定管理员退出的话则直接删除这个组,如果不是则直接退出。
点击“为组申请权限”将跳转至“组权限查询”页面,如下图: 组权限详细操作详见“2.2.2.5. 组权限”。
点击“删除”,弹出“删除用户组”确认页,如下图所示,点击“确定”,完成用户组删除操作。
TuGraph Platform对权限进行了细分,包括功能权限和数据权限两大类。其中功能权限对应TuGraph Platform上的一个功能模块,数据权限是指数据资产,目前平台的数据资产包括图项目、数据文件、我的分析、名单、图集群等。
功能权限对应TuGraph Platform上的一个功能模块,目前每个功能模块都有两个对应的功能包,分别是"基础功能包"和"高级功能包",用户组默认拥有所有的基础功能包,基于已拥有的功能包,用户可以在对应的功能模块进行对应的操作。 每个子功能包权限说明如下:
点击“个人中心->用户组和权限->组权限查询->功能权限”,进入“功能权限”列表页,如下图所示: 点击“申请功能权限”,进入功能权限申请页,为用户自己相关联的用户组申请权限。 选择“用户组”,填写“申请理由”,点击“提交审批”,待管理员审批通过后,获得相关功能权限。
数据权限是指数据资产,目前平台的数据资产包括图项目、数据文件、我的分析、名单、图集群等。数据权限有业务域的限制,加入对应业务域的用户组,才能看到对应业务域的数据资产。 点击“个人中心->用户组和权限->组权限查询->数据权限”,进入“数据权限”列表页,如下图所示: 点击“申请数据权限”,进入数据权限申请页,为用户自己相关联的用户组申请权限。 选择“用户组”,填写“申请理由”,点击“提交审批”,待管理员审批通过后,获得相关数据权限。
TuGraph Platform提供自主创建业务域的功能,业务域类似于业务BU的概念,通过业务域实现不同资产的逻辑隔离,用户在选择某个业务域时,会默认进入该业务域的公共用户组下,公共用户组只拥有最低的功能权限,只能看到对该业务域公开的图项目。
点击“个人中心->业务域管理”,进入业务域管理页面,如下图所示: 可以通过点击右上角“创建业务域”来创建自己BU的业务域。填入业务域名称和申请理由后,点击【创建并提交审批】按钮后即可成功提交工单。(若该页面没有【创建业务域】按钮,请先在【权限管理】中申请【权限管理-高级功能包】) 工单审批通过后,业务域自动创建。可在【个人中心->工单管理】中查看工单详情,找到相应的审批人,联系审批人进行审批。
在TuGraph Platform导航栏中可以切换业务域,多业务域用户可以自由切换业务域。图研发卡片列表、名单列表、我的分析列表在不同业务域之间是逻辑隔离的,切换不同业务域,只会显示该业务域下拥有权限的资产。
点击“个人中心->业务域管理”,进入业务域管理页面,点击“删除”按钮,弹出业务域删除确认框,如下图所示: 点击“确定”,删除业务域。
用户组是资产和权限的拥有者,所有的资产和权限的申请均会挂到用户组下。而业务域的主要作用就是隔离数据权限,两者的关联在于用户组归属于业务域,并且一个用户组可以归属于多个业务域,一个业务域也可以拥有多个用户组。
登录TuGraph Platform,打开产品欢迎页,如下图所示:
点击“新建图项目”,如下图所示: 填写图名称,选择所属业务域、用户组等相关信息,点击“确定”完成图项目构建。在“我的项目”列表中显示出新建图项目,如下图所示:
点击“图编辑”,可对图项目进行基础信息修改。
支持基于现有图项目快速生成另一个图项目,复制原有图项目得描述信息、权限及schema信息到草稿状态。
支持基于所属环境、图名称/图ID、图成员进行图项目搜索,如下图所示:
图项目在绑定集群后,将点亮“点边统计”小图标,如下图所示: 点击“点边统计”,进入点边统计配置页,如下图所示: 配置任务执行方式、申请理由等信息,点击“开始统计”,提交点边统计任务。您可在“运维中心-> DB运维->任务管理”中找到相应的任务,查看详情和进度。
查看图项目所属集群及实例信息。
MetaServer集群主要是用于存储DB集群相关元数据信息,一个MetaServer集群可以同时挂载多个DB集群。 点击“运维中心-> DB运维->集群管理->MetaServer集群”,进入MetaServer集群管理页面,如下图所示: 点击右上角“创建集群”按钮,进入MetaServer集群创建页面,如下图所示: 填写集群名称、机器IP,选择集群所属环境、部署方式、操作系统及版本号等信息,点击“创建并提交审批”按钮,等待管理员审批通过后,便可开始创建MetaServer集群。 注:部署方式支持RPM包及镜像两种部署方式。 您可以在“运维中心-> DB运维->任务管理”中找到相应的任务,查看任务的执行情况,如下图所示:
TuGraph DB集群主要用于存储用户图数据。 点击“运维中心->DB运维->集群管理->GeaBase集群”,进入TuGraph DB集群管理页面,如下图所示: 点击右上角“创建集群”按钮,进入TuGraph DB集群集群创建页面,如下图所示: 填写以下信息:
点击“创建并提交审批”,等待管理员审批通过就会看到自己创建的TuGraph DB集群,创建过程中可以在“运维中心-> DB运维->任务管理”中找到相应的任务,查看详情和进度。
TuGraph DB支持独立集群和共享集群两种模式,共享集群模式下支持多图;独立集群模式下,在创建集群时必须要关联图项目。共享集群模式下,可在后期关联图项目,图项目只有关联DB集群后才可以进行后续的模型发布等操作。 共享集群模式下,DB集群关联图项目入口如下:进入“运维中心->DB运维->集群管理->GeaBase集群”,如下图所示: 点击集群名称,进入集群详情,如下: 点击“绑定图项目”,如下图所示: 选择所属图项目,点击确定,完成图项目绑定。
图构建是图研发核心功能模块,通过图构建实现图实例的Schema变更管理,包括新建点(边)、删除点(边)、创建或删除索引、创建或删除ttl、修改类型名称和属性名称等功能。图构建不仅支持手动添加点(边),同时还支持根据不同的业务需求通过收藏或者导入模型文件等方式导入Schema。
点击“图项目->图构建”进入图构建页面,您可以可通过「添加点」、「添加边」来构建图模型,如下图所示:
输入节点类型名称、节点展示名称、字段名称、字段别名、字段类型等,同时支持节点展示颜色及图标配置。节点信息配置完成后,点击“保存”,schema信息会保存草稿态。 其中节点类型名称不能使用图库关键字,且命名只能使用英文字母、数字、下划线(需匹配[a-zA-Z][_a-zA-Z0-9]*)组合。
输入边类型名称、边展示名称、字段名称、字段别名、字段类型,选择起点和终点等信息,同时支持边展示颜色配置。边信息配置完成后,点击“保存”,schema信息会保存草稿态。
其中 (1)TuGraph支持同类型边选择不同类型起点和终点; (2)边类型名称不能使用图库关键字,且命名只能使用英文字母、数字、下划线(需匹配[a-zA-Z][_a-zA-Z0-9]*)组合。
索引是加快查询效率的重要手段之一,TuGraph Platform支持可视化构建或者删除索引。在构建完点(边)之后,可直接在配置信息中的【属性配置】来配置索引信息。注意:只能在非必填字段上构建索引。
如果需要对某一类型点(边)设置超时清理,可以指定点(边)的某个属性字段作为TTL。规则为:若该字段对应的真实时间 + TTL (时间窗口长度) < 当前时间,则保留该点(边),否则删除。根据不同的业务场景,业务可在点(边)上的字段类型为long的字段上配置TTL。 注意: (1)一个点(边)上不能同时存在索引和TTL; (2)只能在long类型的属性上配置TTL; (3)每个点(边)上智能存在一个TTL。
构建完模型后,若需要保存模型信息,可通过收藏模型保存模型信息。 可选择“覆盖已有”模型,或者新增模型。 收藏后可在收藏夹中查看记录,如下图所示:
可以通过“收藏导入”的功能,将收藏的schema导入其他模型。选择「覆盖当前画布中的模型」会清空画布上的草稿,收藏的schema会覆盖画布上的schema;否则,收藏的schema会新增到画布上,不会清空画布上的草稿。
可通过“导出模型文件”将图Schema导出为json文件,如下图所示:
TuGraph支持导入模型文件快速构建图模型,如下图所示: 您可以点击“点击下载”下载导入模型示例文件,将模型按照示例文件进行准备后点击上传文件,完成导入。同时也可以将“导出模型文件”中所到处的模型文件,直接上传导入。
支持从指定环境中恢复图模型,可指定需要恢复的点类型和边类型。
图Schema构建完成后,点击【发布模型】将Schema的变更信息下发到图实例,如下图所示: 点击【发布模型】后,需选择本次待发布的内容和选择生效到哪个环境,如下图所示: 可在该页面查看schema的变更内容,是否与预期相符合。确定完毕后,可点击「发布」将Schema变更下发到图实例。 注:建模中的所有Schema变更只会修改草稿的Schema,变更开发、灰度、生产的Schema只能通过发布模型来完成。例如,若想在生产Schema中新增一个点,步骤如下:
发布工单提交之后,可在发布记录中查看发布状态,如下图所示:
不同生效版本的发布记录需在不同环境下查看。
可点击“更新内容”查看此次变更的具体内容:
图Schema发布完成后,开始数据导入。选择点/边(可在画布中进行选择,也可以在左侧列表中选择),弹出离线导入数据源选择及映射配置页面,如下图所示: 选择相应的数据表或者本地直接上传数据表,进行数据映射配置。本地上传页面如下图所示: 选定正确的列限定符、列分隔符、编码格式等内容,点击确定完成数据文件上传。 点击“数据表选择”后进行字段映射,如下图所示: 点击“下一步”进行ID字段hash配置,原因在于DB主键需要为long,如果源数据为非long,需要进行MURMURHASH。如果是long,则选择TYPE_CAST即可。
映射配置完成后,点击“下一步”,进入导入配置页面,如下图所示: 配置相应的导入方式及开始导入日期,导入方式支持“一次性导入”、“周期性导入”两种,目前“周期性导入”对数据源有一定的要求,需要是ODPS数据源,点击“完成”生成导入数据任务。 其中“高阶参数配置”,主要是设置导入数据相关配置参数,可选择默认值。
可前往“导入任务列表”查看导入配置和导入记录,如下图所示: 可点击“编辑”,对数据导入任务进行编辑,也可以选择“立即导入”,执行导入任务。 可点击“导入记录”,查看数据导入任务失败任务详情,查看具体任务执行情况。
离线导入支持ODPS表赋权链接。
TuGraph Platform支持数据实时导入配置,如下图所示:
选择相应的数据源,如果没有配置,可点击“数据源连接配置”,进入数据源配置页,如下所示: 目前支持SLS、kafka两种消息队列数据源。
"project": "", //sls project
"endpoint": "", //sls endpoint
"logStore": "", //sls log store
"accessKeyId": "", //ak
"accessKeySecret": "" //sk
"bootstrapServers": "11.238.192.1:9092", //kafka bootstrap集群地址
"zookeeperConnect": "11.238.192.1:2181", //kafka 依赖的zookeeper地址
"topic": "xizhi_test_102", //订阅的topic
"groupId": "graphlink_kafka010_test_1", //kafka 消费者的groupid
"version":"kafka_08" //kafka版本 (kafka_08、kafka_09、kafka_10、kafka_11)
参数 | 解释 | 获取方式 |
---|---|---|
bootstrapServers | kafka部署节点的地址 | 根据kafka部署拓扑填写,格式如127.0.0.1:9092,127.0.0.2:9092,127.0.0.3:9092 |
zookeeperConnect | kafka部署集群依赖zookeeper的地址 | 根据依赖zookeeper集群的部署拓扑填写,如127.0.0.1:2181,127.0.0.2:2181,127.0.0.3:2181 |
topic | 订阅kafka主题名 | 请预先创建好topic |
groupId | kafka客户端所属消费组 | 请根据实际业务场景填写groupId |
version | kafka集群版本 | 兼容version如下 |
点击“测试连接”,可对所配置数据源进行测试,测试成功后,点击“提交”,完成数据源配置。
依据“说明文档”完成数据源映射和导入参数配置。
针对点变类型特别多的场景,系统支持批量导入功能,点击“批量导入”进入其页面,如下图所示: 选择相应的数据源后,进行数据源映射配置,批量点导入:必须映射 ID、点类型、点属性这三个字段。 批量边导入:必须映射 SRCID、DSTID、TIMESTAMP、边类型、点属性 这几个字段。
系统默认展示六个常用参数,如下图所示:
图查询主要面向技术研发人员,向其提供图查询、开发调试等功能,调试成功后可发布到生产环境。图查询入口如下图所示: 点击“图查询”,进入图查询页,如下图所示:
一开始新项目无文件夹的情况下,系统默认会新建默认文件夹和默认语句,用户可自行重命名;在「语句查询」右侧点击“+”可以创建文件夹, 在文件夹旁边点击“+”可添加语句。
单击查询名称,右侧分上下两个模块:语句输入框、执行结果/历史展示,如下图所示:
若执行成功,执行结果共4类展示形式,都支持结果下载,分别为:
1. 点边列表
可查看历史的执行记录,点击查询语句会复制查询语句,查询语句、创建人列支持筛选,如下图所示:
在开发环境,支持语句插入(其他环境暂未开放),有两种方式可以实现:
针对原始点或边ID为字符串的情况,支持将字符串转换为long,如下图所示:
支持限制返回到前端的记录条数,防止在大数据量情况下导致前端崩溃,如下图所示:
支持对指定副本进行数据查询,点击“副本设置”,弹出副本设置页面,如下图所示:
支持将查询语句保存到本地文件,点击“下载语句”完成下载操作。
打开右上角「查看模型」可查看图模型,在「列表」tab 可查看最新的点边统计信息,在「图谱」tab 可显示可视化的图模型。如下图所示:
点击“生成模板”图标,可创建查询模板,如下图所示: 模板配置页面如下图所示:
配置模板名称及参数,点击确定,完成模板添加。
查询模板支持2种导入方式:1) 从收藏中导入,2)本地导入;
查询模板右侧操作支持: 收藏:收藏到个人中心,可在其他图项目的图查询中导入使用,覆盖已有的收藏,或者新增收藏,逻辑同新版图分析的模板收藏。 删除:点击后跳出二次确认弹框,提示“查询模板将被删除,是否继续?”点确定,删除其语句内容。
点击“图项目->图分析”进入图可视化分析页面,如下图所示: 图分析模块由4个部分组成:
您可以通过TuGraph Platform的图分析模块进行实时的可视化图查询、图分析、开发调试、图特征开发、自定义图应用,发布嵌入等操作。
支持通过全局查询出一部分种子节点后进行图可视化分析,有五种开始开始方式:配置查询、语句查询、模板查询、路径查询、环路查询。
支持边/点类型筛选(点/边名称)、扩散度数配置、边方向(入度、出度、双向)、点/边上的属性过滤(点/边属性判断)、返回结果数限制等。
支持编写ISO-GQL查询语言进行查询分析,如下图所示: 并支持直接将查询语句“发布成模板”。
支持基于以发布的模板进行查询,输入相应的模板参数,点击“查询”,执行相应查询语句。
支持基于起点节点和终点节点间的所路径查询分析,包含最短路径及全部路径,支持深度配置,如下图所示:
支持检测指定的一个或两个节点是否在环路中,并查询所在的环路,如下图所示:
全局查询的结果展示支持三种视图:图谱视图、列表视图、JSON视图,如下图,可切换成不成视图展示。
针对画布中的点进行定位聚焦,点击图中搜索按钮,如下图所示: 弹出定位搜索框,支持按照节点/边ID、属性等进行定位搜索,如下图所示: 点击“确定”后会进行高亮显示,如下图所示:
显示画布的点边类型及其图标,如下图所示:
支持多次套索,Shift+鼠标单击可圈选多次,过程中可单击移动点边。
支持画布过滤功能,如下图所示: 点击“过滤”图标,弹出过滤配置页面,如下图所示:
高亮单个/多个节点,一般用于特殊/可疑节点的分析;可取消高亮。 单个:选中后右击菜单里选高亮,当前节点底层变亮;在右击菜单了可取消高亮; 多个:点击套索,按住shift圈中多个节点,选中后在工具栏里选高亮再次选中后,在工具栏里点取消高亮图标,可取消高亮。
支持锁定某节点,使其不可拖拽;可解锁。 单个:选中节点后右击,在右击菜单里选锁定。 多个:点击套索,按住shift圈中多个节点,选中节点后在工具栏里选锁定,使其不可拖拽,再次选择后点“解锁图标”可解锁。
支持在当前画布元素不变的前提下,通过“查找添加”往画布中追加节点进行分析。如下图所示:
支持基础配置模式和高级语句模式。
显示当前画布数据详情,如下图所示:
支持可视化配置点/边展示样式及风格,如下图所示:
支持多种布局形式,如下图所示:
在按自定义条件进行分组基础上,新增圆形和方形切换、按分组聚合、恢复原状
新增圈选聚合、取消&展开聚合、聚合面板展示聚合后数据详情。
针对选中的单个/多个点,进行自定义关系扩散。默认一度扩散,可扩散到三度,支持自定义扩散度数配置、边方向(入度、出度、双向)、点/边上的属性过滤(点/边属性判断)、自定义返回结果数限制等。
针对起点、终点、边类型相同的多条边聚合成一条。
支持为节点添加标签,如下图所示: 可支持标签相应操作,比如隐藏、删除、显示等,如下图所示:
支持节点重要性、路径分析、筛选分析、共同邻居和模式匹配五种分析方式。
支持画布节点重要性分析,支持算法包括PageRank、度数中心性、出度中心性及入度中心性等,如下图所示: 点击“分析”显示具体分析结果:
针对画布已有数据的两点间最短路径进行分析,如下图所示: 点击分析,查看具体分析结果
支持自定义筛选器,针对条件统计画布数据分布情况。
在点选基础上,支持同时圈选多个对象查找邻居,支持查找度数、数据时间范围的配置,如下图所示: 点击“高级筛选”,可进行关系类型及其属性过滤条件配置,如下图所示: 点击“开始查找”,展示共同邻居情况,如下图所示: 点击“查看”可在画布突出显示该节点,如下图所示:
平台支持自定义业务模式,并可保存为模式模板,支持用户基于模板查询。进入模式匹配分析,如下所示: 若没有模式,可点击“没有模式?”进入新建模式页面,如下所示: 支持顶点和边条件配置,顶点/边配置如下图所示: 保存后,点击匹配,获取匹配结果,如下图所示:
在外观配置基础上,保存饼图、布局、分组、聚合等样式,如下图所示: 保存后,「配置管理」样式模板里修改,如下图所示:
分析结果沉淀:将分析结果保存沉淀至「我的分析」模块,便于后续验证、分享、再次分析等。
点击“发布”按钮,分析结果快速被业务应用集成,可直接将功能模块发布嵌入至第三方业务系统中,如下图所示:
点击“导出”按钮,支持将画布内容导出为png文件、json文件,如下图所示:
支持查询模板的新增、删除、修改等操作。
支持自定义样式配置,定义节点、边的展示样式。
针对模式匹配模板的新增、修改和删除配置。
针对超链跳转配置新增、删除、修改。
自定义画布导航的功能按钮、全局配置等内容
单击某节点出现该节点属性面板,可查看该节点具体详情,如下图所示:
默认将当前选中节点,自动扩展出一度、二度、三度邻居节点,如下图所示:
选中单个节点后,点击添加标签,在弹框里填写标签名称、选择标签颜色,如下图所示: 添加完成后,画布显示标签内容: 在右击菜单栏中删除已有标签,如下图所示:
加入名单->名单管理(支持单个或批量操作) 加入黑名单:加入后出现在详情 加入白名单
移除名单:在右击菜单栏中移除已有名单
一般用于特殊/可疑节点的分析;可取消高亮。 选中后右击菜单里选高亮,当前节点底层变亮;在右击菜单了可取消高亮
选中节点后,右击菜单里点击锁定使其不可拖拽;解锁:针对已锁定的节点,右击菜单里可解锁。
TuGraph支持可视化方式进行算法执行与调用,目前提供6个经典图算法(后续支持更多内置算法)的任务配置和结果查看、分析功能。 点击“图服务->算法服务”进入算法服务配置管理页面,如下图所示: 点击“新建算法服务”,进入算法服务配置,如下图所示:
输入算法任务名称,选择数据源类型,目前支持读取图数据库和本地文件两种方式。
选择数据类型为GeaBase实,需选择图名称,并选择点类型、边类型。
目前支持六中内置算法,如下图所示:
BFS是最简便的图搜索算法之一,属于一种盲目搜寻法,目的是系统地展开并检查途中的所有节点,以找寻结果。换句话说,它并不考虑结果的可能位置,彻底的搜索整张图,直到找到结果为止;
PageRank算法是在图上执行一个随机游走模型,根据随机游走者,在有向图上,通过对节点访问次数或访问概率的高低来判断有向图上各个节点的重要程度;
SSSP算法的核心思路就是按着路径递增计算,来确定单源最短路径;
WCC算法会计算图中所有的弱连通分量。同一弱连通分量里的任意两个点,保证至少一方能到达另一方;
CDLP算法是最早的基于标签的一种算法,是所有基于标签的算法的基础。CDLP算法最大的特色是简单、高效,缺点是每次迭代结果不稳定,准确率不高;
LCC算法是一种基于节点邻域信息的社区发现算法,主要用于发现局部社区结构。该算法通过计算每个节点的邻居节点之间的相似性来划分社区。具体来说,算法首先选取一个节点,然后根据节点的邻居节点构建一个子图,并计算子图内节点之间的相似度。接着,通过聚类算法将相似度高的节点分为一个社区。算法重复执行直至所有节点都被划分到社区中。相比于其他社区发现算法,LCC算法具有计算复杂度低、效果稳定等优点。
支持将算法结果输出到图数据库和本地文件。
TuGraph Platform平台的功能权限、数据权限等,需通过平台的工单系统完成审批和授权。对于申请人来说,可以通过平台的工单管理模块来跟踪工单的进度、寻找审批人;对于审批人来说,可以通过工单管理模块推进工单的进度。
工单的创建入口散落在平台不同的功能子模块中,当用到平台的某些功能时,会引导用户创建工单。以平台权限管理-创建用户组为例,在表单中填写必要的参数,点击“创建并提交审批”即可生成工单。
在平台【个人中心】->【工单管理】->【我提交的】选项卡下可以看到自己申请的工单列表。工单列表指示了工单号、工单类型、工单状态等信息。对于状态为“等待审批”和“审批中”的工单,用户可以点击【撤回】按钮来取消目标工单,撤回的工单审批人将不可见。 用户可以根据工单类型、审批人、工单状态对工单进行筛选,也可以根据申请时间、审批时间对工单进行排序,以便于快速找到目标工单。 除了过滤工单外,用户还可以在右上角的搜索框中输入工单号、工单类型、审批人工号、审批人名称、图名称进行工单的模糊搜索。 点击“查看详情”可以查看工单详情,工单详情界面展示了待申请工单的详细信息和审批进度。如下图所示:
在平台【运维管理】->【工单管理】->【我审批的】选项卡下可以看到自己有权限审批的工单列表。
在图构建里配置完图结构(Schema)后,我们需要选取相关数据导入到配置好的图结构(Schema)中用于后续的查询、分析。数据管理主要用于管理这些相关数据。 点击“个人中心->数据列表”进入数据列表管理页面,如下图所示: 平台支持离线数据和实时数据两种方式。
点击“个人中心->数据列表->离线数据”进入离线数据列表页面,如下图所示:
点击“本地上传”按钮,进入离线数据文件上传配置管理页面,如下图所示: 选择要上传的文件,目前支持csv、txt文件格式,选择文件用途、列限定符、编码格式、所属的业务域和用户组等信息,点击“确定”,完成文件上传。
点击“表名/文件名”可查看数据文件数据预览内容,如下图所示:
请通过ssh/ftp客户端,将大文件的文件夹放置到/home/admin/geamaker-fs/geabase-pub/customized目录下,文件夹里放置文件数据即可。 填写完毕后,点击确定,完成大文件上传。
点击“编辑”按钮,可修改数据文件上传配置信息,如下图所示: 点击“删除”,删除数据源配置,点击“确定并提交审批”,完成数据源删除。
点击“个人中心->数据列表->实时数据”进入实时数据列表页面,如下图所示: 点击“数据源连接配置”,进入数据源配置页面,目前支持sls、kafka两种数据源,如下图所示:
"project": "", //sls project
"endpoint": "", //sls endpoint
"logStore": "", //sls log store
"accessKeyId": "", //ak
"accessKeySecret": "" //sk
"bootstrapServers": "11.238.192.1:9092", //kafka bootstrap集群地址
"zookeeperConnect": "11.238.192.1:2181", //kafka 依赖的zookeeper地址
"topic": "xizhi_test_102", //订阅的topic
"groupId": "graphlink_kafka010_test_1", //kafka 消费者的groupid
"version":"kafka_08" //kafka版本 (kafka_08、kafka_09、kafka_10、kafka_11)
参数 | 解释 | 获取方式 |
---|---|---|
bootstrapServers | kafka部署节点的地址 | 根据kafka部署拓扑填写,格式如127.0.0.1:9092,127.0.0.2:9092,127.0.0.3:9092 |
zookeeperConnect | kafka部署集群依赖zookeeper的地址 | 根据依赖zookeeper集群的部署拓扑填写,如127.0.0.1:2181,127.0.0.2:2181,127.0.0.3:2181 |
topic | 订阅kafka主题名 | 请预先创建好topic |
groupId | kafka客户端所属消费组 | 请根据实际业务场景填写groupId |
version | kafka集群版本 | 兼容version如下 |
点击“测试连接”,可对所配置数据源进行测试,测试成功后,点击“提交”,完成数据源配置。
名单管理主要用于支持用户对特定的实体(Vertex)进行标记,便于对这些实体(Vertex)进行单独的确认及处理。当前主要支持2种场景的名单管理。
点击“个人中心->名单列表->黑名单”进入黑名单管理页面,如下图所示:
平台支持“手工新建”、“本地上传”两种方式新建黑名单。
点击“新建名单->手工新建”,进入手工新建黑名单页面,如下图所示: 填写相应信息,点击确定,完成黑名单创建。
点击“新建名单->本地上传”,进入本地上传黑名单配置页,如下图所示: 填写相应信息,点击确定,完成黑名单本地文件上传。
平台支持取消录黑和批量取消录黑,如下图所示:
点击“个人中心->名单列表->白名单”进入白名单管理页面,如下图所示:
平台支持“手工新建”、“本地上传”两种方式新建白名单。
点击“新建名单->手工新建”,进入手工新建白名单页面,如下图所示: 填写相应信息,点击确定,完成白名单创建。
点击“新建名单->本地上传”,进入本地上传白名单配置页,如下图所示: 填写相应信息,点击确定,完成白名单本地文件上传。
平台支持取消录白和批量取消录白,如下图所示:
您可以将自身认为有价值的模板收藏起来,便于后续产品使用过程中直接引用或给到其他人员使用。目前平台提供的收藏模板包含以下两种:
点击“个人中心->收藏夹->图模型”,进入图模型收藏夹页面,如下图所示: 点击“收藏名称”,可展示所收藏图模型详细信息,如下图所示: 点击“取消收藏”,确定后取消收藏图模型。
点击“个人中心->收藏夹->查询模板”进入查询模板收藏夹页面,如下图所示: 点击“收藏名称”,展示查询模板详细信息,如下图所示: 点击“取消收藏”,确定后取消查询模板收藏。
详见“2.2.2. 用户组”。
详见“2.2.3. 业务域管理”。
图分析中保存的分析可在我的分析中查看,并再次进行分析。
任务管理主要是用于查看和管理所有的异步任务,用户可以对任务进行跟踪和操作。点击“运维中心->DB运维->任务管理”进入任务管理页面,如下图所示:
平台支持通过所属环境、任务类型、任务状态、集群名称、创建人多种条件组合,点击“查询”后即可筛选出符合条件的任务列表。任务列表会显示任务ID、任务的集群名、任务类型、状态、创建人、创建时间等信息。
点击蓝色的任务ID,进入任务详情界面。如下图所示:
其中“基本信息”栏展示了任务关联的集群、当前状态等信息。 “子任务进程”展示了当前任务的所有子步骤,以及子步骤当前的状态。单击某个字步骤可以展示子步骤运行时的参数和执行日志。点击“全部停止”可以终止当前任务。任务执行异常时,点击“全部重跑”可以重新执行任务。
点开图卡片,进去“图构建”模块,选中需要导入的点边,配置好导入日期后,点击“完成”即可在设定时间触发数据导入任务。
也可以点击“导入任务列表”,点击立即导入,即可立刻执行数据导入任务。
在运维中心-集群管理中,点击“创建集群”按钮,进入创建集群表单。填写表单,点击“创建并提交审批”按钮,即可立即发起创建集群任务。
点击图卡片的“点边统计”按钮,即可进入点边统计配置界面。 填写点边统计任务的触发频率,点击“开启统计”,即可在设定的时间拉起点边统计任务。
进入运维中心-DB运维-集群管理,点击目标集群进入详情页,点击“添加副本”按钮。 填写添加副本表单,点击“添加并提交审批”按钮,即可拉起增加副本任务。
进入运维管理-集群管理,进入目标集群详情页,点击“修改流量”按钮,设置好期望的流量权重后点击“确定”,即可拉起修改流量任务。
进入目标集群详情页,点击“修改角色”按钮,选择副本的角色,点击“确定”即可拉起切换角色任务。
进入集群详情页,点击“...”进入副本操作选项卡,点击“全部启动”会拉起目标副本下所有机器的TuGraph DB进程;点击“全部停止”会使目标副本下所有机器的TuGraph DB进程停止;点击“更换版本”可以把目标副本下的机器部署指定版本的TuGraph DB镜像;点击“扩容”可以在目标副本下增加机器;点击“删除副本”可以拉起副本删除任务,删除目标副本。
进入集群详情页,点击“管理分片”。“Appoint Leader”可以指定目标副本为分片leader;“Migrate Leader”可以将起始副本的leader迁移到目标leader上;“Balance Leader”可以将分片Leader转移到不同的leader上。
进入集群详情页,点击副本,可以看到副本下所有的机器,“操作”栏下面可以对单台机器进行操作。“启动”可以在机器上拉起TuGraph DB机器;“重启”可以重启机器;“停止”可以停止TuGraph DB机器;“更新版本”可以变更TuGraph DB镜像版本;“替换机器”可以替换指定的机器。
DDL任务可以变更图Schema。进入目标图卡片,点击目标点边,可以为目标点边增减属性,修改完属性后点击保存,然后点击发布模型。即可拉起DDL任务。
点击集群管理-MetaServer集群,填写创建MetaServer集群表单,点击“创建并提交审批”即可拉起创建MetaServer集群任务。
进入集群管理-MetaServer集群,进入集群详情页,可以对MetaServer机器进行切主、升级、启动、停止、扩容等操作。
“集群管理”模块的作用主要是对集群进行创建,修改,停用等操作,通过可视化白屏的形式,让用户快速的维护自己的服务集群。 主要分为两类集群:TuGraph DB集群和MetaServer集群
注:创建TuGraph DB集群需要挂载在一个MetaServer集群下,一个MetaServer集群可以挂载多个TuGraph DB集群。
TuGraph DB集群主要用于存储用户图数据。 点击“运维中心-> DB运维->集群管理->GeaBase集群”,进入TuGraph DB集群管理页面,如下图所示: 点击右上角“创建集群”按钮,进入TuGraph DB集群集群创建页面,如下图所示: 填写以下信息:
点击“创建并提交审批”,等待管理员审批通过就会看到自己创建的TuGraph DB集群,创建过程中可以在“运维中心-> TuGraph DB运维->任务管理”中找到相应的任务,查看详情和进度。
点击上图集群名称,进入集群详情页面,如下图所示:
副本支持添加副本、扩容、删除等操作,如下图所示:
支持指定Raft Leader、迁移leader、平衡leader功能。
点击列表右上方的“添加副本”,进入副本添加配置页面,如下图所示: 填写副本版本、地区、机器IP、是否主副本等信息,点击“添加并提交审批”,审批完成后,平台自动添加副本。
集群整体参数配置,如下图所示:
机器支持的操作有:重启、停止、扩容、副本删除等。
点击图模型,可以查看当前TuGrap DB集群的图模型,如下图所示:
点击“全局配置”,可查看全局变量配置信息。 点击“修改配置”可对配置项信息进行,如下图所示:
周期性任务配置记录TuGraph DB集群相关的所有周期性任务配置。 用户侧:用户可以创建“点边统计”任务,创建相关配置详见“3.5. 点边统计”操作文档。 运维侧:DBA可以创建“default_compaction”、“TTL_filter”、“TS_filter”三类任务 点击“任务配置”,进入任务配置页面,如下图所是: 点击“创建任务”,进入任务创建配置页面,如下图所示: 填写配置信息并点击“添加并提交审批”,待审批完成后,平台将自动执行任务。
点击下图“删除数据”,进行数据删除操作。数据数据,仅删除数据,但不删除Schema。 目前支持快速删除全部数据,如下图所示: 删除数据任务执行情况如下图所示:
删除集群将集群所有关联信息(Schema/数据/任务等)都将被删除,因此需要慎重执行,如下图所示:
TuGraph支持在线升级,目前支持副本级别、节点级别在线升级。在进行在线升级时,需要leader副本切走,当前升级的副本不能有sharder leader。
点击上图“更换版本”,进行整个副本的在线升级,如下图所示:
进入到单一节点后,点击“更新版本”,进行单个节点的在线升级,如下图所示:
支持副本重启和单一节点重启,如下图所示: 副本停止和启动: 单一节点重启:
支持在线扩容,扩容副本需要无sharder leader,如下图所示: 点击“扩容”,进入扩容页面,如下图所示:
点击“管理分片leader”进入主页面,如下图所示: Appoint Leader:指定分片Leader; Migrate Leader:迁移分片Leader; Balance Leader:均衡分片Leader;
点击“运维中心-> DB运维->集群管理->MetaServer集群”,进入MetaServer集群管理页面,如下图所示:
点击“创建集群”,进入MetaServer集群创建配置页面,如下图所示: 填写集群名称、机器IP,选择集群所属环境、操作系统及版本号等信息,点击“创建并提交审批”按钮,等待管理员审批通过后,便可开始创建MetaServer集群。 您可以在“运维中心-> TuGraph DB运维->任务管理”中找到相应的任务,查看任务的执行情况,如下图所示:
点击上图集群名称,进入集群详情页面,如下图所示: 其中 “基本信息”展示MetaServer集群的所属环境、版本、创建人、创建时间及集群ID信息。 “机器列表”展示了MetaServer集群所在主机IP、角色、版本等信息及主机相关操作。 “业务列表”展示了MetaServer集群所挂载的TuGraph DB集群信息 。
针对MetaServer集群,平台支持切主、在线升级、启动、重启、在线扩容、替换机器、停止等操作。
点击上图中“切主”按钮,将当前节点切换为主节点。
点击“升级”进行版本升级操作,注意,需要对Peer节点进行升级,Leader节点需要切换为Peer以后进行升级。如下图所示:
点击“扩容”进行扩容操作,注意,需要对Peer节点进行扩容,Leader节点需要切换为Peer以后进行扩容。如下图所示:
点击“替换机器”进行扩容操作,注意,需要对Peer节点进行替换机器,Leader节点需要切换为Peer以后进行替换机器。如下图所示:
平台提供了灵活的备份恢复方式,支持用户对Schema和数据进行备份恢复,目前支持全量备份、增量备份两种方式。
全量备份:对TuGraph内所有Schema和数据进行备份。 全量备份有如下几个要求:
点击集群列表里某个集群的全量备份,如下图所示: 进入全量备份配置页面,如下图所示: 相关参数说明(有默认值的参数,非必要可以不修改)
点击集群列表里某个集群的数据恢复,如下图所示: 点击数据恢复,进入数据恢复配置页面,如下图所示: 其中"可恢复的备份列表"对应全量备份的结果,每次全量备份成功后,会生成一个带时间的备份可选项。 可在任务列表里查看任务状态。
开启增量备份后,会自动记录任务开启后TuGraph内Schema和数据的改动。 增量备份恢复有如下几个要求:开启增量备份后,需要进行过至少一次全量备份,才可以执行增量恢复。这是因为增量备份只备份了任务开启后更新的schema和数据,没有备份存量的schema和数据。
点击集群列表里某个集群的增量备份,如下图所示: 填写完相关参数后,点击"开启配置",即开启了增量备份,如下图所示: 相关参数说明(有默认值的参数,非必要可以不修改) Reader:
Writer:
增量备份任务参数
点击集群列表里某个集群的数据恢复 切换到"增量恢复",选择完相关参数后,点击"保存并应用",发起增量恢复。其中"可恢复的历史时间点"对应集群可恢复到的时间点。
详见2.2.1. 用户管理。
点击“运维中心->系统管理”,进入系统管理页面,目前支持License管理,如下图所示:
平台记录了用户操作的关键日志;日志管理界面主要是展示用户操作日志,包含一级操作模块,二级操作模块,操作人,以及操作时间,并且可以查看具体日志信息。
点击“运维中心-日志管理”,进入日志管理页面,如下图所示: 支持二级操作模块,日志编号,操作人模糊搜索
点击“查看详情”进入日志详情页面,如下图所示: 日志详情主要有日志基本信息及日志内容组成。
序号 | 文档版本 | 更新内容 | 引擎版本 | 引擎更新内容 |
---|---|---|---|---|
1 | V20231030 | 1.完善DB集群升级、重启、扩容、分片管理等操作; | ||
2.完善Meta集群切主、升级、扩容、替换机器等操作。 | Meta:4.0.2 | |||
DB:5.2.0 | ||||
Gealink Master:3.2.0 | ||||
Gealink Worker:3.1.0 | ||||
antgraph:20231020 | ||||
geaexplorer:20230819 | ||||
基础依赖:20230930 | 一、新增功能 | |||
1. 提升集群启动/关闭速度 | ||||
2. 支持分布式事务(Read Committed) | ||||
3. 支持多图备份/恢复/点边统计/ttl compaction | ||||
4. ISO GQL | ||||
1. 支持 match...insert/replace/update/delete | ||||
2. 支持center_id和other_id | ||||
3. 支持Window Func | ||||
4. AGG 支持使用表达式进行distinct | ||||
5. 在Multi Match 中支持optional | ||||
6. 支持返回内部执行时间 | ||||
7. DML支持权限校验 | ||||
5. 支持otter属性级别的增删改查 | ||||
6. 支持mysql的导入导出 | ||||
7. gealink支持镜像化部署交付 |
二、Bug修复 1. 修复UNION中出现相同点代称的BUG 2. 修复DateTime转义相关BUG 3. 修复kill session问题 4. work region的默认值不匹配导致导数失败问题修复 5. 服务器有多个ip,导数报错找不到master ip的问题修复 | | 2 | V20230930 | 1.增加“8.图服务”,支持可视化方式进行图算法模型构建与调度 | Meta:4.0.1 DB:5.1.3 Glink Master:3.1.0 Glink Worker:3.0.0 antgraph:20231020 geaexplorer:20230819 基础依赖:20230930 | 一、新增功能 1. 运维告警模版丰富支持 tugraph的报警 2. 暴力破解密码阻止 3. 平台支持https访问 4. 支持自定义 odps的导入和导出 5. 体验优化 6. antgraph 镜像里增加 每个版本对应的commit记录 7. 第三方平台嵌入antgraph,支持免密码登录 8. 部署步骤精简,1小时内完成部署 9. 统一schema接口,文档支持客户的二次开发
二、Bug修复 1. 用户注册页密码所支持特殊符号目前仅为@ 2. 新建DB集群及集群副本扩容BUG修复 3. 查询语句kill失败问题修复 | | | | | | | | | | | | |