电商数据源

1.1 应用场景

电商数据想要在 FineBI 中进行深入分析，首先需要将这些数据成功导入 FineBI ，本文将详细介绍如何将电商平台数据导入 FineBI。

1.2 功能简介

支持以下电商平台：

2.1 环境要求

• 一台能够同时连接到 FineBI 工程和外部网络的计算机，以确保能进行电商数据源的授权操作。

•  FineBI 工程所在服务器具备外网访问权限，或者可以配置白名单（添加白名单：dm.shukuajing.com），以确保电商数据源的数据能够成功传输到本地数据库。

• 服务器的带宽要求为20Mbps及以上。

• 本地数据库需采用 MySQL8，且编码选择 utf8mb4。数据库所在的计算机推荐使用固态硬盘，提高读写速度。

• 若 MySQL 数据库与 FineBI 工程之间可以通过内网连接，则建议使用内网通信方式。

2.2 安装插件

1）安装数据源插件

插件安装方法可参见： BI插件管理 。

2）安装电商平台插件。不同的电商平台数据，需要安装对应的插件后才可使用。

例如想获取淘宝评论，就必须安装「淘宝评论-电商数据源」。

插件安装方法可参见： BI插件管理 。

安装好插件后，就可以将电商数据同步到 MySQL 数据库中，以便于 FineBI 直接从 MySQL 取数分析。

3.1 连接 Mysql 数据库

1）提前准备 MySQL8 数据库，并与 FineBI 中建立连接关系。连接步骤可参见：MySQL 数据连接

其中 数据连接URL 需要添加后缀 ?useUnicode=true&characterEncoding=UTF-8，编辑完后点击「保存」。如下图所示：

注：数据连接中的用户需要有 INSERT 和 UPDATE 权限

2）进入「系统管理>常规>数据源」，填写信息：

• 数据连接：填写数据连接名称

• 工程地址：填写当前 FineBI 工程域名后面的路径。若 FineBI 工程地址为 https://pcdemo.finebi.com/webroot/decision，即填写 /webroot/decision ；若 FineBI 工程地址为 192.168.1.1:8080/BI6.0/decision，即填写 /BI6.0/decision。

3.2 连接电商数据

1）进入「管理系统>电商数据源」，点击「新增数据」，如下图所示：

2）选择自己要连接的第三方电商平台，如下图所示：

3）填写连接和授权信息。

 FineBI 需要获得第三方平台的授权，才可以将数据新增进来。

不同电商平台填写信息和授权方式，需参见具体文档的相关节段。

4）点击「确定」，即可将数据添加到数据列表中。如下图所示：

3.3 同步数据

将第三方电商数据同步到 MySQL 数据库，

1）授权完成后，数据表出现在左侧列表。需要同步数据，才能将数据表导入到 MySQL 数据库中。点击「同步数据源」，可以对该数据源下的所有数据表先进行一次同步。

同步数据表有三种方式：

• A同步数据源：同步数据源下的所有表

• B同步表单：同步当前选择的单张表

• C批量同步表：同步勾选的数据表

之后可以根据自己的实际需求，选择手动同步或者定时同步，避免全量同步等待时间过长。

注：如果您希望进行定时同步配置，请确保将BI系统的数据抽取时间设置在数据源同步完成之后。例如，如果数据源已配置每天 00:00 进行定时同步，00:30 数据完全抽入 MySQL 数据库。那么在 BI 系统中，建议将定时更新设置在每天 00:30 之后，例如设置在每天1:00。

2）查看同步状态，一共有四种同步状态，可点击「下拉箭头」进行筛选，如下图所示：

• 同步成功

• 同步失败

• 同步中

• 部分成功：一个数据源下的多个数据连接（站点），部分同步成功
  

点击状态按钮，可查看同步详情。

例如，点击一个「成功」按钮：

• 若显示「抽数已完成」：表明数据表已成功入库 MySQL。

• 若显示「抽数失败」：勾选失败的表，并点击「批量抽数」再次入库 MySQL。

点击「失败」按钮，也可以看到同步详情，如下图所示：

若同步失败，失败的数据不会入库到 MySQL。可以根据详情排查问题，重新尝试同步数据。

3）进入 MySQL 数据库可以看到入库后的数据表，如下图所示：

3.4 辨别数据来源

辨别数据表的来源电商平台

所有电商平台的数据表都存储在一起。例如，如果同时授权了金蝶云星空和亚马逊的数据源，那么产生的金蝶云星空数据表和亚马逊数据表都会存在于同一个 MySQL 库中。

若要区分表属于哪个数据源，可以通过表名的不同前缀来实现。例如，以 11020 开头的表是金蝶云星空的表，以 7 开头的表是亚马逊的表。

对来自同个电商平台不同站点的数据，进行区分

例如：客户的亚马逊平台，可能拥有美国，加拿大、等多个站点。如此需要建立多个数据连接，每个数据连接都拥有自己的 connectId，如下图所示：

加拿大和美国多个站点的数据都储存在同一张表中。在进行分析时，我们如何区分哪些数据来自美国，哪些来自加拿大呢？

在数据表中，有一个名为 「__dm_connect_id 」的字段，我们可以通过该字段来识别数据的来源，即哪个数据连接（站点）提供的。若只需看部分站点的数据，直接对该字段进行筛选即可。

有两种方式可以将数据库中的表添加至 FineBI ：

• 添加数据库表（推荐）

• 添加SQL数据集

FineBI 会自动获取表和字段的转义名，和数据源中的表保持一致。