自助数据集数据量限制

  • 文档创建者:Roxy
  • 编辑次数:16次
  • 最近更新:Roxy 于 2020-07-20
  • 1. 概述

    1.1 版本

    FineBI 版本
    JAR 包
    5.12020-01-15

    1.2 应用场景

    在使用 FineBI 时,可能出现因为用户不合理的操作影响其他用户使用或者系统性能稳定,此时就需要规避该问题。

    1.3 功能简介

    在制作自助数据集时,FineBI 提供了数据量限制,来规避此类风险,保证 FineBI 的正常使用。

    2. 数据量限制说明

    用户类型数据类型数据量限制操作类型限制量修改方式
    数据分析用户
    &数据处理用户(我的自助数据集业务包)


    抽取数据



    数据更新

    5 千万单元格管理系统>常规>spider参数下修改分析用户自助数据集磁盘占用大小(单元格)参数
    1 千万行不支持在前端页面修改
    自助数据集编辑界面内存默认500M不支持在前端页面修改

    自助数据集编辑界面

    左右合并、分组汇总

    左右合并时合并的两表以及合并后表的数据都不能超过 1 千万行

    分组汇总步骤的结果集不能超过 1 千万单元格

    不支持在前端页面修改
    数据分析用户和数据处理用户实时数据

    自助数据集编辑界面


    内存默认500M

    不支持在前端页面修改

    自助数据集编辑界面

    左右合并、分组汇总

    左右合并时合并的两表以及合并后表的数据都不能超过 1 千万行

    分组汇总步骤的结果集不能超过 1 千万单元格

    不支持在前端页面修改

    注:当用户使用的自助数据集超过数据量限制时,则会在前端页面给出提示,此时可以通过减少表的字段、过滤、分组汇总等方式减少数据量。

    3. 数据量限制报错及解决方案

    3.1 自助数据集生成的行限制

    3.1.1 问题现象

    报错内容

    错误代码:61300422

    自助数据集生成行限制默认 1 千万,若超出了行限制,则更新失败,预览失败

    注:只作用于抽取数据,实时数据不受限制。

    例如设置生成行限制为 100 万,则预览报错如下图所示:

    54.png

    后台报错如下图所示:

    23.png

    48.png

    3.1.2 解决方案

    减少自助数据集需要更新的数据,如减少字段、继续对数据进行过滤,或者对数据进行分组汇总。

    3.2 自助数据集生成的单元格限制

    3.2.1 问题现象

    报错内容
    错误代码:61300421

    自助数据集生成的单元格超出设置的大小,默认 5 千万,也就是可供配置的参数,若超出单元格则更新失败,预览失败

    注:只作用于抽取数据,实时数据不受限制。

    设置单元格限制为 100 万,则生成数据的时候报错,预览报错如下图所示:

    754.png

    后台报错如下图所示:

    38.png

    56.png

    3.2.2 解决方案

    • 减少需要更新的数据,如减少字段、继续对数据进行过滤,或者对数据进行分组汇总。

    • 点击管理系统>系统管理>常规>Spider参数,修改分析用户自助数据集磁盘占用大小(单元格)参数,如下图所示:

      5.png

    • 若无法减少数据量且用户类型属于数据分析用户,可将用户类型改为数据处理用户,详情参见:BI设计用户 ,然后另存数据集。

      注:慎重使用第二、三种方法。

    3.3 自助数据集的内存限制

    报错内容作用范围

    错误代码:61300424

    您的自助数据集计算复杂占用过多内存,触发系统保护机制

     实时数据 、抽取数据

    注:需要通过查看日志来判断内存占用大小。

    3.3.1 在自助数据集进行计算前已检测到超出限制

    比如设置了内存为 900000,行数有 120 万行,如果行超过内存限制,则预测会超限制,在计算之前就已经能够检测到超出了限制,不会实际消耗的内存。

    预览界面报错如下图所示:

    73.png

    后台报错如下图所示:

    373.png

    3.3.2 自助数据集在计算过程中显示超出限制

    在计算过程中显示超出了限制,那么后台日志会给出实际消耗的内存,预览界面报错如下图所示:

    55.png

    后台报错如下图所示:

    47.png

    注:对于抽取数据使用部分数据的时候,需要通过查看日志来判断内存占用大小,判断方法同上,假设内存设置的很小,那么有可能出现使用部分数据超出了限制,使用全部数据没有超限制的情况。

    3.3.3 解决方案

    • 减少自助数据集步骤

    • 减少字段、不使用全部数据

    • 继续对数据进行过滤等。

    3.4 左右合并 1 千万行限制

    3.4.1 问题现象

    报错内容
    错误代码:61300423

    这个参数只针对左右合并步骤,左右合并的结果超出 1 千万行会出现报错

    注:实时数据和抽取数据都受限制。

    例如:实际左右合并结果超出时的预览界面如下图所示:

    94.png


    后台报错如下图所示:

    83.png

    3.4.2 解决方案

    减少所用表的数据量,如过滤之后在尝试合并。

    3.5 分组汇总 1 千万单元格限制

    3.5.1 问题现象

    报错内容
    错误代码:61300417

    这个参数只针对分组汇总步骤,分组汇总结果超过 1 千万单元格则报错

    注:实时数据和抽取数据都受限制。

    实际分组汇总合并结果超出 1000 万单元格时的预览界面如下图所示:

    665.png

    后台报错如下图所示:

    383.png

    3.5.2 解决方案

    减少该结果的数据量,如减少字段,过滤之后在尝试汇总。

    4. 使用超限制的自助数据集做分析

    4.1 适用范围

    实时数据

    4.2 使用超限制的自助数据集制作自助数据集

    4.2.1 问题现象

    1)使用超限制的自助数据集做自助数据集,选字段之后,预览区域显示为「来源表超限制的提示」;

    2)在 左右合并 弹窗中选择了超限制的表,预览区域显示为来源表超限制;

    3)在 上下合并 时选择了超限制的表,那么预览区域显示的是详细的合并表超限制的信息。

    4.2.2 解决方案

    按照本文第 3 节内容调整自助数据集数据量。

    4.3 使用超限制的自助数据集制作仪表板

    4.3.1 问题现象

    在仪表板处使用超限制的自助数据集,组件选择时可以选到,但是右侧预览区域显示为「来源表超限制的提示」。

    4.3.2 解决方案

    按照本文第 3 节内容调整自助数据集数据量。

    附件列表


    主题: 数据加工
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!