历史版本1 :仪表板报错 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:
1、Job aborted due to stage failure

问题现象:

              将数据抽取到本地之后,使用对应数据创建仪表板-组件,预览该仪表板报错如下:

              Job aborted due to stage failure: Total size of serialized results of 154 tasks (1026.5 MB) is bigger than spark.driver.maxResultSize (1024.0 MB)

报错截图:

          222

原因分析:

               该报错与spark驱动有关,Spark 1.2版本增加了一个新特性,限制了可以向驱动程序返回的数据量,当查询的时候数据过大会触发保护机制。

               即查询的数据量大于Spark设置的默认最大返回数据量spark.driver.maxResultSize。

解决方案:

               参考分布式参数配置方法连接finedb,为FINE_CONF_ENTITY表增加参数DistributedOptimizationConfig.spiderConfig.spark_driver_maxResultSize,并设置该参数的值为合适的最大数据量大小。

               注:此处的值不能过大,过大会导致内存溢出。