[故障处理]gpfdist报错line too long in处理

ronpris
ronpris
ronpris
253
文章
1
评论
2020年3月30日10:47:51 评论 544 411字阅读1分22秒

今天在使用gpfdist外部表入库的时候报错,报错信息大概为:FAIL,"gpfdist error - line too long in file",首先查看数据文件的数据长度是否超长,发现确实是长度过长。

解决办法:可以新指定一个gpfdist端口,并添加一个-m 参数,
-m参数的意思是设置需要的最大数据行长度(字节),默认的最大长度是32768=20*1024,可以提高这个值来使超长的数据通过,如设置为40*1024,100*1024等。

即在gpfdist启动程序添加-m 102400

以100*1024举例:

原始报错的端口启动
nohup gpfdist -t 300 -w 600 -d /data -p 7071 -l /data/output/7071 &

新建端口启动:

nohup gpfdist -t 300 -w 600 -d /data -m 102400 -p 8081 -l /data/output/8081 &

如此,关于line too long in问题就可以解决了。

[基础教程]Mysql单表查询优先级实例讲解 原创推荐

[基础教程]Mysql单表查询优先级实例讲解

这篇文章主要介绍了MySQL单表查询操作,结合实例形式详细分析了mysql单表查询的语法、约束、分组、聚合、过滤、排序等相关原理、操作技巧与注意事项,需要的朋友可以参考下 本文实例讲述了MySQL单表...
[基础教程]Linux系统常用文件管理命令 原创推荐

[基础教程]Linux系统常用文件管理命令

这篇文章主要介绍了linux文件管理命令,结合实例形式分析Linux文件管理的显示、查看、统计等相关操作命令使用技巧,需要的朋友可以参考下 本文实例讲述了linux文件管理命令。分享给大家供大家参考,...