今天在使用gpfdist外部表入库的时候报错,报错信息大概为:FAIL,"gpfdist error - line too long in file",首先查看数据文件的数据长度是否超长,发现确实是长度过长。
解决办法:可以新指定一个gpfdist端口,并添加一个-m 参数,
-m参数的意思是设置需要的最大数据行长度(字节),默认的最大长度是32768=20*1024,可以提高这个值来使超长的数据通过,如设置为40*1024,100*1024等。
即在gpfdist启动程序添加-m 102400
以100*1024举例:
原始报错的端口启动
nohup gpfdist -t 300 -w 600 -d /data -p 7071 -l /data/output/7071 &
新建端口启动:
nohup gpfdist -t 300 -w 600 -d /data -m 102400 -p 8081 -l /data/output/8081 &
如此,关于line too long in问题就可以解决了。
评论