【hive报错】org.apache.hadoop.io.Text cannot be cast to org.apache.hadoop.hive.ql.io.orc.OrcSerde$OrcSerdeRow

作者: leostudy360 分类: Hive,Hive日常报错专题 发布时间: 2019-10-23 18:38

最近在执行Hive insert/select语句的过程碰到下面这种类型的异常:

异常1:

Caused by: java.lang.ClassCastException: org.apache.hadoop.io.Text cannot be cast to org.apache.hadoop.hive.ql.io.orc.OrcSerde$OrcSerdeRow
at org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat$OrcRecordWriter.write(OrcOutputFormat.java:81)
at org.apache.hadoop.hive.ql.exec.FileSinkOperator.process(FileSinkOperator.java:753)
at org.apache.hadoop.hive.ql.exec.Operator.forward(Operator.java:837)
at org.apache.hadoop.hive.ql.exec.LimitOperator.process(LimitOperator.java:54)
at org.apache.hadoop.hive.ql.exec.Operator.forward(Operator.java:837)
at org.apache.hadoop.hive.ql.exec.SelectOperator.process(SelectOperator.java:88)
at org.apache.hadoop.hive.ql.exec.mr.ExecReducer.reduce(ExecReducer.java:235)
… 7 more

异常2:

Failed with exception java.io.IOException:java.lang.ClassCastException: org.apache.hadoop.hive.ql.io.orc.OrcStruct cannot be cast to org.apache.hadoop.io.BinaryComparable

本文已上述的错误为切入点,分析下异常原因以及Hive相关的关于Format的异常。主要内容如下:

1. 异常的原因分析及解决方法

1.1 异常1分析

异常1:

Caused by: java.lang.ClassCastException: org.apache.hadoop.io.Text cannot be cast to org.apache.hadoop.hive.ql.io.orc.OrcSerde$OrcSerdeRow
at org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat$OrcRecordWriter.write(OrcOutputFormat.java:81)
at org.apache.hadoop.hive.ql.exec.FileSinkOperator.process(FileSinkOperator.java:753)
at org.apache.hadoop.hive.ql.exec.Operator.forward(Operator.java:837)
at org.apache.hadoop.hive.ql.exec.LimitOperator.process(LimitOperator.java:54)
at org.apache.hadoop.hive.ql.exec.Operator.forward(Operator.java:837)
at org.apache.hadoop.hive.ql.exec.SelectOperator.process(SelectOperator.java:88)
at org.apache.hadoop.hive.ql.exec.mr.ExecReducer.reduce(ExecReducer.java:235)
… 7 more

该异常发生在insert overwrite阶段,即select出来的数据插入目标表时抛出异常。从异常栈中可以清楚地看到OrcOutputFormat、java.lang.ClassCastException这些信息,可见这是Reduce任务将最终结果进行持久化(写入HDFS文件系统)时出现错误。首先,我们需要明确这个数据持久化的大体流程是什么样的?如下图所示:

read-process

Read过程:InputFormat将输入流(InputStream)分割成纪录(<key,value>),Deserializer将纪录(<key,value>)解析成列对象。

write-process

Write过程:Serializer将列对象转化为纪录(<key,value>),OutputFormat将纪录(<key,value>)格式化为输出流(OutputStream)。

上图中描绘的分别是数据载入内存和持久化的过程。异常信息中的OrcOutputFormat说明错误出在数据持久化过程中。从图中可知,序列化器Serializer的输出数据,就是OutputFormat的输入数据。接下来就是确定目标表的SerDe/InputFormat/OutputFormat分别是什么。通过下面命令查看。

desc formatted $table

结果如下:

desc formatted $table

Storage Information

SerDe Library: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
InputFormat: org.apache.hadoop.hive.ql.io.orc.OrcInputFormat
OutputFormat: org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat

由上可知,目标表的SerDe为LazySimpleSerDe,而其Input/OutputFormat是orc的。所以异常1的原因也就得出:

异常1原因:序列化/反序列化器LazySimpleSerDe在执行serialize后的结果类型是Text,而OrcOutputFormat的接收数据类型必须是OrcSerdeRow。这就造成了ClassCastException。

下面是OrcOutputFormat的write方法源码:

public class OrcOutputFormat extends … {

@Override
public void write(Writable row) throws IOException {
// 若类型不匹配,会抛出异常。
OrcSerdeRow serdeRow = (OrcSerdeRow) row;
if (writer == null) {
options.inspector(serdeRow.getInspector());
writer = OrcFile.createWriter(path, options);
}
writer.addRow(serdeRow.getRow());
}
。。。

}

原因找到后,解决办法就很简单了,将该table的fileformat修改为orc即可,如下所示:

ALTER TABLE $table SET FILEFORMAT ORC;

1.2 异常2分析

# 异常2:
Failed with exception java.io.IOException:java.lang.ClassCastException: org.apache.hadoop.hive.ql.io.orc.OrcStruct cannot be cast to org.apache.hadoop.io.BinaryComparable

通过异常1的分析后,这个异常的原因也就很容易定位了,数据读取阶段:OrcInputFormat的输出结果是OrcStruct类型,其作为输入数据传给LazySimpleSerDe的deserialize方法,很明显,deserialize中进行类型转换时抛出该异常。下面是LazySimpleSerDe的doDeserialize方法源码:

  @Override
  public Object doDeserialize(Writable field) throws SerDeException {
    if (byteArrayRef == null) {
      byteArrayRef = new ByteArrayRef();
    }
    // OrcStruct -> BinaryComparable
    BinaryComparable b = (BinaryComparable) field;
    byteArrayRef.setData(b.getBytes());
    cachedLazyStruct.init(byteArrayRef, 0, b.getLength());
    lastOperationSerialize = false;
    lastOperationDeserialize = true;
    return cachedLazyStruct;
  }

下图是已TEXTFILE格式作为存储格式时的读取流程:

textfile-read-process

现在将TextInputFormat换成OrcInputFormat后:

orc-text-incompatible

小结:以上两种异常的根本原因都是由于序列化/反序列化器SerDe和InputFormat/OutputFormat不匹配造成的。这通常是由于创建表时没有正确指定这三个配置项造成的。

FAQ

1. stored as orc 和 stored as INPUTFORMAT … OUTPUTFORMAT …的区别?

当我们使用stored as orc的时候,其实已经隐式的指定了下面三个配置:

  1. SERDE:org.apache.hadoop.hive.ql.io.orc.OrcSerde
  2. INPUTFORMAT:org.apache.hadoop.hive.ql.io.orc.OrcInputFormat
  3. OUTPUTFORMAT:org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat

当我们显示的指定STORED AS INPUTFORMAT/OUTPUTFORMAT:

STORED AS INPUTFORMAT
  ‘org.apache.hadoop.hive.ql.io.orc.OrcInputFormat’
OUTPUTFORMAT
  ‘org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat’

此时SERDE并没有指定,会使用默认的serde,在hive cli中可以通过下面cmd查看:

set hive.default.serde;
hive.default.serde=org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe

当然了,如果hive-site.xml中已经配置了hive.default.fileformat,那么不知道stored as的情况下,会使用hive.default.fileformat指定的文件格式。

<property>
        <name>hive.default.fileformat</name>
        <value>ORC</value>
</property>

参考

打赏 赞(1)
微信
支付宝
微信二维码图片

微信扫描二维码打赏

支付宝二维码图片

支付宝扫描二维码打赏

如果觉得资源对您有用,请随意打赏!您的打赏是我不断前进的动力!更多内容可关注大数据圈儿微信公众号

大数据圈儿

发表评论