本文共 236 字,大约阅读时间需要 1 分钟。
在一次hive语句进行行转列操作的时候,几千万的数据量发生了omm, GC overhead limit exceeded.
去网上查找了一下,判断是自己给map端和reduce端的内存太小了,才导致的omm,所以增加map端和reduce端的内存就好了.直接在客户端设置一下.hive> set mapreduce.map.memory.mb=2048;hive> set mapreduce.reduce.memory.mb=2048;
再次执行,执行成功.
参考:
转载地址:http://mzjkb.baihongyu.com/