Sqoop采集数据的时候出现数据倾斜解决方法(--split-by --num-mappers)

在这里插入图片描述
注意:
–split-by 后面要是int类型,并且是连续递增的,那么sqpli-by 会平分的很均匀,要是不是自增的那么有的maptask还是很忙,而有的maptask则不是很忙
–num-mappers 后面设置的maptask数目大于1的话,那么–split-by 后面必须跟字段,因为–num-mappers 后面要是1的话,那么
–split-mappers 后面跟不跟字段都没有意义,因为,他只会启动一个maptask进行数据处理。