提问者:小点点

将JavaRDD<List<XXMClass>>转换为JavaRDD<XXMClass>


我有一个类对象列表的JavaRDD。我想将其展平为类对象的JaveRDD,以便JavaRDD

在这篇文章中,将RDD列表转换为火花中单个元素的RDD一个解决方案是

val newrdd = rdd.flatmap(line => line)

但是,line=

rdd.flatmap(line-> line)

它给和错误

“不存在类型为U的变量实例,因此List符合Iterator”


共1个答案

匿名用户

您传递给litMap的函数应该返回一个java. util.Iterator

JavaRDD<SomeClass> newRdd = rdd.flatMap(List::iterator);