提问者:小点点

使用Kubeflow管道kfp. ParallelFor时聚合结果


聚合Kubeflow Pipleine kfp. ParallelFor结果的好模式是什么?


共2个答案

匿名用户

不完全是你要求的,但是我们的解决方法是将并行任务的结果写入S3,然后在后处理任务中简单地收集它们。

with dsl.ParallelFor(preprocessing_task.output) as plant_item:
                predict_plant='{}'.format(plant_item)
                forecasting_task = forecasting_op(predict_plant, ....).after(preprocessing_task)
postprocessing_task = postprocessing_op(...).after(forecasting_task)

匿名用户

目前可能不支持:

支持具有多个参数的输入#1933

相关问题