我目前正在尝试设置一个kubeflow管道。我的用例要求管道的配置应通过yaml/json结构提供。查看提交管道的留档,我遇到了这一段:
每个管道都被定义为一个Python程序。在您可以向Kubeflow管道服务提交管道之前,您必须将管道编译为中间表示。中间表示采用YAML文件的形式压缩成. tar.gz文件。
是否可以通过json表示或任何其他表示而不是zip文件(tar. gz)表示上传/提交管道到KubeFlow?有没有办法绕过文件(zips和tar.gz)的文件系统持久性并将它们作为yaml/json表示添加到数据库中?
当您编译python管道代码时,它会生成一个包含YAML
文件的压缩文件。您可以在解压后取出YAML文件,然后将其内容添加到数据库表中。
稍后如果您想将其上传到Kubeflow
,请使用以下代码:
pipeline_file_path = 'pipelines.yaml' # extract it from your database
pipeline_name = 'Your Pipeline Name'
client = kfp.Client()
pipeline = client.pipeline_uploads.upload_pipeline(
pipeline_file_path, name=pipeline_name)