我们正在创建Dataflow作业模板并使用google-api-python-client库启动新作业。在Dataflow作业模板创建期间,默认为所有作业启用Cloud Profiler。
python3 -m app.image_embeddings \
--job_name "image-embeddings" \
--region "us-central1" \
--runner "DataflowRunner" \
...
--experiment "use_runner_v2" \
--experiment "enable_google_cloud_profiler" \
--experiment "enable_google_cloud_heap_sampling" \
--dataflow_service_options=enable_google_cloud_profiler
即使在我们的端上没有做任何更改,有些作业是由分析器描述的,有些则没有。
根据日志,Profiler已启用并且没有错误,但某些作业的作业配置文件仍然不可用。查看作业的分析器链接时有消息。
有针对指定时间范围收集的配置文件,但没有一个与当前过滤器匹配。
这个问题是GCP,还是与我们的执行有关?
是否所有作业都使用相同的用户或服务号?这可能是权限问题,也许某些服务帐户缺少角色角色/cloud dprofile. agent
?