我们有一个顶点AI模型，需要相对较长的时间来返回预测。

当使用一个实例访问模型endpoint时，工作正常。但是大小的批处理作业说1000个实例最终会出现大约150 504个错误（上游请求超时）。（我们实际上需要发送批量65K但我正在对1000进行故障排除）。

我尝试增加副本的数量，假设交给模型的实例数为（1000/#副本），但情况似乎并非如此。

然后我读到默认批处理大小为64，因此尝试从创建批处理作业的python代码中将批处理大小减小到4：

model_parameters=batch_size=4

def run_batch_prediction_job(vertex_config):

    aiplatform.init(
        project=vertex_config.vertex_project, location=vertex_config.location
    )

    model = aiplatform.Model(vertex_config.model_resource_name)

    model_params = dict(batch_size=4)
    batch_params = dict(
        job_display_name=vertex_config.job_display_name,
        gcs_source=vertex_config.gcs_source,
        gcs_destination_prefix=vertex_config.gcs_destination,
        machine_type=vertex_config.machine_type,
        accelerator_count=vertex_config.accelerator_count,
        accelerator_type=vertex_config.accelerator_type,
        starting_replica_count=replica_count,
        max_replica_count=replica_count,
        sync=vertex_config.sync,
        model_parameters=model_params
    )

    batch_prediction_job = model.batch_predict(**batch_params)

    batch_prediction_job.wait()

    return batch_prediction_job

我还尝试将机器类型增加到n1-高-cpu-16，这有所帮助，但我不确定我是否了解如何将批次发送到副本？

有没有其他方法可以减少发送到模型的实例数？或者有没有办法增加超时时间？有没有日志输出我可以用来帮助解决这个问题？谢谢