secretpad发起多个并发任务的问题

[ShaneGu4Real]

Issue Type

Api Usage

Have you searched for existing issues?

Yes

Link to Relevant Documentation

No response

Question Details

如果我们想实现发起多个训练任务，现在的逻辑是否是在训练的两个节点里，也就是同一个容器里启动多个任务，并行操作；我们准备部署在云环境里，假定资源是很充裕的，是否可以发起多个任务的时候，启动多个容器，进行并发操作，提高效率，而不是在单个容器里并发多个任务，谢谢

[383004576]

您好，单任务分到多容器运算目前是不支持的，性能问题已在您另一个工单回复412

[ShaneGu4Real]

多个任务，启动多个容器，这个是支持的吗，还是说多个任务也是在一个容器里，启动多个进程？如果可以应该怎么实现呢，谢谢

[383004576]

建议把 secretflow 当做一个“计算引擎”来看，每个任务（或每组相关的任务）建立一个独立的 secretflow 集群，完成任务后关闭这个集群；不同的任务间用容器等方式来做隔离。

[ShaneGu4Real]

您好如果在secretpad界面里发起的多个任务，实际是在一个容器里启动多个进程吧？
如果我们部署的是center平台类型的secretpad，alice和bob节点作为合作节点加入到Center平台中，tom和Jerry也作为合作节点加入到Center平台中，如果alice和bob发起一个联合任务（任务名称为A）执行，tom和Jerry也同时发起一个联合任务（任务名称为B）执行，我理解的是否是 任务A用到的是Alice 和bob的容器资源进行计算，tom和Jerry的容器资源不会用到，任务A和任务B之间是互不干扰的，如果alice和bob再同时发起一个联合任务（任务名称为C），那 任务A和任务C是在同一个容器里，共享一份资源吧
过程是有点绕，麻烦解答下

[383004576]

任务A和任务B相互不干扰，任务A和任务C共享资源。