题目 ID: q-12196

如果要在 GPU 资源有限的条件下同时提供推理和微调服务,如何做资源分配和任务调度以保证时延和吞吐?

频次 5
机器学习系统 高频

当前状态:未收藏、未完成

常见追问

  • 如果你要在 GPU 资源有限的条件下同时提供推理和微调服务,如何做资源分配和任务调度以保证时延和吞吐?

常见公司

通用题库字节跳动