在真机部署时，大模型经常会面临两类极端场景。一类是像客服聊天这样的短对话，用户对响应速度极其敏感。对于这种场景，团队建议把负责吸收上文的节点和负责生成回答的节点放在同一台机器上，省去网络传输的时间。