Cutting LLM Batch Inference Time in Half: Dynamic Prefix Bucketing at Scaledaft.ai5 ポイント·投稿者 ykev·8 か月前·1 コメント