High Performance Distributed Inference with Ray Serve LLManyscale.com3 ポイント·投稿者 robertnishihara·24 日前·0 コメント
67% Cost Savings with PD Disaggregation Using Ray and vLLM on AMD MI325Xanyscale.com4 ポイント·投稿者 robertnishihara·26 日前·0 コメント
Major upgrades to Ray Serve: 88% lower latency and 11.1x higher throughputanyscale.com2 ポイント·投稿者 robertnishihara·4 か月前·1 コメント
SkyRL brings Tinker to your GPUs (2025)novasky-ai.notion.site24 ポイント·投稿者 robertnishihara·5 か月前·5 コメント
vLLM large scale serving: DeepSeek 2.2k tok/s/h200 with wide-epblog.vllm.ai147 ポイント·投稿者 robertnishihara·6 か月前·54 コメント