Don't Build a Router. Train the Small Model to Know When to Deferdistillabs.ai2 ポイント·投稿者 kkm·11 日前·1 コメント
The gap between open weights LLMs and closed source LLMsblog.doubleword.ai306 ポイント·投稿者 kkm·14 日前·250 コメント
UCCL-EP: DeepEP-style expert parallelism on any NIC, no GPU-initiated commsfergusfinn.com9 ポイント·投稿者 kkm·26 日前·0 コメント
MoE expert co-activations: Reordering inputs yields easy throughput gainsblog.doubleword.ai2 ポイント·投稿者 kkm·先月·0 コメント
Speculative KV coding: losslessly compressing KV cache by up to ~4×fergusfinn.com155 ポイント·投稿者 kkm·先月·48 コメント
Brave AI privacy:LLMs on NEAR AI Nvidia-Backed Trusted Execution Environmentsbrave.com1 ポイント·投稿者 kkm·8 か月前·0 コメント
kkm·先月·議論Also the vllm patch accompanying the blogpost: https://github.com/doublewordai/vllm-amd-blog-doubleword