The Anatomy of an Instruction Pipeline Hazardhiraditya.github.io6 points·by somnial·5 ชั่วโมงที่ผ่านมา·0 comments
Width vs. Depth: Speculating on the Marginblog.doubleword.ai17 points·by somnial·12 วันที่ผ่านมา·1 comments
Pushing memory bound CUDA kernels past the speed of light with data compressionfergusfinn.com2 points·by somnial·2 เดือนที่ผ่านมา·0 comments
Speculative KV coding: ~4× losslessly compressed KV cache using a small modelfergusfinn.com2 points·by somnial·2 เดือนที่ผ่านมา·0 comments
LLM powered data structures: A lock-free binary search treefergusfinn.com1 points·by somnial·6 เดือนที่ผ่านมา·0 comments
Parallel Primitives for Multi-Agent Workflowsfergusfinn.com1 points·by somnial·6 เดือนที่ผ่านมา·0 comments
somnial·17 วันที่ผ่านมา·discussthis is a blog post from a company that hosts open weights LLMs (https://www.doubleword.ai/). I think its possible it might have been tongue in cheek
somnial·เดือนที่แล้ว·discusshttps://fergusfinn.com/blog/economics-of-speculative-decodin...good point tho - plus for Deepseek the shared expert increases the overlap slightly
somnial·เดือนที่แล้ว·discusstrue, but no reason the predictor model couldn't use linear attention (i.e. mamba, GDN etc) to predict KV caches