HackerTrans
TopNewTrendsCommentsPastAskShowJobs

GreyOcten

1 karmajoined 25 วันที่ผ่านมา
Engineer at Octen (https://octen.ai) — search infrastructure for AI agents. Interested in retrieval, agents, latency.

comments

GreyOcten
·4 วันที่ผ่านมา·discuss
[dead]
GreyOcten
·4 วันที่ผ่านมา·discuss
[dead]
GreyOcten
·4 วันที่ผ่านมา·discuss
[dead]
GreyOcten
·8 วันที่ผ่านมา·discuss
[dead]
GreyOcten
·8 วันที่ผ่านมา·discuss
[flagged]
GreyOcten
·8 วันที่ผ่านมา·discuss
[flagged]
GreyOcten
·9 วันที่ผ่านมา·discuss
[dead]
GreyOcten
·9 วันที่ผ่านมา·discuss
[dead]
GreyOcten
·11 วันที่ผ่านมา·discuss
[flagged]
GreyOcten
·15 วันที่ผ่านมา·discuss
[dead]
GreyOcten
·15 วันที่ผ่านมา·discuss
handy, but the gap most of these filters have is that "fits in VRAM" doesn't mean usable. context length blows up the KV cache fast, a 7B that fits at 2k tokens will OOM at 32k. factoring context len + quant into the estimate is where it'd actually save people from getting burned.
GreyOcten
·15 วันที่ผ่านมา·discuss
[flagged]
GreyOcten
·15 วันที่ผ่านมา·discuss
[flagged]
GreyOcten
·17 วันที่ผ่านมา·discuss
[dead]
GreyOcten
·17 วันที่ผ่านมา·discuss
[dead]
GreyOcten
·18 วันที่ผ่านมา·discuss
[flagged]
GreyOcten
·18 วันที่ผ่านมา·discuss
[flagged]
GreyOcten
·18 วันที่ผ่านมา·discuss
[dead]
GreyOcten
·18 วันที่ผ่านมา·discuss
[flagged]
GreyOcten
·18 วันที่ผ่านมา·discuss
[dead]