Show HN: WebGPU enables local LLM in the browser – demo site with AI chatandreinwald.github.io145 points·by andreinwald·12 เดือนที่ผ่านมา·54 comments
andreinwald·12 เดือนที่ผ่านมา·discussIt works on small Llama-3.2-1B model, specially for less powerfull GPU devices
andreinwald·12 เดือนที่ผ่านมา·discussModel used: Llama 3.2 1B (small). Quality hould be similar with running Ollama app with same small model.
andreinwald·12 เดือนที่ผ่านมา·discussOn my Android device works pretty fast.But keep in mind that it's small Llama-3.2-1B model, specially for less powerfull GPU.
andreinwald·12 เดือนที่ผ่านมา·discussYes, its very similar to Ollama app, and Llama-3.2-1B model used