Lokale KI I Welchen Laptop nutzt Ihr?
Da die Berücksichtigung der DSGVO Vorgaben nicht nur beim Betrieb von n8n, sondern bei jedwedem KI-Tool/ LLM Einsatz essentiell ist, bastelte ich mir gestern Abend eine kleine lokale Umgebung mit Ollama und OpenWebUI plus LLAMA bzw. Mistral. Gern würde ich jene LLMs nun auch mit ihren jeweils besten Modellen (bspw. LLAMA 70B) auf meiner Maschine nutzen, benötige dafür aber dort eine entsprechende Performance (Grafikkarte NVIDIA RTX 4080/4090/5080/5090 mit mind 16 VRAM, mind 64 RAM etc.).
Bringt mich zu meiner Frage: hat irgendjemand bitte ähnliche Erfahrungen und sich LLMs bereits lokal auf seinem Laptop gehostet? Welche Maschine nutzt Ihr dafür bitte (alternative Server- oder KI Workstation Lösung ist für mich nicht interessant)?
2
3 comments
Julius Grote
1
Lokale KI I Welchen Laptop nutzt Ihr?
powered by
n8n, KI & Automation
skool.com/ki-automatisierung-n8n-5350
Deutsche Community für n8n, KI und Automation. KI-Agenten erstellen, KI-Agentur gründen, KI-Automation Workflows verkaufen oder intern nutzen.
Build your own community
Bring people together around your passion and get paid.
Powered by