Da die Berücksichtigung der DSGVO Vorgaben nicht nur beim Betrieb von n8n, sondern bei jedwedem KI-Tool/ LLM Einsatz essentiell ist, bastelte ich mir gestern Abend eine kleine lokale Umgebung mit Ollama und OpenWebUI plus LLAMA bzw. Mistral. Gern würde ich jene LLMs nun auch mit ihren jeweils besten Modellen (bspw. LLAMA 70B) auf meiner Maschine nutzen, benötige dafür aber dort eine entsprechende Performance (Grafikkarte NVIDIA RTX 4080/4090/5080/5090 mit mind 16 VRAM, mind 64 RAM etc.).
Bringt mich zu meiner Frage: hat irgendjemand bitte ähnliche Erfahrungen und sich LLMs bereits lokal auf seinem Laptop gehostet? Welche Maschine nutzt Ihr dafür bitte (alternative Server- oder KI Workstation Lösung ist für mich nicht interessant)?