Nach den ein oder anderen Umwegen habe ich mich jetzt auch einmal an Hermes mit Ollama und llama3.1:8b gewagt und zum laufen gebracht.
Was mich aber am meisten gefreut hat ist, dass ich es auch geschafft habe aus meiner lokalen web Anwendung jetzt eine anfrage an Ollame incl. Antwort/Auswertung zu realisieren. Damit habe ich jetzt natürlich komplett andere Möglichkeiten in meinen Lan Webanwendungen. Es bleibt wirklich sehr spannend. Einzige Problem ist, dass für wirklich grosse Modelle anscheinend gerade massiv kostspielige Grafikkarten benötigt werden.