Gestern erzählte mir ein sehr versierter Kollege, dass er eigens installierte Instanzen von AIs nutzt, die nicht kommunizieren. Da frage ich mich wie. Sie können ja nicht alle Informationen vorab gespeichert haben.
Du kannst Sprachmodelle, Bild Modelle und sogar Video Modelle alle lokal laufen lassen.
Natürlich sind das dann Modelle die nicht tagesaktuelle Informationen im Cache haben sondern eben einen bestimmten Cutoff in den Daten haben.
Was du dafür brauchst ist eine gute Grafikkarte da AI Modelle den schnellen Grafikspeicher benötigen.
Einige der bekannten Modelle sind ja auch Opensource so das du sie 1:1 so zuhause laufen lassen kannst wie sie online verfügbar sind. Grade die LLaMA Modelle die Meta verwendet sind Open Source und gibt es in vielen verschiedenen Finetunes für den lokalen gebrauch. Auch Modelle wie Flux und natülich StableDifusion können lokal laufen und sind frei verfügbar.
Neben der Hardware brauchst du aber einiges an Kenntnissen um das auch hinzubekommen oder man nutzt einige der fertigen Umgebungen wie z.B. ComfyUI oder Pinokio die es deutlich einfacher machen.