this post was submitted on 16 Oct 2024
21 points (95.7% liked)
Technik
302 readers
117 users here now
die Community für alles, was man als Technik beschreiben kann
Beiträge auf Deutsch oder Englisch
founded 4 months ago
MODERATORS
you are viewing a single comment's thread
view the rest of the comments
view the rest of the comments
Wozu ist so ein "KI-PC" eigentlich gut? Für lokale KI brauche ich eine Grafikkarte mit viel Speicher. Da brauche ich keinen neuen PC. Schon gar nicht mit Windows 11.
Grundsätzlich ist die Idee ja nicht verkehrt, dass man Rechner mit genügend Leistung ausstattet, damit sie performant LLMs auch lokal laufen lassen können. LLMs sind zwar nicht für alles gut, aber können natürlich trotzdem coole Dinge machen und die frei verfügbaren Modelle sind schon gut. Dann kannst du halt dein PDF zusammenfassen ohne alles direkt in die Cloud zu schieben.
Akzeptabel: LLMs fuer die muelltonne, ueberall anders wird der Mist rausgehalten.