this post was submitted on 26 Aug 2024
91 points (98.9% liked)
ich_iel
2102 readers
430 users here now
Die offizielle Zweigstelle von ich_iel im Fediversum.
Alle Pfosten mĂĽssen den Titel 'ich_iel' haben, der Unterstrich darf durch ein beliebiges Symbol oder Bildschriftzeichen ersetzt werden. Ihr dĂĽrft euch frei entfalten!
📱 Empfohlene Schlaufon-Applikationen für Lassmich
Befreundete Kommunen:
Regeln:
1. Seid nett zueinander
Diskriminierung anderer Benutzer, Beleidigungen und Provokationen sind verboten.
2. Pfosten mĂĽssen den Titel 'ich_iel' oder 'ich iel' haben
Nur Pfosten mit dem Titel 'ich_iel' oder 'ich iel' sind zugelassen. Alle anderen werden automatisch entfernt.
Unterstrich oder Abstand dĂĽrfen durch ein beliebiges Textsymbol oder bis zu drei beliebige Emojis ersetzt werden.
3. Keine Hochwähl-Maimais oder (Eigen)werbung
Alle Pfosten, die um Hochwählis bitten oder Werbung beinhalten werden entfernt. Hiermit ist auch Eigenwerbung gemeint, z.b. für andere Gemeinschaften.
4. Keine BildschirmschĂĽsse von Unterhaltungen
Alle Pfosten, die Bildschirmschüsse von Unterhaltungen, wie beispielsweise aus WasistApplikaton oder Zwietracht zeigen, sind nicht erlaubt. Hierzu zählen auch Unterhaltungen mit KIs.
5. Keine kantigen Beiträge oder Meta-Beiträge
ich_iel ist kein kantiges Maimai-Brett. Meta-Beiträge, insbesondere über gelöschte oder gesperrte Beiträge, sind nicht erlaubt.
6. Keine Überfälle
Wer einen Überfall auf eine andere Gemeinschaft plant, muss diesen zuerst mit den Mods abklären. Brigadieren ist strengstens verboten.
7. Keine Ăś40-Maimais
Maimais, die es bereits in die WasistApplikation-Familienplauderei geschafft haben oder von RĂĽdiger beim letzten Stammtisch herumgezeigt wurden, sind besser auf /c/ichbin40undlustig aufgehoben.
8. ich_iel ist eine humoristische Plattform
Alle Pfosten auf ich_iel müssen humorvoll gestaltet sein. Humor ist subjektiv, aber ein Pfosten muss zumindest einen humoristischen Anspruch haben. Die Atmosphäre auf ich_iel soll humorvoll und locker gehalten werden.
9. Keine Polemik, keine Köderbeiträge, keine Falschmeldungen
Beiträge, die wegen Polemik negativ auffallen, sind nicht gestattet. Desweiteren sind Pfosten nicht gestattet, die primär Empörung, Aufregung, Wut o.Ä. über ein (insbesonders, aber nicht nur) politisches Thema hervorrufen sollen. Die Verbreitung von Falschmeldungen ist bei uns nicht erlaubt.
Bitte beachtet auch die Regeln von Feddit.org
founded 5 months ago
MODERATORS
you are viewing a single comment's thread
view the rest of the comments
view the rest of the comments
offene quelle groĂźe sprach Modelle sind toll. reimt sich sogar. kann man auch auf normal Verbraucher Spielen Grafik Prozessor Einheiten benutzen.
FĂĽr die groĂźen Modelle wirst du nicht genug vram haben. Da brauchst du schon einen Server oder sehr potente Workstation. Auf Bazzite bekomme ich aber nicht mal mehr ROCm support zum laufen.
Mit den 8gb meiner RTX 3070 die in meinem Laptop ist kann ich nichts wirklich nĂĽtzliches machen was LLMs an geht, fĂĽr Stable diffusion ist es aber mehr als ausreichend. Wenn ich ein bissl Kohle ĂĽbrig habe fĂĽr einen PC habe ich vor mir eine von AMD mit 16gb zu holen, das sollte mehr als genug fĂĽr gute open source Modelle sein.
Vorsicht bei AMD. Die Unterstützung gilt meistens nur für die Karten/Chips der letzten 2 Jahre. Dann haste Pech. Hab ein Krita SD Plugin auf meinem 5 Jahre alten PC mit nVidia zum laufen gebracht, während der 2 Jahre alte Laptop mit AMD Chip nicht mehr lief. Der Chip wurde mal unterstützt, aber der Support seitens AMD gestrichen.
Ich habe immer gehoert Fortgeschrittene Mikro Geraete (FMG) ist das geh-zu fuer Linux? Ich hatte auch viele Probleme mit meiner Nvidia Karte auf NixOS. Vielleicht ist es mit denen offenequelle treibern von Linux besser als auf Fenster?
FĂĽr ein 8x7b Modell brauchst du schon 24GB und die meisten 13b (10GB) Modelle sind meist nicht mal so gut wie die 7b (6GB) Modelle. Und fĂĽr 70b brauchst du halt 40GB. FĂĽr viel mehr als Rollenspiele usw. kannst du lokale Text LLMs eigentlich nicht gebrauchen.
Ich hatte mal Llama auf meiner Arbeitsstation laufen, auf dem Prozessor (Xeon E5-2680) mit 128 GB Arbeitsspeicher. Hat ok funktioniert.
Ist halt massiv langsamer.
Stimmt, aber bis jetzt ist es das beste das ich habe. Sonst halt ne 1070, aber das reicht auch nicht wirklich, denke ich mal. Und selbst wenn ich dann meine neue Graka bekomme, ne 7900 XTX, wandert nur die 1070 in die Arbeitsstation. Heißt ich kann wenigstens andere KI sachen vernünftig laufen lassen (zB. NächsteWolke Bilderkennung) oder auch NetzODK (Netz offene Drohnen Karte, für die Feuerwehrdrohne). Und der alte PC, ohne Graka, dient dann einfach als Zurückhochverifizierer (Zu Gugel Fahren hochgeladene, verschlüsselte und verpackte Zurückhochs werden automatisch heruntergeladen, entschlüsselt, entpackt, die Plattenstruktur repliziert und das dann darüber entpackt. Und final in einer VM gestartet.)