Neues Projekt im Bereich AI / große Sprachmodelle: LLMentorGrid

[Michael H.W. Weber]

Webseite: http://boinc.llmentor.org/LLMentorGrid/

Aktuell gibt es NUR WUs für Linux-Systeme und noch kein Rechenkraft.net Team, da noch niemand aus unserem Team eine Aufgabe erfolgreich abgeliefert hat.
Hier die Übersetzung der italienischen Projektbeschreibung per DeepL:

Die Forschung an großen Sprachmodellen ist besonders teuer in Bezug auf Rechenressourcen, was die Forschung an diesen interessanten Modellen erschweren kann. Aus diesem Grund schlägt LLMentorGrid die Nutzung der verteilten Computerplattform "Boinc" vor, um auf den Computern von Freiwilligen nützliche Anwendungen laufen zu lassen, die die wissenschaftliche Forschung zu diesen Modellen voranbringen.

Das Trainieren eines Modells mit einem verteilten Paradigma wie dem von Boinc ist leider nicht leicht zu bewerkstelligen: Das Training läuft sequentiell ab und lässt sich daher nur schwer in einer Reihe von "Arbeitseinheiten" parallelisieren, da in der Praxis die "nächste" Arbeitseinheit von der "vorhergehenden" abhängt und so weiter, wodurch die Vorteile einer großen Anzahl von Maschinen zunichte gemacht werden. Dieser Aspekt und die übermäßigen Anforderungen an Rechenleistung, Speicher, Input/Output und Bandbreite haben bisher von der Verwendung von Boinc im Bereich der großen Sprachmodelle abgehalten, trotz der großen Bedeutung, die diese Modelle im heutigen Panorama haben.

LLMentorGrid hingegen schlägt die Schaffung einer Boinc-Plattform für die Durchführung von Experimenten mit LLMs vor, die nicht direkt große Modelle trainieren oder anpassen.
Erstens zielt LLMentorGrid darauf ab, die von Freiwilligen freundlicherweise zur Verfügung gestellte Rechenleistung zu nutzen, um Inferenzaufgaben durchzuführen, d. h. bestehende Modelle laufen zu lassen, um modellgenerierte Inhalte zu sammeln. Dies kann verschiedenen Zwecken dienen, z. B. der Generierung verschiedener Arten von synthetischen Daten (wie Zusammenfassungen, Frage-Antwort-Paare, Argumentationsketten usw.), die für das anschließende Training neuer Modelle wertvoll sind.

LLMentorGrid ist sicherlich eine geeignete Plattform, um Modelle zu benchmarken, d.h. Testbatterien laufen zu lassen, um ihre Leistungsfähigkeit zu verifizieren und zu bewerten.

Schließlich ist LLMentorGrid ein Projekt, dessen Hauptziel darin besteht, die Forschung im Zusammenhang mit der Frage der Interpretierbarkeit voranzutreiben, d.h. der Versuch, die "Black Box" zu öffnen, die durch die "Gewichte" eines bereits trainierten Modells gebildet wird und selbst für die Modellentwickler selbst undurchschaubar ist, um Fragen zu beantworten, die damit zusammenhängen, "warum" sich ein Modell auf eine bestimmte Art und Weise verhält und welche Art von Kreisläufen in ihm entstehen, um die verschiedenen Aufgaben zu erfüllen, zu denen es fähig ist. Dies ist eine faszinierende und grundlegende Untersuchung des Problems der Anpassung, d. h. der Sicherstellung, dass Modelle die von ihren Entwicklern gesetzten Ziele verfolgen und gefährliches oder schädliches Verhalten vermeiden. Zu diesem Zweck kann LLMentorGrid dazu verwendet werden, Bibliotheken wie "transformerlens" auszuführen, um die Aktivierungszustände des Modells zu sammeln und zu analysieren, oder um verstreute Autocoder auszuführen, um zu versuchen, die "Neuronen" eines Modells in verschiedenen Situationen zu identifizieren. Im Gegensatz zum Modelltraining, das sich nur schwer parallelisieren und somit über Boinc durchführen lässt, eignet sich die Suche nach der Interpretierbarkeit gut für eine verteilte Architektur, da sich die Experimente leicht in kleine Elemente aufteilen lassen, die dann aggregiert werden können.

Auch Sie tragen dazu bei!

Michael.

[gemini8]

Das Projekt sucht / braucht Unterstützung mit Python.
Siehe Quelle.