Foto: © AdobeStock / nikkimeel
Große Sprachmodelle durchsuchen riesige Textmengen, um Informationen zusammenzufassen und Inhalte zu generieren. Sie können zum Beispiel Fragen mit Sätzen beantworten, die sich so lesen, als wären sie von Menschen geschrieben.
Das Modell, das laut Meta „weit weniger“ Rechenleistung benötigt als frühere Angebote, wurde für 20 Sprachen trainiert, wobei der Schwerpunkt auf Sprachen mit lateinischen und kyrillischen Alphabeten liegt.
„Die […] Ankündigung von Meta scheint ein Schritt zur Erprobung ihrer generativen KI-Fähigkeiten zu sein, damit sie diese in Zukunft in ihre Produkte einbauen können“, erklärt Gil Luria, Senior Software Analyst bei D.A. Davidson. „Generative KI ist eine neue Anwendung von KI, mit der Meta noch nicht so viel Erfahrung hat, die aber für die Zukunft des Unternehmens eindeutig wichtig ist.“
Laut Meta könne LLaMA Konkurrenten übertreffen, die mehr Parameter oder Variablen, die der Algorithmus berücksichtigt, untersuchen. Konkret könne ein Version von LLaMA mit 13 Milliarden Parametern GPT-3 einen neueren Vorgänger des Modells, auf dem ChatGPT basiert, übertreffen. Das Unternehmen bezeichnete sein LLaMA-Modell mit 65 Milliarden Parametern als „wettbewerbsfähig“ mit Googles Chinchilla70B und PaLM-540B. Eine Sprecherin von Meta führte die Leistung auf eine größere Menge „sauberer“ Daten und „architektonische Verbesserungen“ des Modells zurück, die die Trainingsstabilität erhöhten.
Im Mai letzten Jahres veröffentlichte Meta das große Sprachmodell OPT-175B, das sich ebenfalls an Forschende richtete und die Grundlage für eine neue Version des Chatbots BlenderBot bildete. Später präsentiert Meta ein Modell namens Galactica, das wissenschaftliche Artikel schreiben und mathematische Probleme lösen konnte, zog die Demo aber schnell wieder zurück, nachdem es autoritär klingende falsche Antworten erzeugt hatte.
Quellen: reuters.com >>; ai.facebook.com >>
