Offener Zugang
Meta stellt sein aktuelles KI Modell Llama als Open Source zum Download bereit, ein spannender Schritt für die Nutzung Künstlicher Intelligenz auf dem eigenen Computersystem. Die KI Software gibt es in drei unterschiedlich großen Versionen, die sich vor allem in ihrem Umfang und Anspruch an die Rechenleistung unterscheiden. Der entscheidende Punkt bei der Nutzung von KI Modellen ist, dass man sie besonders individualisiert nutzen kann, wenn sie lokal also ohne über Drittserver von Google, CPT etc. zu laufen, auf den eignen Systemen mit internen Daten (Offline) verwendet. Allein schon die Suche nach eigenen Daten geht damit viel schneller. Und natürlich weiß man bei den eigenen Daten, vorausgesetzt es sind viele und selbstgenerierte, dass man auch tatsächlich das Copyright für die Inhalte hat.
Die Llama Top Version, die 405b kennt 405 Milliarden Parameter. Die mittlere Version 70 Milliarden und die kleinste 8 Milliarden Parameter. Die größte Version ist in einigen Benchmarks besser als andere Modelle wie Open AI GPT 4 oder Anthropics Claude 3.5 Sonnet welche 2024 die besten "Large Language Models" (LLM) sind. Während die Konkurrenz ihre Modelle allerdings unter Verschluss hält, kann man sich die Llama Codes auf die eigenen Rechner herunterladen. Doch so völlig grenzenlos Open Source ist das Modell dann doch nicht, Meta hat gewisse Einschränkungen implememntiert was den Umfang angeht, in welchem Llama in kommerziellen Produkten verwendet werden darf.
Infos und Downloads
- Hier sind weitere Informationen zu Llama bei Meta zu finden: https://llama.meta.com/
- Hier findet Ihr die Anforderungsseite für die Downloads: https://llama.meta.com/llama-downloads/
Anspruchsvoll
Allerdings sollte man sich darüber im Klaren sein, dass diese nur lauffähig sind, wenn man über extrem leistungsstarke Rechner mit reichlich GPU Speicher verfügt. Die kleinste und einfachste Version soll angeblich bereits mit 12GB VRAM Grafikspeicher und 32 GB Arbeitsspeicher auf dem Motherboard, zufrieden sein, kann aber auch entsprechend weniger. Will man die leistungsstärkeren Versionen nutzen, steigen die Ansprüche sehr schnell. Die Grafikkarten sollten da schon 48 und mehr GB an Arbeitsspeicher mitbringen. Hochleistungsgrafikkarten von NVIDIA haben maximal 24 GB. Kein Wunder, das große Serversysteme extrem energiehungrig sind. Man kann das Top-Modell also nur dann lokal nutzen, wenn man die entsprechende Hardware besitzt. Alternativ ist davon auszugehen, dass große Cloud-Anbieter Hosting-Optionen anbieten werden, mit denen man benutzerdefinierte Versionen von Llama wird nutzen können.
Risiken
Die Möglichkeit, ein solches leistungsfähiges Modell für seine eigenen Bedürfnisse optimieren zu können, ist natürlich verlockend und solange es sich um produktive Zwecke handelt auch erfreulich. Kritische Stimmen befürchten allerdings, dass derartige uneingeschränkte KI-Modelle von Hackern missbraucht oder von Schurkenstaaten für die schnellere Entwicklung biologischer oder chemischer Waffen missbraucht werden könnten.
Für den Hausgebrauch ist Llama sicher etwas zu komplex und anspruchsvoll. Meta selbst verwendet Llama auch für die eigenen KI Chatbot Angebote Meta AI. Diese sind eng angebunden an Metas (Facebook) Kerngeschäft, die Social Media Plattformen Facebook, Instagram und WhatsApp. Hier kann man sich auch ohne Download von der Leistungsfähigkeit des Modells überzeugen. Zu den unterstützen Sprachen gehört auch Deutsch. Allerdings ist Meta AI bislang in der EU wegen Kritik am Datenschutz bei Meta nicht verfügbar.
