Neues KI-Sprachmodell „Groq“ sorgt mit einzigartiger Technologie für Aufsehen
Zuletzt aktualisiert am 13. September 2024 von Lars Weidmann
Es gibt einen weiteren Player im KI-Wettbewerb: das neue Sprachmodell „Groq“. Mit seiner beeindruckenden Reaktionsgeschwindigkeit und einer Technologie, die möglicherweise Grafikprozessoren (GPUs) überflüssig macht, sorgt Groq in den sozialen Medien für Furore.
Ein neuer Stern am KI-Himmel
Nachdem die öffentlichen Benchmark-Tests von Groq viral gingen, wurde das Modell über Nacht zu einer Sensation. Die Tests, die auf der sozialen Plattform X geteilt wurden, zeigten, dass Groq in Bezug auf Berechnungs- und Antwortgeschwindigkeit populäre KI-Chatbots wie ChatGPT übertrifft.
The first public demo using Groq: a lightning-fast AI Answers Engine.
It writes factual, cited answers with hundreds of words in less than a second.
More than 3/4 of the time is spent searching, not generating!
The LLM runs in a fraction of a second.https://t.co/dVUPyh3XGV https://t.co/mNV78XkoVB pic.twitter.com/QaDXixgSzp
— Matt Shumer (@mattshumer_) February 19, 2024
Dies ist vor allem dem Einsatz eines eigens entwickelten, anwendungsspezifischen integrierten Schaltkreises (ASIC) zu verdanken, der es Groq ermöglicht, ungefähr 500 Token pro Sekunde zu generieren – ein deutlicher Vorsprung gegenüber den rund 40 Token pro Sekunde, die von der öffentlich verfügbaren Version von ChatGPT-3.5 generiert werden können.
Die Technologie hinter dem Erfolg
Hinter diesem Durchbruch steht Groq Inc., das Unternehmen, das behauptet, die erste Sprachverarbeitungseinheit (LPU) entwickelt zu haben. Diese Innovation ermöglicht es, Groqs Modell ohne die sonst für KI-Modelle typischen, knappen und teuren GPUs zu betreiben. Dies könnte eine Wende im Bereich der KI-Technologien bedeuten, insbesondere in Anbetracht der Tatsache, dass Groq bereits 2016 gegründet wurde und seitdem an der Spitze der Innovation steht.
Wow, that's a lot of tweets tonight! FAQs responses.
• We're faster because we designed our chip & systems
• It's an LPU, Language Processing Unit (not a GPU)
• We use open-source models, but we don't train them
• We are increasing access capacity weekly, stay tuned pic.twitter.com/nFlFXETKUP— Groq Inc (@GroqInc) February 19, 2024
Ein Blick in die Zukunft
Während Groq in den sozialen Medien viral geht, zieht es Vergleiche zu anderen beliebten, auf GPUs basierenden Modellen nach sich. Experten und Nutzer auf der Plattform X loben Groq als „Game Changer“ für Anwendungen, die eine geringe Latenz erfordern, und sehen in den LPUs von Groq eine „massive Verbesserung“ gegenüber den GPUs. Dies könnte nicht nur eine Alternative zu den hochleistungsfähigen Chips von Nvidia darstellen, sondern auch den Weg für die Entwicklung eigener Chips durch große KI-Entwickler ebnen.
In einer Zeit, in der die Industrie bestrebt ist, sich nicht allein auf Nvidias Modelle zu verlassen, könnte Groqs Durchbruch ein Vorbote für die Zukunft der KI-Technologie sein. Mit Berichten, dass OpenAI weltweit um Billionen Dollar an Fördermitteln und Investitionen wirbt, um eigene Chips zur Bewältigung von Skalierungsproblemen ihrer Produkte zu entwickeln, steht die KI-Branche möglicherweise vor einer neuen Ära der Unabhängigkeit und Innovation.
