Mundo, 22 de abr 2024 (ATB Digital).- Hace unos días, te hablábamos del lanzamiento de LLaMa-3, el modelo de IA ‘open source’ y rival de GPT-4 que Meta había desarrollado para ser integrado en sus principales plataformas (Facebook, Instagram, WhatsApp…) a través del chatbot Meta.AI.
Este modelo mejora notablemente a sus antecesores gracias a la multimodalidad, al soporte de un mayor número de lenguajes, y a un número de parámetros mucho mayor (ofrece, por ahora, configuraciones de 8.000 millones y de 70.000 millones de parámetros).
Sin embargo, Meta.AI no está disponible aún para los usuarios españoles… de modo que, ¿cómo podríamos poner a prueba sus capacidades sin recurrir a servicios VPN? Bueno, ahí es donde entra en juego la condición open source de LLaMa-3: cualquiera con suficiente capacidad de computación puede integrar este modelo en sus propias plataformas.
Y hay una compañía que lo ha hecho gratis.
Groq al rescate
Groq, fundado en 2016 por Jonathon Ross, no busca competir directamente con modelos como GPT-4, sino que apunta a resolver problemas específicos de velocidad en la IA: de hecho, es una empresa de hardware que ofrece un chatbot (GroqChat) como mera demostración de las capacidades de la tecnología que desarrolla.
De hecho, su principal creación es un chip denominado LPU (Language Processing Unit), una alternativa a las populares GPU que permite superar los tiempos de respuesta de las grandes marcas de la industria, abordando uno de los principales desafíos de la misma: la demora en generar textos tras introducir un prompt.
GroqChat permite al usuario, una vez el usuario se ha registrado proporcionando su dirección de e-mail, elegir entre varios modelos de lenguajes distintos, variantes de LLaMa-3, LLaMa-2 y Mixtral (eso sí, en todos los casos estaremos restringidos a las funciones relacionadas con el texto, nada de multimodalidad).
Eligiendo el primero, podemos constatar que su rendimiento es impresionante, alcanzando hasta 877 tokens por segundo en el modelo de 8B y 284 tokens por segundo en el de 70B, con latencias que oscilan entre 0,3 y 0,6 segundos para el primer fragmento de token.
Y, aun si tu principal preocupación no es la velocidad de la generación del texto, te interesará saber que GroqChat funciona sin problemas para los usuarios españoles, lo que nos permite comprobar las capacidades del modelo. De hecho, vamos a someter a LLaMa-3 a algunas preguntas a las que ya sometimos a GPT-4 y a Gemini Pro.
Fuente: LINK