TecnoCurioso

Etiqueta: NPUs

  • TOPS de escaparate: por qué la NPU de tu nuevo portátil se ahoga con los LLMs

    TOPS de escaparate: por qué la NPU de tu nuevo portátil se ahoga con los LLMs

    Pasear por la ficha técnica de un procesador de última generación se ha convertido en un ejercicio de fuegos artificiales. «¡50 TOPS de potencia para Inteligencia Artificial!», nos gritan las pegatinas en los portátiles y las presentaciones con música épica. Es la nueva carrera de los megahertzios, solo que esta vez el trofeo se mide en billones de operaciones por segundo (TOPS).

    Sin embargo, cuando intentas ejecutar un modelo de lenguaje local (un LLM de unos discretos 7 u 8 billones de parámetros) para redactar código o analizar un documento, la realidad te da una bofetada en forma de tasa de tokens por segundo sorprendentemente ridícula.

    ¿Por qué esa impresionante NPU (Unidad de Procesamiento Neuronal) teórica se arrastra a la hora de la verdad? SPOILER: El marketing nos está vendiendo la velocidad punta de un Ferrari que solo puede circular por una calle llena de baches y restricciones de tráfico.

    (más…)
  • El Despertar de los Gigantes de Bolsillo: Por qué los SLMs son la Próxima Revolución Silenciosa de la IA<

    El Despertar de los Gigantes de Bolsillo: Por qué los SLMs son la Próxima Revolución Silenciosa de la IA<

    ¿Recordáis cuando los modelos de Inteligencia Artificial parecían el equivalente digital a un data center entero? Hablamos de esos Modelos de Lenguaje Grandes (LLMs) que acaparan titulares, que necesitan clusters de GPUs monstruosos para la inferencia y que viven cómodamente en la nube de algún gigante tecnológico. Son los Mamuts de la IA: impresionantes, poderosos, pero terriblemente glotones en términos de recursos.

    (más…)