La inteligencia artificial continúa sorprendiendo al mundo, no solo por sus aplicaciones avanzadas, sino también por su capacidad para adaptarse a entornos inesperados. Un ejemplo reciente es el trabajo de EXO Labs, una organización dedicada a democratizar el acceso a la IA. En un experimento inusual, lograron ejecutar Llama 2, un modelo de lenguaje de última generación, en un ordenador Pentium II con Windows 98. Este logro resalta la posibilidad de utilizar tecnologías modernas en sistemas con recursos extremadamente limitados, abriendo nuevas puertas para la accesibilidad tecnológica.
La IA que funciona en un Pentium II con Windows 98
EXO Labs, fundada por un grupo de investigadores de la Universidad de Oxford, seleccionó un antiguo PC Elonex con un procesador Pentium II de 350 MHz y 128 MB de RAM, adquirido por unos pocos euros en eBay. La primera dificultad fue transferir datos al equipo, resolviéndose mediante FTP, un método tradicional pero efectivo para su época.
35.9 tok/sec on Windows 98 🤯
— Alex Cheema – e/acc (@alexocheema) December 28, 2024
This is a 260K LLM with Llama-architecture.
We also tried out larger models. Results in the blog post. https://t.co/QsViEQLqS9 pic.twitter.com/lRpIjERtSr
El verdadero reto consistió en adaptar el código moderno del modelo Llama 2 al entorno de Windows 98. Usando el compilador Borland C++ 5.02, modificaron «llama2.c», un código ligero de 700 líneas creado por Andrej Karpathy, antiguo director de IA en Tesla y cofundador de OpenAI. Este código permitió realizar inferencias con una velocidad de hasta 35.9 tokens por segundo, sorprendentemente eficiente para un sistema tan obsoleto.
Implicaciones del experimento
Este experimento no busca competir con los sistemas modernos, sino demostrar que la inteligencia artificial puede operar en entornos que muchos considerarían inviable. Según EXO Labs, esto es parte de su misión para democratizar la IA, haciendo posible que cualquier persona pueda acceder y utilizar modelos avanzados, independientemente de los recursos disponibles.
La hazaña de EXO Labs inspira a repensar el uso de la tecnología en dispositivos con recursos limitados. Con precios de hardware accesibles y un enfoque innovador, es posible extender el alcance de la inteligencia artificial a lugares y personas que, de otro modo, quedarían excluidos. Esto podría marcar el inicio de una revolución tecnológica verdaderamente inclusiva.
Gracias