Apple parecía haber perdido el tren de la IA, pero quizás solo esté cocinando su particular revolución a fuego lento. Eso es al menos lo que se desgrana de un reciente descubrimiento: una investigación de expertos de la compañía que apuntan a un rival de ChatGPT con una diferencia fundamental: no estará basado en la nube.
Un estudio prometedor. Un grupo de investigadores de Apple han publicado un nuevo informe titulado "LLM in a flash" que plantea una idea interesante. Según dicho estudio, el almacenamiento Flash es más abundante en dispositivos móviles que la memoria RAM que normalmente se usa en LLMs. Con su método es posible aprovechar ese tipo de almacenamiento, algo que abre las puertas a posibilidades llamativas.
Dos técnicas para solucionar el problema. Para habilitar ese tipo de características, los investigadores han creado dos técnicas distintas. La primera, el llamado "windowing", que permite que en lugar de usar nuevos datos cada vez, la IA reutilice parte de los datos ya procesados, reciclándolos. La segunda, el llamado "Row-Column Bundling", que permite reagrupar los datos de forma más eficiente, pudiendo así acelerar la capacidad de la IA para comprender y generar lenguaje.
Un AppleGPT a la vista. Combinar estos métodos permite plantear la llegada de un "AppleGPT" que no funcionaría desde la nube, sino directamente en el móvil, aunque no dispongamos de conexión a redes de datos. Además, aseguran los investigadores, las técnicas permitirían multiplicar por 4-5 veces la velocidad de proceso de IA en la CPU móvil, y hasta 20-25 veces en su GPU. Como señalan en su estudio, "este avance es especialmente crucial para desplegar LLM avanzados en entornos con recursos limitados, ampliando así su aplicabilidad y accesibilidad".
¿Un Siri supervitaminado? Según indicaron en Bloomberg hace unas semanas, Apple está trabajando en una versión más potente de Siri en la que habría una importante integración de la inteligencia artificial. El asistente podría así contestar a preguntas más complejas o autocompletar frases de forma más eficiente. También se habla de traducción de idiomas en tiempo real y, por supuesto, nuevas capacidades en el ámbito de la fotografía y la realidad aumentada, sobre todo ahora que las Vision Pro están a punto de llegar.
Ajax como base. En verano ya hablamos de este ambicioso proyecto de Apple que tendrá como componente fundamental Ajax. Este LLM tratará de competir con GPT-4 (o al menos GPT-3.5), PaLM 2 o Llama, los modelos de OpenAI, Google y Meta. Los movimientos de Apple en este sentido también afectan a las herramientas con las que están trabajando sus desarrolladores, y el esfuerzo parece querer cristalizar con iOS 18.
Apple quiere que uses su chatbot en local. La gran diferencia aquí está en la capacidad de poder usar este 'Apple GPT' —o como se llame— de forma totalmente independiente de la nube. Estamos ante un caso de solución de computación "edge", esto es, ejecutada en local, sin necesidad de que por ejemplo estemos conectados a redes de datos. Es lo mismo que por ejemplo persigue Google con Gemini Nano.
Por qué esto es importante. Esa diferencia en su modo de funcionamiento es relevante porque precisamente es coherente con la filosofía de Apple: evitar la nube permitirá teóricamente a la compañía presumir de más garantías en materia de privacidad porque lo que preguntemos y nos responda el chatbot no saldrá de nuestro dispositivo ni "se recolectará". Apple lleva tiempo proclamándose adalid de nuestra privacidad (ejem), y esto podría reforzar ese discurso.
Imagen | Jano le Roux
En Xataka | Los asistentes de voz fueron una vez la gran promesa de la IA. Hoy no son más que el patito feo
Ver 27 comentarios
27 comentarios
Trocotronic
7 años que escucho que Apple está preparando su IA. 7 años.
Y mientras esa mierda de Siri que no entiende un mojón. Es incomprensible que la empresa más cara del mundo se columpie de esta forma.
wiredbrain
Si se ejecuta directamente en un smartphone, o bien será una mierda limitadísima o bien fundirá la batería en nada. o ambas cosas a la vez. Por desgracia la IA generativa no está tan optimizada, para rendir bien hoy en día necesita hardware potente y una buena cantidad de energía.
p2dzca
Se trata de una investigación más dentro del objetivo que persiguen muchas empresas e instituciones para ejecutar modelos grandes de lenguaje en local, no en la nube.
La investigación indica un dato interesante (que no he leído aquí): podrían ejecutar modelos de IA con el doble de tamaño que la DRAM disponible.
Los modelos grandes de lenguaje (LLM) simplemente generan texto. Los usuarios indican un texto inicial (una solicitud, una pregunta, etc.) y basándose en ese texto inicial, los LLM predicen la siguiente palabra, que pasa a formar parte del conjunto de 'tokens' que se utilizarán para predecir la siguiente palabra. La técnica "Windowing" (que sí se indica aquí) se entiende mejor explicando que se trata de cargar en DRAM únicamente la información del LLM (que está en Flash) correspondiente a los 'tokens' usados para predecir la siguiente palabra (el proceso de inferencia). No hace falta cargar en DRAM información que no se necesita.
La técnica "Row-column bundling" (que también se indica aquí) mejora el rendimiento al leer de una sola vez una gran parte del LLM a la DRAM.
Y hay una tercera técnica (ya utilizada por otras empresas) que consiste en tener en cuenta el concepto 'sparcity', que hace referencia a que, en un LLM, la mayoría de los pesos de la red neuronal (parámetros) son cero y pueden ignorarse.
Los investigadores de Apple y los de muchas otras empresas están buscando lo mismo: poder ejecutar grandes LLM en dispositivos sin conexión a internet, con memoria limitada, con reducida potencia de computación y con consumos de energía no muy altos para no agotar la batería rápidamente.
Hay aparatos electrónicos cuya funcionalidad y ámbito de uso es muy reducido, y solo necesitan la compresión de una pequeña parte del lenguaje que las personas utilizamos. En un futuro próximo vamos a poder conversar, por ejemplo, con los electrodomésticos que tenemos en casa sin que tengan que estar conectados a internet (a no ser que los fabricantes quieran nuestros datos, que es lo habitual). En cuanto un micro-ordenador como Raspberry Pi pueda ejecutar LLM y reconocimiento de voz con solvencia, podremos crear proyectos muy interesantes y útiles.
ignir
pero si el de google también se ejecutaba en el dispositivo no? en los pixel 8.
royendershade
Esto es relevante porque permitiria a Apple ahorrarse una pasta tremenda en tiempo de proceo en servidores. En ese sentido es una muy buena jugada, y probablemente el principal motivo de querer hacerlo asi. Eso les podria dar una gran ventaja competitiva si sale bien, y ademas tienen equipos muy aptos para ello. El problema que veo, mas alla de la cuestion del consumo de energia del dispositivo, eso si, es que dicen que la clave esta en que hay mucha memoria flash disponible... Pues no sera en sus dispositivos precisamente.
Chizko
Pues para ser decente necesita hardware dedicado y creado para, como no lo tiene sería una mala forma de comenzar esto en Iphone, porque si realmente le integran ""GPT"" a nivel ecosistema consumirá recursos extras del SoC permanentemente.
rafram
¿Creeis que lo reservarán solo para los próximos iPhone 16? Por favor espero que no.
jimmyyuyu
Mientras no sea como siri, que parece que la pobre tiene un serio retraso, junto con una embolia y dos ictus...
-oye siri
-aha
-Llevame a X sitio
-las reseñas de Y sitios son positivas en un 98%, llevandote a sitio J
-oye siri
-mmm
-que temperatura va a hacer hoy
-no puedo hacer eso en el iphone
-oye siri
-si
-llevame a casa
-llamando a manolo casa
- Te odio