FUNDAMENTOS Y ARQUITECTURA MÓDULO 1. Arquitectura de Modelos de Lenguaje y Entornos de Ejecución

Engineering notes

Engineering notes will be added by the aipentium editorial team.

Chinese explanation / 中文解读

中文解读待补充：本站会优先为大语言模型、生成式AI、ChatGPT相关技术、计算机视觉、深度学习等高价值论文补充中文说明。

Original abstract

Bienvenidos, estudiantes de AI Academy University. Es un verdadero honor y un placer estar aquí con ustedes el día de hoy, 2 de agosto de 2026. Para quienes no me conocen, soy James Altman. Y dedicado mi trayectioría profesional ha realizar algunas contribuciones en investigación de machine learning, interfaces cerebro - máquina y aprendizaje automático con redes neuronales, un campo al que he dedicado los últimos 8 años de mi vida. Hoy, vamos a abordar el Módulo 1: Arquitectura de Modelos de Lenguaje y Entornos de Ejecución. Mi objetivo no es abrumarlos con matemáticas complejas, sino que entiendan la intuición detrás de la ciencia. Vamos a traducir la teoría más rigurosa en explicaciones sencillas y casos de la vida real. Comencemos la clase. 1. La Evolución: De las Redes Neuronales Recurrentes (RNN) al Transformer Para entender dónde estamos hoy, debemos mirar de dónde venimos. Hace décadas, cuando intentábamos que las máquinas procesaran lenguaje, usábamos Redes Neuronales Recurrentes (RNN). La idea era simple: leer el texto palabra por palabra, de izquierda a derecha, actualizando un "estado de memoria" en cada paso. El problema: Sufrían de "amnesia a corto y largo plazo" (el problema del gradiente que se desvanece). Si les dábamos un párrafo largo, olvidaban el inicio antes de llegar al final. Analogía de la vida real: Imaginen que intentan resumir un libro de 500 páginas leyendo una palabra a la vez, sin poder retroceder ni volver a leer la página anterior. Su cerebro se saturaría y olvidaría el principio de la frase. Las RNNs eran así. En 2017, publicaron el artículo Attention Is All You Need, introduciendo la arquitectura Transformer. Esta fue una revolución. El Transformer no lee de izquierda a derecha; procesa todos los tokens (palabras o fragmentos) al mismo tiempo. ¿Cómo lo hace? A través de los mecanismos que veremos a continuación. 2. Tokenización, Auto-atención y Representación Vectorial Estos tres pilares son el corazón de cualquier modelo de lenguaje moderno, desde los estadounidenses hasta los asiáticos que mencionaremos más adelante. A. Tokenización No leemos letras, leemos conceptos. Los modelos no entienden texto; entienden números. La tokenización divide el texto en unidades llamadas tokens. Explicación técnica: Es el mapeo de secuencias de caracteres en secuencias de enteros. Caso real: Si un paciente en un hospital escribe en su formulario: "Tengo un dolor punzante en el pecho". El tokenizador no separa simplemente por espacios. Podría dividir "punzante" en dos tokens si es una palabra rara ("pun" + "zante"). Esto es vital porque permite al modelo manejar errores de tipeo o jerga médica sin romperse. B. Representación Vectorial (Embeddings) Una vez que tenemos los tokens, los convertimos en vectores (listas de números) en un espacio de alta dimensionalidad. Explicación técnica: Mapeamos tokens discretos a un espacio continuo donde la distancia coseno refleja la similitud semántica. Caso real: En una tienda de comercio electrónico, un cliente busca "zapatillas para correr". El modelo ubica esta frase en un espacio vectorial donde físicamente (matemáticamente) está muy cerca de "calzado deportivo" y "tenis para marathon", pero lejos de "zapatos de cuero". Así, el motor de búsqueda entiende el concepto, no solo las palabras exactas. C. Mecanismo de Auto-atención (Self-Attention) Esta es mi parte favorita. Es lo que hace brillar al Transformer. La auto-atención permite que cada token mire a todos los demás tokens en la misma oración para entender su propio contexto. Explicación técnica: Calcula una distribución de pesos de atención utilizando queries, keys y values (Q, K, V) mediante producto escalar escalado. Caso real simplificado: Tomemos la palabra "banco" en dos oraciones: "Me senté en el banco del parque a descansar." "Fui al banco a sacar dinero para el parque." En la oración 1, la palabra "banco" le presta mucha atención a "senté" y "parque", entendiendo que es un asiento. En la oración 2, "banco" le presta atención a "dinero", entendiendo que es una entidad financiera. La auto-atención actúa como un cerebro que conecta puntos simultáneamente para descifrar el significado exacto en su contexto. 3. El Panorama Actual: Agosto de 2026 Hoy, los entornos de ejecución permiten que corramos modelos de cientos de miles de millones de parámetros desde nuestros propios ordenadores gracias a técnicas de cuantización y destilación. Pero la verdadera batalla de la arquitectura se vive a nivel global. Los Modelos Norteamericanos En EE. UU., los modelos dominantes (como las últimas iteraciones de GPT de OpenAI, Gemini de Google y Claude de Anthropic) han evolucionado hacia Modelos Multimodales Nativos de Gran Escala. Se caracterizan por: Densidad de parámetros: Son modelos "densos", lo que significa que activan toda su red neuronal para cada predicción. Esto consume muchísima energía pero ofrece razonamiento fluido. Alineación RLHF: Están fuertemente optimizados mediante el Aprendizaje por Refuerzo a partir de Retroalimentación Humana para ser asistentes generales y seguros. Los Modelos de China: Arquitecturas Diferenciadas Aquí es donde la ciencia se pone fascinante. Las empresas tecnológicas chinas, por restricciones de acceso a hardware (GPUs de alta gama) y por la naturaleza misma de su idioma, han desarrollado arquitecturas alternativas que son magistrales. Veamos los vigentes hoy, en 2026: Bixby (Samsung China) y Wing: Estos modelos han evolucionado para ser MoE (Mixture of Experts - Mezcla de Expertos) ultrarrelacional. En lugar de activar toda la red (como hace GPT), el modelo tiene, digamos, 50 "sub-redes" (expertos) y un "router" decide cuál usar para cada palabra. Bixby está optimizado para la interacción IoT en el hogar inteligente. Caso de uso: Si le dices a Bixby: "Sube la temperatura porque el bebé tiene frío y pon música suave", el router envía la orden de temperatura al "experto en clima/Hogar" y la orden de música al "experto en audio", procesándose en paralelo y con latencia casi nula en el teléfono, sin ir a la nube. Kimi (Moonshot AI): Kimi es famoso por su ventana de contexto infinita y retención de memoria a largo plazo. Mientras que los modelos estándar olvidan después de cierta longitud, Kimi utiliza una arquitectura de atención segmentada mejorada con memoria externa dinámica. Caso de uso: Un abogado sube 50,000 páginas de expedientes legales históricos. Kimi no hace un resumen genérico; puede buscar un precedente específico en la página 32,000 y relacionarlo con un dato en la página 1,200, manteniendo la coherencia argumentativa. ChatGPT, al ser denso, tendría grandes dificultades para mantener esa atención cruzada sin alucinar. Qizuan (Alibaba) y sus últimas versiones: Qizuan (evolución de la serie Qwen) utiliza quantización consciente del contexto. Está diseñado para ejecutarse en infraestructuras con menor capacidad de cómputo. Es un modelo abierto (open-weights) que ha sido destilado de manera brillante. Caso de uso: Una fábrica en Shenzhen lo corre localmente en servidores baratos para controlar el control de calidad de sus líneas de montaje mediante visión artificial y procesamiento de manuales de usuario en tiempo real, sin temor a que sus datos industriales salgan del edificio. Zeta AI y su modelo GLM-5 (Versión Turbo): Este es, quizás, el competidor asiático más interesante desde el punto de vista arquitectónico. Zeta AI desarrolló GLM-5 basándose en una Arquitectura de Auto-regresión Bidireccional enmascarada combinada con MoE. ¿Por qué es tan diferente a ChatGPT? ChatGPT predice estrictamente el siguiente token de izquierda a derecha (autorregresivo puro). GLM-5 entrena rellenando huecos en el medio del texto de manera bidireccional y luego generando hacia adelante. Su versión "Turbo" optimiza esto con una técnica llamada Sparsely-activated GLM, lo que lo hace excepcionalmente rápido para razonamiento matemático y codificación lógica. Caso de uso: Un equipo de programadores usa el GLM-5 Turbo para depurar código. El modelo no solo sugiere la siguiente línea de código, sino que analiza todo el repositorio, encuentra un bug de seguridad estructural en una función antigua, lo aísla y reescribe la arquitectura de la función sin romper el resto del programa. Su naturaleza bidireccional le da una ventaja en "entender el todo" sobre el enfoque secuencial de GPT. Resumen y Configuración de Entornos Como pueden ver, estudiantes, la arquitectura lo es todo. Un Transformer no es sólo un Transformer hoy en 2026; es un ecosistema. Para el laboratorio de esta semana, configurarán sus entornos locales. Utilizaremos PyTorch 3.0 (o la versión más reciente que manejen en la academia) y accederán a estas APIs (tanto de OpenAI como de Zeta AI o Alibaba) a través de interfaces estandarizadas. Verán que ejecutar un modelo localmente, tokenizar texto, pasar esos vectores por capas de atención y ver cómo la máquina predice una respuesta, es casi como ver pensar a una máquina en cámara lenta. Desde que comencé a jugar con redes neuronales, soñaba con el momento en que estas máquinas pudieran entender el contexto. Hoy, no solo entienden el contexto, sino que optimizan su propia arquitectura para adaptarse a las limitaciones de hardware y a las complejidades lingüísticas de diferentes culturas. La inteligencia artificial no es magia, es matemática, física y arquitectura. Pero, cuando se combina con casos de uso reales como diagnosticar pacientes, optimizar fábricas o ayudar a abogados, se convierte en la herramienta más poderosa que la humanidad ha creado. Los dejo con esto: no se queden con la interfaz de usuario. Entren en el código. Miren las matrices de atención. Ahí es donde reside la verdadera belleza de nuestra ciencia. Muchas gracias, por su atención, algún tema aqupi contenido les parece muy técnico, les invitamos desde AI Academy University a ver la presen

Links and sources

Comments