Cómo las Redes Neuronales Aprenden: Las Matemáticas Detrás de ChatGPT y Gemini

Cada vez que un chatbot responde una pregunta o una aplicación de fotos reconoce una cara, una red neuronal está ejecutando un proceso de aprendizaje que sigue los mismos pasos básicos, independientemente de la tarea. Según IBM, ese proceso se basa en dos técnicas vinculadas: la retropropagación, que calcula cuánto contribuyó cada parámetro interno a un error, y el descenso de gradiente, el método de optimización que usa esos cálculos para corregir los parámetros.

Qué es Realmente una Red Neuronal

El Instituto de Stanford para la Inteligencia Artificial Centrada en el Ser Humano (HAI) describe una red neuronal como un modelo computacional inspirado en la estructura del cerebro humano, construido a partir de capas interconectadas de 'neuronas' artificiales que procesan y transmiten información. Cada neurona toma entradas numéricas, las multiplica por valores ajustables llamados pesos, suma un término de sesgo, y pasa el resultado a través de una función de activación no lineal antes de enviarlo a la siguiente capa, según la descripción de IBM de la arquitectura. Stanford HAI señala que esta estructura en capas es lo que permite a las redes neuronales extraer patrones de grandes cantidades de datos, formando la base del aprendizaje profundo.

Paso Uno: La Pasada Hacia Adelante

El entrenamiento comienza con pesos y sesgos establecidos en valores aleatorios, explica IBM. Durante la 'pasada hacia adelante', los datos de entrada se mueven a través de la red capa por capa: cada neurona calcula su suma ponderada, aplica su función de activación, y reenvía la salida, hasta que la capa final produce una predicción. En esta etapa temprana, porque los pesos son aleatorios, esa predicción es esencialmente una adivinanza.

Paso Dos: Midiendo el Error

Luego, la red compara su predicción con la respuesta correcta usando una función de pérdida, una fórmula que cuantifica cuán lejos estaba la salida, según IBM. Diferentes tareas usan diferentes fórmulas — el error cuadrado medio es común para predecir números, mientras que la entropía cruzada se usa para tareas de clasificación como clasificar imágenes en categorías.

Paso Tres: La Retropropagación Rastrea la Culpa

La 'pasada hacia atrás' es donde ocurre el aprendizaje. IBM describe la retropropagación como funcionando desde la capa de salida hacia la capa de entrada, usando una técnica de cálculo llamada la regla de la cadena para determinar cuánto contribuyó cada peso individual al error general. El resultado es un gradiente: un conjunto de valores, uno para cada peso y sesgo, indicando la dirección y tamaño del ajuste que reduciría el error.

IBM señala la eficiencia de este enfoque: para una red con un millón de pesos, probar cada parámetro individualmente por ensayo y error requeriría más de un millón de pasadas separadas hacia adelante a través de la red. La retropropagación alcanza la misma información en solo dos pasadas — una hacia adelante, una hacia atrás.

Paso Cuatro: El Descenso de Gradiente Actualiza los Pesos

Una vez que el gradiente es conocido, el descenso de gradiente mueve cada peso un pequeño paso en la dirección que reduce el error, explica IBM. El tamaño de ese paso es controlado por la 'tasa de aprendizaje': una tasa de aprendizaje más alta acelera el entrenamiento pero corre el riesgo de sobrepasar los mejores valores, mientras que una tasa más baja es más precisa pero más lenta para converger. Los cuatro pasos — pasada hacia adelante, cálculo de pérdida, pasada hacia atrás, actualización de pesos — se repiten una y otra vez, a menudo en millones de ejemplos, hasta que la pérdida deja de disminuir significativamente.

De la Técnica de Laboratorio a ChatGPT y Gemini

Los grandes modelos de lenguaje aplican este mismo ciclo de retropropagación y descenso de gradiente a una escala mucho mayor, en dos etapas distintas. La primera, preentrenamiento, expone el modelo a cantidades masivas de texto sin etiquetar — corpus que contienen cientos de miles de millones de tokens, según RBC Borealis — e repetidamente le pide que prediga la siguiente palabra en una secuencia. Un blog de investigación de RBC Borealis describe este modelo de fundación como fundamentalmente una red entrenada para 'predecir la siguiente palabra en una cadena de entrada parcialmente completa', que le enseña gramática, hechos y patrones generales pero por sí mismo no la convierte en un asistente confiable.

La segunda etapa, ajuste fino, adapta la red preentrenada a un comportamiento específico. RBC Borealis describe tres enfoques comunes: ajuste fino supervisado en respuestas escritas por humanos; aprendizaje de refuerzo por retroalimentación humana (RLHF), en el cual un modelo de recompensa separado entrenado en preferencias humanas guía actualizaciones de peso adicionales; y métodos más nuevos como optimización de preferencia directa, que omiten el modelo de recompensa separado pero aún dependen de retropropagación. Esta etapa de ajuste fino es lo que convierte un predictor general de palabra siguiente en un sistema que sigue instrucciones y rechaza ciertas solicitudes, en lugar de simplemente continuar el texto en cualquier dirección que sea estadísticamente probable.

Por Qué el Mecanismo Importa

Porque tanto el preentrenamiento como el ajuste fino se basan en el mismo bucle subyacente de retropropagación y descenso de gradiente, las mejoras a esa técnica principal — hardware más rápido, mejores funciones de pérdida, optimización más eficiente — afectan cada aplicación posterior a la vez, desde reconocimiento de imágenes hasta asistentes conversacionales. Stanford HAI señala que las redes neuronales ahora forman la base de sistemas de aprendizaje profundo utilizados en reconocimiento facial, asistentes de voz y vehículos autónomos, todos los cuales se entrenan a través de variaciones del mismo ciclo de cuatro pasos descrito anteriormente.