Cuestionario sobre Mini LLM

¿Cuál es la tarea principal que realiza un mini LLM (o cualquier modelo de lenguaje)?

• Traducir texto de un idioma a otro

• Predecir el siguiente token en una secuencia de texto

• Resumir documentos largos

• Responder preguntas de opción múltiple

En el mini LLM descrito, ¿qué representan las "neuronas"?

• Letras individuales del texto

• Las entradas de la tabla de embeddings

• Los valores no nulos después de aplicar la función ReLU

• Los logits finales antes de la softmax

¿Qué función cumple la softmax en este modelo?

• Lineariza los logits en embeddings de tokens

• Normaliza los logits en probabilidades para cada posible token siguiente

• Reduce la dimensionalidad del estado oculto

• Determina qué neuronas están activas

¿Por qué es suficiente que el mini LLM aprenda solo pesos y sesgos lineales (sin capas profundas)?

• Porque el lenguaje es fundamentalmente un proceso lineal

• Porque con una sola capa oculta y softmax se pueden capturar patrones de coocurrencia

• Porque más capas ralentizan demasiado el entrenamiento

• Porque las activaciones no lineales son perjudiciales en los transformers

En el ejemplo de aprender asociaciones (como que "gato" frecuentemente sigue a "el"), ¿qué parámetros ajusta el modelo?

• La tasa de aprendizaje durante el descenso de gradiente

• Los valores de los tokens en el vocabulario

• Los embeddings de los tokens y los pesos que conectan al estado oculto con los logits

• La temperatura de la softmax