Deep Learning para texto

Los modelos de embeddings como word2vec son útiles porque...

• Aprenden representaciones útiles de palabras

• Aprenden representaciones útiles de documentos

• Permiten tokenizar textos con mucha precisión

• Tienen en cuenta el orden de las palabras

¿Qué modelo es la **peor** opción para mezclar embeddings de tokens?

• Redes recurrentes

• Convoluciones

• Autoatención

• Medias

El elemento **fundamental** de los Transformer es...

• Conexiones residuales

• Capas de autoatención

• Capas recurrentes

• Layer normalization

Necesitamos construir un modelo para un dataset pequeño de 500 textos. ¿Qué aproximación es mejor?

• Red recurrente de 3 capas

• Red convolucional de 5 capas

• Aprender embeddings de palabras para este dataset

• Fine-tuning de un modelo de lenguaje pequeño

El aprendizaje basado en instrucciones...

• Se basa en entrenar el modelo sobre código fuente

• Puede realizarse sobre un dataset no supervisado

• Mejora al modelo original si los datos de instrucciones son de calidad

• Nunca se utiliza en modelos grandes, como GPT-4