L06 - Трансформеры (01)

Как называется такая конфигурация нейросетей?

• text2text

• talk2talk

• seq2seq

• luck2luck

Как называется модуль отвечающий за "значимость" слов и их контекст?

• Модуль Внимания (attention module)

• Модуль Контекста (context module)

• Модуль Значимости

  (significance module)

• Модуль Ценности (value vodule)

Как расчитывается степень похожести?

• С помощью магии

• С помощью операций с векторами

• С божьей помощью

• С помощью научного руководителя

Как обычно называют "токен", который используется для того, что бы спрятать слова?

• [MSK]

• [MASK]

• [HIDDEN]

• [HDN]

Как называется нейросеть с которой началась революция в области NLP?

• ELMO

• Cookie Monster

• GROVER

• BERT

Что значит "заморозить веса" нейросети?

• Не пропускать через них градиент

• Охладить GPU с помощью льда

• Удалить слои, которые содержат "замораживаемые" веса из нейросети

• Для заморозки, никаких изменений в нейросеть вносить не потребуется

Что происходит с патчами?

• К ним применяется заморозка

• К ним применяются аугментации

• Ничего

• Их дублируют

Какую способность приобрела нейросеть DINO в процессе обучения?

• Нормализация изображний

• Генерация изображний

• Детекция объектов

• Сегментация объектов

Что вам НЕ понравилось в этой лекции?

Что Вам понравилось в этой лекции?