Model Transformer

Apa yang dimaksud dengan model Transformer dalam pemrosesan bahasa alami (NLP)?

• Model yang menggunakan arsitektur berbasis jaringan saraf tiruan untuk menerjemahkan bahasa manusia menjadi kode komputer.

• Model yang hanya mengandalkan mekanisme perhatian (attention) tanpa menggunakan RNN atau CNN

• Model yang hanya digunakan untuk menghasilkan gambar dari teks.

• Model yang hanya menggunakan CNN untuk memproses data teks.

Mekanisme attention dalam model Transformer berguna untuk....

• Menghasilkan gambar dari teks.

• Mempercepat pelatihan model dengan mengurangi jumlah parameter.

• Menggantikan seluruh proses encoding-decoding.

• Menentukan bagian mana dari input yang harus diperhatikan lebih banyak.

Apa nama teknik attention yang digunakan dalam model Transformer?

• Global Attention

• Cross-Attention

• Self-Attention

• Local Attention

Pada model Transformer, apa fungsi dari positional encoding?

• Memberikan informasi tentang urutan token dalam input.

• Menggantikan mekanisme attention.

• Mengurangi kompleksitas komputasi.

• Menghasilkan output dalam bentuk vektor numerik.

Dalam model Transformer, apa yang dimaksud dengan multi-head attention?

• Penggunaan beberapa lapisan attention secara paralel untuk menangkap hubungan yang berbeda.

• Penggunaan attention untuk menghasilkan gambar.

• Penggunaan attention untuk menggantikan fungsi pooling.

• Penggunaan satu lapisan attention yang diulang berkali-kali.

Apa yang dimaksud dengan encoder-decoder architecture dalam model Transformer?

• Encoder dan decoder bekerja secara independen tanpa saling berhubungan.

• Encoder mengubah input menjadi representasi vektor, sedangkan decoder menghasilkan output dari representasi tersebut.

• Encoder hanya digunakan untuk gambar, sedangkan decoder untuk teks.

• Encoder-decoder tidak digunakan dalam model Transformer.

Apa keuntungan utama model Transformer dibandingkan dengan model berbasis RNN?

• Transformer lebih mudah diimplementasikan.

• Transformer hanya membutuhkan sedikit data untuk dilatih.

• Transformer tidak memerlukan pengkodean posisi.

• Transformer dapat memproses input secara paralel, sehingga lebih cepat.

Apa kelemahan utama dari model RNN seperti LSTM?

• Terlalu mudah dilatih

• Tidak bisa memproses data secara berurutan

• Tidak mampu menangani data teks

• Sulit untuk diparalelisasi dan kesulitan menangani ketergantungan jarak jauh

Komponen attention terdiri dari...

• Input, Output, dan Weight

• Token, Vector, dan Matrix

• Query, Key, dan Value

• Node, Link, dan Path

Skor perhatian (attention score) dihitung dengan...

• Penjumlahan antara value dan key

• Dot-product antara query dan key

• Perkalian matrix secara acak

• Normalisasi key