PJN-1-Tokenizacja

Czym jest tokenizacja w NLP?

• Podziałem tekstu na mniejsze jednostki (np. słowa)
• Procesem szyfrowania danych tekstowych
• Usuwaniem znaków interpunkcyjnych
• Analizą składniową zdań

Prawda czy fałsz? Tokenizacja zawsze dzieli tekst na pojedyncze słowa.

• Fałsz
• Prawda

Która metoda tokenizacji NIE istnieje?

• Tokenizacja na paragrafy
• Tokenizacja na słowa
• Tokenizacja na zdania
• Tokenizacja na morfemy

W jakim języku tokenizacja jest szczególnie trudna, ponieważ nie ma spacji między słowami?

• Chiński
• Niemiecki
• Hiszpański
• Angielski

Dlaczego tokenizacja na poziomie podsłów (morfemów) jest korzystna w porównaniu z tokenizacją na słowa?

• Pozwala obsłużyć słowa spoza słownika (OOV)
• Zawsze przyspiesza trenowanie modeli
• Rozwiązuje problem wieloznaczności słów
• Eliminuje konieczność embeddingów

Który z modeli językowych korzysta z tokenizacji opartej na WordPiece?

• BERT
• GPT-2
• FastText
• Word2Vec

Co oznacza pojęcie “out-of-vocabulary” (OOV)?

• Słowa, które nie znajdują się w słowniku modelu
• Słowa z błędami ortograficznymi
• Tokeny specjalne, np. [CLS] i [SEP]
• Wszelkie liczby w tekście

Dlaczego tokenizacja na poziomie znaków rzadko jest używana w praktyce?

• Powoduje bardzo długie sekwencje tokenów
• Traci interpunkcję
• Działa tylko w językach niełacińskich
• Generuje zbyt małe słowniki

Dlaczego tokenizacja jest pierwszym krokiem w wielu zadaniach NLP?

• Umożliwia modelowi przetwarzanie tekstu
• Automatycznie tłumaczy tekst
• Usuwa błędy językowe
• Sprawdza poprawność gramatyczną

Jakie problemy mogą wystąpić przy tokenizacji w językach, w których wyrazy odmieniają się (np. polski)?

• Duża liczba form słów powoduje rozrost słownika
• Brak interpunkcji
• Tokenizacja działa tylko na literach
• Nie można podzielić tekstu na zdania