CountVectorizer dan TfidfVectorizer adalah alat dari Scikit-learn yang berfungsi untuk...

Mengubah teks menjadi representasi numerik (fitur)

Membersihkan data teks dari angka

Dalam algoritma SVM, hyperplane adalah...

Batas keputusan yang memisahkan kelas-kelas dalam ruang fitur

Titik data yang paling sulit diklasifikasikan

Fungsi yang digunakan untuk memetakan data ke dimensi lebih tinggi

Jumlah iterasi maksimum untuk melatih model

Dalam kode train_test_split(X, y, test_size=0.3), parameter test_size=0.3 berarti...

30% dari data akan digunakan sebagai data uji (testing set)

Data akan dibagi menjadi 3 bagian

Hanya 30% dari total fitur yang akan digunakan

Proses pengujian akan diulang sebanyak 3

Pada evaluasi model, False Positive (FP) adalah kondisi di mana...

Model memprediksi kelas positif, tetapi prediksi tersebut salah (aktualnya negatif)

Model memprediksi kelas negatif, dan prediksi tersebut salah

Model memprediksi kelas positif, dan prediksi tersebut benar

Model memprediksi kelas negatif, dan prediksi tersebut benar

Apa trade-off utama antara menggunakan stemming dan lematisasi?

Stemming lebih cepat namun kurang akurat secara linguistik, sedangkan lematisasi lebih akurat namun lebih lambat secara komputasi

Keduanya memiliki kecepatan dan akurasi yang sama

Stemming hanya untuk data besar, lematisasi untuk data kecil

Lematisasi lebih mudah diimplementasikan daripada stemming

Mengapa tokenisasi menggunakan word_tokenize dari NLTK atau spaCy lebih disarankan daripada metode .split() bawaan Python untuk tugas NLP?

word_tokenize dapat menangani kasus-kasus kompleks seperti tanda baca yang menempel pada kata dan kontraksi dengan lebih baik

Metode .split() lebih cepat dan efisien

.split() secara otomatis melakukan lowercasing

word_tokenize hanya memisahkan berdasarkan spasi

Menurut dokumen, dalam situasi manakah penghapusan stopword mungkin tidak diinginkan?

Untuk analisis sintaksis atau model bahasa yang memerlukan konteks gramatikal lengkap

Dalam tugas klasifikasi teks atau topic modeling

Ketika korpus data sangat besar

Saat melakukan analisis sentimen

Apa peran dari hidden layers (lapisan tersembunyi) dalam sebuah Neural Network?

Melakukan transformasi non-linear pada input untuk mempelajari pola yang kompleks

Menerima data input awal dari dataset

Menghasilkan prediksi klasifikasi akhir

Menyimpan bobot model yang telah dilatih

Jika sebuah model klasifikasi spam memiliki presisi tinggi tetapi recall rendah, apa artinya?

Sebagian besar email yang diprediksi sebagai spam memang benar-benar spam, tetapi banyak email spam yang lolos dan tidak terdeteksi

Model salah mengklasifikasikan banyak email biasa sebagai spam

Model berhasil mendeteksi hampir semua email spam, tetapi juga salah menandai banyak email biasa sebagai spam

Model memiliki akurasi yang sangat tinggi secara keseluruhan

Apa keterbatasan utama dari fitur pra-pemrosesan bawaan pada CountVectorizer dan TfidfVectorizer di Scikit-learn?

Tidak menyediakan fungsi stemming atau lematisasi secara langsung

Tidak bisa melakukan lowercasing secara otomatis

Tidak mampu melakukan tokenisasi

Hanya mendukung Bahasa Inggris untuk stopword removal

Hipotesis distribusional ("you shall know a word by the company it keeps") adalah ide utama di balik teknik...

Word Embeddings (seperti Word2Vec)

Anda sedang membangun pengklasifikasi sentimen untuk ulasan produk berbahasa Indonesia. Porter Stemmer tidak ideal untuk Bahasa Indonesia dan WordNet Lemmatizer untuk Bahasa Inggris. Bagaimana Anda akan merancang pipeline pra-pemrosesan yang kuat menggunakan TfidfVectorizer dari Scikit-learn dengan mengintegrasikan stemmer Bahasa Indonesia yang tepat, berdasarkan petunjuk dalam dokumen?

Membuat fungsi tokenizer kustom yang di dalamnya menggunakan library eksternal untuk stemming Bahasa Indonesia (seperti PySastrawi yang diisyaratkan ), lalu memberikan fungsi tersebut ke parameter tokenizer dari TfidfVectorizer

Menggunakan TfidfVectorizer dengan parameter stop_words='indonesian' karena sudah mencakup stemming

Mengabaikan stemming karena Scikit-learn tidak mendukungnya secara bawaan

Menggunakan TfidfVectorizer saja karena TF-IDF sudah cukup untuk menangani variasi kata

Sebuah model klasifikasi berita (topik: olahraga, politik, teknologi) mencapai akurasi 95%. Namun, laporan klasifikasi menunjukkan F1-score yang sangat rendah untuk kategori 'teknologi'. Apa kemungkinan penyebab utama dari diskrepansi ini dan langkah apa, berdasarkan konsep dari dokumen, yang dapat diambil untuk memperbaikinya?

Penyebab: Kelas 'teknologi' kemungkinan sangat tidak seimbang (jumlah datanya jauh lebih sedikit) dan/atau fiturnya tumpang tindih dengan kelas lain. Solusi: Lakukan analisis data untuk memeriksa keseimbangan kelas, coba resampling, dan lakukan hyperparameter tuning pada model (misalnya SVM atau Neural Network) yang mungkin lebih baik dalam menangani batas keputusan yang kompleks

Penyebab : Akurasi tinggi karena model menebak mayoritas kelas (olahraga, politik) dengan benar, sementara gagal pada kelas minoritas ('teknologi'). Solusi : Menggunakan TfidfVectorizer daripada CountVectorizer untuk meningkatkan representasi fitur

Penyebab : F1-score adalah metrik yang tidak stabil. Solusi : Abaikan F1-score dan percaya pada akurasi

Penyebab: Data 'teknologi' terlalu banyak. Solusi: Kurangi jumlah data untuk kategori 'teknologi' agar seimbang dengan yang lain

Apa yang direpresentasikan oleh skor TF-IDF dan bagaimana perbedaannya dengan CountVectorizer (Bag-of-Words)?

TF-IDF memberikan bobot pentingnya sebuah kata dalam dokumen relatif terhadap seluruh korpus, sedangkan CountVectorizer hanya menghitung frekuensi mentah

TF-IDF hanya menghitung frekuensi kata, sama seperti CountVectorizer

CountVectorizer lebih baik untuk algoritma SVM, sedangkan TF-IDF lebih baik untuk Naive Bayes

TF-IDF mengubah kata menjadi vektor, sedangkan CountVectorizer tidak

Text Mining 2

Quiz

•

Science

•

3rd Grade

•

Practice Problem

•

Medium

Yudhistira Wijaya

Used 8+ times

FREE Resource

Visual Studio Code

Sublime Text

Create a free account and access millions of resources

Create resources

Host any resource

Get auto-graded reports

Continue with Google

Continue with Email

Continue with Classlink

Continue with Clever

or continue with

Microsoft

Apple

Others

Already have an account?

Similar Resources on Wayground

20 questions

Pemakanan Haiwan -Sains Tahun 3

Quiz

•

1st - 4th Grade

20 questions

5.3 Pembersihan dan Pembekalan Air

Quiz

•

1st - 8th Grade

20 questions

QUIZZIZ PENGETAHUAN UMUM KELAS 1

Quiz

•

1st - 3rd Grade

20 questions

Konsep Dasar Pajak

Quiz

•

1st - 3rd Grade

20 questions

Asesmen Tengah Semester IPAS SMK

Quiz

•

1st - 5th Grade

20 questions

Ciri dan kebutuhan makhluk hidup

Quiz

•

3rd Grade

20 questions

Sains Tahun 3- Kelas Makanan

Quiz

•

3rd - 4th Grade

20 questions

UH BAB 3 Sifat Mekanik Suatu Bahan

Quiz

•

1st Grade - University

Popular Resources on Wayground

10 questions

Honoring the Significance of Veterans Day

Interactive video

•

6th - 10th Grade

9 questions

FOREST Community of Caring

Lesson

•

1st - 5th Grade

10 questions

Exploring Veterans Day: Facts and Celebrations for Kids

Interactive video

•

6th - 10th Grade

19 questions

Veterans Day

Quiz

•

5th Grade

14 questions

General Technology Use Quiz

Quiz

•

8th Grade

25 questions

Multiplication Facts

Quiz

•

5th Grade

15 questions

Circuits, Light Energy, and Forces

Quiz

•

5th Grade

19 questions

Thanksgiving Trivia

Quiz

•

6th Grade

Discover more resources for Science

14 questions

States of Matter

Lesson

•

KG - 3rd Grade

13 questions

Module 2 DQ1

Quiz

•

3rd Grade

10 questions

Energy Types Quiz

Quiz

•

3rd Grade

20 questions

Force and Motion

Quiz

•

3rd - 4th Grade

5 questions

Severe Weather

Interactive video

•

1st - 5th Grade

12 questions

States of Matter

Quiz

•

3rd Grade

10 questions

Thermal Energy

Quiz

•

3rd Grade

18 questions

Plant Organ and Function Review

Lesson

•

3rd - 5th Grade

Text Mining 2

25 questions

Tujuan utama dari tahap text preprocessing adalah...

Library NLP modern yang dirancang untuk efisiensi dan penggunaan skala produksi dengan pendekatan terintegrasi adalah...

Proses memberi label pada setiap kata dalam kalimat sesuai dengan kelas katanya (misal: kata benda, kata kerja) disebut...

Dalam konteks NER, entitas seperti nama negara atau kota (misal: 'Jakarta') dikategorikan sebagai...

Selain 3V, tantangan lain dalam mengelola Big Data yang disebutkan dalam dokumen adalah...

Keuntungan utama menggunakan Google Colab seperti yang dijelaskan dalam dokumen adalah...

Aplikasi web open-source yang memungkinkan Anda membuat dokumen berisi live code, visualisasi, dan teks naratif yang berjalan di komputer lokal disebut...

Proses mengembalikan kata ke bentuk dasarnya yang ada di kamus (misal: 'berlari' menjadi 'lari') dengan analisis linguistik disebut...

CountVectorizer dan TfidfVectorizer adalah alat dari Scikit-learn yang berfungsi untuk...

Library fundamental di Python yang digunakan untuk membuat berbagai jenis plot dan grafik adalah...

Create a free account and access millions of resources

Similar Resources on Wayground

Popular Resources on Wayground

Discover more resources for Science