Bagaimana cara membaca file CSV menggunakan PySpark?

spark.read .parquet("file.csv")

Apa perbedaan utama antara RDD dan DataFrame di PySpark?

DataFrame lebih efisien dalam pemrosesan dan mendukung SQL

RDD hanya dapat diproses dalam satu node, sedangkan DataFrame mendukung pemrosesan terdistribusi

RDD digunakan untuk data yang terstruktur, sedangkan DataFrame untuk data yang tidak terstruktur

Tidak ada perbedaan signifikan antara keduanya

Apa itu transformasi dalam PySpark?

Proses untuk mengubah dataset menjadi dataset baru tanpa mengubah data asli

Proses untuk mengubah data menjadi format tertentu

Perubahan permanen pada data di memori

Proses untuk memfilter data berdasarkan kriteria tertentu

Apa itu "Action" dalam konteks PySpark?

Operasi yang memicu eksekusi dan menghasilkan output

Operasi yang mengubah DataFrame secara langsung

Transformasi yang mengubah tipe data

Semua operasi dalam PySpark adalah action

Apa itu RDD partitioning dan mengapa itu penting dalam PySpark?

Memastikan data dibagi dengan cara yang efisien untuk paralelisasi, mempercepat proses

Mengelompokkan data berdasarkan kolom tertentu

Memisahkan data yang besar menjadi beberapa file untuk penyimpanan

Mengurutkan data berdasarkan waktu pemrosesan

Apa itu operasi join dalam PySpark?

Proses menggabungkan dua DataFrame berdasarkan satu atau lebih kolom yang sama

Proses memfilter data berdasarkan kolom tertentu

Proses mengurutkan data berdasarkan kolom tertentu

Proses mengubah nilai dalam kolom

Bagaimana cara membuat RDD dari koleksi Python biasa seperti list di PySpark?

spark.createDataFrame([1, 2, 3, 4])

Apa yang dimaksud dengan take() dalam RDD di PySpark?

Fungsi yang mengembalikan sejumlah elemen pertama dari RDD

Fungsi untuk menghapus elemen tertentu dalam RDD

Fungsi yang mengembalikan jumlah elemen dalam RDD

Fungsi yang menyaring elemen RDD berdasarkan kriteria

Bagaimana cara membuat objek SparkSession di PySpark

spark = SparkSession.builder.getOrCreate()

spark = SparkSession.newSession()

Apa fungsi dari SparkSession.builder dalam PySpark?

Menyediakan konfigurasi untuk membuat dan mengkonfigurasi sebuah SparkSession

Menghubungkan aplikasi PySpark dengan database

Menggunakan Spark SQL untuk membuat tabel

Membangun DataFrame dari file eksternal

Bagaimana cara menjalankan query SQL menggunakan PySpark?

spark.sql("SELECT * FROM table_name")

spark.runSQL("SELECT * FROM table_name")

spark.execute("SELECT * FROM table_name")

spark.query("SELECT * FROM table_name")

Bagaimana cara menulis filter untuk memilih baris dengan kolom value mengandung huruf 'A' di dalamnya?

df.filter(df.value.contains('A'))

df.filter("value CONTAINS 'A'")

Apa peran dari SparkContext dalam PySpark?

Mengatur dan mengelola sumber daya cluster

Menyediakan antarmuka untuk DataFrame

Digunakan untuk menjalankan fungsi SQL

Apa kelebihan utama PySpark dibandingkan library Python lainnya seperti Pandas?

PySpark dapat menangani data dalam jumlah besar dan terdistribusi

PySpark lebih mudah digunakan untuk data kecil

PySpark adalah library berbasis SQL

Dapat mengolah data berbasis gambar

Bagaimana cara menambahkan kolom baru bernama AgeInMonths, di mana nilai kolom tersebut adalah umur (dalam tahun) dikalikan 12?

df = df.withColumn("AgeInMonths", df.Age * 12)

df = df.addColumn("AgeInMonths", df.Age * 12)

df["AgeInMonths"] = df.Age * 12

df = df.createColumn("AgeInMonths", df.Age * 12)

Manakah kode yang benar untuk menggabungkan kedua DataFrame berdasarkan kolom Name?

joined_df = df1.join(df2, on="Name", how="inner")

joined_df = df1.merge(df2, on="Name")

joined_df = df1.join(df2, df1.Name == df2.Name , "inner")

joined_df = df1.innerJoin(df2, "Name")

Apa tujuan utama dari menggunakan PySpark MLlib?

Untuk membangun model Machine Learning di DataFrame PySpark.

Untuk menangani pengolahan data dalam jumlah besar.

Untuk melakukan analisis statistik kompleks.

Apa yang dilakukan operasi map() di PySpark?

Mengubah nilai dalam DataFrame sesuai dengan fungsi yang diterapkan.

Menyaring data di DataFrame berdasarkan kriteria yang ditentukan.

Membuat DataFrame baru dengan baris yang diubah.

Menghitung nilai statistik dalam DataFrame.

Apa yang dilakukan oleh fungsi collect() pada DataFrame atau RDD di PySpark?

Mengambil semua elemen dalam DataFrame atau RDD dan mengembalikannya sebagai list di driver node.

Menghitung jumlah elemen dalam DataFrame atau RDD.

Menyaring data yang sesuai dengan kondisi tertentu.

Menampilkan sejumlah elemen pertama dari DataFrame atau RDD.

Apa yang dilakukan oleh fungsi reduceByKey() dalam RDD di PySpark?

Melakukan agregasi nilai berdasarkan kunci dalam pasangan kunci-nilai.

Menghitung jumlah total dalam RDD.

Menyaring elemen berdasarkan kondisi tertentu.

Mengurutkan pasangan kunci-nilai dalam RDD.

Fungsi describe() digunakan untuk?

Menyediakan statistik deskriptif (seperti rata-rata, min, max, dll) untuk kolom numerik dalam DataFrame.

Menyaring DataFrame berdasarkan kondisi tertentu.

Menghitung agregasi berdasarkan kolom tertentu.

Mengurutkan DataFrame berdasarkan kolom tertentu.

Bagaimana cara mengurutkan DataFrame berdasarkan Age secara menurun?

sorted_df = df.orderBy(df.Age.desc())

sorted_df = df.sort("Age", ascending=False)

sorted_df = df.orderBy("Age", descending=True)

sorted_df = df.sortBy(df.Age.desc())

Responsi Big Data dan Predictive Analytics Lanjut

Authored by Anna Baita

Computers

University

Used 4+ times

Responsi Big Data dan Predictive Analytics Lanjut

AI Actions

Add similar questions

Adjust reading levels

Convert to real-world scenario

Translate activity

More...

Content View

Student View

40 questions

Show all answers

MULTIPLE CHOICE QUESTION

Fungsi untuk melakukan transformasi data

Objek untuk menginisialisasi koneksi ke cluster Spark

Tipe data yang menyimpan hasil pemrosesan

Struktur data yang digunakan untuk query SQL saja

Access all questions and much more by creating a free account

Create resources

Host any resource

Get auto-graded reports

Continue with Google

Continue with Email

Continue with Classlink

Continue with Clever

or continue with

Microsoft

Apple

Others

Already have an account?

Similar Resources on Wayground

35 questions

Unit 9.1 - Textual Programming

Quiz

•

8th Grade - University

38 questions

Chủ đề 1: CĂN BẢN VỀ CÔNG NGHỆ (GS6 Spark LV2_2024)

Quiz

•

1st Grade - University

39 questions

Advanced Object Oriented Programming

Quiz

•

University

45 questions

Kuis Sistem Komputer

Quiz

•

10th Grade - University

40 questions

Basic Algorithm in C (Data type, Expression, Branching, Looping)

Quiz

•

University

40 questions

Java-Collections

Quiz

•

University

45 questions

IP MIDTERM

Quiz

•

University

40 questions

Informatika XII

Quiz

•

12th Grade - University

Popular Resources on Wayground

15 questions

Fractions on a Number Line

Quiz

•

3rd Grade

20 questions

Equivalent Fractions

Quiz

•

3rd Grade

25 questions

Multiplication Facts

Quiz

•

5th Grade

54 questions

Analyzing Line Graphs & Tables

Quiz

•

4th Grade

$fractions$

22 questions

fractions

Quiz

•

3rd Grade

20 questions

Main Idea and Details

Quiz

•

5th Grade

20 questions

Context Clues

Quiz

•

6th Grade

15 questions

Equivalent Fractions

Quiz

•

4th Grade

Discover more resources for Computers

20 questions

CompTIA Network+ - Ports and Protocols

Quiz

•

University

Responsi Big Data dan Predictive Analytics Lanjut

RDD bersifat immutable

RDD dalam Apache Spark merupakan kepanjangan dari

Apa itu Apache Spark?

Apa itu PySpark?

Apa fungsi utama dari RDD dalam PySpark?

Di PySpark, apa yang dimaksud dengan DataFrame?

Apa itu SparkSession dalam PySpark?

Bagaimana cara membaca file CSV menggunakan PySpark?

Apa perbedaan utama antara RDD dan DataFrame di PySpark?

Fungsi apa yang digunakan untuk menghitung jumlah baris dalam sebuah DataFrame di PySpark?

Access all questions and much more by creating a free account

Similar Resources on Wayground

Popular Resources on Wayground

Discover more resources for Computers