Big data 7

Bản chất DStream:

• là một chuỗi liên tục RDD

• Là một chuỗi liên tục DataFrame

• Là một chuỗi liên tục DataSet

• kô có đáp án đúng

Trong hệ sinh thái của Spark không có công cụ hay thành phần nào sau đây:

• MLib

• GraphX

• Sqoop

• Cluster Managers

Hadoop giải quyết bài toán khảm ở bằng cách nào? Chọn đáp án sai

• Thiết kế phân tán ngay từ đầu, mặc định triển khai trên cụm máy chủ

• Các node tham gia vào cụm Hadoop được gán vai trò hoặc là node tính toán hoặc là node lưu trữ dữ liệu

• Các node tham gia vào cụm đóng cả 2 vai trò tính toán và lưu trữ

• Các node thêm vào cụm có thể có cấu hình, độ tin cậy cao

Hadoop giải quyết bài toán chịu lỗi thông qua kỹ thuật gì? Chọn đáp án SAI

• Kỹ thuật dư thừa

• Các tệp tin được phân mảnh, các mảnh được nhân bản ra các node khác trên cụm

• Các tệp tin được phân mảnh, các mảnh được lưu trữ tin cậy trên ổ cứng theo cơ chế RAID

• các công việc cần tính toán được phân mảnh thành các tác vụ độc lập

Các đặc trưng của HDFS. Chọn đáp án SAI

• Tối ưu cho các tệp tin có kích thước lớn

• Hỗ trợ thao tác đọc ghi tương tranh tại chunk (phân mảnh) trên tệp tin

• Hỗ trợ nén dữ liệu để tiết kiệm chi phí

• hỗ trợ cơ chế phân quyền và kiểm soát người dùng của UNIX

Spark Streaming trừu tượng hóa cũng như thao tác với các dòng dữ liệu (data stream) dựa trên khái niệm nào:

• shared variable

• RDD

• DStream

• DataFrame

Spark hỗ trợ các cluster manager nào

• Standalone Cluster manager

• MESOS

• YARN

• tất cả đáp án trên

Đáp án nào không phải là một “output operation” khi thao tác với DStream

• saveAsTextFile

• foreachRDD

• saveasHadoopFile

• reduceByKeyAndWindow

Đáp án nào không phải là một “Transformation” khi thao tác với DStream

• reduceByWindow

• window

• foreachWindow

• countByWindow

Mục đích của sử dụng spark ML là gì

• chạy MapReduce

• chạy các thuật toán dự đoán

• tính toán phân tán

• cả b và c