Flashcard - Big Data - Revisão (2025-1) v2

Front

Quais são os 5 V’s do Big Data?

Back

volume, velocidade, variedade, veracidade e valor.

Front

Classifique os dados apresentados na imagem: Dados estruturados, Dados semiestruturados, Dados não estruturados

Back

Dados semiestruturados

Front

Qual das operações abaixo não envolve Shuffling ao manipular RDDs no Apache Spark? join, count, groupByKey, reduceByKey

Back

count

Front

No código abaixo, quais linhas de código são, de fato, executadas pelo Spark quando o comando df2.show() é chamado? 1: df=spark.read.csv("sample.csv") 2: df2=df.where("dept=='cs'") 3: df3=df2.join(df1, ["id"]) 4: df4=df4.groupBy("name").count() 5: df2.show()

Back

Linha 1 e 2 apenas

Front

Spark armazena dados em ___________, podendo executar até 100x mais rápido que em um ambiente de MapReduce no Hadoop para conjuntos de dados pequenos.

Back

memória

Front

Complete:
.......... é a camada de armazenamento, .......... é a camada de gerenciamento de recursos e .......... é a camada de processamento de dados do Apache Hadoop.

Back

HDFS, YARN, MapReduce

Front

Qual é a função do NameNode no HDFS?

Back

Gerenciar metadados do sistema de arquivos, como a árvore de diretórios e o mapeamento dos blocos de dados.

Front

Qual a forma de armazenamento utilizada no Parquet?

Back

Colunar (columnar data format)

Front

O que significa dizer que os RDDs são "Resilient" em um ambiente Spark?

Back

Significa que, se dados na memória são perdidos, podem ser recriados.

Front

O que faz a operação take(n) em um Dataframe no contexto do Apache Spark?

Back

Retorna um array com os primeiros n elementos do Dataframe.