Quiz sobre Comandos do Spark

Selecione o comando que projeta/seleciona apenas as colunas ‘home_team’ e ‘home_goal’ do DataFrame.

• df.withColumn(‘home_team’, ‘home_goal’)

• df.filter(‘home_team’, ‘home_goal’)

• df.select(‘home_team’, ‘home_goal’)

• df.join(‘home_team’, ‘home_goal’)

• df.project(‘home_team’, ‘home_goal’)

Selecione o comando que filtra apenas as partidas do palmeiras como visitante.

• df.filter(df.away_team, ‘Palmeiras-SP’)

• df.filter(df.away_team == ‘Palmeiras-SP’)

• df.select(‘Palmeiras-SP’)

• df.join(away_team, ‘Palmeiras-SP’)

• df.filter(df.away_team = ‘Palmeiras-SP’)

Selecione o comando que filtra apenas as partidas do flamengo como mandante no ano de 2015.

• df.filter(df.home_team == ‘Flamengo-RJ’ and df.season == 2015)

• df.filter(df.home_team == ‘Flamengo-RJ’)

• df.filter(‘Flamengo-RJ’, 2015)

• df.join(home_team, ‘Flamengo-RJ’)

• df.filter((df.home_team == ‘Flamengo-RJ’) & (df.season == 2015))

Selecione o comando que renomeia a coluna “home_team” para “mandante” no DataFrame.

• df.withRename(‘home_team’, ‘mandante’)

• df.rename(‘home_team’, “mandante”)

• df.withColumnRenamed(‘home_team’, ‘mandante’)

• df.withColumnRename(‘home_team’, ‘mandante’)

• df.rename(‘home_team’, col(‘mandante’))

Selecione o comando que remove coluna “round” do DataFrame.

• df.withDrop(‘round’)

• df.drop(‘round’)

• df.withColumn(‘round’)

• df.withColumnRename(‘round’)

• df.drop(‘home_team’)

Selecione o comando que informa a quantidade de linhas do DataFrame.

• df.show()

• df.collect()

• df.rows()

• df.shape()

• df.count()

Qual comando cria uma nova coluna chamada “vencedor” com valor dela sendo o nome do time que ganhou a partida, caso haja empate dê o valor “Empate”?

• df.withColumn(‘vencedor’, when(df.home_goals > df.away_goals, df.home_team).when(df.home_goals < df.away_goals, df.away_team).otherwise(‘Empate’))

• df.withColumn(‘vencedor’, when(df.home_goals == df.away_goals, ‘Empate’).otherwise(df.home_team))

• df.withColumn(‘vencedor’, when(df.home_goals > df.away_goals, df.home_team).otherwise(‘Empate’))

• df.withColumn(‘vencedor’, when(df.home_goals < df.away_goals, df.away_team).otherwise(‘Empate’))

• df.withColumn(‘vencedor’, when(df.home_goals == df.away_goals, ‘Empate’).when(df.home_goals > df.away_goals, df.home_team).otherwise(df.away_team))

Qual comando cria uma nova coluna chamada “campeonato” com valor “Brasileirão”?

• df.withColumn(‘campeonato’, ‘Brasileirão’)

• df.withColumn(‘campeonato’, lit(‘Brasileirão’))

• df.withColumnRenamed(‘campeonato’, ‘Brasileirão’)

• df.withColumn(‘campeonato’, col(‘Brasileirão’))

• df.withColumn(‘Brasileirão’)

Spark é desenvolvido em qual linguagem?

• Python

• Scala

• Java

• R

• SQL

Qual é a principal vantagem do Spark em cima do Hadoop em relação ao processamento?

• É mais leve

• É mais novo

• Processa em memória, por isso é mais rápido

• Mais barato

• Melhoria de interface gráfica