P07 | Guía de ejercicios 1

Al hacer uso de la técnica leave-one-out cross-validation (LOOCV) para seleccionar modelos, los resultados obtenidos, incluso para un mismo modelo (determinístico), varían cada vez que se usa esta técnica.

• Verdadero

• Falso

Answer explanation

En LOOCV, los resultados no dependen de una partición al azar (T03 diapositiva 20).

Trabajar con matrices ralas/esparsas siempre es buena idea, pues permite ahorrar memoria RAM.

• Verdadero

• Falso

Answer explanation

La matriz rala ahorra RAM sólo si la matriz original tiene muchos ceros (T04 diapositiva 26).

Para un clasificador dado (e.g., un árbol de decisión), aumentar el threshold (umbral de decisión / probabilidad de corte) suele estar asociado a aumentos de la métrica recall.

• Verdadero

• Falso

Answer explanation

Aumentar el umbral suele estar asociado a aumentos de la métrica precision (T05 diapositiva 13).

Un valor de F1 cercano a 0,3 implica que tanto recall como precision tienen valores cercanos a 0,3.

• Verdadero

• Falso

Answer explanation

Implica que el mínimo de precision o recall es cercano a 0,3 (T05 diapositiva 14).

True positive rate (TPR) es lo mismo que precision.

• Verdadero

• Falso

Answer explanation

TPR = recall = TP / (TP + FN)

(T05 diapositiva 13).

¿Cuál es el objetivo de utilizar algún esquema de validación de modelos del tipo hold-out set, LOOCV o k-fold cross-validation?

Answer explanation

Obtener una estimación de la performance de nuestro modelo sobre datos nuevos. En otras palabras, evitar hacer overfitting sobre los datos de entrenamiento y evitar sobreestimar la performance del modelo en producción.

Seleccionar la opción que ordena correctamente de mayor a menor, en términos de la demanda de cómputo (cuántos cálculos requieren hacer), los esquemas hold-out set, LOOCV y k-fold cross-validation con k = 3. Asumir que el conjunto de datos está compuesto por un par de miles de observaciones.

• Hold-out > LOOCV > k-fold

• LOOCV > k-fold > hold-out

• K-fold > hold-out > LOOCV

• Hold-out > k-fold > LOOCV

• K-fold > LOOCV > hold-out

Answer explanation

Un par de miles de folds > 3 folds > 1 fold.

¿En qué situación usarías k-fold cross-validation por sobre hold-out set? ¿En qué situación harías lo contrario?

Answer explanation

K-fold con un conjunto mediano de datos; mientras que hold-out con uno masivo, junto con un algoritmo lento.

¿Por qué, además del conjunto de validación, se suele usar también un tercer conjunto llamado de testeo?

Answer explanation

Porque, al seleccionar modelos utilizando el conjunto de validación, se pueden estar ajustando particularidades de dicho conjunto, lo que lleva a una estimación de la performance demasiado optimista.

En otras palabras, al hacer varias pruebas sobre el conjunto de validación, es posible hacer overfitting no sólo sobre los datos de entrenamiento sino también sobre los de validación, sobreestimándose pues la performance en producción.

Usar un conjunto de testeo permite eliminar ese efecto.

Si uno se encuentra ante un problema de predicción de un evento futuro con datos con estructura temporal (por ejemplo, predecir el precio que tendrá el Bitcoin de aquí a un mes), armar un conjunto de validación eligiendo registros de los datos de entrenamiento al azar es una buena idea.

• Verdadero

• Falso

Answer explanation

Puede haber dependencia temporal entre las observaciones. Por lo tanto, es mejor validar considerando la temporalidad.