¿QUÉ ES EL AUC Y PARA QUÉ SIRVE?
El AUC (área bajo la curva) tiene un rango de resultados que va de 0 a 1, y sirve, entre otras
cosas, para validar la efectividad de algoritmos.
A modo de píldora informativa, todo AUC superior a 0,82 valida la viabilidad del o los
algoritmos aplicados en el modelo con garantías.
Para entenderlo mejor, se interpreta como la probabilidad de que el modelo clasifique un
ejemplo positivo aleatorio (comprar upselling) más alto que un ejemplo negativo aleatorio (no
comprarlo).
Es decir, es la probabilidad de que, tomados casos positivos y negativos al azar, el SCORING del
modelo para los positivos sea superior a los negativos.
En los supuestos analizados, para aquellos hoteles que tienen histórico de upselling, el AUC
arroja un resultado de 0,93 de partida, ya que basa su aprendizaje en el caso particular del
comportamiento de compra de huéspedes en esos Hoteles, que queda demostrado es
constante en el tiempo (independientemente de efectos adversos como el Covid).
En el caso en el que los Hoteles no disponen de histórico (bien porque no lo han registrado,
bien porque no han aplicado de forma persistente upselling), dado que les “prestamos” el
conocimiento combinado de otros Hoteles de forma temporal (hasta que tengan reservas que
permitan definir con mayor precisión los resultados), su AUC parte de un resultado promedio
de 0,87 que, con el aprendizaje continuo y a medida que se reemplaza “conocimiento prestado”
por “conocimiento propio”, va ascendiendo hasta acercarse al resultado óptimo de 1.
No hay que olvidar que nuestro modelo aprende y recalcula sus previsiones con cada carga de
nuevos datos, reemplazando comportamientos históricos genéricos, por los nuevos adquiridos,
hasta que llega un momento en el que únicamente se nutre de los resultados del propio Hotel
para seguir aprendiendo.
Adjuntamos a continuación los resultados obtenidos hace 11 meses, en la Fase 1 y en entorno
teórico, que nos sirvió para poder iniciar esta Fase 2 del Proyecto.
Los resultados arrojados se corresponden a un Hotel con histórico de reservas, en las que se
podía identificar aquellas que habían comprado o no Upselling.
El algoritmo aprendió con el 70% de las reservas disponibles, para aplicar su conocimiento y
resultados sobre el 30% de las reservas restantes.
Sobre ese 30% de reservas, nosotros sabíamos si el huésped había comprado o no Upselling,
pero ese dato no se lo enseñamos al algoritmo, ya que la intención era ver qué SCORING
asignaba a cada reserva, para posteriormente saber si había acertado o no.
En consecuencia, esas reservas ocultas podíamos usarlas como si fueran reservas que todavía
no habían llegado al Hotel, emulando un Caso Real.