¿Cómo puedo saber la diferencia entre el algoritmo EM y MLE?


Respuesta 1:

El algoritmo de maximización de expectativas (EM) intenta encontrar una estimación de máxima verosimilitud (MLE) para los parámetros de un modelo con variables latentes. Los parámetros no son las variables latentes, esas están siendo marginadas en el proceso. Si bien EM no está garantizado para converger al máximo global, está garantizado para converger al máximo y mejorar la probabilidad del modelo en cada paso. Un ejemplo típico es el algoritmo de Baum-Welch, utilizado para ajustar modelos de espacio de estados.


Respuesta 2:

Estoy estudiando este concepto ahora y espero que mi respuesta sea correcta, pero me encantaría que los comentarios también mejoren.

Entonces, como lo veo, MLE es una forma de estimar la función de probabilidad sin tener en cuenta las probabilidades a priori. En otras palabras, si tiramos un dado para obtener un 5, MLE atribuirá el puntaje más alto a una distribución (llamémosla distribución de Batman) que tiene una probabilidad de 1 en la salida 3 y 0 a los demás (que es contador -intuitivo)

Sin embargo, un algoritmo EM tendrá en cuenta el conocimiento a priori de que la probabilidad de un 5 en un dado justo es 1/6. Por lo tanto, esto se tendrá en cuenta al crear el E-step del algoritmo EM. En realidad, hay varias formas de lograr esto, es decir, a través de antecedentes bayesianos, modelos de Markov, etc.

Si alguien encuentra una falla con mi comprensión, sugiera una edición.


Respuesta 3:

MLE proporciona la función Objetivo que requiere ser optimizada para los Datos dados.

La optimización en sí se puede hacer de múltiples maneras diferentes. EM (Expectation Maximization) es una de las formas de optimizar, también se pueden utilizar todos los demás tipos de optimizaciones.

En resumen, MLE define el objetivo de optimización mientras EM lo resuelve de forma iterativa.