Distribución de Bernoulli

Distribución de Bernoulli

Función de masa de probabilidad Tres ejemplos de distribución de Bernoulli:   ${\displaystyle P(x=0)=0{.}2}$y${\displaystyle P(x=1)=0{.}8}$   ${\displaystyle P(x=0)=0{.}8}$y${\displaystyle P(x=1)=0{.}2}$   ${\displaystyle P(x=0)=0{.}5}$y${\displaystyle P(x=1)=0{.}5}$
Parámetros	${\displaystyle 0\leq p\leq 1}$ ${\displaystyle q=1-p}$
Apoyo	${\displaystyle k\en \{0,1\}}$
FMP	${\displaystyle {\begin{cases}q=1-p&{\text{si }}k=0\\p&{\text{si }}k=1\end{cases}}}$
CDF	${\displaystyle {\begin{cases}0&{\text{si }}k<0\\1-p&{\text{si }}0\leq k<1\\1&{\text{si }}k\geq 1\end{cases}}}$
Significar	${\estilo de visualización p}$
Mediana	${\displaystyle {\begin{cases}0&{\text{si }}p<1/2\\\left[0,1\right]&{\text{si }}p=1/2\\1&{\text{si }}p>1/2\end{cases}}}$
Modo	${\displaystyle {\begin{cases}0&{\text{si }}p<1/2\\0,1&{\text{si }}p=1/2\\1&{\text{si }}p>1/2\end{cases}}}$
Diferencia	${\displaystyle p(1-p)=pq}$
ENOJADO	${\displaystyle 2p(1-p)=2pq}$
Oblicuidad	${\displaystyle {\frac {qp}{\sqrt {pq}}}}$
Exceso de curtosis	${\displaystyle {\frac {1-6pq}{pq}}}$
Entropía	${\displaystyle -q\ln qp\ln p}$
MGF	$estilo de visualización q+pe^{t}}$
CF	${\displaystyle q+pe^{eso}}$
PGF	${\estilo de visualización q+pz}$
Información de Fisher	${\displaystyle {\frac {1}{pq}}}$

Parte de una serie sobre estadísticas
Teoría de la probabilidad
Probabilidad Axiomas Determinismo Sistema Indeterminismo Aleatoriedad
Espacio de probabilidad Espacio muestral Evento Eventos colectivamente exhaustivos Evento elemental Exclusividad mutua Resultado Semifallo Experimento El proceso de Bernoulli Distribución de probabilidad Distribución de Bernoulli Distribución binomial Distribución exponencial Distribución normal Distribución de Pareto Distribución de Poisson Medida de probabilidad Variable aleatoria Proceso de Bernoulli Continuo o discreto Valor esperado Diferencia Cadena de Markov Valor observado Paseo aleatorio Stochastic process
Complementary event Joint probability Marginal probability Conditional probability
Independence Conditional independence Law of total probability Law of large numbers Bayes' theorem Boole's inequality
Venn diagram Tree diagram
v t e

En teoría de probabilidad y estadística , la distribución de Bernoulli , llamada así por el matemático suizo Jacob Bernoulli , ^[1] es la distribución de probabilidad discreta de una variable aleatoria que toma el valor 1 con probabilidad y el valor 0 con probabilidad . De manera menos formal, se puede considerar como un modelo para el conjunto de resultados posibles de cualquier experimento individual que haga una pregunta de sí o no . Tales preguntas conducen a resultados que tienen un valor booleano : un solo bit cuyo valor es éxito/ sí / verdadero / uno con probabilidad p y fracaso/no/ falso / cero con probabilidad q . Se puede utilizar para representar un lanzamiento de moneda (posiblemente sesgado) donde 1 y 0 representarían "cara" y "cruz", respectivamente, y p sería la probabilidad de que la moneda caiga en cara (o viceversa, donde 1 representaría cruz y p sería la probabilidad de cruz). En particular, las monedas injustas tendrían${\displaystyle p}$${\displaystyle q=1-p}$ ${\displaystyle p\neq 1/2.}$

La distribución de Bernoulli es un caso especial de la distribución binomial en el que se realiza un único ensayo (por lo que n sería 1 para dicha distribución binomial). También es un caso especial de la distribución de dos puntos , para la que los resultados posibles no necesitan ser 0 y 1. ^[2]

Si es una variable aleatoria con distribución de Bernoulli, entonces:${\displaystyle X}$

${\displaystyle \Pr(X=1)=p=1-\Pr(X=0)=1-q.}$

La función de masa de probabilidad de esta distribución, sobre posibles resultados k , es${\displaystyle f}$

${\displaystyle f(k;p)={\begin{cases}p&{\text{if }}k=1,\\q=1-p&{\text{if }}k=0.\end{cases}}}$^[3]

Esto también se puede expresar como

${\displaystyle f(k;p)=p^{k}(1-p)^{1-k}\quad {\text{for }}k\in \{0,1\}}$

o como

${\displaystyle f(k;p)=pk+(1-p)(1-k)\quad {\text{for }}k\in \{0,1\}.}$

La distribución de Bernoulli es un caso especial de la distribución binomial con ^[4]${\displaystyle n=1.}$

La curtosis tiende al infinito para valores altos y bajos de pero las distribuciones de dos puntos, incluida la distribución de Bernoulli, tienen un exceso de curtosis menor , es decir, −2, que cualquier otra distribución de probabilidad.${\displaystyle p,}$${\displaystyle p=1/2}$

Las distribuciones de Bernoulli forman una familia exponencial .${\displaystyle 0\leq p\leq 1}$

El estimador de máxima verosimilitud de basado en una muestra aleatoria es la media de la muestra .${\displaystyle p}$

El valor esperado de una variable aleatoria de Bernoulli es${\displaystyle X}$

${\displaystyle \operatorname {E} [X]=p}$

Esto se debe al hecho de que para una variable aleatoria distribuida según Bernoulli con y encontramos${\displaystyle X}$${\displaystyle \Pr(X=1)=p}$${\displaystyle \Pr(X=0)=q}$

${\displaystyle \operatorname {E} [X]=\Pr(X=1)\cdot 1+\Pr(X=0)\cdot 0=p\cdot 1+q\cdot 0=p.}$^[3]

La varianza de una distribución de Bernoulli es${\displaystyle X}$

${\displaystyle \operatorname {Var} [X]=pq=p(1-p)}$

Primero encontramos

${\displaystyle \operatorname {E} [X^{2}]=\Pr(X=1)\cdot 1^{2}+\Pr(X=0)\cdot 0^{2}}$

${\displaystyle =p\cdot 1^{2}+q\cdot 0^{2}=p=\operatorname {E} [X]}$

De esto se desprende

${\displaystyle \operatorname {Var} [X]=\operatorname {E} [X^{2}]-\operatorname {E} [X]^{2}=\operatorname {E} [X]-\operatorname {E} [X]^{2}}$

${\displaystyle =p-p^{2}=p(1-p)=pq}$^[3]

Con este resultado es fácil demostrar que, para cualquier distribución de Bernoulli, su varianza tendrá un valor dentro de .${\displaystyle [0,1/4]}$

La asimetría es . Cuando tomamos la variable aleatoria distribuida Bernoulli estandarizada, encontramos que esta variable aleatoria alcanza con probabilidad y alcanza con probabilidad . Por lo tanto, obtenemos${\displaystyle {\frac {q-p}{\sqrt {pq}}}={\frac {1-2p}{\sqrt {pq}}}}$${\displaystyle {\frac {X-\operatorname {E} [X]}{\sqrt {\operatorname {Var} [X]}}}}$${\displaystyle {\frac {q}{\sqrt {pq}}}}$${\displaystyle p}$${\displaystyle -{\frac {p}{\sqrt {pq}}}}$${\displaystyle q}$

${\displaystyle {\begin{aligned}\gamma _{1}&=\operatorname {E} \left[\left({\frac {X-\operatorname {E} [X]}{\sqrt {\operatorname {Var} [X]}}}\right)^{3}\right]\\&=p\cdot \left({\frac {q}{\sqrt {pq}}}\right)^{3}+q\cdot \left(-{\frac {p}{\sqrt {pq}}}\right)^{3}\\&={\frac {1}{{\sqrt {pq}}^{3}}}\left(pq^{3}-qp^{3}\right)\\&={\frac {pq}{{\sqrt {pq}}^{3}}}(q^{2}-p^{2})\\&={\frac {(1-p)^{2}-p^{2}}{\sqrt {pq}}}\\&={\frac {1-2p}{\sqrt {pq}}}={\frac {q-p}{\sqrt {pq}}}.\end{aligned}}}$

Los momentos crudos son todos iguales debido al hecho de que y .${\displaystyle 1^{k}=1}$${\displaystyle 0^{k}=0}$

${\displaystyle \operatorname {E} [X^{k}]=\Pr(X=1)\cdot 1^{k}+\Pr(X=0)\cdot 0^{k}=p\cdot 1+q\cdot 0=p=\operatorname {E} [X].}$

El momento central del orden viene dado por${\displaystyle k}$

${\displaystyle \mu _{k}=(1-p)(-p)^{k}+p(1-p)^{k}.}$

Los primeros seis momentos centrales son

${\displaystyle {\begin{aligned}\mu _{1}&=0,\\\mu _{2}&=p(1-p),\\\mu _{3}&=p(1-p)(1-2p),\\\mu _{4}&=p(1-p)(1-3p(1-p)),\\\mu _{5}&=p(1-p)(1-2p)(1-2p(1-p)),\\\mu _{6}&=p(1-p)(1-5p(1-p)(1-p(1-p))).\end{aligned}}}$

Los momentos centrales superiores se pueden expresar de forma más compacta en términos de y${\displaystyle \mu _{2}}$${\displaystyle \mu _{3}}$

${\displaystyle {\begin{aligned}\mu _{4}&=\mu _{2}(1-3\mu _{2}),\\\mu _{5}&=\mu _{3}(1-2\mu _{2}),\\\mu _{6}&=\mu _{2}(1-5\mu _{2}(1-\mu _{2})).\end{aligned}}}$

Los primeros seis cumulantes son

${\displaystyle {\begin{aligned}\kappa _{1}&=p,\\\kappa _{2}&=\mu _{2},\\\kappa _{3}&=\mu _{3},\\\kappa _{4}&=\mu _{2}(1-6\mu _{2}),\\\kappa _{5}&=\mu _{3}(1-12\mu _{2}),\\\kappa _{6}&=\mu _{2}(1-30\mu _{2}(1-4\mu _{2})).\end{aligned}}}$

La entropía es una medida de incertidumbre o aleatoriedad en una distribución de probabilidad. Para una variable aleatoria de Bernoulli con probabilidad de éxito y probabilidad de fracaso , la entropía se define como:${\displaystyle X}$${\displaystyle p}$${\displaystyle q=1-p}$${\displaystyle H(X)}$

${\displaystyle {\begin{aligned}H(X)&=\mathbb {E} _{p}\ln({\frac {1}{P(X)}})=-[P(X=0)\ln P(X=0)+P(X=1)\ln P(X=1)]\\H(X)&=-(q\ln q+p\ln p),\quad q=P(X=0),p=P(X=1)\end{aligned}}}$

La entropía se maximiza cuando , lo que indica el nivel más alto de incertidumbre cuando ambos resultados son igualmente probables. La entropía es cero cuando o , donde un resultado es seguro.${\displaystyle p=0.5}$${\displaystyle p=0}$${\displaystyle p=1}$

La información de Fisher mide la cantidad de información que una variable aleatoria observable contiene sobre un parámetro desconocido del que depende la probabilidad de que ocurra. Para la distribución de Bernoulli, la información de Fisher con respecto al parámetro viene dada por:${\displaystyle X}$${\displaystyle p}$${\displaystyle X}$${\displaystyle p}$

${\displaystyle {\begin{aligned}I(p)={\frac {1}{pq}}\end{aligned}}}$

Prueba:

• La función de verosimilitud para una variable aleatoria de Bernoulli es:${\displaystyle X}$

${\displaystyle {\begin{aligned}L(p;X)=p^{X}(1-p)^{1-X}\end{aligned}}}$

Esto representa la probabilidad de observar dado el parámetro .${\displaystyle X}$${\displaystyle p}$

• La función de log-verosimilitud es:

${\displaystyle {\begin{aligned}\ln L(p;X)=X\ln p+(1-X)\ln(1-p)\end{aligned}}}$

• La función de puntuación (la primera derivada de la verosimilitud logarítmica con respecto a es:${\displaystyle p}$

${\displaystyle {\begin{aligned}{\frac {\partial }{\partial p}}\ln L(p;X)={\frac {X}{p}}-{\frac {1-X}{1-p}}\end{aligned}}}$

• La segunda derivada de la función de log-verosimilitud es:

${\displaystyle {\begin{aligned}{\frac {\partial ^{2}}{\partial p^{2}}}\ln L(p;X)=-{\frac {X}{p^{2}}}-{\frac {1-X}{(1-p)^{2}}}\end{aligned}}}$

• La información de Fisher se calcula como el valor esperado negativo de la segunda derivada de la verosimilitud logarítmica:

${\displaystyle {\begin{aligned}I(p)=-E\left[{\frac {\partial ^{2}}{\partial p^{2}}}\ln L(p;X)\right]=-\left(-{\frac {p}{p^{2}}}-{\frac {1-p}{(1-p)^{2}}}\right)={\frac {1}{p(1-p)}}={\frac {1}{pq}}\end{aligned}}}$

Se maximiza cuando , reflejando la máxima incertidumbre y por tanto la máxima información sobre el parámetro .${\displaystyle p=0.5}$${\displaystyle p}$

• Si son variables aleatorias independientes, idénticamente distribuidas ( iid ), todas ellas ensayos de Bernoulli con probabilidad de éxito  p , entonces su suma se distribuye según una distribución binomial con parámetros n y p :${\displaystyle X_{1},\dots ,X_{n}}$

  ${\displaystyle \sum _{k=1}^{n}X_{k}\sim \operatorname {B} (n,p)}$( distribución binomial ). ^[3]

La distribución de Bernoulli es simplemente , también escrita como${\displaystyle \operatorname {B} (1,p)}$${\textstyle \mathrm {Bernoulli} (p).}$

• La distribución categórica es la generalización de la distribución de Bernoulli para variables con cualquier número constante de valores discretos.
• La distribución Beta es la distribución conjugada anterior de la distribución de Bernoulli. ^[5]
• Los modelos de distribución geométrica modelan el número de ensayos de Bernoulli independientes e idénticos necesarios para obtener un éxito.
• Si , entonces tiene una distribución de Rademacher .${\textstyle Y\sim \mathrm {Bernoulli} \left({\frac {1}{2}}\right)}$${\textstyle 2Y-1}$

• Proceso de Bernoulli , un proceso aleatorio que consiste en una secuencia de ensayos de Bernoulli independientes
• Muestreo de Bernoulli
• Función de entropía binaria
• Diagrama de decisión binaria

• Johnson, NL; Kotz, S.; Kemp, A. (1993). Distribuciones discretas univariadas (2.ª ed.). Wiley. ISBN 0-471-54897-9.
• Peatman, John G. (1963). Introducción a la estadística aplicada . Nueva York: Harper & Row. pp. 162–171.

Wikimedia Commons alberga una categoría multimedia sobre Distribución de Bernoulli .

• "Distribución binomial", Enciclopedia de Matemáticas , EMS Press , 2001 [1994].
• Weisstein, Eric W. "Distribución de Bernoulli". MathWorld .
• Gráfico interactivo: Relaciones de distribución univariadas.