Índice de Theil

El índice de Theil es una estadística utilizada principalmente para medir la desigualdad económica ^[1] y otros fenómenos económicos, aunque también se ha utilizado para medir la segregación racial. ^{[2] [3]} El índice de Theil T _T es lo mismo que la redundancia en la teoría de la información , que es la entropía máxima posible de los datos menos la entropía observada. Es un caso especial del índice de entropía generalizado . Puede verse como una medida de redundancia, falta de diversidad, aislamiento, segregación, desigualdad, no aleatoriedad y compresibilidad. Fue propuesto por el econometrista holandés Henri Theil (1924-2000) en la Universidad Erasmus de Róterdam . ^[3]

El propio Henri Theil dijo (1967): “El índice (de Theil) puede interpretarse como el contenido de información esperado del mensaje indirecto que transforma las proporciones de población como probabilidades previas en proporciones de ingresos como probabilidades posteriores”. ^[4] Amartya Sen señaló: “Pero el hecho es que el índice de Theil es una fórmula arbitraria, y el promedio de los logaritmos de los recíprocos de las proporciones de ingresos ponderados por los ingresos no es una medida que rebose exactamente de sentido intuitivo”. ^[4]

Para una población de N "agentes" cada uno con la característica x , la situación puede representarse mediante la lista x _i ( i  = 1,..., N ) donde x _i es la característica del agente i . Por ejemplo, si la característica es el ingreso, entonces x _i es el ingreso del agente i .

El índice T de Theil se define como ^[5]

${\displaystyle T_{T}=T_{\alpha =1}={\frac {1}{N}}\sum _{i=1}^{N}{\frac {x_{i}}{\mu }}\ln \left({\frac {x_{i}}{\mu }}\right)}$

y el índice L de Theil se define como ^[5]

${\displaystyle T_{L}=T_{\alpha =0}={\frac {1}{N}}\sum _{i=1}^{N}\ln \left({\frac {\mu }{x_{i}}}\right)}$

¿Dónde está el ingreso medio?${\estilo de visualización \mu}$

${\displaystyle \mu ={\frac {1}{N}}\sum _{i=1}^{N}x_{i}}$

Theil-L es la desentropía de la distribución del ingreso por persona, medida con respecto a la entropía máxima (...que se logra con completa igualdad).

(En una interpretación alternativa, Theil-L es el logaritmo natural de la media geométrica de la relación: (ingreso medio)/(ingreso i), sobre todos los ingresos. El Atkinson(1) relacionado es simplemente 1 menos la media geométrica de (ingreso i)/(ingreso medio), sobre la distribución del ingreso).

Dado que una transferencia entre un ingreso mayor y uno menor cambiará la relación del ingreso menor más de lo que cambia la relación del ingreso mayor, el principio de transferencia se satisface con este índice.

De manera equivalente, si la situación se caracteriza por una función de distribución discreta f _k ( k  = 0,..., W ) donde f _k es la fracción de la población con ingresos k y W = Nμ es el ingreso total, entonces y el índice de Theil es:${\displaystyle \sum _{k=0}^{W}f_{k}=1}$

${\displaystyle T_{T}=\sum _{k=0}^{W}\,f_{k}\,{\frac {k}{\mu }}\ln \left({\frac {k}{\mu }}\right)}$

¿Dónde está nuevamente el ingreso medio?${\estilo de visualización \mu}$

${\displaystyle \mu =\sum _ {k=0}^{W}kf_{k}}$

Nótese que en este caso el ingreso k es un número entero y k=1 representa el menor incremento de ingreso posible (por ejemplo, centavos).

Si la situación se caracteriza por una función de distribución continua f ( k ) (sostenida desde 0 hasta el infinito) donde f ( k )  dk es la fracción de la población con ingresos k a k  +  dk , entonces el índice de Theil es:

${\displaystyle T_{T}=\int _{0}^{\infty }f(k){\frac {k}{\mu }}\ln \left({\frac {k}{\mu }}\right)dk}$

donde la media es:

${\displaystyle \mu =\int _{0}^{\infty }kf(k)\,dk}$

Los índices de Theil para algunas distribuciones de probabilidad continua comunes se dan en la siguiente tabla:

Función de distribución del ingreso	PDF( x ) ( x ≥ 0)	Coeficiente de Theil (nats)
Función delta de Dirac	${\displaystyle \delta(x-x_{0}),\,x_{0}>0}$	0
Distribución uniforme	${\displaystyle {\begin{cases}{\frac {1}{ba}}&a\leq x\leq b\\0&{\text{de lo contrario}}\end{cases}}}$	${\displaystyle \ln \left({\frac {2a}{(a+b){\sqrt {e}}}}\right)+{\frac {b^{2}}{b^{2}-a^{2}}}\ln(b/a)}$
Distribución exponencial	${\displaystyle \lambda e^{-x\lambda },\,\,x>0}$	${\displaystyle 1-}$ ${\displaystyle \gamma }$
Distribución log-normal	${\displaystyle {\frac {1}{\sigma {\sqrt {2\pi }}}}e^{(-(\ln(x)-\mu )^{2})/\sigma ^{2}}}$	${\displaystyle {\frac {\sigma ^{2}}{2}}}$
Distribución de Pareto	${\displaystyle {\begin{cases}{\frac {\alpha k^{\alpha }}{x^{\alpha +1}}}&x\geq k\\0&x<k\end{cases}}}$	${\displaystyle \ln(1\!-\!1/\alpha )+{\frac {1}{\alpha -1}}}$    (α>1)
Distribución de chi-cuadrado	${\displaystyle {\frac {2^{-k/2}e^{-x/2}x^{k/2-1}}{\Gamma (k/2)}}}$	${\displaystyle \ln(2/k)+}$ ${\displaystyle \psi ^{(0)}}$${\displaystyle (1\!+\!k/2)}$
Distribución gamma [6]	${\displaystyle {\frac {e^{-x/\theta }x^{k-1}\theta ^{-k}}{\Gamma (k)}}}$	${\displaystyle \psi ^{(0)}}$${\displaystyle (1+k)-\ln(k)}$
Distribución de Weibull	${\displaystyle {\frac {k}{\lambda }}\left({\frac {x}{\lambda }}\right)^{k-1}e^{-(x/\lambda )^{k}}}$	${\displaystyle {\frac {1}{k}}}$ ${\displaystyle \psi ^{(0)}}$${\displaystyle (1+1/k)-\ln \left(\Gamma (1+1/k)\right)}$

Si todos tienen el mismo ingreso, entonces T _T es igual a 0. Si una persona tiene todos los ingresos, entonces T _T da como resultado , que es la máxima desigualdad. Dividir T _T por puede normalizar la ecuación para que oscile entre 0 y 1, pero entonces se viola el axioma de independencia : y no califica como una medida de desigualdad.${\displaystyle \ln N}$${\displaystyle \ln N}$${\displaystyle T[x\cup x]\neq T[x]}$

El índice de Theil mide la "distancia" entrópica que separa a la población del estado igualitario en el que todos tienen los mismos ingresos. El resultado numérico se expresa en términos de entropía negativa, de modo que un número más alto indica un orden más alejado de la igualdad total. Si se formula el índice para que represente la entropía negativa en lugar de la entropía, se puede considerar una medida de desigualdad en lugar de igualdad.

El índice de Theil se puede transformar en un índice de Atkinson , que tiene un rango entre 0 y 1 (0% y 100%), donde 0 indica igualdad perfecta y 1 (100%) indica desigualdad máxima. (Ver índice de entropía generalizado para la transformación).

El índice de Theil se deriva de la medida de entropía de la información de Shannon , donde la entropía es una medida de aleatoriedad en un conjunto dado de información. En teoría de la información, física y el índice de Theil, la forma general de entropía es ${\displaystyle S}$

${\displaystyle S=k\sum _{i=1}^{N}\left(p_{i}\log _{a}\left({\frac {1}{p_{i}}}\right)\right)=-k\sum _{i=1}^{N}\left(p_{i}\log _{a}\left({p_{i}}\right)\right)}$

dónde

• ${\displaystyle i}$es un elemento individual del conjunto (como un miembro individual de una población o un byte individual de un archivo de computadora).
• ${\displaystyle p_{i}}$es la probabilidad de encontrarlo a partir de una muestra aleatoria del conjunto.${\displaystyle i}$
• ${\displaystyle k}$es una constante. ^{[nota 1]}
• ${\displaystyle \log _{a}\left({x}\right)}$es un logaritmo con base igual a . ^{[nota 2]}${\displaystyle a}$

Al observar la distribución del ingreso en una población, es igual a la relación entre el ingreso de un individuo en particular y el ingreso total de toda la población. Esto da como resultado que la entropía observada de una población sea:${\displaystyle p_{i}}$${\displaystyle S_{\text{Theil}}}$

${\displaystyle S_{\text{Theil}}=\sum _{i=1}^{N}\left({\frac {x_{i}}{N{\bar {x}}}}\ln \left({\frac {N{\bar {x}}}{x_{i}}}\right)\right)}$

dónde

• ${\displaystyle x_{i}}$es el ingreso de un individuo en particular.
• ${\displaystyle \left(N{\bar {x}}\right)}$es el ingreso total de toda la población, con

• ${\displaystyle N}$siendo el número de individuos en la población.
• ${\displaystyle {\bar {x}}}$("barra x") siendo el ingreso promedio de la población.

• ${\displaystyle \ln \left(x\right)}$es el logaritmo natural de : .${\displaystyle x}$${\displaystyle \left(\log _{e}\left(x\right)\right)}$

El índice de Theil mide la distancia entre la entropía observada ( , que representa la distribución aleatoria de los ingresos) y la entropía más alta posible ( , ^{[nota 3]} que representa la distribución máxima de los ingresos entre los individuos de la población, una distribución análoga al resultado [más probable] de un número infinito de lanzamientos aleatorios de una moneda: una distribución igualitaria de caras y cruces). Por lo tanto, el índice de Theil es la diferencia entre la entropía máxima teórica (que se alcanzaría si los ingresos de cada individuo fueran iguales) menos la entropía observada:${\displaystyle T_{T}}$${\displaystyle S_{\text{Theil}}}$${\displaystyle S_{\text{max}}=\ln \left({N}\right)}$

${\displaystyle T_{T}=S_{\text{max}}-S_{\text{Theil}}=\ln \left({N}\right)-S_{\text{Theil}}}$

Cuando se expresa en unidades de población/especie, es una medida de biodiversidad y se denomina índice de Shannon . Si se utiliza el índice de Theil con x=población/especie, es una medida de desigualdad de la población entre un conjunto de especies, o "bioaislamiento" en contraposición a "aislamiento por riqueza".${\displaystyle x}$${\displaystyle S_{\text{Theil}}}$

El índice de Theil mide lo que se denomina redundancia en la teoría de la información. ^[5] Es el "espacio de información" sobrante que no se utilizó para transmitir información, lo que reduce la eficacia de la señal de precios . ^{[ ¿ Investigación original? ]} El índice de Theil es una medida de la redundancia de ingresos (u otra medida de riqueza) en algunos individuos. La redundancia en algunos individuos implica escasez en otros. Un índice de Theil alto indica que el ingreso total no se distribuye de manera uniforme entre los individuos de la misma manera que un archivo de texto sin comprimir no tiene una cantidad similar de ubicaciones de bytes asignadas a los caracteres de bytes únicos disponibles.

Notación	Teoría de la información	Índice de Theil T T
${\displaystyle N}$	Número de caracteres únicos	Número de individuos
${\displaystyle i}$	Un personaje particular	Un individuo en particular
${\displaystyle x_{i}}$	recuento del i -ésimo carácter	Ingresos del individuo i
${\displaystyle N{\bar {x}}}$	Total de caracteres en el documento	ingreso total en la población
${\displaystyle T_{T}}$	espacio de información no utilizado	Potencial no utilizado en el mecanismo de precios [ ¿investigación original? ]
	compresión de datos	impuesto progresivo [ investigación original? ]

Según el Banco Mundial ,

"Las medidas de entropía más conocidas son la T de Theil ( ) y la L de Theil ( ), ambas permiten descomponer la desigualdad en la parte que se debe a la desigualdad dentro de las áreas (por ejemplo, urbana, rural) y la parte que se debe a las diferencias entre áreas (por ejemplo, la brecha de ingresos rural-urbana). Normalmente, al menos tres cuartas partes de la desigualdad en un país se debe a la desigualdad dentro de los grupos, y la cuarta parte restante a las diferencias entre grupos". ^[7]${\displaystyle T_{T}}$${\displaystyle T_{L}}$

Si la población se divide en subgrupos y ${\displaystyle m}$

• ${\displaystyle s_{i}}$es la participación en los ingresos del grupo ,${\displaystyle i}$
• ${\displaystyle N}$es la población total y es la población del grupo ,${\displaystyle N_{i}}$${\displaystyle i}$
• ${\displaystyle T_{i}}$es el índice de Theil para ese subgrupo,
• ${\displaystyle {\overline {x}}_{i}}$es el ingreso promedio en el grupo , y${\displaystyle i}$
• ${\displaystyle \mu }$es el ingreso medio de la población,

Entonces el índice T de Theil es

${\displaystyle T_{T}=\sum _{i=1}^{m}s_{i}T_{i}+\sum _{i=1}^{m}s_{i}\ln {\frac {{\overline {x}}_{i}}{\mu }}}$para ${\displaystyle s_{i}={\frac {N_{i}}{N}}{\frac {{\overline {x}}_{i}}{\mu }}}$

Por ejemplo, la desigualdad dentro de Estados Unidos es la desigualdad promedio dentro de cada estado, ponderada por el ingreso estatal, más la desigualdad entre estados.

Nota : Esta imagen no representa el índice de Theil de cada zona de los Estados Unidos, sino las contribuciones al índice de Theil de los Estados Unidos por cada zona. El índice de Theil siempre es positivo, aunque las contribuciones individuales al índice de Theil pueden ser negativas o positivas.

La descomposición del índice de Theil, que identifica la proporción atribuible al componente entre regiones, se convierte en una herramienta útil para el análisis positivo de la desigualdad regional, ya que sugiere la importancia relativa de la dimensión espacial de la desigualdad. ^[8]

Tanto la T de Theil como la L de Theil son descomponibles. La diferencia entre ellas se basa en la parte de la distribución de resultados para la que se utiliza cada una. Los índices de desigualdad en la familia de entropía generalizada (GE) son más sensibles a las diferencias en las participaciones en el ingreso entre los pobres o entre los ricos, dependiendo de un parámetro que define el índice GE. Cuanto menor sea el valor del parámetro para GE, más sensible será a las diferencias en la parte inferior de la distribución. ^[9]

GE(0) = L de Theil y es más sensible a las diferencias en el extremo inferior de la distribución. También se la conoce como medida de desviación logarítmica media .

GE(1) = T de Theil y es más sensible a las diferencias en la parte superior de la distribución.

La descomponibilidad es una propiedad del índice de Theil que el más popular coeficiente de Gini no ofrece. El coeficiente de Gini es más intuitivo para muchas personas, ya que se basa en la curva de Lorenz . Sin embargo, no es fácilmente descomponible como el de Theil.

Además de su multitud de aplicaciones económicas, el índice de Theil se ha aplicado para evaluar el rendimiento de los sistemas de riego ^[10] y la distribución de métricas de software . ^[11]

• Software:
  • Calculadora en línea gratuita que calcula el coeficiente de Gini, traza la curva de Lorenz y calcula muchas otras medidas de concentración para cualquier conjunto de datos
  • Calculadora gratuita: scripts en línea y descargables ( Python y Lua ) para las desigualdades de Atkinson, Gini y Hoover
  • Los usuarios del software de análisis de datos R pueden instalar el paquete "ineq" que permite calcular una variedad de índices de desigualdad, incluidos Gini, Atkinson y Theil.
  • Un paquete de desigualdades de MATLAB archivado el 4 de octubre de 2008 en Wayback Machine , que incluye código para calcular los índices de Gini, Atkinson y Theil y para trazar la curva de Lorenz. Hay muchos ejemplos disponibles.