Shannon y la cuantificación de la información en relación con los archivos zip, mp3 y los emoticones

Cuantificación de la Información
 

 Shannon define la cantidad de información producida por una fuente - por ejemplo, la cantidad en un mensaje - por una fórmula similar a la ecuación que define la entropía termodinámica en la física. En sus términos más básicos, la entropía de información de Shannon es el número de dígitos binarios necesarios para codificar un mensaje. Hoy eso suena como una forma sencilla, incluso obvia para definir la cantidad de información es en un mensaje.  En 1948, en los albores de la era de la información, la digitalización de la información de cualquier tipo era un paso revolucionario. Su papel puede haber sido el primero en utilizar la palabra "poco", abreviatura de dígito binario.

Así como la definición de la información, Shannon analizaron la posibilidad de enviar información a través de un canal de comunicaciones. Él encontró que un canal tenía una velocidad máxima de transmisión seguro de que no podía ser superado. Hoy llamamos a que el ancho de banda del canal.Shannon demostró matemáticamente que, incluso en un canal ruidoso, con un ancho de banda bajo, esencialmente perfecto, la comunicación libre de errores se podría lograr mantener la tasa de transmisión dentro del ancho de banda del canal, y mediante el uso de corrección de errores regímenes: la transmisión de bits adicionales que permitan a la datos que se extraen de la señal de ruido-montado.

 Hoy todo de los módems de CDs de música se basan en la corrección de errores para su funcionamiento. Un logro importante de científicos de la información cuántica, ha sido el desarrollo de técnicas para corregir errores introducidos en la información cuántica y para determinar hasta qué punto se puede hacer con un canal de comunicación cuántica ruidosos o con bits cuánticos entrelazados (qubits), cuyo enredo ha sido parcialmente degradadas por el ruido.

También demostró que el tamaño mínimo al que se puede reducir un fichero de datos es igual a su incertidumbre o entropía y mostró la manera de calcular esta entropía en casos sencillos. Uno de los algoritmos de compresión más conocido es el llamado de Lempel-Ziv (LZ), desarrollado por Abraham Lempel and Jacob Ziv. El programa compress del sistema operativo UNIX y todos los programas que generan ficheros .arj, .zip o .gif en Windows utilizan variantes suyas. Lo que hace el algoritmo es aprovechar de forma bastante simple las repeticiones de ciertas “frases” que aparecen en una cadena de bit, es decir, en una cadena de dígitos 0 o 1. Para ello se fragmenta primero la cadena de modo que no aparezca la misma frase dos veces. Esto se consigue colocando comas de forma sucesiva: se coloca una coma después del primer dígito; la siguiente se coloca de modo que el fragmento entre comas resultante sea el más corto posible que no haya aparecido antes.

Por ejemplo, en la cadena de bit:

1011100010101010100

La fragmentación proporcionará:

1,0,11,10,00,101,01,010,100

Se puede observar que cada fragmento es siempre la concatenación de un fragmento aparecido con anterioridad y de un bit 0 o 1. Los llamaremos fragmento prefijo y bit adicional, respectivamente.

Por ejemplo, el tercer fragmento, 11, es el primero seguido de un 1; el sexto fragmento, 101, es el cuarto seguido de un 1; y así sucesivamente. Podemos ahora numerar los fragmentos y sustituir cada uno de ellos por el número del prefijo y por el bit adicional. El 0 indicará por convención la falta de prefijo o “prefijo vacío”. En nuestro ejemplo:

(0,1),(0,0),(1,1),(1,0),(2,0),(4,1),(2,1),(7,0),(4,0) Finalmente se representan en binario los números que indican el prefijo para obtener una nueva cadena de bit. Veamos cómo se realiza este paso en nuestro ejemplo. Como hemos utilizado siete prefijos, se necesitan tres bit para representar cada uno de ellos:

(000,1),(000,0),(001,1),(001,0),(010,0),(100,1),(010,1), (111,0),(100,0)

Ahora se pueden quitar los paréntesis y las comas

y obtener así la cadena de bit comprimida:

000100000011001001001001010111101000.

 

Ejemplos de entropia

La Tetera  y el exparcimiento al azar del Calor

 
Es de dominio público el conocimiento de que el vapor generado por el agua hirviendo, puede ser utilizado como trabajo, por ejemplo el chiflido de una tetera se genera únicamente cuando el agua está hirviendo. Supongamos que se apaga la hornilla que calienta a la tetera que está chiflando y contiene agua a 100 °C (lo que en termodinámica se conocería como el sistema), todo esto está en la cocina (los alrededores) y dejamos que se enfrié la tetera. A medida que se enfría, no se hace más trabajo, y por tanto, deja de chiflar; aún así el calor se transfiere a los alrededores, aumentando la temperatura de la cocina en una cantidad infinitesimal hasta que se alcanza un equilibrio. En ese instante, todas las partes de la tetera, el agua y la cocina, están precisamente a la misma temperatura. La energía libre que una vez estuvo concentrada en la tetera chiflando con agua a a100 °C, ya no existe mas. Pero su equivalente en energía calorífica está completamente esparcido al azar en la suma de tetera + agua + cocina (el universo). Esta energía ya no está disponible para hacer trabajo debido a que no hay diferencia de energía en la cocina, de hecho, el incremento en entropía en la cocina (los alrededores), es irreversible. Sabemos por la experiencia diaria que el calor nunca regresará a la tetera desde la cocina y la hará chiflar al calentar el agua a 100 °C, esto es termodinámicamente imposible.

  

La oxidación de la Glucosa

 

La entropía es un estado o condiciones no solo de la energía sino también de la materia.
 Los organismos aerobios (heterótrofos), extraen energía libre de la glucosa que
obtienen de sus alrededores al oxidarla con O2, que también obtienen de los alrededores
. Los productos finales de este metabolismo oxidativo el CO2 y H2O se regresan a los
alrededores. En este proceso los alrededores sufren de un incremento en la entropía
mientras que el organismo permanece en un estado estacionario t no presenta un cambio
en su orden interno. A pesar de que existe un cambio en la entropía debido a la
 desaparición de calor, la entropía también está relacionada con otro tipo de orden,
 que se ilustra a continuación en la reacción de oxidación de la glucosa:

C₆H₁₂O₆ + 6O₂ ®  6 CO₂ + 6 H₂O

Que esquemáticamente puede ser representado de la siguiente forma:

 7 moléculas                                   12 moléculas

                                        Glucosa            CO₂

O₂                         (un sólido)     (un gas) 

   (un gas)                                                                            

H₂O

                                             (un líquido)

Figura: representación de la oxidación de una molécula de glucosa. 

Los átomos contenidos en una molécula de glucosa más 6 moléculas de Oxígeno, un total de 7 moléculas, están ahora, después de la oxidación de la glucosa, repartidas en 12 moléculas (6CO₂ + 6H₂O). Cuando una reacción química resulta en un incremento en el número de moléculas o bien existe una transformación de un estado de la materia a otro, por ejemplo de un compuesto sólido a uno líquido o de este último a un gas, el desorden molecular (el aumento en los grados de libertad de las moléculas),  y por tanto la entropía del sistema se incrementa.

 

Entropía de la información

Definiciones de Entropia:

1. En fisica : Función termodinámica que es una medida de la parte no utilizable de la energía contenida en un sistema o materia.
2. En informática: Medida de la duda que se produce ante un conjunto de mensajes del cual se va a recibir uno solo.Equivale a la pérdida de energía o incluso desorden.Siendo considerada por Einstein como la primera ley de todas la ciencias. 
3. En el área de comunicación se tiene la entropia de la información que es definida como siendo una forma de medir la cantidad de información. O sea, un mensaje tiene cierta cantidad de información cuánto mayor sea su grado de incertidumbre o imprevisibilidade.
4. En mecanica: Medida del desorden molecular de una materia o sustancia: los fluidos tienen más entropía que los sólidos. 
5. Definición comun:Desorden, caos.

Historia:

El concepto de entropía desarrollado en respuesta a la observación de que una cierta cantidad de energía liberada de funcionales reacciones de combustión Siempre se pierde debido a la disipación o la fricción y por lo tanto no se transforma en trabajo útil . Los primeros motores de calor como Thomas Savery (1698), el Newcomen motor (1712) y el Cugnot de vapor de tres ruedas (1769) eran ineficientes, la conversión de menos de dos por ciento de la energía de entrada en producción de trabajo útil; una gran cantidad de energía útil se disipa o se pierde en lo que parecía un estado de aleatoriedad inconmensurable. Durante los próximos dos siglos, los físicos investigaron este enigma de la energía perdida, el resultado fue el concepto de entropía.En la década de 1850, Rudolf Clausius establecido el concepto de la sistema termodinámico y postula la tesis de que en cualquier proceso irreversible una pequeña cantidad de energía térmica δQ se disipa gradualmente a través de la frontera del sistema. Clausius siguió desarrollando sus ideas de la energía perdida, y acuñó el término "entropía". Durante el próximo medio siglo se llevó a cabo un mayor desarrollo, y más recientemente el concepto de entropía ha encontrado aplicación en el campo análogo de pérdida de datos en los sistemas de transmisión de información.

 
INFORMACIÓN Y ENTROPÍA

Seguramente todos hemos comido alguna vez sopa de letras, existen ahí todas las letras del alfabeto, que sirven para formar miles de palabras, el no. se incrementa si pensamos que esas mismas palabras pueden ser escritas en diferentes idiomas, pero las letras se encuentran completamente al azar, con un patrón caótico, es muy raro encontrar ahí un arreglo que posea una palabra formada. Pero, cuando empezamos a aprender a leer y escribir, la sopa de letras es una herramienta fabulosa. A partir de un no. muy grande de letras que contienen ninguna o muy poca información, el sistema posee mucha entropía, es posible aumentar el orden y arreglarlo incluso para formar oraciones. De lo anterior se debe concluir que la información es una fuente de energía, de hecho se le ha denominado “entropía negativa”. Existe una rama de las matemáticas denominada teoría de la información, que es necesaria para la programación lógica de las computadoras, que está muy relacionada con la termodinámica.


Los organismos vivos, están altamente ordenados, naturalmente, no poseen estructuras al azar y son inmensamente ricos en información, que es necesaria para llevar a cabo los miles de procesos que les permite mantenerse en homeóstasis, fenómeno necesario para vivir. Generalmente como asociamos la entropía al orden y relacionamos a las enfermedades con un desorden del metabolismo, a priori suponemos que somos muy ordenados. Para explicar la verdad, recuérdese la tercera ley de la termodinámica: en el cero absoluto (-273.15 °C), al entropía es cero, y la inmensa mayoría de los seres vivos viven a temperaturas mucho mayores.  Debido a lo anterior, los seres vivos son sistemas que poseen cierto grado de entropía. Esta cantidad no es tan baja como lo es en un sólido, ni intermedia como se esperaría para un líquido, estamos de hecho muy lejos de ser tan entrópicos como un gas; la entropía de nuestros cuerpos es la suma de la entropía de las moléculas que nos constituyen en los tres estados de la materia y sus diferentes grados de transformación n calor. La entropía de los seres vivos es tal que depende incluso del  estado metabólico particular, una mujer embarazada posee un grado de entropía diferente al que posee cuando no está embarazada. No es trivial calcular la entropía de los seres vivos. Finalmente una reflexión más al respecto: cuando la muerte sobreviene, el grado de desorden que retienen los seres vivos disminuye, piénsese simplemente en la pérdida de la temperatura corporal.  Esta idea no está en contraposición con el enunciado de: “la entropía del universo tiende a un máximo”, la energía calorífica de los seres vivos aumenta la entropía de sus alrededores y por tanto del universo, los seres vivos luchan continuamente para mantener su entropía misma que pierden al morir i.e. pasan de un estado muy entrópico a otro mucho menos entrópico. Uno de los principios termodinámicos dice que la energía del universo crece, en el caso de los seres vivos, al morir su posterior descomposición (putrefacción), alterará el orden de los alrededores haciendo que la entropía del universo aumente. 

Karlheinz Brandenburg

(Erlangen, Alemania, 20 de junio de 1954) es un ingeniero de sonido que contribuyó al formato de compresión de audio MPEG Audio Layer 3, más conocido como MP3.
Se graduó como ingeniero industrial en la Universidad de Erlangen-Núremberg, concretamente en la especialidad de Ingeniería Eléctrica (1980) así como en Matemáticas (1982). En 1989 obtuvo en la misma universidad el doctorado en Ingeniería Eléctrica por su trabajo en la codificación digital de audio y técnicas de medida perceptual. Los resultados de la investigación de su doctorado son la base para sus logros en MPEG-1 Layer 3 (MP3), MPEG-2 Advanced Audio Coding (AAC) y otros esquemas modernos de compresión de audio.
Desde 1989 hasta 1990 trabajó con la empresa AT&T Bell Laboratories en Murray Hill, Nueva Jersey, Estados Unidos en ASPEC y MPEG-1 Layer 3. En 1990 regresó a la Universidad de Erlangen-Núremberg y en 1993 estuvo al frente del departamento de audio/multimedia en el Instituto Fraunhofer para circuitos integrados de Erlangen. Desde 2000, ha sido profesor a tiempo completo en el instituto de tecnología mediática en la Universidad Técnica de Ilmenau. Además, es director del Instituto Fraunhofer para tecnología mediática digital en Ilmenau.
Brandenburg es fellow de la Audio Engineering Society (AES) y director del comité de grupo de trabajo de los estándares AES SC-06-04 Internet Audio Delivery Systems. Tiene registradas 27 patentes en los Estados Unidos como co-inventor.

Jacob Ziv

 

 (Tiberíades, hoy Israel, 27 de noviembre de 1931) es un científico de computación quien, junto a Abraham Lempel, desarrolló los algoritmos de compresión sin pérdida LZ77 y LZ78.
El nombre de Jacob Ziv quizás no suene a muchos, pero sus ideas están presentes en la vida diaria de cada uno de nosotros, en actos tan cotidianos como escuchar una canción en el MP3, ver una película en DVD o enviar a un amigo por el correo electrónico las fotos de las últimas vacaciones. Sin el trabajo de este profesor de Ingeniería israelí ni siquiera sería posible leer estas líneas o, al menos, seguro que se leerían de forma diferente.

Ziv fue el primero en comprimir archivos mediante algoritmos, lo que supuso el despegue de internet. Sus teorías han inspirado la creación de archivos informáticos de MP3 (para sonido), GIF, JPG o PNG (imagen), PDF (texto), memorias de ordenador o módems informáticos. El programa ZIP (Ziv Compression Packing) lleva su apellido. «No me preguntaron para utilizarlo, pero me sentí feliz», asegura.Seguir leyendo

Abraham Lempel

nacido el 10 de febrero 1936, es un científico informático israelí y uno de los padres de la familia LZ de algoritmos de compresión sin pérdida de datos. Lempel nació el 10 de febrero de 1936 en Lvov, Polonia, Estudió en el Technion. Instituto Israelí de Tecnología, y recibió Licenciatura en 1963, M.Sc. en 1965, y doctor en Ciencias en el año 1967. Desde 1977 ha ocupado el título de profesor de tiempo completo. En la actualidad es profesor emérito en el Technion.Sus obras de importancia histórica comienza con la presentación del algoritmo LZ77 en un artículo titulado "Un algoritmo secuencial universal para la compresión de datos" en las Transacciones de IEEE en la Teoría de la Información (mayo de 1977). Esta obra fue coescrito por Jacob Ziv. Ha sido nombrado el beneficiario de la IEEE 2007 Richard W. Hamming Medalla "Por un trabajo pionero en la compresión de datos, especialmente el algoritmo Lempel-Ziv."

Claude Elwood Shannon

 (1916-2001) Nacido en Petoskey, Michigan (Estados Unidos), Desde su juventud se destacó por su inquietud investigadora y su habilidad en la creación de prototipos técnicos.
Su trabajo central fu la Teoría Matemática de la Comunicación, un trabajo que ha sido calificado como la ‘carta magna’ de la era de la información (`A Mathematical Theory of Communication, publicado por la Universidad de Illinois). Asimismo se da a conocer el teorema Shannon-Hartley, según el cual sólo es posible eliminar el 'ruido' en la transmisión de información cuando el flujo de información no exceda la capacidad del canal.
La biografía de Shannon está llena de los frutos de su ingenio, con numerosas aplicaciones en el campo de las máquinas automáticas, desde un ratón electrónico hasta un WC automático, pasando por diversos juego electrónicos de ajedrez, calculadoras, instrumentos musicales, juguetes mecánicos, relojes, etc.
Su Pensamiento