L'Enciclopèdia, la wikipedia en valencià

Teoria de l'informació

La teoria de l'informació, també coneguda com a teoria matemàtica de la comunicació o teoria matemàtica de l'informació, és una proposta teòrica presentada per Claude I. Shannon i Warren Weaver a finals de la década de 1940. Esta teoria està relacionada en les lleis matemàtiques que rigen la transmissió i el processament de l'informació i s'ocupa de la medició de l'informació i de la representació de la mateixa, aixina com també de la capacitat dels sistemes de comunicació per a transmetre i processar informació.[1] La teoria de l'informació és una branca de la teoria de la provabilitat que estudia l'informació i tot lo relacionat en ella: canals, compressió de senyes i criptografia, entre uns atres. De manera sucinta, el terme "informació" especifica un estat (o configuració) específic d'un mig físic. [2][3][4] Sobretot, un estat que pot afectar al propi entorn físic o a qualsevol un atre. En conseqüència, l'informació consistix en una propietat que pot posseir un sistema físic.[2][5][3][4] I ya que l'informació és una propietat d'un sistema físic, és vulnerable a les lleis de la naturalea (per eixemple, l'aument de la entropía).[6][7][4]

Teoria de l'informació
En este artículo , de referències adicionals, de format de referències se detectaron varios problemas. Por favor, edítalo y/o discute los problemas en la discusión para mejorarlo:
Este aviso fue puesto el 28 de maig de 2024.

Història

La teoria de l'informació va sorgir a finals de la Segona Guerra Mundial, en els anys quaranta. Va ser indicada per Claude I. Shannon a través d'un artícul publicat en el Bell System Technical Journal en 1948, titulat Una teoria matemàtica de la comunicació (essrl. wustl. edu/~jao/itrg/shannon. pdftextcompleten anglés). En esta época es buscava utilisar de manera més eficient els canals de comunicació, enviant una cantitat d'informació per un determinat canal i medint la seua capacitat; es buscava la transmissió òptima dels mensages. Esta teoria és el resultat de treballs començats en la década 1910 per Andrei A. Markov, a qui li va seguir Ralph Hartley en 1927, qui va anar el precursor del llenguage binario. A la seua volta, Alan Turing en 1936, va realisar l'esquema d'una màquina capaç de tractar informació en emissió de símbols, i finalment Claude Elwood Shannon, matemàtic, ingenier electrònic i criptógrafo nortamericà, conegut com "el pare de la teoria de l'informació”, junt a Warren Weaver, va contribuir en la culminació i l'assentament de la Teoria Matemàtica de la Comunicació de 1949 –que hui és mundialment coneguda per tots com la Teoria de l'Informació-. Weaver va conseguir donar-li un alcanç superior al plantejament inicial, creant un model simple i llineal: Font/codificador/mensage canal/decodificador/destí. La necessitat d'una base teòrica per a la tecnologia de la comunicació va sorgir de l'aument de la complexitat i de la massificació de les vies de comunicació, tals com el teléfon, les rets de teletipo i els sistemes de comunicació per ràdio. La teoria de l'informació també comprén totes les restants formes de transmissió i almagasenament d'informació, incloent la televisió i els impulsos elèctrics que es transmeten en les computadores i en la gravació òptica de senyes i imàgens. L'idea és garantisar que el transport massiu de senyes no siga en modo algun una merma de la calitat, inclús si les senyes es comprimixen d'alguna manera. Idealment, les senyes es poden restaurar a la seua forma original en aplegar al seu destí. En alguns casos, no obstant, l'objectiu és permetre que les senyes d'alguna forma es convertixquen per a la transmissió en massa, es reben en el punt de destí i siguen convertits fàcilment al seu format original, sense perdre cap de l'informació transmesa.[8]

Desenroll de la teoria

El model propost per Shannon és un sistema general de la comunicació que partix d'una font d'informació que emet un mensage. A través d'un transmissor, s'emet una senyal que viaja per un canal, a on pot ser interferida per algun soroll. La senyal ix del canal, aplega a un receptor que decodifica l'informació convertint-la posteriorment en mensage que passa a un destinatari. En el model de la teoria de l'informació es tracta d'aplegar a determinar la forma més econòmica, ràpida i segura de codificar un mensage, sense que la presència d'algun soroll complique la seua transmissió. Per a açò, el destinatari deu comprendre la senyal correctament; el problema és que encara que existixca un mateix còdic de per mig, açò no significa que el destinatari va a captar el significat que l'emissor li va voler donar al mensage. La codificació pot referir-se tant a la transformació de veu o image en senyals elèctriques o electromagnètiques, com al sifrat de mensages per a assegurar la seua privacitat. Un concepte fonamental en la teoria de l'informació és que la cantitat d'informació continguda en un mensage és un valor matemàtic ben definit i mesurable. El terme cantitat no es referix a la quantia de senyes, sino a la provabilitat de que un mensage, dins d'un conjunt de mensages possibles, siga rebut. Pel que fa a la cantitat d'informació, el valor més alt se li assigna al mensage que menys provabilitats té de ser rebut. Si se sap en certea que un mensage va a ser rebut, la seua cantitat d'informació és zero.[9]

Finalitat

Un atre aspecte important dins d'esta teoria és la resistència a la distorsió que provoca el soroll, la facilitat de codificació i decodificació, aixina com la velocitat de transmissió. És per açò que es diu que el mensage té molts sentits, i el destinatari extrau el sentit que deu atribuir-li al mensage, sempre i quan hi haja un mateix còdic en comú. La teoria de l'informació té certes llimitacions, com lo és l'accepció del concepte del còdic. El significat que es vol transmetre no conta tant com el número d'alternatives necessari per a definir el fet sense ambigüitat. Si la selecció del mensage es planteja únicament entre dos alternatives diferents, la teoria de Shannon postula arbitrariamente que el valor de l'informació és un. Esta unitat d'informació rep el nom de bit. Per a que el valor de l'informació siga un bit, totes les alternatives deuen ser igual de provables i estar disponibles. És important saber si la font d'informació té el mateix grau de llibertat per a elegir qualsevol possibilitat o si es troba baix alguna influència que l'induïx a una certa elecció. La cantitat d'informació creix quan totes les alternatives són igual de provables o quant major siga el número d'alternatives. Pero en la pràctica comunicativa real no totes les alternatives són igualment provables, lo que constituïx un tipo de procés estocàstic denominat Márkov. El subtipo de Márkov diu que la cadena de símbols està configurada de manera que qualsevol seqüència d'eixa cadena és representativa de tota la cadena completa.

Teoria aplicada a la tecnologia

La Teoria de l'Informació es troba encara hui en dia en relació en una de les tecnologies en voga, Internet. Des del punt de vista social, Internet representa uns significatius beneficis potencials, ya que oferix oportunitats sense precedents per a donar poder als individus i conectar-els en fonts cada volta més riques d'informació digital. Internet va ser creat a partir d'un proyecte del departament de defensa dels Estats Units cridat ARPANET (Advanced Research Projects Agency Network) iniciat en 1969 i el propòsit principal del qual era l'investigació i desenroll de protocols de comunicació per a rets d'àrea àmplia per a lligar rets de transmissió de paquets de diferents tipos capaços de resistir les condicions d'operació més difícils, i continuar funcionant encara en la pèrdua d'una part de la ret (per eixemple en cas de guerra). Estes investigacions varen donar com resultat el protocol TCP/IP (Transmission Control Protocol/Internet Protocol), un sistema de comunicacions molt sòlit i robust baix el qual s'integren totes les rets que conformen lo que es coneix actualment com a Internet. L'enorme creiximent d'Internet es deu en part a que és una ret basada en fondos governamentals de cada país que forma part d'Internet, lo que proporciona un servici pràcticament gratuït. A principis de 1994 va començar a donar-se un creiximent explosiu de les companyies en propòsits comercials en Internet, donant aixina orige a una nova etapa en el desenroll de la ret. Descrit a grans traces, TCP/IP fica en paquets l'informació que es vol enviar i la trau dels paquets per a utilisar-la quan es rep. Estos paquets poden comparar-se en sobres de correu; TCP/IP guarda l'informació, tanca el sobre i en la part exterior posa la direcció a la qual va dirigida i la direcció de qui l'envia. Per mig d'este sistema, els paquets viagen a través de la ret fins que apleguen al destí desijat; una volta ahí, la computadora de destí lleva el sobre i processa l'informació; en cas de ser necessari envia una resposta a la computadora d'orige usant el mateix procediment. Cada màquina que està conectada a Internet té una direcció única; açò fa que l'informació que s'envia no equivoque el destí. Existixen dos formes de donar direccions, en lletres o en números. Realment, les computadores utilisen les direccions numèriques per a manar paquets d'informació, pero les direccions en lletres varen ser implementades per a facilitar el seu maneig als sers humans. Una direcció numèrica està composta per quatre parts. Cada una d'estes parts està dividida per punts. 

Eixemple:	sedet. com. mx  107.248.185.1

Una de les aplicacions de la teoria de l'informació són els archius ZIP, documents que es comprimixen per a la seua transmissió a través de correu electrònic o com a part dels procediments d'almagasenament de senyes. La compressió de les senyes fa possible completar la transmissió en menys temps. En l'extrem receptor, un software s'utilisa per a la lliberació o descompressió de l'archiu, restaurant els documents continguts en l'archiu ZIP al seu format original. La teoria de l'informació també entra en us en atres tipos d'archiu; per eixemple, els archius d'àudio i vídeo que es reproduïxen en un reproductor de MP3 / MP4 es comprimixen per a una fàcil descàrrega i almagasenament en el dispositiu. Quan s'accedix als archius es descomprimen per a que estiguen immediatament disponibles per al seu us.[10]

Elements de la teoria

 
Esquema de la comunicació ideat per Claude I. Shannon.

Font

Una font és tot allò que emet mensages. Per eixemple, una font pot ser una computadora i mensages els seus archius; una font pot ser un dispositiu de transmissió de senyes i mensages les senyes enviades, etc. Una font és en sí mateixa un conjunt finito de mensages: tots els possibles mensages que pot emetre dita font. En compressió de senyes es prendrà com a font l'archiu a comprimir i com a mensages els caràcters que conformen dit archiu.

Tipos de font

Per la naturalea generativa dels seus mensages, una font pot ser aleatòria o determinista. Per la relació entre els mensages emesos, una font pot ser estructurada o no estructurada (o caòtica). Existixen varis tipos de font. Per a la teoria de l'informació interessen les fonts aleatòries i estructurades. Una font és aleatòria quan no és possible predir quin és el pròxim mensage a emetre per la mateixa. Una font és estructurada quan posseïx un cert nivell de redundància; una font no estructurada o d'informació pura és aquella en que tots els mensages són absolutament aleatoris sense relació alguna ni sentit aparent. Este tipo de font emet mensages que no es poden comprimir; un mensage, per a poder ser comprimit, deu posseir un cert grau de redundància; l'informació pura no pot ser comprimida sense que hi haja una pèrdua de coneiximent sobre el mensage.[11]

Mensage

Un mensage és un conjunt de zeros i uns. Un archiu, un paquet de senyes que viaja per una ret i qualsevol cosa que tinga una representació binaria pot considerar-se un mensage. El concepte de mensage s'aplica també a alfabets de més de dos símbols, pero degut a que tractem en informació digital nos referirem casi sempre a mensages binarios.

Còdic

Un còdic és un conjunt d'uns i zeros que s'usen per a representar un cert mensage d'acort en regles o convencions preestablides. Per eixemple, al mensage 0010 lo podem representar en el còdic 1101 usat per a codificar la funció (NOT). La forma en la qual codifiquem és arbitrària. Un mensage pot, en alguns casos, representar-se en un còdic de menor llongitut que el mensage original. Supongam que a qualsevol mensage S ho codifiquem usant un cert algoritme de forma tal que cada S és codificat en L(S) bits; definim llavors l'informació continguda en el mensage S com la cantitat mínima de bits necessaris per a codificar un mensage.

Informació

L'informació continguda en un mensage és proporcional a la cantitat de bits que es requerixen com a mínim per a representar al mensage. El concepte d'informació pot entendre's més fàcilment si considerem un eixemple. Supongam que estem llegint un mensage i hem llegit "cadena de c"; la provabilitat de que el mensage continue en "caràcters" és molt alta. Aixina, quan efectivament rebem a continuació "caràcters" la cantitat d'informació que nos va aplegar és molt baixa puix estàvem en condicions de predir qué era lo que anava a ocórrer. L'ocurrència de mensages d'alta provabilitat d'aparició aporta menys informació que l'ocurrència de mensages menys provables. Si després de "cadena de c" llegim "himichurri" la cantitat d'informació que estem rebent és molt major.

Entropía i informació

L'informació és tractada com a magnitut física, caracterisant l'informació d'una seqüència de símbols utilisant l'entropía. És part de l'idea de que els canals no són ideals, encara que moltes voltes es idealicen les no linealidades, per a estudiar diversos métodos d'enviament d'informació o la cantitat d'informació útil que es puga enviar a través d'un canal. L'informació necessària per a especificar un sistema físic té que vore en la seua entropía. En concret, en certes àrees de la física, extraure informació de l'estat actual d'un sistema requerix reduir la seua entropía, de tal manera que la entropía del sistema (___*S) y la cantidad d'información (I) extraíble estan relacionades per:

Entropía d'una font

Artícul principal → entropía (informació).


D'acort en la teoria de l'informació, el nivell d'informació d'una font es pot medir segons l'entropía de la mateixa. Els estudis sobre la entropía són de suma importància en la teoria de l'informació i es deuen principalment a C. I. Shannon. Existix, a la seua volta, un gran número de propietats respecte de la entropía de variables aleatòries degudes a A. Kolmogorov. Donada una font F que emet mensages, resulta freqüent observar que els mensages emesos no resulten equiprobables sino que tenen una certa provabilitat d'ocurrència depenent del mensage. Per a codificar els mensages d'una font intentarem puix utilisar menor cantitat de bits per als mensages més provables i major cantitat de bits per als mensages menys provables, de forma tal que el promig de bits utilisats per a codificar els mensages siga menor que la cantitat de bits promig dels mensages originals. Esta és la base de la compressió de senyes. A este tipo de font li la denomina font d'orde-0, puix la provabilitat d'ocurrència d'un mensage no depén dels mensages anteriors. A les fonts d'orde superior li les pot representar per mig d'una font d'orde-0 utilisant tècniques de modelisació apropiades. Definim la provabilitat d'ocurrència d'un mensage en una font com la cantitat d'aparicions de dit mensage dividit entre el total de mensages. Supongam que Pi és la provabilitat d'ocurrència del mensage-i d'una font, i supongam que Li és la llongitut del còdic utilisat per a representar a dit mensage. La llongitut promig de tots els mensages codificats de la font es pot obtindre com:

  • Promig ponderat de les llongituts dels còdics d'acort en les seues provabilitats d'ocurrència, al número H li'l denomina "Entropía de la font" i té gran importància. La entropía de la font determina el nivell de compressió que podem obtindre com a màxim per a un conjunt de senyes. Si considerem com a font un archiu i obtenim les provabilitats d'ocurrència de cada caràcter en l'archiu podrem calcular la llongitut promig de l'archiu comprimit. Es demostra que no és possible comprimir estadísticament un mensage/archive més allà de la seua entropía, lo que implica que considerant únicament la freqüència d'aparició de cada caràcter la entropía de la font nos dona ellímit teòric de compressió. Per mig d'atres tècniques no-estadístiques pugues, tal volta, superar-se este llímit.
  • L'objectiu de la compressió de senyes és trobar els Li que minimisen a H; ademés els Li es deuen determinar en funció dels Pi, puix la llongitut dels còdics deu dependre de la provabilitat d'ocurrència dels mateixos (els més ocurrentes volem codificar-els en menys bits). Es planteja puix:

A partir d'ací i despuix d'intrincados procediments matemàtics que varen ser demostrats per Shannon oportunament s'aplega a que H és mínim quan f(Pi) = log2 (1/Pi). Llavors:

La llongitut mínima en la qual pot codificar-se un mensage pot calcular-se com a Li=log2(1/Pi) = -log2(Pi). Açò dona una idea de la llongitut a amprar en els còdics a usar per als caràcters d'un archiu en funció de la seua provabilitat d'ocurrència. Reemplaçant Li podem escriure H com:

D'ací es deduïx que la entropía de la font depén únicament de la provabilitat d'ocurrència de cada mensage de la mateixa; per això l'importància dels compressors estadístics (aquells que es basen en la provabilitat d'ocurrència de cada caràcter). Shannon va demostrar, oportunament, que no és possible comprimir una font estadísticament més allà del nivell indicat per la seua entropía.[12][13]

Atres aspectes de la teoria

Vore també

Referències

  1. ↑ tripod. com/ts10/ Teoria matemàtica de la comunicació
  2. ↑ 2,0 2,1 «Is Information Physical and Does It Have Mass?».Information.13(11)
    540.ISSN 2078-2489.doi:10.3390/info13110540.Consultat el 2024-04-25.
  3. ↑ 3,0 3,1 Dawkins, Richard (1987). The blind watchmaker: why the evidence of evolution reveals a universe wihtout design, Norton. ISBN 978-0-393-02216-2.
  4. ↑ 4,0 4,1 4,2 «On the Resistance to Entropic Elevation of Genetic Information: The Solution to the Senar-Randomness of Mutations With Reference to Their Essentiality».Biology and Life Sciences.doi:10.20944/preprints202404.1005. v1.Consultat el 2024-04-25.
  5. ↑ Hawking, Stephen W. (1996). The illustrated a brief history of clave, Updated and expanded ed edició, Bantam Books. ISBN 978-0-553-10374-8.
  6. ↑ «The physical nature of information».Physics Letters A.217(4)
    188–193.ISSN 0375-9601.doi:10.1016/0375-9601(96)00453-7.Consultat el 2024-04-25.
  7. ↑ «Information is a physical entity».Physica A: Statistical Mechanics and its Applications.263(1)
    63–67.ISSN 0378-4371.doi:10.1016/S0378-4371(98)00513-5.Consultat el 2024-04-25.
  8. ↑ tripod. com/ts10/ Teoria Matemàtica de la Comunicació
  9. ↑ entradagratis. com/Enciclopedia-de-Comunicacion/3068/Teoria-de-la-Informacion-pag.1. htm Teoria de l'Informació
  10. ↑ monografias. com/trabajos59/teoria-matematico-informacional/teoria-matematico-informacional. shtml Teoria Matemàtic-informacional
  11. ↑ textoscientificos. com/informacion/teoria Teoria de l'Informació | Texts Científics
  12. ↑ textoscientificos. com/informacion/teoria Teoria de l'Informació
  13. ↑ «Teoria Matemàtica de l'Informació». Archivat des d'el original, el 9 d'octubre de 2010. Consultat el 5 de juliol de 2011.



Obtingut de «https://lenciclopedia.org/w/index.php?title=Teoria_de_l%27informació&oldid=1400354»