Internet profunda
| Esta pàgina de desambiguació enumera artículs que tenen títuls similars. |
Internet profunda[1] (del anglés, deep web), internet invisible[2] o internet amagada[3] és el contingut d'internet que no està indexat pels motors de busca convencionals, per diversos factors.[4] El terme s'atribuïx a l'informàtic Mike Bergman.[5]
Orígens
La principal causa de l'existència de l'internet profunda és l'impossibilitat dels motors de busca (eixemple: Google, Yahoo i Bing, i uns atres) de trobar o indexar gran part de l'informació existent en Internet. Si els buscadors tingueren la capacitat per a accedir a tota l'informació llavors la magnitut de la «internet profunda» es reduiria casi en la seua totalitat. No obstant, encara que els motors de busca pogueren indexar l'informació de l'internet profunda açò no significaria que esta deixara d'existir, ya que sempre existiran les pàgines privades. Els motors de busca no poden accedir a l'informació d'estes pàgines i solament determinats usuaris, aquells en contrasenyes o còdics especials, poden fer-ho.
Els motius pels que els motors de busca no poden indexar algunes pàgines poden ser:
- Documents o informació amagada: Archius PDF que no es troben en les pàgines indexades, llistes de senyes no públiques (sobretot els ciber-criminals).
- Web contextual: pàgines el contingut de les quals varia depenent del context (per eixemple, la direcció IP del client, de les visites anteriors, etcétera).
- Contingut dinàmic: pàgines dinàmiques obtingudes com a resposta a paràmetros, per eixemple, senyes enviades a través d'un formulari.
- Contingut d'accés restringit: pàgines protegides en contrasenya, contingut protegit per un Captcha, etc.
- Contingut no HTML: contingut textual en archius multimèdia, atres extensions com exe, rar, zip, etc.
- Software: Contingut amagat intencionadament, que requerix un programa o protocol específic per a poder accedir (eixemples: Tor, I2P, Freenet)
- Pàgines no enllaçades: pàgines de l'existència de les quals no tenen referència els buscadors; per eixemple, pàgines que no tenen enllaços des d'atres pàgines
En la Deep Web poden establir-se contactes que no són monitoreados, ningú està allí observant. Res que es faça en esta zona pot ser associat en l'identitat d'un, a menos que un ho desige.[6] Ademés les transferències tant de mercaderia com de pagaments són pràcticament impossibles de rastrejar.
L'internet profunda no és una regió prohibida o mística d'internet ni la tecnologia relacionada en ella és necessàriament conspirativa, perillosa o illegal. En ella s'alberga tot tipo de recursos als que és difícil d'accedir per mig de métodos comuns com els motors de busca populars. Una part de la «internet profunda» consistix en rets internes d'institucions científiques i acadèmiques que formen la denominada Academic Invisible Web: («Internet acadèmica invisible»), la qual es referix a les bases de senyes que contenen alvanços tecnològics, publicacions científiques i material acadèmic en general als quals no es poden accedir fàcilment.[7]
Denominació
Bergman, en un artícul semanal sobre la Web profunda publicat en el Journal of Electronic Publishing, va mencionar que Jill Ellsworth va utilisar el terme «Web invisible» en 1994 per a referir-se als llocs web que no estan registrats per cap motor de busca.[8]
En el seu artícul, Bergman va citar l'entrevista que Frank García va fer a Ellsworth en 1996:[9]
Un atre us primerenc del terme Web Invisible o web profunda va ser per Bruce Monte i Mateo B. Koll de Personal Library Software, en una descripció de la ferramenta 1 de web profunda, en un comunicat de prensa de decembre de 1996.[10]
L'importància potencial de les bases de senyes de busca també es va reflectir en el primer lloc de busca dedicat a ells, el motor AT1 que es va anunciar a bombo y platillo a principis de 1997. No obstant, PLS, propietari d'AT1, va ser adquirida per AOL en 1998, i poc despuix el servici AT1 va ser abandonat.[8]
El primer us del terme específic de web profunda, ara generalment acceptada, va ocórrer en l'estudi de Bergman de 2001 mencionat anteriorment.
Per una atra part, el terme web invisible es diu que és inexacto perque:
- Molts usuaris assumixen que l'única forma d'accedir a la web és consultant un buscador.
- Alguna informació pot ser trobada més fàcilment que una atra, pero açò no vol dir que estiga invisible.
- La web conté informació de diversos tipos que és almagasenada i recuperada en diferents formes.
- El contingut indexat pels buscadors de la web és almagasenat també en bases de senyes i disponible solament per mig de les peticions o consultes de l'usuari, per tant no és correcte dir que l'informació almagasenada en bases de senyes és invisible.[11][12]
Magnitut
L'internet profunda és un conjunt de llocs web i bases de senyes que buscadors comuns no poden trobar ya que no estan indexades. El contingut que es pot trobar dins de l'internet profunda és molt ampli.[13]
L'internet es veu dividit en dos branques, l'internet profunda i la superficial. l'internet superficial es compon de pàgines indexades en servidors DNS en una alfabetisació i codificació de pàgina perfectament entendible pels motors de busca, mentres que l'internet profunda està composta de pàgines els dominis de les quals estan registrats en extensions . onion i els noms dels dominis estan codificats en una trama hash. Estes pàgines se servixen de forma ad hoc, i no necessiten registrar-se, n'hi ha prou en que el teu ordenador tinga funcionant un servici onion, que farà les voltes d'un servici dns, pero especial per a les pàgines de l'internet profunt. Per mig d'una ret P2P, es repliquen les bases de senyes que contenen la resolució de noms hash.
Mentres que les pàgines normals són identificades per mig del protocol UDP/IP, les pàgines . onion són repetides pel ramal al que s'ha conectat el navegador especialisat per a tal sistema de navegació segura. El sistema de busca és el mateix que usa BitTorrent. El contingut es coloca en una base de senyes i es proporciona solament quan ho solicite l'usuari.[14]
En 2010 es va estimar que l'informació que es troba en l'internet profunda és de 7500 terabytes, lo que equival a aproximadament 550 billons de documents individuals. En comparació, s'estima que l'internet superficial conté solament 19 terabytes de contingut i un billó de documents individuals.
També en 2010 es va estimar que existien més de 200 000 llocs en l'internet profunda.[15]
Estimacions basades en l'extrapolació d'un estudi de l'Universitat de Califòrnia en Berkeley especula que actualment l'internet profunda deu tindre uns 91 000 terabytes.[16]
l'Association for Computing Machinery (ACM) va publicar en 2007 que Google i Yahoo indexaven el 32 % dels objectes de l'internet profunda, i MSN tenia la cobertura més chicoteta en el 11 %. No obstant, la cobertura dels tres motors era de 37 %, lo que indicava que estaven indexant casi els mateixos objectes.[17]
Internet acadèmica invisible
Es denomina Internet Acadèmica Invisible o Academic Invisible Web (AIW) al conjunt de bases de senyes i coleccions rellevants per a l'acadèmia, o en fins acadèmics, que no és possible ser buscat pels motors de busca convencionals.[7] La preocupació sobre este tema radica que millons de documents permaneixen invisibles front als ulls dels usuaris convencionals. Dins d'estos documents es poden trobar artículs, llibres, reportes, documents d'accés obert, senyes d'enquestes, entre uns atres. El problema en els motors de busca convencionals és que no mostren aquelles senyes que canvien constantment, com a informació climàtica o images satelitals i dita informació, en canviar de manera tan ràpida és impossible de ser indexada per lo que restringix la seua aparició en els motors de busca convencionals.[18]
Una aproximació al indexamiento i obertura de l'Internet acadèmica invisible són els motors de busca que se centren en informació acadèmica, com Google Scholar o Scirus. El problema d'estos motors de busca mencionats anteriorment és que varen ser creats per companyies comercials. El portal de ciència Vascoda ha demostrat ser l'alternativa més efectiva per a eliminar l'espai entre l'Internet acadèmica visible i invisible ya que integra bases de senyes de lliteratura, coleccions de biblioteques i demés contingut acadèmic per mig d'un indexamiento basat en l'us de les etiquetes de cada u dels dominis que alberguen dita informació.[7]
cal resaltar que no tota l'absència d'esta informació en l'Internet Visible es deu als motors de busca, un atre d'estos factors es deu a que alguns d'estos documents són propietat d'editorials de base de senyes.
Tamany de l'Internet acadèmica invisible
L'intent més encertat per realisar una medició de la cantitat de documents acadèmics presents en la web invisible va ser realisat per Bergman en 2001 en el seu estudi The Deep Web: Surfacing Hideen Value.[18] En dita investigació Bergman va realisar un llistat dels 60 llocs acadèmics més llarcs de la Deep Web entre els que es trobava el National Climatic Data Center (NOAA), NASA EOSDIS, National Oceanographic (combined with Geophysical) Data Center (NOAA), entre unes atres.
| Nom | Tipo | Tamany (GBs) |
|---|---|---|
| National Climatic Data Center (NOAA) | Públic | 366,000 |
| NASA EOSDIS | Públic | 219,600 |
| National Oceanographic (combined with Geophysical) Data Center (NOAA) | Públic/Pagament | 32,940 |
| DBT Online | Pagament | 30,500 |
| Alexa | Públic (parcial) | 15,860 |
| Right-to-Know Network (RTK Net) | Públic | 14,640 |
| Lexis-Nexis | Pagament | 12,200 |
| Dialog | Pague | 10,980 |
| Genealogy - ancestry. com | Pague | 6,500 |
| MP3. com | Públic | 4,300 |
| Terraserver | Públic/Pagament | 4,270 |
| ProQuest Direct (incl. Digital Vault) | Pagament | 3,172 |
| Dun & Bradstreet | Pague | 3,113 |
| Westlaw | Pague | 2,684 |
| Dow Jones News Retrieval | Pague | 2,684 |
| HEASARC (High Energy Astrophysics Science Archive Research Center) | Públic | 2,562 |
| US PTO - Trademarks + Patents | Públic | 2,440 |
| Informedia (Carnegie Mellon Univ.) | Públic | 1,830 |
| infoUSA | Pagament/Públic | 1,584 |
| Alexandria Digital Library | Públic | 1,220 |
| JSTOR Project | Llimitat | 1,220 |
| 10K Search Wizard | Públic | 769 |
| UC Berkeley Digital Library Project | Públic | 766 |
| SEC Edgar | Públic | 610 |
| US Census | Públic | 610 |
| Elsevier Press | Pague | 570 |
| NCI CancerNet Database | Públic | 488 |
| EBSCO | Pague | 481 |
| Amazon. com | Públic | 461 |
| IBM Patent Center | Públic/Privat | 345 |
| NASA Image Exchange | Públic | 337 |
| Springer-Verlag | Pagament | 221 |
| InfoUSA. com | Públic/Privat | 195 |
| OVID Technologies | Pagament | 191 |
| Investext | Pague | 157 |
| Blackwell Science | Pagament | 146 |
| Betterwhois (molts similars) | Públic | 152 |
| GPO Access | Públic | 146 |
| Atobó PDF Search | Públic | 143 |
| Internet Auction List | Públic | 130 |
| Commerce, Inc. | Públic | 122 |
| Library of Congress Online Catalog | Públic | 116 |
| GenServ | Pague | 106 |
| Academic Press IDEAL | Pagament | 104 |
| Sunsite Europe | Públic | 98 |
| Uncover Periodical DB | Públic/Pagament | 97 |
| Astronomer's Bazaar | Públic | 94 |
| eBay. com | Públic | 82 |
| Tradecompass | Pague | 61 |
| REALTOR. com Real Estigues Search | Públic | 60 |
| Federal Express | Públic | 53 |
| Integrum | Públic/Privat | 49 |
| NIH PubMed | Públic | 41 |
| Visual Woman (NIH) | Públic | 40 |
| AutoTrader. com | Públic | 39 |
| UPS | Públic | 33 |
| NIH GenBank | Públic | 31 |
| AustLi (Australasian Llegal Information Institute) | Públic | 24 |
| Digital Library Program (Raïm) | Públic | 21 |
| INSPEC | Pague | 16 |
| Subtotal fonts públiques i mixtes | 673,035 | |
| Subtotal fonts pagues | 75.469 | |
| TOTAL | 748,504 |
El problema en dita medició és que es va realisar pel tamany de la pàgina (en GB) mes no per la cantitat d'artículs publicats. No obstant dita cantitat expressava que s'albergava més de 700TB (700,000 GB) d'informació que no està exposta en l'Internet superficial.
Esta informació és complementada per Lewandosky adicionando senyes de la Gale Directory of Databases els quals varen ser comparats en les senyes de Bergman.[7] En dit directori es va aproximar que existix un total de 18.92 billons de documents acadèmics en total.
Referències
- ↑ «internet profunda, millor que Deep Web.» («Encara que és possible amprar tant el masculí com el femení, la forma femenina és la que de fet està més estesa en gran diferència.»). Fundeu. Consultat el 30 de març de 2016.
- ↑ Vaig devindre, Jane; Egger-Sider, Francine(juliol de 2004).«Beyond google: the invisible web in the academic library».The Journal of Academic Librarianship.30(4): 265-269.doi:acalib.2004.04.010 10.1016/j. acalib.2004.04.010.Consultat el 6 de febrer de 2014.
- ↑ Raghavan, Sriram; Garcia-Molina, Hector(11-14 de setembre de 2001).«Crawling the Hidden Web».27th International Conference on Very Large Data Bases.Roma, Itàlia:
- ↑ «'Deep web': guia bàsica per a saber qué és i cóm s'usa». El País (2016). Consultat el 2017.
- ↑ Wright, Alex. «Exploring a 'Deep Web' That Google Ca’t Grasp», The New York Claves, 22 de febrer de 2009. Consultat el 23 de febrer de 2009.
- ↑ Grossman, Lev; Newton-Small, Roy & Stampler(novembre de 2013).«The Deep Web».Clave.182(20)
- ↑ 7,0 7,1 7,2 7,3 Lewandowski, Exploring the academic invisible web (11 de novembre de 2013). . Library Hi Tech. Consultat el 28 d'octubre de 2014. «the Academic Invisible Web (AIW). We definix the Academic Invisible Web as consisting of all databases and collections relevant to acadèmia but not searchable by the general-purpose internet search engines.»
- ↑ 8,0 8,1 Bergman, Michael K.. «White Paper: The Deep Web: Surfacing Hidden Value» (en anglés). Consultat el 30 d'octubre de 2014.
- ↑ Garcia, Frank(giner de 1996).«Business and Màrqueting on the Internet».Masthead.9(1)Consultat el 24 de febrer de 2009.
- ↑ 1 va escomençar en 5.7 terabytes de contingut, estimat en 30 voltes el tamany de la naixent World Wide Web; PLS va ser adquirida per AOL en 1998 i 1 va ser abandonat.«PLS introduïx AT1, el servici de la primera "segona generació" de busca en internet», Personal Library Software, decembre de 1996. Consultat el 24 de febrer de 2009.
- ↑ Llanes Vilaragut, Lourdes & Suárez Carro, Juan R.. «Per a accedir a el web profunt: conceptes i ferramentes». Archivat des de l'original, el 30 d'octubre de 2014. Consultat el 30 d'octubre de 2014.
- ↑ Michael Chertoff, Tobby Simon. «The Impact of the Dark Web on Internet Governance and Cyber Security». Consultat el 2015-01.
- ↑ Grossman, Lev (11 de novembre de 2013). «The Deep Web.» (en anglés). Clave. Consultat el 28 d'octubre de 2014. «Technically the Deep Web refers to the collection of all the websites and databases that search engines like Google don't or ca't índex»
- ↑ Iffat, Ràbia (1 d'octubre de 2010). «Understanding the Deep Web» (en anglés). Library Philosophy and Practice 2010. Consultat el 28 d'octubre de 2014. «Surface Web is made up of static and fixed pages, whereas Deep Web is made up of dynamic pages. Static pages do not depend on a database for their content. They residix on a server waiting to be retrieved, and llaure basically html files whose content never changes.»
- ↑ Iffat, Ràbia (1 d'octubre de 2010). «Understanding the Deep Web» (en anglés). Library Philosophy and Practice 2010. Consultat el 28 d'octubre de 2014. «Public information on the Deep Web is currently 400-550 claves larger than the commonly-defined World Wide Web. The Deep Web contains 7,500 terabytes of information, compared to 19 on the Surface Web. Deep Web contains nearly 550 billion individual documents compared to one billion on the Surface Web. More than 200,000 Deep Web sites presently exist.»
- ↑ [1]
- ↑ He, Bin (1 de maig de 2007). «Ebscohost.» (en anglés). Communications of the ACM. Consultat el 29 d'octubre de 2014. «Google and Yahoo both indexed 32% of the deep Web objects, and MSN had the smallest coverage of 11%. However, there was significant overlap in what they covered: the combined coverage of the three largest search engines increased only to 37%, indicating they were indexing almost the same objects.»
- ↑ 18,0 18,1 18,2 Bergman, Michael K.(2001-8).«The Deep Web: Surfacing Hidden Value».Journal of Electronic Publishing.7(1)ISSN 1080-2711.Consultat el 11 de març de 2019.
- Este artícul conté una traducció derivada de «Internet profunda» de Wikipedia en castellà publicada baix la Llicència de documentació lliure de GNU i la Llicència Creative Commons Reconeiximent-CompartirIgual 4.0 Internacional.