Macrosenyes


Els macrosenyes,[1][2] també cridades senyes massives, inteligència de senyes o senyes a gran escala (de l'anglés big data), és un terme que fa referència a conjunts de senyes tan grans i complexos que precisen d'aplicacions informàtiques no tradicionals de processament de senyes per a tractar-los adequadament. Les senyes són la reproducció simbòlica d'un atribut o variable quantitativa o qualitativa; segons la RAE «Informació sobre alguna cosa concret que permet el seu coneiximent exacte o servix per a deduir les conseqüències derivades d'un fet».[3] Per això, els procediments usats per a trobar patrons repetitius dins d'eixes senyes són més sofisticats i requerixen un software especialisat. En texts científics en espanyol, en freqüència s'usa directament el terme en anglés big data, tal com apareix en l'ensaig de Viktor Schönberger La revolució de les senyes massives.[4][5]
L'ús modern del terme macrosenyes tendix a referir-se a l'anàlisis del comportament de l'usuari, extraent valor de les senyes almagasenades, i formulant prediccions a través dels patrons observats. La disciplina dedicada a les senyes massives s'emmarca en el sector de les tecnologies de l'informació i la comunicació. Esta disciplina s'ocupa de totes les activitats relacionades en els sistemes que manipulen grans conjuntes de senyes.
Les dificultats més habituals vinculades a la gestió d'estos grans volums de senyes se centren en la recolecció i l'almagasenament dels mateixos,[6] en les busques, les comparticions, i els anàlisis,[7] i en les visualisacions i representacions. La tendència a manipular enormes volums de senyes es deu en molts casos a la necessitat d'incloure dita informació per a la creació d'informes estadístics i models predictius utilisats en diverses matèries, com els anàlisis sobre negocis, sobre publicitat, sobre malalties infeccioses, sobre l'espionage i el seguiment a la població, o sobre la lluita contra el crim organisat.[8]
El llímit superior de processament ha anat creixent a lo llarc dels anys.[9] S'estima que el món va almagasenar uns 5 zettabytes en 2014. Si es posa esta informació en llibres, convertint les images i tot això al seu equivalent en lletres, es podria fer 4500 piles de llibres que apleguen fins al sol.[10]
Els científics en certa regularitat troben llímits en l'anàlisis per la gran cantitat de senyes en certes àrees, tals com la meteorologia, la genómica,[11] la conectómica (una aproximació a l'estudi del cervell; en anglés:Connectomics; en francés: Conectomique), les complexes simulacions de processos físics[12] i les investigacions relacionades en els processos biològics i ambientals.[13]
Els data sets creixen en volum degut en part a la recolecció massiva d'informació procedent dels sensors inalàmbrics i els dispositius mòvils (per eixemple les VANET), el constant creiximent dels històrics d'aplicacions (per eixemple dels registres), les cambres (sistemes de teledetecció), els micròfons, els llectors d'identificació per radiofreqüència.[14][15]
La capacitat tecnològica per càpita a nivell mundial per a almagasenar senyes es dobla aproximadament cada quaranta mesos des dels anys 1980.[16] S'estima que en 2012 cada dia varen ser creats prop de 2.5 trillons de bytes de senyes.[17]
Els sistemes de gestió de bases de senyes relacionals i els paquets de software utilisats per a visualisar senyes, a sovint tenen dificultats per a manejar els macrosenyes. Este treball pot requerir "un software massivament paralel que s'eixecute en decenes, centenars o inclús mils de servidors".[18] Lo que es califica com macrosenyes varia segons les capacitats dels usuaris i les seues ferramentes, i les capacitats d'expansió fan que els macrosenyes siguen un objectiu en moviment. "Per a algunes organisacions, enfrontar centenars de gigaoctets de senyes per primera volta pot provocar la necessitat de reconsiderar les opcions d'administració de senyes. Per a uns atres, pot prendre decenes o centenars de terabytes ans que el tamany de les senyes es convertixca en una consideració important".[19]
Definició
El terme ha estat en us des de la década de 1990, i alguns otorguen crèdit a John Mashey[20] per popularisar-ho. Macrosenyes és un terme que fa referència a una cantitat de senyes tal que supera la capacitat del software convencional per a ser capturats, administrats i processats en un temps raonable. El volum de les senyes massives creix constantment. En el 2012, s'estimava el seu tamany d'entre una dotzena de terabytes fins a varis petabyte de senyes en un únic conjunt de senyes. En la metodologia MIKE2.0, dedicada a investigar temes relacionats en la gestió d'informació, definixen macrosenyes[21] en térmens de permutació útils, complexitat i dificultat per a borrar registres individuals.
S'ha definit també com a senyes lo suficientment massius com per a posar de relleu qüestiones i preocupacions entorn a l'efectivitat de l'anonimat des d'una perspectiva més pràctica que teòrica.[22]
En el 2001, en un informe d'investigació que es fonamentava en congressos i presentacions relacionades,[23] la META Group (ara Gartner) definia el creiximent constant de senyes com una oportunitat i un repte per a investigar en el volum, la velocitat i la varietat. Gartner' continua usant senyes massives com a referència.[24] Ademés, grans proveïdors del mercat de senyes massives estan desenrollant solucions per a atendre les demandes més crítiques sobre cóm processar tal cantitat de senyes, com MapR i Cloudera.
Una definició de 2016 establix que els macrosenyes representen els actius d'informació caracterisats per un volum, velocitat i varietat tan alts que requerixen una tecnologia específica i métodos analítics per a la seua transformació en valor".[25] Ademés, algunes organisacions agreguen una nova V, veracitat per a descriure-ho,[26] revisionisme qüestionat per algunes autoritats de l'indústria.[27] Les tres V (volum, varietat i velocitat) s'han ampliat a atres característiques complementàries dels macrosenyes:
- Aprenentage automàtic: les grans senyes a sovint no pregunten per qué i simplement detecten els patrons.[28]
- Chafada digital: els macrosenyes són a sovint un subproducte lliure de cost de l'interacció digital.
Una definició de 2018 establix que en els macrosenyes es necessiten ferramentes informàtiques paraleles per a manejar les senyes", i senyala: "Açò representa un canvi distint i clarament definit en l'informàtica utilisada per mig de teories de programació paraleles i pèrdues d'algunes de les garanties i capacitats fetes pel model relacional de Codd".[29]
La creixent madurea del concepte descriu de manera clara i ben nítida, la diferència entre macrosenyes (senyes a gran escala) i inteligència empresarial:
- L'inteligència empresarial usa estadístiques descriptives en senyes en alta densitat d'informació per a medir coses, detectar tendències, etc.
- Per la seua banda, els macrosenyes usen estadístiques inductives i conceptes d'identificació de sistemes no llineals,[30] per a inferir lleis (regressió, relacions no llineals i efectes causals) a partir de grans conjunts de senyes en baixa densitat d'informació, en la finalitat de revelar relacions i dependències, o per a realisar prediccions de resultats i comportaments.[31]
Característiques
Els macrosenyes es poden descriure per les següents característiques:[32]
- Volum: la cantitat de senyes generades i guardats.
- Varietat: el tipo i naturalea de les senyes per a ajudar a les persones a analisar les senyes i usar els resultats de forma eficaç. Els macrosenyes usen texts, images, àudio i vídeo. També completen péntols ¿Quins péntols? demanats per mig de la fusió de senyes.
- Velocitat: en este context, la velocitat a la qual es generen i processen les senyes per a complir les exigències i desafius del seu anàlisis.
- Veracitat: la calitat de les senyes capturats pot variar molt i aixina afectar als resultats de l'anàlisis.
Valor: les senyes generades deuen ser útils, accionables i tindre valor.[33]
Arquitectura
Els repositoris de macrosenyes han existit en moltes formes, a sovint creades per corporacions en una necessitat especial. Històricament, els proveïdors comercials oferien sistemes d'administració de bases de senyes paraleles per a macrosenyes a partir de la década de 1990. Durant molts anys, WinterCorp va publicar un informe de base de senyes més gran.[34]
Teradata Corporation en 1984, va comercialisar el sistema de processament paralel DBC 1012. Els sistemes Teradata varen ser els primers en almagasenar i analisar 1 terabyte de senyes en 1992. Els discs durs eren de 2,5 GB en 1991, per lo que la definició de macrosenyes evoluciona contínuament segons la Llei de Kryder. Teradata va instalar el primer sistema basat en RDBMS de classe petabyte en 2007. A partir de 2017, hi ha unes poques dotzenes de bases de senyes relacionals de Teradata de classe Petabyte instalades, la major de les quals excedix de 50 PB. Els sistemes fins a 2008 eren senyes relacionals estructurades al 100 %. Des de llavors, Teradata ha agregat tipos de senyes no estructurades, inclosos XML, JSON i Avro.
En 2000, Seisint Inc. (ara LexisNexis Group) va desenrollar un marc d'intercanvi d'archius distribuït basat en C++ per a l'almagasenament i consultes de senyes. El sistema almagasena i distribuïx senyes estructurades, semiestructurados i no estructurats en varis servidors. Els usuaris poden crear consultes en un dialecte de C++ cridat ECL. ECL utilisa un mètoto de "aplicar esquema en llectura" per a inferir l'estructura de les senyes almagasenades quan es consulta, en lloc de quan s'almagasena. En 2004, LexisNexis va adquirir Seisint Inc.[35] i en 2008 va adquirir ChoicePoint, Inc.[36] i la seua plataforma de processament paralel d'alta velocitat. Les dos plataformes es varen fusionar en sistemes HPCC (o clúster de computació d'alt rendiment) i en 2011, HPCC va ser de còdic obert baix la llicència Apache v2.0. Quantcast File System va estar disponible aproximadament al mateix temps.[37]
el CERN i atres experiments de física han recopilat grans conjunts de senyes durant moltes décades, generalment analisats per mig de computadores d'alt rendiment (supercomputadores) en lloc de les arquitectura de mapes reduïts de productes, que generalment es referixen al moviment dels macrosenyes.
En 2004, Google va publicar un document sobre un procés cridat MapReduce que utilisa una arquitectura similar. El concepte MapReduce proporciona un model de processament en paralel, i es va llançar una implementació associada per a processar grans cantitats de senyes. En MapReduce, les consultes es dividixen i distribuïxen per mig de nodos paralels i es processen en paralel (el pas del Mapa). Els resultats es recopilen i s'entreguen (el pas Reduir). El marc va ser molt exitós, per lo que uns atres varen voler replicar l'algoritme. Per lo tant, una implementació del marc MapReduce va ser adoptada per un proyecte de còdic obert Apache cridat Hadoop.[38] Apache Spark es va desenrollar en 2012 en resposta a les llimitacions del paradigma MapReduce, ya que agrega la capacitat de configurar moltes operacions (no solament el mapa seguit de la reducció).
MIKE2.0 és un enfocament obert per a l'administració de l'informació que reconeix la necessitat de revisions per les implicacions de macrosenyes identificades en un artícul titulat "Oferta de solucions de macrosenyes".[39] La metodologia aborda el maneig de macrosenyes en térmens de permutació útils de fonts de senyes, complexitat en interrelacions i dificultat per a eliminar (o modificar) registres individuals.[40]
Els estudis de 2012 varen mostrar que una arquitectura de capes múltiples és una opció per a abordar els problemes que presenten els macrosenyes. Una arquitectura paralela distribuïda distribuïx senyes entre múltiples servidors; estos entorns d'eixecució paralela poden millorar dràsticament les velocitats de processament de senyes. Este tipo d'arquitectura inserta senyes en un DBMS paralel, que implementa l'ús dels marcs MapReduce i Hadoop. Este tipo de marc busca fer que el poder de processament siga transparent per a l'usuari final per mig de l'ús d'un servidor d'aplicacions per a l'usuari.[41]
L'anàlisis de macrosenyes per a aplicacions de fabricació es comercialisa com una arquitectura 5C (conexió, conversió, cibernètica, cognició i configuració).[42]
el llac de senyes permet que una organisació canvie el seu enfocament del control centralisat a un model compartit per a respondre a la dinàmica canviant de l'administració de l'informació. Açò permet una segregació ràpida de senyes en el llac de senyes, lo que reduïx el temps de sobrecàrrega.[43][44]
Tecnologia
Existixen moltíssimes ferramentes per al maneig dels macrosenyes. Alguns eixemples inclouen Apache_Hadoop, NoSQL, Apache_Cassandra, inteligència empresarial, aprenentage automàtic i MapReduce. Estes ferramentes tracten en alguns dels tres tipos de macrosenyes:[45]
- Senyes estructurades: senyes que tenen ben definits la seua llongitut i el seu format, com les dates, els números o les cadenes de caràcters. S'almagasenen en taules. Un eixemple són les bases de senyes relacionals i els almagasenes de senyes.
- Senyes no estructurades: senyes en el format tal i com varen ser recolectats, carixen d'un format específic. No es poden almagasenar dins d'una taula ya que no es pot desgranar la seua informació a tipos bàsics de senyes. Alguns eixemples són els PDF, documents multimèdia, correus electrònics o documents de text.
- Senyes semiestructurados: senyes que no es llimiten a camps determinats, pero que conté marcadors per a separar els diferents elements. És una informació poc regular com per a ser gestionada d'una forma estàndart. Estes senyes posseïxen els seus propis metasenyes semiestructurados[46] que descriuen els objectes i les relacions entre ells, i poden acabar sent acceptats per convenció. Com a eixemples tenim els archius tipo hoja, HTML, XML o JSON.
Un informe de 2011 del McKinsey Global Institute caracterisa els components principals i l'ecosistema de macrosenyes de la següent manera:[47]
- Tècniques per a analisar senyes, com proves A / B, aprenentage automàtic i processament del llenguage natural
- Grans tecnologies de senyes, com inteligència de negocis, computació en el núvol i bases de senyes
- Visualisació, com a taules, gràfics i atres visualisacions de les senyes
Els macrosenyes multidimensionals també es poden representar com a gavetes de senyes o, matemàticament, tensors. Els sistemes de bases de senyes Array s'han propost proporcionar almagasenament i soport de consultes d'alt nivell en este tipo de senyes. Les tecnologies adicionals que s'apliquen als macrosenyes inclouen un càlcul basat en tensor eficient,[48] com l'aprenentage de subespai multilineal,[49] bases de senyes de processament paralel massiu (MPP), aplicacions basades en busca, extracció de senyes,[50] sistemes d'archius distribuïts, bases de senyes distribuïdes, núvol i infraestructura basada en HPC(aplicacions, almagasenament i recursos informàtics)[51] i Internet. A pesar de que s'han desenrollat molts enfocaments i tecnologies, seguix sent difícil portar a terme l'aprenentage automàtic en grans senyes.[52]
Algunes bases de senyes relacionals de MPP tenen la capacitat d'almagasenar i administrar petabytes de senyes. Implícita és la capacitat de carregar, supervisar, realisar còpies de seguritat i optimisar l'ús de les taules de senyes de gran tamany en el RDBMS.[53]
El programa d'Anàlisis Topològic de Senyes d'DARPA busca l'estructura fonamental dels conjunts de senyes massives i en 2008 la tecnologia es va fer pública en el llançament d'una companyia nomenada Ayasdi.[54]
Els professionals dels processos d'anàlisis de macrosenyes generalment són hostils a l'almagasenament compartit més llent,[55] preferixen l'almagasenament de conexió directa (DONES) en les seues diverses formes, des d'unitat d'estat sòlit (SSD) fins a disc SATA de gran capacitat enterrat dins de nodos de processament paralel. La percepció de les arquitectura d'almagasenament compartides, la ret d'àrea d'almagasenament (SANT) i l'almagasenament conectat a la ret (NAS), és que són relativament llentes, complexes i costoses. Estes qualitats no són consistents en els sistemes d'anàlisis de senyes grans que prosperen en el rendiment del sistema, infraestructura de productes bàsics i baix cost.
L'entrega d'informació real o casi en temps real és una de les característiques definitorias de l'anàlisis de macrosenyes. Per lo tant, s'evita la latència sempre que siga possible. Les senyes en la memòria són bons; les senyes en el disc giratori en l'atre extrem d'una conexió FC SANT no ho són. El cost d'una SANT en l'escala necessària per a les aplicacions analítiques és molt major que atres tècniques d'almagasenament.
Hi ha ventages i desventages per a l'almagasenament compartit en l'anàlisis de macrosenyes, pero els practicants d'anàlisis de macrosenyes a partir de 2011 no ho varen favorir.
Captura
¿D'on provenen totes estes senyes? Els fabriquem directa i indirectament segon despuix de segon. Un iPhone hui en dia té més capacitat de còmput que la NASA quan el ser humà va aplegar a la Lluna,[56] per lo que la cantitat de senyes generades per persona i en unitat de temps és molt gran. Cataloguem la procedència de les senyes segons les següents categories:[57]
- Generats per les pròpies persones. El fet d'enviar correus electrònics o mensages per WhatsApp, publicar un estat en Facebook, publicar relacions laborals en Linkedin, tuitear continguts o respondre a una enquesta pel carrer són coses que fem diàriament i que creen noves senyes i metasenyes que poden ser analisats. S'estima que cada minut al dia s'envien més de 200 millons d'corregau-vos electrònics, es compartixen més de 700 000 peces de contingut en Facebook, es realisen dos millons de busques en Google o s'editen 48 hores de vídeo en YouTube.[58] Per un atre costat, les traces d'utilisació en un sistema ERP, incloure registres en una base de senyes o introduir informació en una hoja són atres formes de generar estes senyes.
- Obtingudes a partir de transaccions. La facturació, targetes de fidelisació, les cridades telefòniques, les conexions torres de telefonia, els accessos a wifis públiques, el pagament en targetes de crèdit o les transaccions entre contes bancaris generen informació que tractada pot ser senyes rellevants. Per eixemple transaccions bancàries: Lo que l'usuari coneix com un ingrés de X euros, el sistema ho capturarà com una acció portada a terme en una data i moment determinat, en un lloc concret, entre uns usuaris registrats, i en certs metasenyes.
- Mercadotècnia electrònica i web. Es genera una gran cantitat de senyes quan es navega per Internet. En la web 2.0 s'ha trencat el paradigma webmaster-contingut-llector i els mateixos usuaris es convertixen en creadors de contingut gràcies a la seua interacció en el lloc. Existixen moltes ferramentes de seguiment utilisades en la seua majoria en fins de mercadotècnia i anàlisis de negoci. Els moviments de rata queden gravats en mapes de calor i queda registre de quànt passem en cada pàgina i quàn les visitem.
- Obtinguts a partir de les interaccions màquina a màquina (M2M). Són senyes obtingudes a partir de la recollida de mètriques obtingudes des de dispositius (medidors, sensors de temperatura, de llum, d'altura, de pressió, de sò…) que transformen les magnituts físiques o químiques i les convertixen en senyes. Existixen des de fa décades, pero l'arribada de les comunicacions inalàmbriques (wifi, Bluetooth, RFID, etc.) ha revolucionat el món dels sensors. Alguns eixemples són els GPS en l'automoció, els sensors de signes vitals (molt útil per a segurs de vida), polseres en els festivals,[59] monitorizadores del funcionament i conducció d'autoḿoviles (s'obté informació molt útil per a les asseguradores),[60] els smartphone (són sensors de localisació).
- Senyes biométricos recolectats. En general provenen de servicis de seguritat, defensa i servicis d'inteligència.[61] Són cantitats de senyes generades per llectors biométricos com escàners de retina, escàners de chafades digitals, o llectors de cadenes d'ADN. El propòsit d'estes senyes és proporcionar mecanismes de seguritat i solen estar custodiats pels ministeris de defensa i departaments d'inteligència. Un eixemple d'aplicació és el creuament d'ADN entre una mostra d'un crim i una mostra en nostra base de senyes.
Transformació
Una volta trobades les fonts de les senyes necessàries, molt possiblement dispongam d'un sinfín de taules d'orige que no estaran relacionades. El següent objectiu és fer que les senyes s'arrepleguen en un mateix lloc i donar-los un format adequat.
Ací entren en joc les plataformes extraure, transformar i carregar (ETL). El seu propòsit és extraure les senyes de les diferents fonts i sistemes, per a despuix fer transformacions (conversió de senyes, neteja de senyes brutes, canvis de format, etc.) i finalment carregar les senyes en la base de senyes o almagasén de senyes especificada.[62] Un eixemple de plataforma ETL és el Pentaho Data Integration, més concretament la seua aplicació Spoon.
Almagasenament NoSQL
El terme NoSQL es referix a Not Only SQL (no solament SQL) i són sistemes d'almagasenament que no complixen en l'esquema entitat-relació.[63] Proveïxen un sistema d'almagasenament molt més flexible i concurrent i permeten manipular grans cantitats d'informació de manera molt més ràpida que les bases de senyes relacionals.
Distinguim quatre grans grups de bases de senyes NoSQL:
- Almagasenament clau-valor (key-value): les senyes s'almagasenen de forma similar als mapes o diccionaris de senyes, a on s'accedix a la senya a partir d'una clau única.[64] Els valors (senyes) són aïllats i independents entre ells, i no són interpretats pel sistema. Poden ser variables simples com sancers o caràcters, o objectes. Per un atre costat, este sistema d'almagasenament carix d'una estructura de senyes clara i establida, per lo que no requerix un formateo de les senyes molt estricte.[65]
Són útils per a operacions simples basades en les claus. Un eixemple és l'aument de velocitat de càrrega d'un lloc web que pot utilisar diferents perfils d'usuari, tenint mapeados els archius que cal incloure segons l'aneu d'usuari i que han segut calculats en anterioritat. Apache Cassandra és la tecnologia d'almagasenament clau-valor més reconeguda pels usuaris.[66]
- Almagasenament documental: les bases de senyes documentals guarden un gran semblat en les bases de senyes Clau-Valor, diferenciant-se en la senya que guarden. Si en l'anterior no es requeria una estructura de senyes concreta, en este cas guardem senyes semiestructurados.[66] Estes senyes passen a cridar-se documents, i poden estar formateados en XML, JSON, Binary JSON o el que accepte la mateixa base de senyes.
- Tots els documents tenen una clau única en la que poden ser accedits i identificats explícitament. Estos documents no són opacs al sistema, per lo que poden ser interpretats i llançar queries sobre ells.[64] Un eixemple que aclarixca cóm s'usa ho trobem en un blog: s'almagasena l'autor, la data, el títul, el resum i el contingut del post.
CouchDB o MongoDB[66] són potser les més conegudes. Cal fer menció especial a MapReduce, una tecnologia de Google inicialment dissenyada per al seu algoritme PageRank, que permet seleccionar un subconjunt de senyes, agrupar-los o reduir-los i carregar-los en una atra colecció, i a Hadoop que és una tecnologia d'Apache dissenyada per a almagasenar i processar grans cantitats de senyes.
- Almagasenament en grafo: les bases de senyes en grafo trenquen en l'idea de taules i es basen en la teoria de grafos, a on s'establix que l'informació són els nodos i les relacions entre l'informació són les arestes,[66] alguna cosa similar al model relacional. El seu major us es contempla en casos de relacionar grans cantitats de senyes que poden ser molt variables. Per eixemple, els nodos poden contindre objectes, variables i atributs diferents en uns i uns atres. Les operacions JOIN se substituïxen per recorreguts a través del grafo, i es guarda una llista d'adyacencies entre els nodos.[64] Trobem un eixemple en les rets socials: en Facebook cada nodo es considera un usuari, que pot tindre arestes d'amistat en atres usuaris, o arestes de publicació en nodos de continguts. Solucions com Neo4J i GraphDB[66] són les més conegudes dins de les bases de senyes en grafo.
- Almagasenament orientat a columnes: per últim, este almagasenament és semblat al documental. El seu model de senyes és definit com «un mapa de senyes multidimensional poc dens, distribuït i persistent».[64] S'orienta a almagasenar senyes en tendència a escalar horisontalment, per lo que permet guardar diferents atributs i objectes baix una mateixa clau. A diferència del documental i el clau-valor, en este cas es poden almagasenar varis atributs i objectes, pero no seran interpretables directament pel sistema. Permet agrupar columnes en famílies i guardar l'informació cronològicament, millorant el rendiment. Esta tecnologia s'acostuma a usar en casos en 100 o més atributs per clau.[66] El seu precursor és BigTable de Google, pero han aparegut noves solucions com HBase o HyperTable.
Anàlisis de senyes
L'anàlisis permet mirar les senyes i explicar lo que està passant. Tenint les senyes necessàries almagasenades segons diferents tecnologies d'almagasenament, nos donarem conte que necessitarem diferents tècniques d'anàlisis de senyes com les següents:
- Associació: permet trobar relacions entre diferents variables.[67] baix la premissa de causalitat, es pretén trobar una predicció en el comportament d'atres variables. Estes relacions poden ser els sistemes de vendes creuades en els comerços electrònics.
- Mineria de senyes (data mining): té com a objectiu trobar comportaments predictius. Engloba el conjunt de tècniques que combina métodos estadístics i d'aprenentage automàtic en almagasenament en bases de senyes.[68] Està estretament relacionada en els models utilisats per a descobrir patrons en grans cantitats de senyes.
Agrupació (clustering): l'anàlisis de clústers és un tipo de mineria de senyes que dividix grans grups d'individus en grups més chicotets dels quals no coneixíem la seua semblança abans de l'anàlisis.[68] El propòsit és trobar similituts entre estos grups, i el descobriment de nous, coneixent quins són les qualitats que ho definixen. És una metodologia apropiada per a trobar relacions entre resultats i fer una evaluació preliminar de l'estructura de les senyes analisades. Existixen diferents tècniques i algoritmes de clusterisació.[69]
- Anàlisis de text (text analytics): gran part de les senyes generades per les persones són texts, com correus, busques web o continguts. Esta metodologia permet extraure informació d'estes senyes i aixina modelar temes i assunts o predir paraules.[70]
- Anàlisis topològic de senyes (TDA): té com a objectiu l'anàlisis de l'estructura geomètrica i topològica de les senyes. Desenrollada des dels anys 90 fent us de ferramentes de la topologia algebraica com l'homologia persistent.[71] Ha demostrat ser útil per a la clusterisació d'algunes senyes i per a l'anàlisis de senyes oncològics, sent capaç de predir tractaments de resposta i generar diagnòstic.[72]
Visualisació de senyes

Tal i com l'Institut Nacional d'Estadística diu en les seues tutorials, «una image val més que mil paraules o que mil senyes».[73] La ment agraïx molt més una presentació ben estructurada de resultats estadístics en gràfics o mapes en lloc d'en taules en números i conclusions. En els macrosenyes s'aplega un pas més allà: parafrasejant a Edward Tufte, un dels experts en visualisació de senyes més reconegudes a nivell mundial «el món és complex, dinàmic, multidimensional, el paper és estàtic i pla. ¿Cóm anem a representar la rica experiència visual del món en la mera planicie?».
Mondrian[74] és una plataforma que permet visualisar l'informació a través dels anàlisis portats a terme sobre les senyes que disponem. En esta plataforma s'intenta aplegar a un públic més concret, i una utilitat més acotada com un quadro de mando integral d'una organisació. En els últims anys s'han generalisat atres plataformes com Tableau, Power BI i Qlik.[75]
Per un atre costat, les infografíes s'han tornat un fenomen viral, a on s'arrepleguen els resultats dels diferents anàlisis sobre les nostres senyes, i són un material atractiu, entretingut i simplificat per a audiències massives.[76]
Referències
- ↑ Diccionario de la lengua española
- ↑ «Macrosenyes i inteligència de senyes, alternatives a big data». Consultat el 11 d'abril de 2017.
- ↑ Musicco, Daniela. «Data drive / human drive: el repte de la Data Comunicació». COMUNICACIÓ I HOME. Consultat el 12 de juny de 2020.
- ↑ «"Les senyes massives (o big data) són el nou or"», eldiario. és. Consultat el 23 de maig de 2017 (en es).
- ↑ Hernández García, Claudia(decembre del 2018).«Big data: o cóm les senyes massives estan canviant el món».¿Cóm veus?.Direcció general de Divulgació de la Ciència (UNAM).Ciutat de Mèxic:21(241): 8-13.Consultat el 2 de decembre de 2018.(en espanyol)
- ↑ Kusnetzky, Donen. «What is "Big Data?" | Virtually Speaking | ZDNet.com». blogs. zdnet.com. Archivat des de l'original, el 2010-02-21. Consultat el 2026-08-04.
- ↑ Vance, Ashlee (2010-04-22). «Start-Up Goes After Big Data With Hadoop Helper» (en en). Bits Blog. Consultat el 2026-08-04.
- ↑ Cukier, Kenneth. «Data, data everywhere», The Economist, 2010-02-27. Consultat el 2026-08-04.
- ↑ Màlaga Hui. «L'imparable creiximent de l'us del Big Data». https://www.malagahoy.es. Consultat el 23 d'octubre de 2018.
- ↑ Hopenhayn, Daniel (2017-01-20). «Martin Hilbert, expert en rets digitals: “Obama i Trump varen usar el Big Data per a llavar cervells”» (en es). The Clinic. Consultat el 2026-08-04.
- ↑ (2008-09).«Community cleverness required».Nature.455(7209): 1–1.ISSN 1476-4687.doi:10.1038/455001a.Consultat el 2026-08-04.(en en)
- ↑ Sandia sees data management challenges spiral. HPC Projects. 4 August 2009. «Sandia sees data management challenges spiral». Archivat des de l'original, el 11 de maig de 2011. Consultat el 22 d'abril de 2011.
- ↑ Reichman,O. J., Jones, M. B., and Schildhauer, M. P. 2011. Challenges and Opportunities of Open Data in Ecology. Science 331(6018): 703-705. DOI:10.1126/science.1197962
- ↑ Hellerstein, Joe (2008-11-09). «Parallel Programming in the Age of Big Data». portal. gigaom.com. Archivat des de l'original, el 2012-10-07. Consultat el 2026-08-04.
- ↑ Segaren, Toby and Hammerbacher, Jeff. Beautiful Data. 1st Edition. O'Reilly Mija. Pg 257.
- ↑ «The World’s Technological Capacity to Store, Communicate, and Compute Information.» Martin Hilbert i Priscila López (2011), Science, 332(6025), 60-65; free access to the artícul through here: martinhilbert.net/WorldInfoCapacity. html
- ↑ [1]
- ↑ Jacobs, A. (6 Juliol, 2009). «"The Pathologies of Big Data"». ACMQueue.
- ↑ Magoulas, Roger, Lorica, Ben (Febrer, 2009). «"Introduction to Big Data"», Release 2.0 (en anglés), Sebastopol CA: O'Reilly Mija. Consultat el 29 de setembre de 2018.
- ↑ Mashey, John R. (1998). Big Data ... and the Next Wave of InfraStress (en inglés), Usenix.
- ↑ Big Data Definition
- ↑ Erro en la seqüencia d'órdens: no existix el mòdul «Citas».
- ↑ Douglas, Laney. «3D Data Management: Controlling Data Volume, Velocity and Variety». Gartner. Archivat des de l'original, el 23 de juliol de 2013. Consultat el 6 de febrer de 2001.
- ↑ Beyer, Mark. «Gartner Says Solving 'Big Data' Challenge Involves More Than Just Managing Volumes of Data». Gartner. Archivat des de l'original, el 10 de juliol de 2011. Consultat el 13 de juliol de 2011.
- ↑ De Mauro, Greco, Grimaldi, Andrea, Marque, Michele (2016). A Formal definition of Big Data based on its essential Features (en inglés), Emerald Group Publishing.
- ↑ «What is Big Data?». Villanova University.
- ↑ InformationWeek (ed.): «Big Data: Avoid 'Wanna V' Confusion».
- ↑ Mayer-Schönberger, Cukier, Viktor, Kenneth (2013). Houghton Mifflin Harcourt (ed.). Big Data: A Revolution that Will Transform how We Live, Work, and Think.
- ↑ Fox, Charres (2018). Data Science for Transport, Springer International Publishing. ISBN 978-3-319-72952-7.
- ↑ Billings, Stephen A. (2013). Nonlinear System Identification: NARMAX Methods in the Clave, Frequency, and Spatio-Temporal Domains, John Wiley & Sons. ISBN 9781118535554.
- ↑ Pierre Delort (3 d'abril de 2013). Els Echos (ed.): «Big Data car Low-Density Data ? La faible densité en information comme facteur discriminant» (en francés).
- ↑ Big Data's Fourth V
- ↑ «Les cinc V’s del Big Data - datahack, especialistes en Big Data, més que una escola i un màster» (en es-és). www.datahack.es. Archivat des de l'original, el 16 d'octubre de 2018. Consultat el 16 d'octubre de 2018.
- ↑ Matthew Hicks (8 de novembre de 2003). «Survey: Biggest Databases Approach 30 Terabytes».
- ↑ O'Harrow Jr., Robert. «LexisNexis To Buy Seisint For $775 Million», Washington Post, 15 de juliol de 2004.
- ↑ Nakashima, O'Harrow Jr., Ellen, Robert. «LexisNexis Parent Set to Buy ChoicePoint», Washington Post, 22 de febrer de 2008.
- ↑ Nicole Hemsoth. «Quantcast Opens Exabyte-Ready File System».
- ↑ Dean, Ghemawat, Jeffrey, Sanjay(2004).«MapReduce: Simplified Data Processing on Large Clusters».Search Storage.
- ↑ «Big Data Solution Offering». MIKE 2.0.
- ↑ «Big Data Definition». MIKE 2.0.
- ↑ Boja, Pocovnicu, Bătăgan, Catalin, Adrian, Lorena(2012).«Distributed Parallel Architecture for "Big Data"».Informatica Economică.(vol. 16, no. 2)
- ↑ «5C Architecture, Introduced by IMS Center for Cyber-Physical Systems in Manufacturing». Imscenter.net. Archivat des de l'original, el 27 de maig de 2016. Consultat el 29 de setembre de 2018.
- ↑ Wills, John (2014). Solving key business challenges with a Big Data Lake, HCL.
- ↑ Marynowski, Santin, Pimentel, Joa ̃o Eugenio, Altair Olivera, Andrey Ricardo(14 de febrer de 2015).«Method for Testing the Fault Tolerance of MapReduce Frameworks».Computer Networks.
- ↑ Purcell, Bernice(2013).«The emergence of Big Data technology and Analytics».Holy Family University.Consultat el 18 d'octubre de 2014.
- ↑ Lopez García, David(2012-2013).«Analysis of the possibilities of use of Big Data in organizations».Consultat el 18 d'octubre de 2014.
- ↑ James Manyika, Michael Chui, Brad Brown, Jacques Bughin, Richard Dobbs, Charles Roxburgh, and Angela Hung Byers (2011). «Big data: The next frontier for innovation, competition, and productivity». McKinsey&Company.
- ↑ «"Future Directions in Tensor-Based Computation and Modeling"» (2009).
- ↑ Haiping Lu, K. N. Plataniotis, A. N. Venetsanopoulos (2011). «A Survey of Multilinear Subspace Learning for Tensor Data». Pattern Recognition.
- ↑ Pllana, Sabri; Janciak, Ivan; Brezany, Peter; Wöhrer, Alexander (2011). «A Survey of the State of the Art in Data Mining and Integration Query Languages». International Conference on Network-Based Information Systems (NBIS 2011). Computer Society.
- ↑ Yandong Wang ; Robin Goldstone ; Weikuan Yu ; Teng Wang (2014). «Characterization and Optimization of Memory-Resident MapReduce on HPC Systems». IEEE.
- ↑ L’Heureux, A.; Grolinger, K.; Elyamany, H. F.; Capretz, M. A. M. (2017). «Machine Learning With Big Data: Challenges and Approaches - IEEE Journals & Magazine» (en en-us). ieeexplore. ieee.org.
- ↑ Monash, Curt (2009). «eBay's two enormous data warehouses | DBMS 2 : DataBase Management System Services». www.dbms2.com.
- ↑ «"Resources on how Topological Data Analysis is used to analyze big data"» (en en-us). Ayasdi.
- ↑ John Webster. «Storage area networks need not apply», CNET, 1 d'abril de 2011 (en en).
- ↑ Paniagua, Soraya(Juny - setembre 2013).«A world of sensors, from Data to Big Data».Revista Telos.
- ↑ “Conceptes bàsics de Big Data”, TRC Informàtica SL, 2013.
- ↑ Paniagua, Soraya(juny-setembre 2013).«A world of sensors, from Data to Big Data».Revista Telos.
- ↑ Big Data en els Festivals de Música
- Archivat el 17 de març de 2018 archivat en Wayback Machine.. The Box Populi. 8 de Març 2018
- ↑ Tecnologia IoT i big data: el futur del sector assegurador. 15 de febrer de 2018
- ↑ Kohlwey, Edmund; Sussman, Abel; Trost, Jason; Maurer, Amber(2011).«Leveraging the Cloud for Big Data Biometrics».IEEE World Congress on Services.
- ↑ Tomsen, Christian; Pedersen, Torben Bach(2009).«pygrametl: A Powerful Programming Framework for Extract–Transform–Lloeu Programmers».1DB Technical Report; No. 25, Department of Computer Science, Aalborg University.
- ↑ Martín, Adriana; Chávez, Susana; Rodríguez, Nelson R.; Valenzuela, Adriana(2013).«Bases de senyes NoSql en cloud computing».WICC.Consultat el 18 d'octubre de 2014.
- ↑ 64,0 64,1 64,2 64,3 Hecht, Robin; Jablonski, Stefan(2011).«NoSQL Evaluation, a use case oriented survey».International Conference on Cloud and Service Computing.
- ↑ Seeger, Marc(21 de setembre de 2009).«Key-Value stores: a practical overview».Consultat el 1 de giner de 2015.
- ↑ 66,0 66,1 66,2 66,3 66,4 66,5 Bianchi Widder, Maria Belén(setembre de 2012).«Els beneficis de l’ús de tecnologies NoSQL».UPCommons.Consultat el 1 de giner de 2015.
- ↑ Vila, M Ampare; Sanchez, Daniel; Escobar, Luis(2004).«Relaciones Causals en Regles d'Associació».XII Congrés Espanyol sobre tecnologies i llògica Fuzzy.Consultat el 1 de giner de 2015.
- ↑ 68,0 68,1 Manyika, James; Chui, Michael; Brown, Brad; Bughin, Jacques(Maig de 2011).«Big data: The next frontier for innovation, competition, and productivity».McKinsey.Consultat el 1 de giner de 2015.
- ↑ Jain, A. K.; Murty, M. N.; Flynn, P. J.(setembre de 1999).«Data Clustering: A Review».ACM Computing Surveys.31(3)Consultat el 1 de giner de 2015.
- ↑ Maltby, Dylan(9 d'octubre de 2011).«Big Data Analytics».ASIST 2011.New Orleans:Consultat el 1 de giner de 2015.
- ↑ Boissonnat, Chazal, Michel, Jean-Daniel, Frédéric, Bertrand(2022).«Topological Data Analysis».Novella Math-ematics Inspired by Industrial Challenges.doi:10.1007/978-3-030-96173-2_9.Consultat el 05-02-2024.
- ↑ Bukkuri, Andor, K. Darcy, Anuraag, Noemi, Isabel(2021).«Applications of Topological Data Analysis in Oncology».Front. Artif. Intell..doi:10.3389/frai.2021.659037.Consultat el 05-02-2024.
- ↑ «Primers passos / Informació més atractiva».
- ↑ Theus, Martin(2003).«Interactive Data Visualization using Mondrian».Journal of Statistical Software.
- ↑ «Tableau vs Qlikview | Tableau vs Power BI | Power BI vs Qlikview - 2018», SelectHub, 27 d'agost de 2018. Consultat el 16 d'octubre de 2018 (en en-us).
- ↑ Albarracín, Pablo(12 d'agost de 2013).«Visualisació alvançada de senyes: La bellea del Big Data».Revista Amèrica Economia Tecno.Consultat el 18 d'octubre de 2014.
- Este artícul conté una traducció derivada de «Macrodatos» de Wikipedia en castellà publicada baix la Llicència de documentació lliure de GNU i la Llicència Creative Commons Reconeiximent-CompartirIgual 4.0 Internacional.