Procés de Márkov

En la teoria de la provabilitat i en estadística, un procés de Márkov, cridat aixina pel matemàtic rus Andréi Márkov, és un fenomen aleatori dependent del temps per al qual es complix una propietat específica: la propietat de Márkov. En una descripció comuna, un procés estocàstic en la propietat de Márkov, o sense memòria, és un per al qual la provabilitat condicional sobre l'estat present, futur i passat del sistema són independents. Els processos de Márkov sorgixen en provabilitat i en estadística en una de dos maneres:

1. Un procés estocàstic, que es definix a través d'un argument separat, pot demostrar-se (matemàticament) que té la propietat de Márkov i com a conseqüència té les propietats que es poden deduir d'esta para tots els processos de Márkov.
2. De més importància pràctica és l'us de la suposició que la propietat de Márkov és vàlida per a un procés aleatori en la finalitat de construir, ab initio, un model estocàstic per a este procés. En térmens de modelació, supondre que la propietat de Márkov és vàlida és una d'un llimitat número de formes senzilles d'introduir dependència estadística en un model per a un procés estocàstic, de tal manera que permeta que la força de la dependència en els diferents retardos decline a mida que el retardo aumenta.

Freqüentment el terme cadena de Márkov s'usa per a donar a entendre que un procés de Márkov té un espai d'estats discret (infinit o numerable). Usualment una cadena de Márkov seria definida per a un conjunt discret de temps (és dir, una cadena de Márkov de temps discret), encara que alguns autors usen la mateixa terminologia a on "temps" pot prendre valors continus.

Processos de Primer Orde

Podem parlar de diferents definicions referents als processos de Márkov de primer orde:

• Estats: Les condicions en les quals es troba un ent o successos possibles.
• Ensajos: Les ocurrències repetides d'un event que s'estudia.
• Provabilitat de Transició: La provabilitat de passar d'un estat actual al següent en un periodo o temps, i es denota per $p_{ij}$ (la provabilitat de passar de l'estat i a l'estat j en una transició o periodo)

Els processos de Márkov de Primer Orde, per a poder ser usats com a models de processos físics o econòmics, deuen tindre una série de característiques:

• Que la provabilitat complixca en el Principi de Márkov.
• Existència d'un número finito d'estats.
• Les $p_{ij}$ deuen ser constants sobre el temps o periodo.
• Els ensajos deuen ser en periodos iguals.

Matriu de transició

S'utilisen per a descriure la manera en que el sistema canvia d'un periodo al següent.

Esta matriu es pot calcular de formes distintes, entre elles estan el método directe, calculant la matriu diagonal, o calculant analítica o gràficament a partir de l'equació d'estat.

Vore també

• Camí aleatori
• Moviment browniano
• Cadena de Márkov
• Procés de Feller
• Procés de decisió de Márkov