Lei de Hebb
Quando o sistema aprende modifica as conexões a[i,j] através da regra
d
a[i,j] µ f[j] g[i]ou
d
[i,j] = h f[i] g[i]
onde
h é uma constante de aprendizagem.
Aprendizagem do perceptrão
0 Valores iniciais (i=1..n, w[i] = 0; b = 0; 0<
a £ 11 Repita até convergir
Repita de 1 a 3 até esgotar os elementos f:g
1 Activar
i = 1..n, x[i] := f[i]
2 Determinar a resposta:
n
e :=b +
å w[i] f[i]i=1
p
(e) := se e>q então +1, se nãose -
q £ e£ q então 0 se não –13 Ajustar os pesos e o pendor: i = 1..n,
se
p (e) ¹ g, entãow(i):= w[i] +
a x[i] gb := b +
a gse não
w[i] := w[i]
b := b
Máquina de Boltzmann ( Hinton e Sejnowsoki 1983)
n
i=1 j
£ i
Processamento
Processamento Sequencial
Equação da variação do concenso
D
Ck = (1-2uk) (wkk + å wkjuj)Equação da probabilidade do sistema
A(k,T) = _______1_______
1 + exp( _
D Ck )T
O perceptrão
O perceptrão foi proposto por Frank Rosenblatt em 1958. Era uma rede neuronal que teve um grande impacto na comunidade científica , pois o perceptrão era considerado como uma verdadeira máuina que aprende. O entusiasmo dos cientistas levou a pensar que esta máquina conseguiria fazer tudo, mas com o passar do tempo verificou-se que não era assim tão fácil. O perceptrão continha uma superfície sensorial designada por retina e que conecta com uma outra camada designada por camada de associação. As conexões entre as duas camadas eram diversas, mas caracterizavam-se por cada células de associação via apenas um subconjunto de células da retina. Existem as conexões plásticas que eram as conexões da camada de associação à camada de resposta. Para evitar que exista que mais de uma célula da camada de resposta se encontre activa recorre-se a um plexus de inibições recíprocas, isto é, quando uma célula da camada de resposta é activada, suprime as respostas das células que com ela competem.
Aprendizagem do perceptrão
0 Valores iniciais (i = 1..n, j = 1..m, w[j,i] = 0, b[j] = 0; 0<
a £ 1)1 Repita até convergir
Repita de 1 a 3 até esgotar os elementos f:g
1 Activar
i = 1..n, x[i] := f[i]
2 Determinar a resposta: para todo o j = 1..m
n
e[i] := b[j] +
å w[j,i] f[i]i=1
p
(e[j]) := se e[j]>q então +1, se nãose -
q £ e[j]£ +q então 0 se não –13 Ajustar os pesos e o pendor: j=1..m, i=1..n,
se
p (e[j]) ¹ g[j], entãow[j,i] := w[i,j] +
a x[i] g[i]b[j] := b[j] +
a g[j]se não
w[j,i] := w[j,i]
b[j] := b[j]
Teorema da convergência do perceptrão
Se existe w tal que
p ([f(p),w]) = g(p), para o p = 1..P, então o algoritmo de aprendizagem do precepetrão converge num número finito de passos, obtendo-se um vector A[·] (possivelmente diferente de w) tal que p (f(p).A[·]) = g(p), para todo o p = 1..P.
Redes de Hopfield e máquinas de Boltzmann
Características da Rede de Hopfield:
Algoritmo de Hopfield
1 Recorrer ao algoritmo de Hebb
2 Repita até convergir
Repita para todos os estímulos
2.1 Activar
i = 1..n, y
i :=xi2.2
Repetir aleatoriamente para as unidades yin
2.2.1ei := xi + å wijyj
j=1
2.2.2yi := se ei > q i, então 1
se não se ei = q i então yi se não 0
2.2.3 Alterar a actividade
Energia da rede de Hopfield
n n n n
E = -1/2 å å Wij Yi Yj - å Xi Yi + å q i Yi
i=1j=1 i=1 i=1
n
A variação D yk induz a alteração D E = - ( å Wkj Yj + Xk -q k) D yk.
j=1
n
j=1
Esta alteração determina D Yk< 0 e D E< 0
n
Xk + å WkjYj> q k
j=1
Esta alteração determina D Yk>0 e D E<0
Assim a energia não pode crescer e , como é limitada inferiormente , a rede tem de encontrar um estado de equilíbrio.
Algoritmo de Boltzmann
2.1 Repita n2 vezes
D
C = ( 1- 2 uIJ ) ( wIJ,IJ + å å wij,IJ uiji
¹ I j¹ J
A(T) = _________1__________
1 + exp( _
D C )T
Observe a variável aleatória R com distribuição uniforme entre 0 e 1.
Se R < A(T) , então UI,J, se não UI,J := 1 - UI,J, se não UI,J := UI,J.
2.2 Reduza a temperatura: T := a T