G - Physics – 06 – N
Patent
G - Physics
06
N
G06N 3/08 (2006.01)
Patent
CA 2424929
A method for the supervised teaching of a recurrent neutral network (RNN) is disclosed. A typical embodiment of the method utilizes a large (50 units or more), randomly initialized RNN with a globally stable dynamics. During the training period, the output units of this RNN are teacher-forced to follow the desired output signal. During this period, activations from all hidden units are recorded. At the end of the teaching period, these recorded data are used as input for a method which computes new weights of those connections that feed into the output units. The method is distinguished from existing training methods for RNNs through the following characteristics: (1) Only the weights of connections to output units are changed by learning - existing methods for teaching recurrent networks adjust all network weights. (2) The internal dynamics of large networks are used as a "reservoir" of dynamical components which are not changed, but only newly combined by the learning procedure - existing methods use small networks, whose internal dynamics are themselves competely re-shaped through learning.
L'invention concerne un procédé d'apprentissage supervisé dans un réseau de neurones artificiels récurrent (RNR). Dans un mode de mise en oeuvre caractéristique, ce procédé fait appel à un RNR de grande taille (au moins 50 unités) initialisé de manière aléatoire, présentant une dynamique d'ensemble stable. Au cours de la période d'apprentissage, une procédure d'apprentissage dirigé oblige les unités de sortie de ce RNR à suivre le signal de sortie désiré. Pendant cette période, les activations provenant de toutes les unités cachées sont enregistrées. A la fin de la période d'apprentissage, ces données enregistrées servent de données d'entrée dans un procédé qui calcule les nouveaux poids des connexions qui arrivent dans les unités de sortie. Ce procédé se distingue des procédés d'apprentissage existants pour les RNR par les caractéristiques suivantes : (1) seuls les poids des connexions avec les unités de sortie sont modifiés par l'apprentissage tandis que les procédés existants d'apprentissage par réseaux neuronaux adaptent tous les poids du réseau. (2) La dynamique interne des réseaux de grande taille est utilisée en tant que <= réservoir >= de composants dynamiques qui ne sont pas modifiés mais seulement combinés d'une nouvelle façon par la procédure de d'apprentissage tandis que les procédés existants utilisent des réseaux de taille réduite dont la dynamique interne est elle-même entièrement remaniée par l'apprentissage.
Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung
Oyen Wiggs Green & Mutala Llp
LandOfFree
A method for supervised teaching of a recurrent artificial... does not yet have a rating. At this time, there are no reviews or comments for this patent.
If you have personal experience with A method for supervised teaching of a recurrent artificial..., we encourage you to share that experience with our LandOfFree.com community. Your opinion is very important and A method for supervised teaching of a recurrent artificial... will most certainly appreciate the feedback.
Profile ID: LFCA-PAI-O-1550329