Нейронные сети Хэмминга

Искусственная нейронная сеть Хэмминга используется для решения задач классификации бинарных входных векторов. В основе ее работы лежат процедуры, направленные на выбор в качестве решения задачи классификации одного из эталонных образов, наиболее близкого к поданному на вход сети зашумленному входному образу, и отнесение данного образа к соответствующему классу. Для оценки меры близости к каждому классу используется критерий, учитывающий расстояние Хэмминга – количество различающихся переменных у зашумленного и эталонного входных образов.

Структурно нейронная сеть Хэмминга включает два слоя (рис. 1), количество нейронов в которых Kравно количеству классов (K = N). Число входов M соответствует числу бинарных признаков, по которым различаются образы. Значения входных переменных принадлежат множеству {–1; 1}. Выходные значения подаются по обратным связям на входы нейронов второго слоя, в том числе свой собственный.

Общая постановка задачи, которая решается с помощью нейронной сети Хэмминга, следующая. Имеется исходный набор эталонных образов, представленных в виде бинарных векторов. Каждому из них соответствует свой класс. Требуется для поданного на входы сети неизвестного образа произвести его сопоставление со всеми известными эталонными образами и отнесение к соответствующему классу либо сделать заключение о несоответствии ни одному из классов.

Алгоритм жизненного цикла нейронной сети Хэмминга состоит из двух основных стадий: обучения и практического использования.

Рис. 1. Структура нейронной сети Хэмминга

На стадии обучения выполняется следующая последовательность действий:

1.1. Формируется матрица эталонных образов  размера K x M (табл. 1)

Таблица 1. Матрица эталонных образов нейронной сети Хэмминга

1.2. Рассчитывается матрица весовых коэффициентов нейронов первого слоя:

                                            (1)

или в матричной форме записи:

.

1.3. Определяются настройки активационной функции:

– вид – линейная пороговая функция:

                             (2)

– параметр:

.                                             (3)

Таким образом, очевидно, что выходы нейронной сети могут принимать любые значения в пределах [0, T].

1.4. Задаются значения синапсов обратных связей нейронов второго слоя в виде элементов квадратной матрицы размера K x K:

                                     (4)

где

или в матричной форме:

Синапсы обратных связей нейронной сети Хэмминга, имеющие отрицательный вес, называются ингибиторными, или тормозящими.

1.5. Устанавливается максимально допустимое значение нормы разности выходных векторов на двух последовательных итерациях E_max, требующееся для оценки стабилизации решения. Обычно достаточно принимать E_max = 0,1.

На стадии практического использования выполняются следующие действия:

2.1. На входы сети подается неизвестный, в общем случае, зашумленный вектор сигналов .

2.2. Рассчитываются состояния и выходные значения нейронов первого слоя.

Для расчета состояний нейронов используется соотношение:

                                       (5)

или в матричной форме:

.

Для расчета выходов нейронов первого слоя к полученным значениям состояний применяется активационная функция (2).

2.3. Выходам нейронов второго слоя в качестве начальных величин присваиваются значения выходов нейронов первого слоя, полученные на предыдущем шаге:

.

Далее первый слой нейронов на стадии практического использования больше не задействуется.

2.4. Для каждой итерации q рассчитываются новые значения состояний и выходов нейронов второго слоя.

Состояния нейронов определяются по соотношению:

                                  (6)

или в матричной форме записи:

.

Новые выходные значения  определяются в результате применения линейной пороговой активационной функции (2) к соответствующим состояниям нейронов .

2.5. Цикл в п. 2.4 повторяется до стабилизации выходного вектора в соответствии с условием:

.                                    (7)

В идеальном случае после стабилизации должен получиться выходной вектор с одним положительным и всеми остальными нулевыми элементами. Индекс единственного положительного элемента непосредственно указывает на класс неизвестного входного образа.

Если данные входного образа сильно зашумлены или в обучающей выборке отсутствовал подходящий эталон, в результате остановки цикла в п. 2.4 могут быть получены несколько положительных выходов, причем значение любого из них окажется меньше, чем E_max. В этом случае делается заключение о невозможности отнесения входного образа к определенному классу, однако индексы положительных выходов указывают на наиболее схожие с ним эталоны.

Рассмотрим пример использования искусственной нейронной сети Хэмминга для классификации по трем эталонным графическим образам, представленным бинарными элементами в квадратной матрице (рис. 2). Таким образом, входной вектор содержит 9 элементов, выходной – 3 элемента.

Наличие рисунка в любом из 9 элементов кодируется значением 1, отсутствие – значением –1.

Рис. 2. Эталонные образы для обучения сети Хэмминга

Создаваемая нейронная сеть будет включать 9 входных переменных и по 3 нейрона в первом и втором (выходном) слоях (рис. 3).

В соответствии с алгоритмом стадии обучения искусственной нейронной сети Хэмминга сформируем матрицу эталонных образов (табл. 2). Так как имеют место 3 эталонных образа с 9 входами у каждого, матрица будет содержать 3 строки и 9 столбцов.

На основе матрицы эталонных образов с использованием соотношения (1) рассчитываем весовые коэффициенты нейронов первого слоя. Результаты расчета приведены в табл. 3.

Рис. 3. Структура сети Хэмминга для классификации трех образов

Таблица 2. Матрица эталонных образов для настройки нейронной сети Хэмминга

Таблица 3. Матрица весовых коэффициентов нейронной сети Хэмминга

По формуле (3) определяем порог активационной функции T = 4,5. С учетом ограничения  абсолютное значение веса каждого ингибиторного синапса примем ε = 0,3. Также зададимся предельной величиной критерия стабилизации выходного вектора E_max = 0,1.

На основе выражения (4) составим матрицу весовых коэффициентов обратных синапсов (табл. 4).

Таблица 15.4. Матрица весов обратных связей нейронной сети Хэмминга

Для тестирования настроенной сети используем два зашумленных графических образа, показанных на рис. 4.

Рис. 4. Тестовые образы для обученной сети Хэмминга

Подаем на входы сети бинарный вектор, соответствующий образу 4: . Применение расчетного соотношения (5) дает вектор-столбец состояний нейронов первого слоя, а активационной функции (2) к состояниям – вектор-столбец выходных значений нейронов первого слоя:

,                   .

В соответствии с п. 2.3 алгоритма стадии практического использования нейронной сети Хэмминга выходам нейронной сети присваиваются соответствующие выходные значения нейронов первого слоя. Далее с использованием соотношений (6) и (2) итерационно рассчитывается серия выходных векторов до выполнения условия стабилизации (7). Сигналы нейронной сети Хэмминга, получаемые на протяжении полного цикла расчета при подаче тестового образа 4 на ее входы, представлены в табл. 5.

Таблица 5. Изменение сигналов в сети Хэмминга при подаче на входы образа 4

Как видно из таблицы, критерий остановки цикла возврата сигнала по обратным связям выполнен после 4-й итерации. Положительное выходное значение 1-го нейрона указывает на то, что зашумленный входной образ следует отнести к 1-му классу.

Аналогичные расчеты выполняются для тестового образа 5 с бинарным входным вектором вида: . Изменения сигналов нейронной сети для этого случая приведены в табл. 6.

Таблица 6. Изменение сигналов в сети Хэмминга при подаче на входы образа 5

В этом случае критерий остановки был выполнен после 7-й итерации, однако уже на 2-й итерации стало понятно, что сеть Хэмминга не может отдать предпочтение 1-му и 3-му классам при отнесении входного зашумленного образа 5. В условиях малого количества входных характеристик следует сделать вывод, скорее, о том, что сеть вовсе не смогла классифицировать образ, чем о том, что она в равной степени отнесла его к двум классам.