Xreferat.com » Рефераты по информатике и программированию » Психологическая интуиция искусственных нейронных сетей

Психологическая интуиция искусственных нейронных сетей


Психологическая интуиция искусственных нейронных сетей

Рис. 1. Диаграмма распределения вопросов теста по их значимости для предсказания статуса испытуемых.


Для вопросов первого субтеста виден эксцесс распределения в сторону большей значимости, второго - в сторону меньшей, а вопросы третьего - относительно равномерно распределены по всему интервалу.

Была произведена серия экспериментов с целью выяснить достаточный для нейросети объем опросника. На каждом этапе исключалась половина из имеющихся вопросов опросника.

При исключении половины вопросов скользящий контроль консилиума сетей, обученных на выборке по всем группам, дал среднюю погрешность в 24%, при исключении трех четвертей вопросов - в 28% и, наконец, при исключении семи восьмых нейросети обучиться не смогли.

Таким образом, примерно половина вопросов и без того изначально минимизированного теста оказалась для нейросети избыточной, даже приводящей к ухудшению оценки качества предсказания. Оптимальным можно признать опросник из половины вопросов, максимальных по своей значимости для нейронной сети, поскольку результаты тестирования для него лучше чем для всех остальных вариантов, включая и полный набор вопросов.


3.6 Оценка оптимизации задачника нейросетью с позиций теории информации


Разницу между первоначальным (заданным психологом) и требуемым нейросети для успешного решения задачи объемом опросника можно оценить с позиций теории информации [95].

Начальное количество информации, содержащейся в тесте можно оценить исходя из того, что вопросы первого и третьего тестов бинарны (варианты ответов «Да» и «Нет», вероятность наступления каждого из них - 0.5), а ответы на вопросы второго - могут с равной вероятностью соответствовать наступлению одного из трех событий, которые будем считать равновероятными (варианты ответов «А», «Б» и «В», p=0.333). Тогда, исходя из формулы Шеннона

Психологическая интуиция искусственных нейронных сетей

и учитывая, что количество вопросов в первом субтесте - 29, во втором - 25 и в третьем - 36 можем вычислить суммарное количество информации, содержащееся в ответах на вопрос теста:

Психологическая интуиция искусственных нейронных сетей.

После исключения половины вопросов из-за их малой значимости для нейронной сети в оптимизированном опроснике осталось 16 вопросов первого субтеста, 9 - второго и 20 - третьего. Количество информации, оставшееся после оптимизации:

Психологическая интуиция искусственных нейронных сетей,

то есть количество информации при оптимизации сократилось несколько более чем вдвое.


3.7 Эксперименты по предсказанию парных взаимоотношений


В этой серии экспериментов предполагалось установить, способны ли нейросети воспроизвести взаимоотношения пары испытуемых.

Обучающие выборки имели следующую структуру: № - номер примера, ID_From - номер оценивающего, ID_From - имя оценивающего, ID_To - номер оцениваемого, Name_To - имя оценивающего, w1_1_From - w3_36_From - ответы на вопросы опросника А.Г. Копытова, данные оценивающим, w1_1_To - w3_36_To - ответы на вопросы опросника А.Г. Копытова, данные оцениваемым, Ocen - данная оценка.

В задачник включались строки, соответствующие всем клеткам социометрической матрицы кроме диагональных, отвечающих за самооценку испытуемых.

Был сформирован задачник по группе 5-го курса. В него вошли 132 примера, по которым было произведено обучение соответствующего числа сетей по методике скользящего контроля.

В силу большой трудоемкости задачи обучения по выбооркам такого объема и размерности (обучение одной сети занимает около 40 мин.) обучения консилиумов не проводилось.

Результат скользящего контроля следующий: средняя относительная ошибка предсказания парных взаимоотношений в группе составила 33,1%.

Затем было вычислено среднее расстояние Психологическая интуиция искусственных нейронных сетеймежду случайными оценками Психологическая интуиция искусственных нейронных сетей и Психологическая интуиция искусственных нейронных сетей, вычисляемое, как и в п.3.4, по формуле

Психологическая интуиция искусственных нейронных сетей,

где N - количество примеров обучающей выборки.

Данная величина составила 6.612 (или, относительно шкалы измерения признака, 66.12%), то есть отличие предсказания сети от случайного почти двукратное.

Таким образом, можно говорить, что нейронные сети могут предсказывать не только усредненный статус члена группы, но и взаимоотношения между двумя произвольно взятыми личностями.

Выводы главы 3


Нейронная сеть способна на основе только психологических свойств исследуемых, без привлечения фактов социальной истории исследуемых личностей, интуитивно порождать прогноз результатов социометрического эксперимента на базе, со средней ошибкой 23-30%.

Данный прогноз общезначим для всех исследуемых с равным социальным статусом и устойчив относительно состава группы.

Аппарат нейронных сетей позволяет оптимизировать психодиагностические тестовые методики по объему точнее, чем это доступно даже опытному психологу.

Глава 4. Полутораслойный предиктор с произвольными преобразователями


4.1 Постановка проблемы


Функция F на R задана набором своих значений в случайных точках пространства Психологическая интуиция искусственных нейронных сетей. Построим ее аппроксимацию при помощи комбинаций Психологическая интуиция искусственных нейронных сетей- функций из набора Психологическая интуиция искусственных нейронных сетей, гладких и непрерывно дифференцируемых. Тогда

Психологическая интуиция искусственных нейронных сетей- ошибка аппроксимации F функцией Психологическая интуиция искусственных нейронных сетей;

Психологическая интуиция искусственных нейронных сетей- ошибка предыдущего шага аппроксимации

Психологическая интуиция искусственных нейронных сетей

Аппроксимация может вестись не только подбором коэффициентов, но и выбором на каждом шаге функций Психологическая интуиция искусственных нейронных сетей из Психологическая интуиция искусственных нейронных сетей. Таким образом может быть получено разложение функции F в сходящийся ряд вида:

Психологическая интуиция искусственных нейронных сетей

Решение задачи аппроксимации может быть получено путем минимизации функционала качества, соответствующего квадрату отклонения:

Психологическая интуиция искусственных нейронных сетей,

Задача состоит в приближении функции F, заданной исходной выборкой точек, при помощи нейросети-предиктора с неизвестным заранее количеством нейронов и видом функции, используемой в преобразователе каждого из нейронов.

Решение может быть представлено как итерационный процесс, состоящий из следующих шагов:

- Подключение нового нейрона;

- Оптимизация ошибки предсказания значений в заданных точек для текущего нейрона путем подбора функции преобразователя, ее параметров и весов синапсов;

Если заданная точность достигнута, то процесс можно остановить, в противном случае - процесс повторяется сначала, причем параметры уже обученных нейронов фиксируются, так что каждый новый нейрон обучается вычислять погрешность, оставшуюся от предыдущих.

Количество итераций процесса исчерпания ошибки может быть также ограничено из условия превышения нижней оценки константы Липшица для конструируемой нейронной сети над верхней оценкой выборочной константы Липшица.


4.2 Аналитическое решение


Пусть Психологическая интуиция искусственных нейронных сетей - приближаемое очередным слоем значение. Тогда Психологическая интуиция искусственных нейронных сетей - само значение приближаемой функции в точках экспериментальной выборки, а Психологическая интуиция искусственных нейронных сетей и последующие - погрешности вычисления на соответствующем шаге.

Обучение ведется оптимизацией параметров сети каким либо из градиентных методов по всему задачнику.

Тогда при обучении k-го нейрона

Психологическая интуиция искусственных нейронных сетей,

соответственно H (функция ошибки) для всего задачника будет иметь вид

Психологическая интуиция искусственных нейронных сетей,

то есть в качестве критерия близости аппроксимируемой и аппроксимирующей функций выбрана сумма квадрата ошибки по всей обучающей выборке.

Для обучения каждого очередного нейрона используются частные производные функцииПсихологическая интуиция искусственных нейронных сетейПсихологическая интуиция искусственных нейронных сетей по весам синапсов первого слоя Психологическая интуиция искусственных нейронных сетейПсихологическая интуиция искусственных нейронных сетей:

Психологическая интуиция искусственных нейронных сетей,

параметру нейрона Психологическая интуиция искусственных нейронных сетей

Психологическая интуиция искусственных нейронных сетей

и весу синапса второго (выходного) слоя Психологическая интуиция искусственных нейронных сетей соответствующему данному нейрону

Психологическая интуиция искусственных нейронных сетей,

где Психологическая интуиция искусственных нейронных сетей - число примеров обучающей выборки.

Однако, если вычисление функции H связано с затратами процессорного времени порядка TH, то вычисление ее градиента традиционным способом потребует времени порядка

TgradH=nTH,

где n - число переменных функции H. Учитывая, что в задачах, для которых традиционно применяются нейросети, величина n может достигать нескольких тысяч, аналитическое решение для вычисления градиента функции ошибки следует признать неприемлемым.

Однако при описании решающей функции F в виде сети автоматов вычисление градиента функции ошибки H может быть представлено как функционирование системы, двойственной исходной. При таком подходе

Психологическая интуиция искусственных нейронных сетей,

где C - константа, не зависящая от размерности n и в большинстве случаев примерно равная 3.

Таким образом, мы приходим к записи решения исходной задачи в идеологии нейронных сетей.


4.3 Запись решения в идеологии нейросетей


Психологическая интуиция искусственных нейронных сетей

Как уже было сказано, выше, ряд вида Психологическая интуиция искусственных нейронных сетей может быть представлен как нейронная сеть, имеющая структуру, показанную на рис.1.


Тогда вычисление градиента функции ошибки H можно производить, используя схему, двойственную данной. При этом решение задачи может быть существенно упрощено применением следующего приема. Поскольку обучение следующего слоя начинается тогда, когда предыдущие уже обучены, а их связи зафиксированы, то, фактически, каждый нейрон обучается отдельно от других, а в качестве значения, вычисляемого k-м нейроном берется погрешность вычисления функции предыдущими k-1 - нейронами, или Fi.

Процесс обучения всей сети сводится этим ее разбиением к ряду последовательных процессов обучения структур вида, представленного на рис. 2.

Психологическая интуиция искусственных нейронных сетей



Здесь x1 - xN - входные сигналы сети, Wij(1) - синапсы первого слоя от i-го входа к j-му сумматору первого слоя, Wj1(2) - синапсы второго слоя от j-го преобразователя к выходному сумматору, fj - j-й преобразователь, символом  обозначаются тривиальные сумматоры.

Далее в тексте такая структура будет именоваться «потоком сети» или просто «потоком».

Вычисление производных H (функции ошибки) для сети, представляющего собой один «поток», можно вести на основе аппарата двойственных функций и алгоритма обратного распространения ошибки. Схема прохождения сигналов при обратном функционировании показана на рис. 3.


Психологическая интуиция искусственных нейронных сетей


Здесь Психологическая интуиция искусственных нейронных сетей - двойственный сигнал от функции оценки, передаваемый без изменения через тривиальный сумматор второго слоя, Психологическая интуиция искусственных нейронных сетей - двойственный сигнал от соответствующего синапса второго слоя, Психологическая интуиция искусственных нейронных сетей - двойственный сигнал от преобразователя j-го «потока», передающийся сумматору для раздачи на синапсы, Психологическая интуиция искусственных нейронных сетей - двойственные сигналы соответствующих синапсов первого слоя.


4.4 Алгоритмическая часть


Обучение сети, состоящей из «потоков» производится в соответствии с алгоритмом, представленным на рис. 4.

Здесь H - значение оценки сети, накопленное по всему задачнику,  - константа малости ошибки.


Психологическая интуиция искусственных нейронных сетей


Для обучения каждого из потоков используется алгоритм, показанный на рис.5. Здесь Nф - общее число функций, по которому идет обучение, o - карта параметров сети, h0 - шаг оптимизации в начале цикла, s - градиент функции оценки H по обучаемым параметрам.

Используемое в алгоритме условие остановки формируется из двух подусловий, скомбинированных через «или»:

Число шагов оптимизации, во время которых Психологическая интуиция искусственных нейронных сетей превысило заранее заданную величину (при обучении использовалось значение Nsh=15), то есть сеть в данной конфигурации уже не может улучшить оценку;

Достигнуто заданное значение функции оценки Психологическая интуиция искусственных нейронных сетей, то есть сеть уже обучена.

Психологическая интуиция искусственных нейронных сетей


Психологическая интуиция искусственных нейронных сетей



Психологическая интуиция искусственных нейронных сетей



Психологическая интуиция искусственных нейронных сетей


При обучении одного потока используются процедуры подбора шага оптимизации - Increase (поиск шага в сторону возрастания, блок-схему см. на рис. 6), Decrease (поиск шага в сторону убывания, блок-схему см. на рис. 7) и Parabola (поиск оптимального шага по формулам параболического поиска блок-схему см. на рис. 8).

В процедурах используются следующие обозначения:

H(...) - функция оценки сети, накопленная по всему задачнику;

h1, h2, h3 - различные значения величины шага оптимизации, используемые при ее подборе;

W - величина шага в вершину параболы, проходящей через точки (h1, H1), (h2, H2), ( h3, H3). Вычисляется по формуле:

Психологическая интуиция искусственных нейронных сетей


H1, H2, H3 - значения функции ошибки, соответствующие смещению обучаемых параметров по направлению градиента на величину шага h1, h2 и h3.

Условие выпуклости комбинации h1,2,3, H1,2,3 определяется формулой

Психологическая интуиция искусственных нейронных сетей

Если выражение истинно, то условие выпуклости выполнено.

Теперь, рассмотрев алгоритмы обучения сети, перейдем к описанию компонентов, структуры и функционирования сети.


4.5 Оценка информационной емкости нейронной сети при помощи выборочной константы Липшица


Условие остановки процесса пошагового исчерпания ошибки может основываться также на оценке полноты функции, заданной нейронной сетью. В случае, если число элементов сети задано (для каждого шага наращивания «поточной» это так) и значения ее параметров ограничены на определенном интервале (это условие выполняется наложением ограничений на параметры сети), данное условие можно сформулировать с использованием константы Липшица. Константа Липшица вектор-функции Психологическая интуиция искусственных нейронных сетей в области D определяется как Психологическая интуиция искусственных нейронных сетей. Верхняя грань может быть вычислена по области определения D. В качестве оценки расстояния используется евклидова норма.

Для суперпозиции вектор-функций Психологическая интуиция искусственных нейронных сетей Психологическая интуиция искусственных нейронных сетей.

Для линейной комбинации функций Психологическая интуиция искусственных нейронных сетей оценка константы Липшица Психологическая интуиция искусственных нейронных сетей.

Константа Липшица для адаптивного сумматора, работающего по формуле Психологическая интуиция искусственных нейронных сетей имеет вид Психологическая интуиция искусственных нейронных сетей.

Тогда для стандартной комбинации, состоящей из матрицы входных синапсов, сумматора и преобразователя - нейрона с гладкой функцией активации Психологическая интуиция искусственных нейронных сетей Психологическая интуиция искусственных нейронных сетей.

Для прямой суммы вектор-функций Психологическая интуиция искусственных нейронных сетей константа Липшица может быть оценена как Психологическая интуиция искусственных нейронных сетей.

Таким образом, для слоя нейронов с подбираемыми преобразователями Психологическая интуиция искусственных нейронных сетей, где Психологическая интуиция искусственных нейронных сетей - вектор весов синапсов, приходящих на входной сумматор i-го нейрона, а Психологическая интуиция искусственных нейронных сетей - функция i-го преобразователя.

Если заменить всю область определения функций D на конечное множество (задачник), то условие, определяющее требуемый объем нейронной сети можно получить, сравнивая Психологическая интуиция искусственных нейронных сетей с оценкой константы Липшица для обучающей выборки Психологическая интуиция искусственных нейронных сетей.

Психологическая интуиция искусственных нейронных сетей является нижней оценкой константы Липшица аппроксимируемой функции. Нейросеть может реализовать данную функцию только в том случае, когда Психологическая интуиция искусственных нейронных сетей.

Психологическая интуиция искусственных нейронных сетей

Исходя из данного условия, можно сформулировать алгоритм обучения сети с поэтапным исчерпанием ошибки так, как это показано в блок-схеме на рис. 9

4.6 Соглашение о терминологии


Изложение вопросов, связанных со структурой и функционированием сети, тесно связано с программной реализацией задачи. Поэтому по тексту будут встречаться ссылки на реальные структуры программы.

Для описания компонентов сети был использован аппарат объектно-ориентированного программирования [28], реализованный в среде разработки программ Borland Delphi Developer v.3.0. (см. [44], [45], [58], [63], [75], [76])

Базовым понятием в языке программирования Object Pascal, встроенном в Delphi, является класс - особый вид записи, включающий поля и методы.

Экземпляр класса называется объектом.

Понятие поле для объекта аналогично понятию поля для записи.

Метод - процедура или функция, описанная внутри класса и предназначенная для операции над его полями.


4.7 Компоненты сети


Традиционный состав элементов сети (см. главу 1) включает в себя следующие элементы: нейрон, синапс, сумматор. Кроме того, в число типовых включены входной и выходной элементы.

На рис. 9 показаны схематические изображения элементов сети, которые далее будут использованы в схемах, описывающих структуру и функционирование программной модели.

Психологическая интуиция искусственных нейронных сетей


4.8 Общий элемент сети


Базовым типом элементов, используемых для описания нейронной сети, является общий элемент сети - класс, инкапсулирующий основные свойства и методы, характерные для всех компонентов сети. Название этого класса в программной реализации - TNetPiece.

Объекты данного класса включают в себя следующие поля:

NextPiece - указатель на следующий элемент сети;

PriorPiece - указатель на предыдущий элемент сети;

ForwOut - значение сигнала, передающегося элементом вперед при прямом функционировании;

BackOut - значение сигнала, передающегося элементом назад при обратном функционировании.

Набор методов включает в себя:

Create - описание создания объекта;

Destroy - действия при разрушении (удалении) объекта;

ForwardTact - действия элемента во время такта прямого функционирования;

BackwardTact - действия элемента во время такта обратного функционирования;

При описании методов ForwardTact и BackwardTact они были оставлены пустыми, так как функционирование конкретных элементов сети существенно различно.

Однако введение этих методов имеет достаточно глубокий смысл, поскольку класс TNetPiece является предком всех прочих классов, описывающих элементы сети, и наличие типовых процедур прямого и обратного функционирования позволяет использовать такие свойства модели объектно-ориентированного программирования как наследование свойств и методов и полиморфизм. Подробнее этот тезис будет раскрыт ниже.


4.9 Вход сети


Для связи сети с задачником и передачи используются объекты класса TNetInput - входной элемент сети.

Данный класс является потомком TNetPiece, и поэтому наследует его набор полей и методов этого класса, а кроме того добавлено поле SourceSignal, которое содержит номер поля задачника, с которого данный вход сети забирает значение.

Методы ForwardTact и BackwardTact перекрыты, то есть их код заменен на тот, который соответствует назначению входного элемента.

Метод ForwardTact выполняет передачу значения из соответствующего данному элементу поля задачника на выходной сигнал элемента, поле ForwOut.

Метод BackwardTact передает двойственный сигнал следующего элемента на свой двойственный сигнал (поле BackOut).


4.10 Выход сети


Выходной элемент сети описывает класс TNetOutput, также являющийся потомком TNetPiece.

В методах ForwardTact и BackwardTact заложены действия элемента при прямом и обратном тактах функционирования.

Метод ForwardTact выполняет передачу сигнала от выхода предыдущего на выход данного элемента, кроме того в поле H заносится значение ошибки сети при вычислении функции Y.

Метод BackwardTact передает на обратный выход элемента (поле BackOut) значение двойственного сигнала. Двойственный сигнал H представляет собой производную функции ошибки по выходному сигналу сети:

Психологическая интуиция искусственных нейронных сетей,

где Психологическая интуиция искусственных нейронных сетей - аппроксимированное значение функции, выдаваемое сетью, Психологическая интуиция искусственных нейронных сетей - значение аппроксимируемой функции в данном примере.

4.11 Синапс сети


Для описания синапсов сети используются объекты класса TNetSynapse. Как наследник класса TNetPiece он наследует все его поля и методы. Помимо этого в список полей включены Alpha - параметр, представляющий собой вес синапса, и MuAlpha - сигнал, двойственный весу синапса.

На такте прямого функционирования метод ForwardTact снимает выходной сигнал предыдущего элемента, умножает его на вес

Если Вам нужна помощь с академической работой (курсовая, контрольная, диплом, реферат и т.д.), обратитесь к нашим специалистам. Более 90000 специалистов готовы Вам помочь.
Бесплатные корректировки и доработки. Бесплатная оценка стоимости работы.

Поможем написать работу на аналогичную тему

Получить выполненную работу или консультацию специалиста по вашему учебному проекту

Похожие рефераты: