Психологическая интуиция искусственных нейронных сетей

синапса и передает на выходной сигнал данного объекта (поле ForwOut).

На такте обратного функционирования метод BackwardTact передает в поле BackOut двойственный сигнал синапса, который может быть вычислен по следующей формуле:

,

где - двойственный сигнал, передаваемый синапсом, W - функция преобразования в синапсе, - сигнал, поступающий в синапс от предыдущего элемента на такте прямого функционирования, - входной двойственный сигнал, поступающий в синапс от следующего элемента на такте обратного функционирования, - вес синапса.

Кроме того на обратном такте вычисляется сигнал, двойственный и представляющий собой значение частной производной функции ошибки по этому параметру:

,

где - сигнал, двойственный .

Для значений , в классе TNetSynapse предусмотрены поля Alpha и MuAlpha.

4.12 Тривиальный сумматор

Программной моделью тривиального сумматора является класс TSummator.

Помимо полей, унаследованных от класса - предка TNetPiece, TSummator имеет в своей структуре PriorPieces, которое, в отличии от стандартного поля PriorPiece является не указателем на предыдущий элемент, а списком указателей на набор таких элементов.

Метод ForwardTact осуществляет суммирование выходных сигналов элементов из списка PriorPieces и помещает полученный результат в поле ForwOut.

На такте обратного функционирования происходит передача двойственного сигнала следующего элемента на двойственный сигнал сумматора BackOut.

4.13 Нейрон

В данной работе под термином «нейрон» подразумевается нелинейный преобразователь вида

,

где у - выходной сигнал преобразователя, - входной сигнал, - параметр преобразователя, - так называемый «параметр спонтанной активности».

Нейрон описывается в программной модели классом TNeuron, выходной сигнал на такте прямого функционирования заносится в поле ForwOut.

Обучаемыми в нейроне являются оба параметра - и , поэтому в классе TNeuron помимо полей Alpha и AlphaS, в которых хранятся значения соответствующих параметров, предусмотрены MuAlpha и MuAlphaS, в которых помещаются значения двойственных им сигналов.

Помимо этого в поле BackOut заносится сигнал, двойственный входному. Кроме того, объект класса TNeuron характеризуется еще и полем FunctionType, представляющим собой номер используемой функции преобразователя в списке функций, используемых при оптимизации.

Вычисление двойственных сигналов в нейронах производится в общем случае по формулам:

,

где  - параметр, для которого вычисляется двойственный сигнал, - сам двойственный сигнал.

Список выражений для применяемого в данной работе набора стандартных функций с их производными по основным параметрам приведен в таблице 1.

Таблица 1

Набор функций нелинейного преобразователя

Ф-ция

4.14 Поток сети

Фрагмент сети, состоящий из слоя входных синапсов, сумматора, нейрона и выходного синапса и названный «потоком» представлен в программной модели классом TNetStream.

Помимо обычных для потомка класса TNetPiece полей NextPiece, PriorPiece, ForwOut и BackOut данный класс включает в себя FirstLayer - список синапсов первого слоя, Summator - объект класса TSummator, реализующего тривиальный сумматор, Neuron - объект класса TNeuron, реализующего нелинейный преобразователь - нейрон, SecondLayer - объект класса TSynapse, описывающий выходной синапс потока.

Прямой такт потока, описанный методом ForwardTact, происходит следующим образом:

Перебираются элементы списка FirstLayer, для каждого из которых вызывается его собственный метод ForwardTact, затем происходит «срабатывание» (вызов этого же метода) для объектов Summator, Neuron и SecondLayer. Затем выходной сигнал объекта заносится в поле ForwOut - выходной сигнал всего потока.

Такт обратного функционирования потока, который описан в методе BackwardTact, включает в себя следующие действия:

Последовательный вызов собственного метода BackwardTact для объектов SecondLayer, Neuron и Summator, затем перебор элементов списка FirstLayer и вызов метода BackwardTact для каждого синапса, входящего в него.

Структура связей между элементами потока представлена на рис 10.

4.15 Скомпонованная полутораслойная поточная сеть

Целая сеть представлена классом TNet. Данный класс также является потомком класса TNetPiece - общего элемента сети, что позволяет, используя свойство полиморфизма объектов, достаточно легко компоновать из отдельных фрагментов нейросети более сложной структуры.

Кроме полей, унаследованных от TNetPiece, сеть характеризуется также полями Inputs - список входных элементов, Streams - список потоков сети, SecondLayer - сумматор входного слоя, Answer - выходной элемент сети.

Для описания такта прямого функционирования сети используется, так же как в других элементах сети, метод ForwardTact. Методом выполняются следующие действия:

Перебор списка входных элементов и вызов метода ForwardTact для каждого из них, перебор и прямое функционирование каждого из элементов списка потоков, и затем - для объектов SecondLayer и Answer.

Метод BackwardTact, описывающий обратное функционирование сети, задается следующей последовательностью действий:

Обратное функционирование элементов Answer, SecondLayer, затем перебор и выполнение методов BackwardTact для элементов списков Streams и Inputs.

Структура связей между стандартными элементами полностью скомпонованной поточной нейросети показана на рис. 11.

Схема, приведенная на рис. 11, хорошо иллюстрирует преимущества применения объектно-ориентированного подхода к моделированию нейронных сетей.

Свойство полиморфизма объектов позволяет составлять список предыдущих элементов, например, сумматора, как из простых синапсов, так и из более сложных структур - потоков. Для этого требуется лишь аккуратное выполнение иерархии объектов, описывающих элементы сети.

В перспективе, с появлением параллельных трансляторов, объектно-ориентированный подход за счет свойства инкапсуляции объектов позволит легко перейти к моделированию нейросетей в параллельных системах.

Выводы по главе 4.

Созданный программный имитатор полутораслойной нейронной сети представляет собой механизм, позволяющий реализовать систему преобразователей, восстанавливающих зависимость, заданную в виде обучающей выборки.

Использование в программе алгоритма попоточного исчерпания ошибки позволяет ей создавать нейронные сети неизбыточной структуры.

Дополнение алгоритма попоточного исчерпания ошибки проверкой на сравнение константы Липшица нейронной сети с выборочной константой Липшица дает возможность использовать в работе пользовательского программного обеспечения более строгие требования к требуемому для восстановления функции по данной выборке объему нейронной сети.

Применение принципов объектно-ориентированного программирования при создании программного имитатора полутораслойной нейронной сети позволило создать программу с прозрачной, легко расширяемой и сопровождаемой структурой.

ВЫВОДЫ

Показано, что для решения классической задачи компьютерной психодиагностики с вероятностью правильного ответа около 95% может быть применена искусственная нейронная сеть из 2 нейронов с параметром преобразователя равным 0,4. При этом такая экспертная система способна перенимать опыт специалиста непосредственно, без участия математика или программиста.

У полносвязной искусственной нейронной сети с числом нейронов 16 и параметром преобразователя 0.1 возможно выработать психологическую интуицию, позволяющую выдавать предсказание взаимоотношений, формализованных в виде результатов социометрического эксперимента, с погрешностью 25-30%.

Задача предсказания взаимоотношений может решаться интуитивно - без построения описанной реальности и без сбора информации о социальной истории исследуемых.

Созданная программа, представляющая собой нейронную сеть полутораслойной структуры, способна решать задачу восстановления зависимости по обучающей выборке при помощи алгоритма поэтапного исчерпания ошибки наращиванием объема сети.

Применение при создании программы выборочной константы Липшица в алгоритме наращивания сети позволило реализовать способ ограничения избыточности числа нейронов и объема сети.

Применение концепции объектно-ориентированного программирования позволило разработать гибкий, открытый и легко сопровождаемый нейроимитатор.

Основное содержание диссертации изложено в следующих работах:

Dorrer M.G. Neural networks instead of psychological measurements // Abstracts of the 3rd International conference «Mathematics, computer, education». Dubna, 1996.

Dorrer M.G., Gorban A.N., Kopytov A.G. Simulation of psychological intuition by means of neural networks // New Concepts to Uncover Higher Brain Functions. The 5th Tohwa university International Symposium. Fukuoka, Japan: Tohwa University, 1995. - p.153.

Dorrer M.G., Gorban A.N., Kopytov A.G. Zenkin V.I. Psychological intuition of neural networks // Proceedings of the WCNN’95 (World Congress on Neural Networks’95, Washington DC, Juli 1995) - pp. 193-196

Dorrer M.G., Gorban A.N., Zenkin V.I. Neural networks in psychology: classical explicit diagnoses // Neuroinformatics and neurocomputers, Proceedings of the 2nd RNNS-IEEE Symposium, Rostov-on-Don, September 1995 - pp 281-284

Gorban A.N., Rossiev D.A., Butakova E.V., Gilev S.E., Golovenkin S.E., Dogadin S.A., Dorrer M.G., Kochenov D.A., Kopytov A.G., Maslennikova E.V., Matyushin G.V., Mirkes Ye.M., Nazarov B.V., Nozdrachev K.G., Savchenko A.A., Smirnova S.V., Shulman V.A., Zenkin V.I. Medical, psychological and physiological applications of MultiNeuron neural simulator // Neuroinformatics and neurocomputers, Proceedings of the 2nd RNNS-IEEE Symposium, Rostov-on-Don, September 1995 - pp 7-14

Gorban A.N., Rossiev D.A., Gilev S.E., Dorrer M.G., Kochenov D.A., Mirkes Ye.M., Golovenkin S.E., Dogadin S.A., Nozdrachev K.G., Matyushin G.V., Shulman V.A., Savchenko A.A. Medical and physiological applications of MultiNeuron neural simulator // Proceedings of the WCNN’95 (World Congress on Neural Networks’95, Washington DC, Juli 1995) - paper № 050

Gorban A.N., Rossiev D.A., Gilev S.E., Dorrer M.G., Kochenov D.A., Mirkes Ye.M., Golovenkin S.E., Dogadin S.A., Nozdrachev K.G., Matyushin G.V., Shulman V.A., Savchenko A.A. «NeuroComp» group: neural network software and its application // Russian Academy of Sciences, Krasnoyarsk Computing Center, Preprint №8. - Krasnoyarsk, 1995 - 38p.

Доррер М.Г. Обработка психологической информации при помощи нейронных сетей. // Проблемы информатизации региона: Материалы второй межрегиональной конференции. Красноярск: КГТУ, 1997. - с.33-43.

Доррер М.Г. Полутораслойный предиктор с произвольными преобразователями. // Проблемы информатизации региона: Труды Третьей Всероссийской конференции (Красноярск, 25-27 ноября 1997 г.). - Красноярск: АО «Диалог-Сибирь», 1997г. -с.143.

Доррер М.Г. Попытка применения нейронных сетей для прогнозирования психологической совместимости в группе. // Нейроинформатика и ее приложения: Программа и тезисы докладов II всероссийского рабочего семинара. - Красноярск: КГТУ, 1994. - с.13.

Доррер М.Г., Горбань А.Н., Копытов А.Г., Зенкин В.И. Психологическая интуиция нейронных сетей // Нейроинформатика и ее приложения: Материалы III всероссийского рабочего семинара. - Красноярск: КГТУ, 1995. - с.114-127.

ЛИТЕРАТУРА

Amari S. - I. The Brain and Computer // Proceedings of 1993 International Joint Conference on Neural Networks, Nagoya, Japan, October 25-29, 1993. - Nagoya, 1993. - v.1. - p.7-8.

Asary K.V., Eswaran C.A. Self-organizing Neural Network for Multidimensional Mapping and Classification of Multiple Valued Data // Proceedings of 1993 International Joint Conference on Neural Networks, Nagoya, Japan, October 25-29, 1993. - Nagoya, 1993. - v.2. - p.2488-2491.

Atamanchuk Z.M., Petrov A.A. Some problems of building and learning of neural networks while creating user’s expert systems diagnoses // The RNNS-IEEE Symposium on Neuroinformatics and Neurocomputers, Rostov-on-Don, September 1992 - v.2. - pp 1133-1135.

Baxt W.G. Complexity, chaos and human physiology: the justification for non-linear neural computational analysis // Cancer Lett. - 1994. - v.77, №2-3. - p.85-93.

Becraft W.R. Diagnostic applications of artificial neural networks // Proceedings of 1993 International Joint Conference on Neural Networks, Nagoya, Japan, October 25-29, 1993. - Nagoya, 1993. - v.2. - p.2807-2810.

Bedenbaugh P., Gerstein G.L. Rectification of correlation by a sigmoid non-linearity // Biol. Cybern. - 1994. - v.70, №3. - p.219-225.

Berrios G.E., Chen E.Y. Recognizing psychiatric symptoms. Relevance to the diagnostic process // Br. J. Psychiatry. - 1993. V.163. - p.308-314.

Cohen I.L., Sudhalter V., Landon-Jimenez D. et al. A neural network approach to the classification of autism // J. Autism Dev. Disord. - 1993. - v.23, №3. - p.443-466.

Forrest D.V., Flory M.J., Anderson S. Neural network programming // N.Y.State J. Med. - 1991. - v.91, №12. - p.553.

Fu H.C., Shann J.J. A fuzzy neural network for knowledge learning // Int. J. Neural Syst. - 1994. - v.5, №1. - p.13-22.

Galushkin A.I., Savushkin S.A. Neural Network expert system // The RNNS-IEEE Symposium on Neuroinformatics and Neurocomputers, Rostov-on-Don, September 1992 - v.2. - pp 1116-1123.

Galushkin A.I., Sudarikov V.A., Shabanov E.V. Neuromathematic: the methods of solving problems on neurocomputers // The RNNS-IEEE Symposium on Neuroinformatics and Neurocomputers, Rostov-on-Don, September 1992 - v.2. - pp 1179-1188.

Modai I., Stoler M., Inbar-Saban N. et al. Clinical decisions for psychiatric inpatients ant their evaluation by a trained neural network // Methods Inf. Med. - 1993 - v.32, №5. - p.396-399.

Sima J., Neruda R. Neural networks as expert systems // Neural Network Worl. - 1992 - v.2, №6. - p.775-783.

Sitting D.F., Orr J.A. A parallel implementation of the backward error propagation neural network training algorithm: experiments in event identification // Comput. Biomed Res. - 1992. - v.25, №6. - p.547-561.

Аванесов В.С. Тесты в социологическом исследовании. - М., 1982 - 199с.

Айвазян С.А., Бежаева З.И., Староверов О.В. Классификация многомерных наблюдений. - М.: Статистика, 1974 - с. 240.

Айвазян С.А., Бухштабер В.М., Енюков С.И., Мешалкин Л.Д. Прикладная статистика. Классификация и снижение размерности. - М.: Финансы и статистика, 1989 - с.607

Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика. Статистическое оценивание зависимостей. - М.: Финансы и статистика, 1983 - с.471.

Анастази А. Психологическое тестиование. - М. Педагогика, 1982 - кн.1 - с.320, кн.2 - с.360.

Ануфриев А.Ф. Психодиагностика как деятельность и научная дисциплина. // Вопросы психологии - 1994 - №2 - с.123-131.

Барцев С.И. Некоторые свойства адаптивных сетей. - Красноярск, 1987. - 17 с. - (Препринт / ИФ СО АН СССР; № 71Б.)

Барцев С.И., Гилев С.Е., Охонин В.А. Принцип двойственности в организации адаптивных систем обработки информации. // Динамика химических и биологических систем. - Новосибирск: Наука. Сибирское отделение, 1989. - с.6-55.

Бодалев А.А. О взаимосвязи общения и отношения // Вопросы психологии - 1994 - №1 - с.122-126.

Боннер Р.Е. Некоторые методы классификации // Автоматический анализ изображений. - М.: Мир, 1969 - с.205 - с.234.

Бурлачук Л.Ф., Коржова Е.Ю. К построению теории измеренной индивидуальности в психодиагностике. // Вопросы психологии - 1994 - №5 - с.5-12.

Бурлачук Л.Ф., Морозов С.М. Словарь - справочник по психологической диагностике. - Киев: Наукова думка, 1989 - с.200.

Буч Г. Объектно-ориентированное программирование с примерами применения. - М.: Конкорд, 1992. - с.36.

Вапник В.Н., Глазкова Т.Г., Кощеев .В.А., Михальский А.И., Червоненкис А.Я. Алгоритмы и программы восстановления зависимостей. - М.: Наука, 1984, с.8-11, 27-32, 42-55.

Вапник В.Н., Червоненкис А.Ф. Теория распознавания образов. - М.: Наука, 1974.

Гаврилова Т.А., Червинская К.Р., Яшин А.М. Формирование поля знаний на примере психодиагностики. // Известия АН СССР. Техническая кибернетика. - 1988. - №5. - с.72-85.

Гилев С.Е. Сравнение характеристических функций нейронов. // Тезисы докладов III всероссийского семинара «Нейроинформатика и ее приложения». - Красноярск: изд. КГТУ, 1995 - с.82.

Гилев С.Е., Горбань А.Н., Миркес Е.М. и др. Определение значимости обучающих параметров для принятия нейронной сетью решения об ответе. // Нейроинформатика и нейрокомпьютеры: Тезисы докладов рабочего семинара, 8-11 октября 1993 г. - Красноярск: Институт биофизики СО РАН, 1993. - с.8.

Гилев С.Е., Коченов Д.А., Миркес Е.М., Россиев Д.А. Контрастирование, оценка значимости параметров, оптимизация их значений и их интерпретация в нейронных сетях // Тезисы докладов III всероссийского семинара «Нейроинформатика и ее приложения». - Красноярск: изд. КГТУ, 1995 - с.66-78.

Гласс Дж., Стэнли Дж. Статистические методы в педагогике и психологии. - М.: Прогресс, 1976 - 495с.

Горбань А.Н. Обучение нейронных сетей.- М. СП ПараГраф - 1990.

Горбань А.Н., Миркес Е.М. Кодирование качественных признаков для нейросетей // Тезисы докладов II всероссийского семинара «Нейроинформатика и ее приложения». - Красноярск: изд. КГТУ, 1994 - с.29.

Горбань А.Н., Миркес Е.М. Компоненты нейропрограмм. // Тезисы докладов III всероссийского семинара «Нейроинформатика и ее приложения». - Красноярск: изд. КГТУ, 1995 - с.17.

Горбань А.Н., Миркес Е.М. Контрастирование нейронных сетей. // Тезисы докладов III всероссийского семинара «Нейроинформатика и ее приложения». - Красноярск: изд. КГТУ, 1995 - с.78-79.

Горбань А.Н., Миркес Е.М. Функциональные компоненты нейрокомпьютера. // Тезисы докладов III всероссийского семинара «Нейроинформатика и ее приложения». - Красноярск: изд. КГТУ, 1995 - с.79-90.

Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере. - Новосибирск: Наука, 1996 - с.144.

Грановская Р.М., Березная И.Я. Интуиция и искусственный интеллект. - Л.: ЛГУ, 1991. - 272с.

Губерман Т.А., Ямпольский Л.Т. Применение алгоритмов распознавания образов в психодиагностике // Вопросы психологии, 1983 №5. - с.118-125.

Дантенманн Дж., Мишел Дж., Тейлор Д. Программирование в среде Delphi. - Киев: DiaSoft, 1995.

Дарахвелидзе П., Марков Е. Delphi - среда визуального программирования. - Санкт-Петербург: BHV, 1996.

Деннис Дж. Мл., Шнабель Р. Численные методы безусловной оптимизации и решения нелинейных уравнений. - М.: Мир, 1988 - с.440.

Дюк В.А. Компьютерная психодиагностика. - Санкт-Петербург: Братство, 1994.

Елисеева И.И., Рукавишников В.О. Группировка, корреляция, распознавание образов (Статистические методы классификации и измерения связей). - М.: Статистика, 1977 - с.144.

Енюков И.С. Методы, алгоритмы, программы многомерного статистического анализа: Пакет ППСА. - М.: Финансы и статистика, 1986 - с.232

Житков Г.Н. Некоторые методы автоматической классификации.// Структурные методы опознавания и автоматическое чтение. М.: ВИНИТИ, 1970 - с.68 - с.85.

Журавлев Ю.И. Непараметрические задачи распознавания образов // Кибернетика - №6 - 1976 - с.93-103.

Журавлев Ю.И., Гуревич И.Б. Распознавание образов и анализ изображений // Искусственный интеллект. - В 3-х кн. Кн.2. - М.: Радио и связь, 1990 - с. 304.

Журавлев Ю.И., Об алгебраическом подходе к решению задач распознавания и классификации // Проблемы кибернетики. М.: Наука, 1978, вып.33 - с.5-68.

Забродин Ю.М., Похилько В.И., Шмелев А.Г. Статистические и семантические проблемы конструирования и адаптации многофакторных личностных тест-опросников. // Психологический журнал, т.8, №6, 1987 - с.79-89.

Загоруйко Н.Г., Елкина В.Н., Лбов Г.С. Алгоритмы обнаружения эмпирических закономерностей. - Новосибирск: Наука, 1985 - 110с.

Зеличенко А.И. Интеллектуальные системы и психологическое знание. // В книге: Компьютеры и познание. - М.: Наука, 1990 - с.69-86.

Кабанов М.М., Личко А.И., Смирнов В.М. Методы психологической диагностики и коррекции в клинике. М. Медицина - 1983

Килверт Ч. Энциклопедия Delphi 2. Киев: DiaSoft, 1996.

Коченов Д.А., Россиев Д.А. Аппроксимация функций класса нейросетевыми предикторами // Тезисы