Модели интеллектуального адаптивного поведения на базе нейросетевых и эволюционных методов

Проект РФФИ 07-01-00180

Краткий отчет за 2009 год
Краткий отчет за 2008 год
Краткий отчет за 2007 год
Список публикаций

Краткий отчет за 2009 год
В ходе выполнения проекта были получены следующие результаты:

Построена модель агентов, которые подобны биологическим организмам, приспосабливающимся к изменению температуры Т в окружающей среде. Система управления агента основана на нейросетевых адаптивных критиках и обеспечивает прогнозирование изменений Т и принятие решения о перемещении агента в соответствии с изменениями температуры. Оптимизация нейронных сетей агентов происходит как путем обучения с подкреплением, так и посредством дарвиновской эволюции популяции агентов. Продемонстрировано, что приобретаемые в процессе индивидуального обучения агента свойства могут генетически ассимилироваться в его геноме. Причем этот процесс может происходить достаточно быстро, например, такая генетическая ассимиляция приобретенных навыков может занимать всего 3-5 поколений эволюции.

Построена и исследована компьютерная модель формирования адаптивного поведения автономных агентов, имеющих несколько естественных потребностей: питание, размножение, безопасность. Система управления агента основана на правилах вида «Если имеет место ситуация S, то необходимо выполнить действие A». Каждое правило имеет свой вес. Веса правил модифицируются как путем самообучения агентов, так и в процессе эволюционной оптимизации. Моделирование продемонстрировало формирование естественного поведения агентов. При самообучении агенты в основном выполняли действия, соответствующие потребностям питания и безопасности, а при эволюционной оптимизации дополнительно к этому увеличивалась частота действий, соответствующих потребности размножения.

Краткий отчет за 2008 год
В ходе выполнения проекта были получены следующие результаты:

Проведено исследование систем управления автономных адаптивных агентов (модельных организмов), имеющих многомодульную архитектуру. Основное исследование велось для систем управления, базирующихся на классифицирующих системах, то есть на наборе логических правил, оптимизируемых как эволюционным методом, так и методом самообучения. Агенты перемещались в двумерной клеточной среде. Путем компьютерного моделирования показана возможность формирования цепочек последовательных действий агентов.

Развита модель поискового адаптивного поведения личинок ручейников, строящих чехол-домик из частиц разного размера и ведущих поиск скоплений подходящих частиц. В модели использовано понятие мотивации к прикреплению частиц, регулирующей выбор действий системой управления личинки. Показано, что динамика мотивации проста и эффективна и может быть использована в аналогичных моделях. В частности, показано, что предложенная методика динамики мотивации и регулирования с ее помощью выбора действия применима при моделировании поиска минимума функции. В этом случае при положительной мотивации сохраняется направление поискового движения, при отрицательной мотивации - направление поиска случайно меняется. Более того, при этом наблюдается аналог известного овражного метода (И.М. Гельфанд, М.Л. Цетлин, 1961). В разработанной компьютерной модели автоматически в начале поиска находится «овраг» (область, в которой минимизируемая функция f достаточно мала), а затем происходит движение вдоль оврага и постепенное уменьшение величины f.

Краткий отчет за 2007 год
В ходе выполнения проекта были получены следующие результаты:

Разработаны архитектуры и принципы функционирования многомодульных нейросетевых систем управления автономных адаптивных агентов (модельных организмов). Каждый модуль обеспечивает выбор действий и прогноз результатов действия. Системы управления могут оптимизироваться как эволюционным путем, так и в процессе индивидуального самообучения (без учителя) на основе подкреплений и наказаний, поступающих из внешней среды.

Разработаны компьютерные модели формирования многомодульных систем управления агентов эволюционным путем и путем обучения. Проанализировано влияние обучения на эволюционный процесс.

Разработана и исследована биологически инспирированная компьютерная модель поискового адаптивного поведения. Изучена конкретная модель поискового поведения личинок ручейников, строящих чехол-домик из частиц разного размера и ведущих поиск скоплений подходящих частиц. Показана адекватность компьютерной модели биологическим экспериментальным данным. Модель характеризуется как своей спецификой, отражающей память личинок о размерах последних обработанных частиц, так и общими свойствами инерционного переключения.

Библиографический список публикаций по проекту 07-01-00180 (2007 - 2009 г.г.)

1. Редько В.Г. Модели адаптивного поведения – бионический подход к искусственному интеллекту // В «Моделирование процессов» (под ред. В.А. Райхлина) Казань, Изд-во КГУ, 2007. С. 109-134.

2. Red’ko V.G., Anokhin K.V., Burtsev M.S., Manolov A.I., Mosalov O.P., Nepomnyashchikh V.A., Prokhorov D.V. Project "Animat Brain": Designing the animat control system on the basis of the functional systems theory // In Butz, M.V., Sigaud, O., Pezzulo, G., Baldassarre, G. (Eds.), Anticipatory Behavior in Adaptive Learning Systems: From Brains to Individual and Social Behavior. LNAI 4520, Berlin, Heidelberg: Springer Verlag. 2007. PP. 94-107.

3. Непомнящих В.А., Попов Е.Е., Редько В.Г. Модель поискового поведения личинок ручейников // Интегрированные модели и мягкие вычисления в искусственном интеллекте. Сборник трудов IV-й Международной научно-практической конференции. В 2-х томах. Т.2. М.: Физматлит, 2007. С. 583-589.

4. Редько В.Г. Информатика и биология – науки 21-го века. Что на стыке? // Информационные процессы (электронный журнал), 2007, Т. 7, № 3. С. 214-247.

http://www.jip.ru/2007/214-247-2007.pdf

5. Редько В.Г. Модели адаптивного поведения и проблема происхождения интеллекта // Математическая биология и биоинформатика (электронный журнал), 2007, Т. 2, № 1, С.160-180. http://www.matbio.org/downloads/Redko2007(2_160).pdf

6. Редько В.Г. Перспективы исследований на стыке информатики и биологии // Нейроинформатика (электронный журнал), 2007, Т. 2, № 1, С.60-76.

http://www.niisi.ru/iont/ni/Journal/V2/N1/Redko.pdf

7. Непомнящих В.А., Попов Е.Е., Редько В.Г. Бионическая модель адаптивного поискового поведения // Известия РАН. Теория и системы управления, 2008. № 1. С. 85-93.

8. Мосалов О.П., Редько В.Г., Прохоров Д.В. Моделирование эволюции автономных адаптивных агентов // Математическое моделирование, 2008. Т. 20. № 2. С. 21-31.

9. Nepomnyashchikh V.A., Popov E.E., Red’ko V.G. Biologically inspired model of adaptive searching behavior // Optical Memory and Neural Networks (Information Optics), 2008, Vol. 17, No. 1, pp. 69–74.

10. Редько В.Г. Модели адаптивного поведения – биологически инспирированный подход к искусственному интеллекту // Искусственный интеллект и принятие решений. 2008, № 2. С. 11-23.

11. Редько В.Г. Проблема происхождения интеллекта // Вопросы философии, 2008. № 12. С. 76-83.

12. Редько В.Г. Перспективы моделирования когнитивной эволюции // Третья международная конференция по когнитивной науке: Тезисы докладов: в 2 т. М.: Художественно-издательский центр, 2008. Т. 2. С. 576-577.

13. Попов Е.Е., Непомнящих В.А., Редько В.Г. Модель адаптивного поискового поведения личинок ручейников // Научная сессия МИФИ - 2008. Х Всероссийская научно-техническая конференция "Нейроинформатика-2008": Сборник научных трудов. В 2-х частях. Ч.1. М.: МИФИ, 2008. С. 185-192.

14. Редько В.Г., Цой Ю.Р. Оценка скорости и эффективности эволюции для простых вариантов генетического алгоритма // Одиннадцатая национальная конференция по искусственному интеллекту с международным участием. Труды конференции. - М.: ЛЕНАНД, 2008. Том.3. С. 33-40.

15. Редько В.Г., Мосалов О.П., Прохоров Д.В. Обучение и эволюция автономных адаптивных агентов // Компьютеры, мозг, познание: успехи когнитивных наук (отв. ред. Б.М. Величковский, В.Д. Соловьев). М.: Наука, 2008. С. 252-272.

16. Red’ko V.G. Towards modeling cognitive evolution // Neural Networks and Artificial Intelligence. Proccedings of the Fifth International Conference (May 27-30, 2008, Minsk, Belarus). Minsk: Propilei, 2008. PP. 17-21.

17. Редько В.Г., Бесхлебнова Г.А. Модель адаптивного поведения автономных агентов в двумерной клеточной среде // Научная сессия МИФИ - 2009. XI Всероссийская научно-техническая конференция "Нейроинформатика-2009": Сборник научных трудов. В 2-х частях. Ч.1. М.: МИФИ, 2009.

18. Редько В.Г. На пути к моделированию когнитивной эволюции // Материалы XV Международной конференции по нейрокибернетике, 2009. Т.2. Ростов-на-Дону: Издательство ЮФУ. С. 56-58.

19. Бесхлебнова Г.А., Редько В.Г. Модель автономных агентов в двумерной клеточной среде // Материалы XV Международной конференции по нейрокибернетике, 2009. Т.2. Ростов-на-Дону: Издательство ЮФУ. С. 154-157.

20. Редько В.Г. Подходы к разработке компьютерных моделей сознания // Проблема сознания в философии и науке. Сборник под ред. Д.И. Дубровского. М.: «Канон+» РООИ «Реабилитация», 2009. С. 419-424.

21. Редько В.Г. Об исследовании когнитивной эволюции // Электронная культура: трансляция в социокультурной и образовательной среде. Под ред. А.Ю. Алексеева, С.Ю. Карпук – М.: МГУКИ, 2009. С. 99-104.

22. Редько В.Г., Редько О.В. Бионическая модель генетической ассимиляции приобретаемых навыков // Научная сессия МИФИ - 2010. XII Всероссийская научно-техническая конференция "Нейроинформатика-2010": Сборник научных трудов. М.: МИФИ, 2010 (в печати).