Искусственный интеллект

Курс по выбору по специальности 010501 «Прикладная математика и информатика»

Лектор к.ф.-м.н., доцент Козынченко В.А.

ВВЕДЕНИЕ

1. Искуственные нейронные сети: основные свойства и возможности: Что такое искусственные нейронные сети. Краткий обзор развития искусственных нейронных сетей. Основные свойства искусственных нейронных сетей. Прикладные возможности искусственных нейронных сетей: современное состояние и перспективы на будущее.
2. Основы функционирования биологических нейронных сетей: Биологический нейрон. Передача и преобразование информации в биологическом нейроне. Синаптическая передача, виды синапсов. Свойства синаптической передачи. Основные принципы организации биологических нейронных сетей.

1. ОДНОСЛОЙНЫЙ ПЕРСЕПТРОН

1. Понятие искусственного нейрона и его обучения.: Модель МакКаллока-Питца. Виды активационных функций. Задача обучения нейрона. Обучающие выборки. Обучение с учителем.
2. Персептрон.: Персептрон Розенблатта. Обучение по правилу персептрона. Теорема о сходимости персептрона. Однослойные сети персептронного типа.
3. Сигмоидальные нейроны и однослойные сети сигмоидального типа.: Модель сигмоидального нейрона. Униполярная и биполярная функции активации и их свойства. Градиентные методы обучения сигмоидального нейрона и проблемы их практического применения. Условия сходимости алгоритма минимизации среднеквадратичной ошибки. Обучение с моментом. Однослойные сети сигмоидального типа.
4. Нейрон типа "адалайн".: Модель нейрона типа "адалайн" и метод его обучения.
5. Персептронная представляемость.: Проблема исключающего ИЛИ. Линейная разделяемость обучающего множества. Ограниченные возможности однослойного персептрона. Примеры. Преодоление ограничения линейной разделимости.

2. МНОГОСЛОЙНЫЙ ПЕРСЕПТРОН

1. Многослойный персептрон.: Структура многослойной однонаправленной сети нейронов сигмоидального типа. Задача обучения многослойного персептрона. Последовательный и пакетный режимы обучения. Общая схема обучения.
2. Алгоритм обратного распространения ошибки.: Вывод формул для алгоритма обратного распространения ошибки
3. Градиентные методы обучения многослойного персептрона.: Методы первого порядка. Обучение с использованием метода наискорейшего спуска. Проблемы, возникающие при использовании методов первого порядка и пути их разрешения. Обучение с моментом. Методы второго порядка. Алгоритмы переменной метрики, Левенберга-Марквардта и сопряженных градиентов. Подбор коэффициента обучения в градиентных методах обучения.
4. Выбор начального значения весов нейронов.: Проблема выбора начальных значений весов нейронов. Методы глобальной оптимизации. Генетические алгоритмы.
5. Подбор архитектуры многослойного персептрона и персептронная представляемость. Выбор обучающего множества.: Персептронная представляемость в случае многослойного персептрона. Теорема Колмогорова. Способность многослойного персептрона к обобщению данных и проблема избыточного обучения. Разделение обучающего множества и обучение с ранним остановом. Первоначальный подбор архитектуры сети. Методы редукции сети. Методы наращивания сети.
6. Обучение многослойного персептрона. Резюме.: Этапы обучения многослойного персептрона. Проблемы обучения и пути их разрешения
7. Примеры использования многослойного персептрона.: Распознавание и классификация образов. Сжатие данных. Прогнозирование. Задача аппроксимации.

3. СЕТИ РАДИАЛЬНЫХ НЕЙРОНОВ

1. Радиальные нейроны.: Радиальные базисные функции. Структура радиального нейрона. Теорема Ковера о распознаваемости образов. Локальная аппроксимация радиальными функциями.
2. Радиальные нейронные сети.: Структура сети радиальных нейронов. Задача обучения радиальной сети.
3. Методы обучения радиальных сетей и методы подбора количества нейронов.: Проблемы обучения радиальных сетей. Гибридный алгоритм обучения. Процесс самоорганизации. Эвристические методы подбора количества нейронов. Метод ортогонализации.
4. Применение радиальных сетей и сравнение с многослойным персептроном.: Сравнение сетей радиальных нейронов и многослойных персептронов. Задачи классификации образов и аппроксимации.

4. СЕТИ САМООРГАНИЗАЦИИ И СЕТИ ВСТРЕЧНОГО РАСПРОСТРАНЕНИЯ

1. Инстар Гроссберга.: Инстра Гроссберга. Задачи обучения инстара с учителем и без учителя. Обучение по правилу Гроссберга. Примеры решения задач кластеризации.
2. Сети с самоорганизацией на основе конкуренции.: Основные принципы построения и функционирования сетей самоорганизации на основе конкуренции. Алгоритмы обучения сетей с самоорганизацией. Обучение по правилам WTA и WTM. Обучение по правилу Кохонена. Проблема мертвых нейронов. Применение сетей самоорганизации. Сжатие и восстановление данных.
3. Сети встречного распространения.: Структура сетей встречного распространения. Обучение и функционирование сетей встречного распространения. Применение сетей встречного распространения. Сжатие данных.

5. РЕКУРРЕНТНЫЕ СЕТИ АССОЦИАТИВНОЙ ПАМЯТИ

1. Введение в нейродинамику.: Нейронные сети с обратными связями. Ассоциативная память. Состояния равновесия динамической системы и их устойчивость. Нейродинамические модели. Теорема Коэна-Гроссберга.
2. Сеть Хопфилда.: Автоассоциативная память. Структура сети Хопфилда. Математическая модель и энергетическая функция. Устойчивость сети Хопфилда. Обучение сети Хопфилда по обобщенному правилу Хебба. Режимы обучения и распознавания сети Хопфилда. Емкость сети Хопфилда.
3. Сеть Хемминга.: Структура и функционирование сети Хэмминга. Сравнение сетей Хопфилда и Хемминга. Применение сети Хемминга
4. Двунаправленная ассоциативная память (ВАМ).: Гетероассоциативная память. Структура и функционирование сети ВАМ. Кодирование и восстановление запомненных ассоциаций. Обучение по правилу Коско. Модифицированный алгоритм обучения сети ВАМ. Модифицированная структура сети ВАМ и её функционирование. Емкость сетей ВАМ. Примеры применения сетей ВАМ.

6. НЕЙРОННЫЕ СЕТИ АДАПТИВНОЙ РЕЗОНАНСНОЙ ТЕОРИИ (АРТ)

Назначение и виды сетей АРТ. Архитектура и основные особенности сети АРТ1. Реализация отдельных блоков сети АРТ1. Функционирование сети АРТ1. Основные АРТ-теоремы. Применение, достоинства и недостатки сетей АРТ. Дальнейшие перспективы.

7. КОГНИТРОН И НЕОКОГНИТРОН

Введение в проблему компьютерного распознавания образов. Структура когнитрона. Возбуждающие и тормозящие нейроны. Процедура обучения когнитрона. Достоинства и недостатки когнитрона. Структура и функционирование неокогнитрона.

ЗАКЛЮЧЕНИЕ

Основные функциональные возможности программ моделирования нейронных сетей. Краткий обзор нейропакетов. Краткая характеристика задач, решаемых с помощью нейропакетов: задачи прогнозирования, анализа данных, сжатия и восстановления данных, аппроксимации функций. Основные выводы.

Основная литература

Хайкин С. Нейронные сети: полный курс. 2-е изд. Москва, 2008.
Осовский С. Нейронные сети для обработки информации. Москва, 2002.
Уоссермен Ф. Нейрокомпьютерная техника Москва, 1992.
Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика. Москва, 2002.
Каллан Р. Основные концепции нейронных сетей. Москва, 2003.
Николлс Д., Мартин Р., Валлас Б., Фукс П. От нейрона к мозгу. 2-е изд. Москва 2008.