Искусственный интеллект
Курс по выбору по специальности 010501 «Прикладная математика и информатика»
Лектор к.ф.-м.н., доцент Козынченко В.А.
ВВЕДЕНИЕ
- 1. Искуственные нейронные сети: основные свойства и возможности
- Что такое искусственные нейронные сети. Краткий обзор развития искусственных нейронных сетей. Основные свойства искусственных нейронных сетей. Прикладные возможности искусственных нейронных сетей: современное состояние и перспективы на будущее.
- 2. Основы функционирования биологических нейронных сетей
- Биологический нейрон. Передача и преобразование информации в биологическом нейроне. Синаптическая передача, виды синапсов. Свойства синаптической передачи. Основные принципы организации биологических нейронных сетей.
1. ОДНОСЛОЙНЫЙ ПЕРСЕПТРОН
- 1. Понятие искусственного нейрона и его обучения.
- Модель МакКаллока-Питца. Виды активационных функций. Задача обучения нейрона. Обучающие выборки. Обучение с учителем.
- 2. Персептрон.
- Персептрон Розенблатта. Обучение по правилу персептрона. Теорема о сходимости персептрона. Однослойные сети персептронного типа.
- 3. Сигмоидальные нейроны и однослойные сети сигмоидального типа.
- Модель сигмоидального нейрона. Униполярная и биполярная функции активации и их свойства. Градиентные методы обучения сигмоидального нейрона и проблемы их практического применения. Условия сходимости алгоритма минимизации среднеквадратичной ошибки. Обучение с моментом. Однослойные сети сигмоидального типа.
- 4. Нейрон типа "адалайн".
- Модель нейрона типа "адалайн" и метод его обучения.
- 5. Персептронная представляемость.
- Проблема исключающего ИЛИ. Линейная разделяемость обучающего множества. Ограниченные возможности однослойного персептрона. Примеры. Преодоление ограничения линейной разделимости.
2. МНОГОСЛОЙНЫЙ ПЕРСЕПТРОН
- 1. Многослойный персептрон.
- Структура многослойной однонаправленной сети нейронов сигмоидального типа. Задача обучения многослойного персептрона. Последовательный и пакетный режимы обучения. Общая схема обучения.
- 2. Алгоритм обратного распространения ошибки.
- Вывод формул для алгоритма обратного распространения ошибки
- 3. Градиентные методы обучения многослойного персептрона.
- Методы первого порядка. Обучение с использованием метода наискорейшего спуска. Проблемы, возникающие при использовании методов первого порядка и пути их разрешения. Обучение с моментом. Методы второго порядка. Алгоритмы переменной метрики, Левенберга-Марквардта и сопряженных градиентов. Подбор коэффициента обучения в градиентных методах обучения.
- 4. Выбор начального значения весов нейронов.
- Проблема выбора начальных значений весов нейронов. Методы глобальной оптимизации. Генетические алгоритмы.
- 5. Подбор архитектуры многослойного персептрона и персептронная представляемость. Выбор обучающего множества.
- Персептронная представляемость в случае многослойного персептрона. Теорема Колмогорова. Способность многослойного персептрона к обобщению данных и проблема избыточного обучения. Разделение обучающего множества и обучение с ранним остановом. Первоначальный подбор архитектуры сети. Методы редукции сети. Методы наращивания сети.
- 6. Обучение многослойного персептрона. Резюме.
- Этапы обучения многослойного персептрона. Проблемы обучения и пути их разрешения
- 7. Примеры использования многослойного персептрона.
- Распознавание и классификация образов. Сжатие данных. Прогнозирование. Задача аппроксимации.
3. СЕТИ РАДИАЛЬНЫХ НЕЙРОНОВ
- 1. Радиальные нейроны.
- Радиальные базисные функции. Структура радиального нейрона. Теорема Ковера о распознаваемости образов. Локальная аппроксимация радиальными функциями.
- 2. Радиальные нейронные сети.
- Структура сети радиальных нейронов. Задача обучения радиальной сети.
- 3. Методы обучения радиальных сетей и методы подбора количества нейронов.
- Проблемы обучения радиальных сетей. Гибридный алгоритм обучения. Процесс самоорганизации. Эвристические методы подбора количества нейронов. Метод ортогонализации.
- 4. Применение радиальных сетей и сравнение с многослойным персептроном.
- Сравнение сетей радиальных нейронов и многослойных персептронов. Задачи классификации образов и аппроксимации.
4. СЕТИ САМООРГАНИЗАЦИИ И СЕТИ ВСТРЕЧНОГО РАСПРОСТРАНЕНИЯ
- 1. Инстар Гроссберга.
- Инстра Гроссберга. Задачи обучения инстара с учителем и без учителя. Обучение по правилу Гроссберга. Примеры решения задач кластеризации.
- 2. Сети с самоорганизацией на основе конкуренции.
- Основные принципы построения и функционирования сетей самоорганизации на основе конкуренции. Алгоритмы обучения сетей с самоорганизацией. Обучение по правилам WTA и WTM. Обучение по правилу Кохонена. Проблема мертвых нейронов. Применение сетей самоорганизации. Сжатие и восстановление данных.
- 3. Сети встречного распространения.
- Структура сетей встречного распространения. Обучение и функционирование сетей встречного распространения. Применение сетей встречного распространения. Сжатие данных.
5. РЕКУРРЕНТНЫЕ СЕТИ АССОЦИАТИВНОЙ ПАМЯТИ
- 1. Введение в нейродинамику.
- Нейронные сети с обратными связями. Ассоциативная память. Состояния равновесия динамической системы и их устойчивость. Нейродинамические модели. Теорема Коэна-Гроссберга.
- 2. Сеть Хопфилда.
- Автоассоциативная память. Структура сети Хопфилда. Математическая модель и энергетическая функция. Устойчивость сети Хопфилда. Обучение сети Хопфилда по обобщенному правилу Хебба. Режимы обучения и распознавания сети Хопфилда. Емкость сети Хопфилда.
- 3. Сеть Хемминга.
- Структура и функционирование сети Хэмминга. Сравнение сетей Хопфилда и Хемминга. Применение сети Хемминга
- 4. Двунаправленная ассоциативная память (ВАМ).
- Гетероассоциативная память. Структура и функционирование сети ВАМ. Кодирование и восстановление запомненных ассоциаций. Обучение по правилу Коско. Модифицированный алгоритм обучения сети ВАМ. Модифицированная структура сети ВАМ и её функционирование. Емкость сетей ВАМ. Примеры применения сетей ВАМ.
6. НЕЙРОННЫЕ СЕТИ АДАПТИВНОЙ РЕЗОНАНСНОЙ ТЕОРИИ (АРТ)
Назначение и виды сетей АРТ. Архитектура и основные особенности сети АРТ1. Реализация отдельных блоков сети АРТ1. Функционирование сети АРТ1. Основные АРТ-теоремы. Применение, достоинства и недостатки сетей АРТ. Дальнейшие перспективы.
7. КОГНИТРОН И НЕОКОГНИТРОН
Введение в проблему компьютерного распознавания образов. Структура когнитрона. Возбуждающие и тормозящие нейроны. Процедура обучения когнитрона. Достоинства и недостатки когнитрона. Структура и функционирование неокогнитрона.
ЗАКЛЮЧЕНИЕ
Основные функциональные возможности программ моделирования нейронных сетей. Краткий обзор нейропакетов. Краткая характеристика задач, решаемых с помощью нейропакетов: задачи прогнозирования, анализа данных, сжатия и восстановления данных, аппроксимации функций. Основные выводы.
Основная литература
- Хайкин С. Нейронные сети: полный курс. 2-е изд. Москва, 2008.
- Осовский С. Нейронные сети для обработки информации. Москва, 2002.
- Уоссермен Ф. Нейрокомпьютерная техника Москва, 1992.
- Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика. Москва, 2002.
- Каллан Р. Основные концепции нейронных сетей. Москва, 2003.
- Николлс Д., Мартин Р., Валлас Б., Фукс П. От нейрона к мозгу. 2-е изд. Москва 2008.