zhChinese    enEnglish
  ПМ-ПУ  » Образование  » Программы курсов » Искусственный интеллект

Искусственный интеллект

Курс по выбору по специальности 010501 «Прикладная математика и информатика»

Лектор к.ф.-м.н., доцент Козынченко В.А.

ВВЕДЕНИЕ

1. Искуственные нейронные сети: основные свойства и возможности
Что такое искусственные нейронные сети. Краткий обзор развития искусственных нейронных сетей. Основные свойства искусственных нейронных сетей. Прикладные возможности искусственных нейронных сетей: современное состояние и перспективы на будущее.
2. Основы функционирования биологических нейронных сетей
Биологический нейрон. Передача и преобразование информации в биологическом нейроне. Синаптическая передача, виды синапсов. Свойства синаптической передачи. Основные принципы организации биологических нейронных сетей.

1. ОДНОСЛОЙНЫЙ ПЕРСЕПТРОН

1. Понятие искусственного нейрона и его обучения.
Модель МакКаллока-Питца. Виды активационных функций. Задача обучения нейрона. Обучающие выборки. Обучение с учителем.
2. Персептрон.
Персептрон Розенблатта. Обучение по правилу персептрона. Теорема о сходимости персептрона. Однослойные сети персептронного типа.
3. Сигмоидальные нейроны и однослойные сети сигмоидального типа.
Модель сигмоидального нейрона. Униполярная и биполярная функции активации и их свойства. Градиентные методы обучения сигмоидального нейрона и проблемы их практического применения. Условия сходимости алгоритма минимизации среднеквадратичной ошибки. Обучение с моментом. Однослойные сети сигмоидального типа.
4. Нейрон типа "адалайн".
Модель нейрона типа "адалайн" и метод его обучения.
5. Персептронная представляемость.
Проблема исключающего ИЛИ. Линейная разделяемость обучающего множества. Ограниченные возможности однослойного персептрона. Примеры. Преодоление ограничения линейной разделимости.

2. МНОГОСЛОЙНЫЙ ПЕРСЕПТРОН

1. Многослойный персептрон.
Структура многослойной однонаправленной сети нейронов сигмоидального типа. Задача обучения многослойного персептрона. Последовательный и пакетный режимы обучения. Общая схема обучения.
2. Алгоритм обратного распространения ошибки.
Вывод формул для алгоритма обратного распространения ошибки
3. Градиентные методы обучения многослойного персептрона.
Методы первого порядка. Обучение с использованием метода наискорейшего спуска. Проблемы, возникающие при использовании методов первого порядка и пути их разрешения. Обучение с моментом. Методы второго порядка. Алгоритмы переменной метрики, Левенберга-Марквардта и сопряженных градиентов. Подбор коэффициента обучения в градиентных методах обучения.
4. Выбор начального значения весов нейронов.
Проблема выбора начальных значений весов нейронов. Методы глобальной оптимизации. Генетические алгоритмы.
5. Подбор архитектуры многослойного персептрона и персептронная представляемость. Выбор обучающего множества.
Персептронная представляемость в случае многослойного персептрона. Теорема Колмогорова. Способность многослойного персептрона к обобщению данных и проблема избыточного обучения. Разделение обучающего множества и обучение с ранним остановом. Первоначальный подбор архитектуры сети. Методы редукции сети. Методы наращивания сети.
6. Обучение многослойного персептрона. Резюме.
Этапы обучения многослойного персептрона. Проблемы обучения и пути их разрешения
7. Примеры использования многослойного персептрона.
Распознавание и классификация образов. Сжатие данных. Прогнозирование. Задача аппроксимации.

3. СЕТИ РАДИАЛЬНЫХ НЕЙРОНОВ

1. Радиальные нейроны.
Радиальные базисные функции. Структура радиального нейрона. Теорема Ковера о распознаваемости образов. Локальная аппроксимация радиальными функциями.
2. Радиальные нейронные сети.
Структура сети радиальных нейронов. Задача обучения радиальной сети.
3. Методы обучения радиальных сетей и методы подбора количества нейронов.
Проблемы обучения радиальных сетей. Гибридный алгоритм обучения. Процесс самоорганизации. Эвристические методы подбора количества нейронов. Метод ортогонализации.
4. Применение радиальных сетей и сравнение с многослойным персептроном.
Сравнение сетей радиальных нейронов и многослойных персептронов. Задачи классификации образов и аппроксимации.

4. СЕТИ САМООРГАНИЗАЦИИ И СЕТИ ВСТРЕЧНОГО РАСПРОСТРАНЕНИЯ

1. Инстар Гроссберга.
Инстра Гроссберга. Задачи обучения инстара с учителем и без учителя. Обучение по правилу Гроссберга. Примеры решения задач кластеризации.
2. Сети с самоорганизацией на основе конкуренции.
Основные принципы построения и функционирования сетей самоорганизации на основе конкуренции. Алгоритмы обучения сетей с самоорганизацией. Обучение по правилам WTA и WTM. Обучение по правилу Кохонена. Проблема мертвых нейронов. Применение сетей самоорганизации. Сжатие и восстановление данных.
3. Сети встречного распространения.
Структура сетей встречного распространения. Обучение и функционирование сетей встречного распространения. Применение сетей встречного распространения. Сжатие данных.

5. РЕКУРРЕНТНЫЕ СЕТИ АССОЦИАТИВНОЙ ПАМЯТИ

1. Введение в нейродинамику.
Нейронные сети с обратными связями. Ассоциативная память. Состояния равновесия динамической системы и их устойчивость. Нейродинамические модели. Теорема Коэна-Гроссберга.
2. Сеть Хопфилда.
Автоассоциативная память. Структура сети Хопфилда. Математическая модель и энергетическая функция. Устойчивость сети Хопфилда. Обучение сети Хопфилда по обобщенному правилу Хебба. Режимы обучения и распознавания сети Хопфилда. Емкость сети Хопфилда.
3. Сеть Хемминга.
Структура и функционирование сети Хэмминга. Сравнение сетей Хопфилда и Хемминга. Применение сети Хемминга
4. Двунаправленная ассоциативная память (ВАМ).
Гетероассоциативная память. Структура и функционирование сети ВАМ. Кодирование и восстановление запомненных ассоциаций. Обучение по правилу Коско. Модифицированный алгоритм обучения сети ВАМ. Модифицированная структура сети ВАМ и её функционирование. Емкость сетей ВАМ. Примеры применения сетей ВАМ.

6. НЕЙРОННЫЕ СЕТИ АДАПТИВНОЙ РЕЗОНАНСНОЙ ТЕОРИИ (АРТ)

Назначение и виды сетей АРТ. Архитектура и основные особенности сети АРТ1. Реализация отдельных блоков сети АРТ1. Функционирование сети АРТ1. Основные АРТ-теоремы. Применение, достоинства и недостатки сетей АРТ. Дальнейшие перспективы.

7. КОГНИТРОН И НЕОКОГНИТРОН

Введение в проблему компьютерного распознавания образов. Структура когнитрона. Возбуждающие и тормозящие нейроны. Процедура обучения когнитрона. Достоинства и недостатки когнитрона. Структура и функционирование неокогнитрона.

ЗАКЛЮЧЕНИЕ

Основные функциональные возможности программ моделирования нейронных сетей. Краткий обзор нейропакетов. Краткая характеристика задач, решаемых с помощью нейропакетов: задачи прогнозирования, анализа данных, сжатия и восстановления данных, аппроксимации функций. Основные выводы.

Основная литература

  1. Хайкин С. Нейронные сети: полный курс. 2-е изд. Москва, 2008.
  2. Осовский С. Нейронные сети для обработки информации. Москва, 2002.
  3. Уоссермен Ф. Нейрокомпьютерная техника Москва, 1992.
  4. Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика. Москва, 2002.
  5. Каллан Р. Основные концепции нейронных сетей. Москва, 2003.
  6. Николлс Д., Мартин Р., Валлас Б., Фукс П. От нейрона к мозгу. 2-е изд. Москва 2008.