ВСТУП

ЧАСТИНА 1. КЛАСИЧНЕ НАВЧАННЯ

РОЗДІЛ 1. МАШИННЕ НАВЧАННЯ

1.1. Вступ в машинне навчання.

1.1.1. Означення навчання

1.1.2. Програми, що навчаються

1.1.3. Мотивація до навчання

1.1.4. Таксономія машинного навчання

1.1.5 Споріднені галузі

1.1.6. Навчання як розділ штучного інтелекту

1.2. Загальне формулювання задачі навчання за прецедентами

1.2.1. Основні поняття та означення

1.2.2. Типологія задач навчання за прецедентами

1.2.3. Задачі з описом об’єктів на основі ознак

1.3. Приклади задач машинного навчання

1.3.1. Задачі класифікації

1.3.2. Задача відновлення регресії

1.3.3. Задачі прогнозування та прийняття рішень

1.3.4. Задачі кластеризації

1.3.5. Задачі аналізу клієнтських середовищ

1.4. Навчання понять в штучному інтелекті

1.4.1. Задача навчання понять – пошук у просторі гіпотез

1.4.2. Упорядкування гіпотез „від загальної до конкретної”

1.4.3. Алгоритм Find-S пошуку максимально конкретної гіпотези

1.4.4. Алгоритм „вилучення кандидата”

1.5. Задачі для самостійного розв’язування

Питання для самоперевірки

РОЗДІЛ 2. НАВЧАННЯ З ВЧИТЕЛЕМ

2.1. Задача навчання із вчителем

2.1.1. Постановка задачі навчання з вчителем

2.1.2. Машина опорних векторів

2.2. Регресійний аналіз

2.2.1. Регресійна модель

2.2.2. Гребенева регресія.

2.2.3. Логістична регресія

2.3. Стохастичний градієнтний спуск і онлайн-підхід до навчання

2.3.1. Стохастичний градієнтний спуск

2.3.2. Онлайн-підхід до навчання

2.3.3. Робота з категоріальними ознаками Label Encoding, One-Hot Encoding, Hashing trick

2.3.4. Навчання логістичній регресії

2.4. Бібліотека VOWPAL WABBIT

2.4.1. Багатокласова класифікація

2.4.2. Бінарна класифікація.

2.4.3. Класифікація понять

2.5. ГРАДІЄНТНИЙ БУСТИНГ

2.5.1. Вступ та історія появи бустинга

2.5.2. GBM алгоритм. Постановка задачі

2.5.3. Функціональний градієнтний спуск

2.5.4. Класичний GBM алгоритм Friedman-а

2.6. Функції втрат

2.6.1.Функції втрат регресії

2.6.2. Класифікації функцій втрат

2.6.3. Застосування ваг

2.7. Критерії порівняння алгоритмів машинного навчання

2.8. Наївний БАЄСІВ КЛАСИФІКАТОР

2.8.1 Формулювання

2.8.2. Робота з нульовими рахунками (дисконтування)

Питання для самоперевірки

РОЗДІЛ 3. ЛОГІЧНІ ТА МЕТРИЧНІ МЕТОДИ КЛАСИФІКАЦІЇ. ДЕРЕВА РІШЕНЬ

3.1. Означення метода дерева рішень

3.2. Алгоритми побудови дерева рішень

3.2.1. Алгоритм побудови дерева рішень – ID3(D, C, A)

3.2.2. Методи оптимізації дерев рішень–рання зупинка. Усічення

дерев рішень, проблеми вибору атрибута для процедури

“розділяй і керуй”.

3.2.3. Алгоритм побудови дерева рішень – C4.5(D, C, A)

3.2.4. Алгоритм CART (Classification and Regression Trees).

3.3. Нечіткі дерева рішень

3.3.1 Основні принципи нечіткої логіки та її використання.

3.3.2.Алгоритм побудови нечіткого дерева рішень

3.3.3. Випадковий ліс

3.3.4. Градієнтний бустинг дерев рішень

3.4. Метричні методи класифікації.

3.4.1 Метод найближчого сусіда і його узагальнення

3.4.2. Алгоритм k найближчих сусідів (k nearest neighbors, kNN).

3.4.3. Алгоритм k зважених найближчих сусідів.

3.4.4. Метод парзенівського вікна

3.4.5. Метод потенційних функцій

3.4.6. Відбір еталонних об'єктів

3.4.7. Алгоритм STOLP для відбору еталонних об'єктів.

Питання для самоперевірки

РОЗДІЛ 4. НАВЧАННЯ БЕЗ ВЧИТЕЛЯ

4.1. Задача навчання без вчителя

4.2. Основні поняття кластерного аналізу

4.3. Застереження стосовно використання кластерного аналізу

4.4. Поняття подібності.

4.5. Міри подібності

4.5.1. Коефіцієнти кореляції.

4.5.2. Міри відстані

4.5.3. Коефіцієнти асоціативності

4.5.4. Імовірнісні коефіцієнти подібності.

4.6. Методи кластерного аналізу

4.6.1. Ієрархічні агломеративні методи

4.6.2. Ітеративні методи групування

4.6.3. Інші методи

4.7. Модель кластерного аналізу

4.8. Підготовка даних до кластерного аналізу

4.8.1. Формування таблиці «об’єкт - ознака».

4.8.2. Нормування даних.

4.8.3. Побудова дендограм

4.9. Алгоритми кластеризації

4.9.1. Метод головних компонент

4.9.2. Метод k-середніх

4.9.3. Метод медіан

4.9.4. Алгоритм DBSCAN.

4.9.5. Прийоми і метрики для кластеризації часових рядів

4.10. Метрики якості кластеризації

4.10.1. Метрика Adjusted Rand Index (ARI)

4.10.2. Метрика Adjusted Mutual Information (AMI)

4.10.3. Гомогенність, повнота, V-міра

4.10.4. Силует.

Перелік контрольних запитань

РОЗДІЛ 5. ВІДСТАНІ ТА МЕРЕЖЕВІ МЕТОДИ.

5.1. Вимірювання відстаней

5.1.1 Метрики відстаней

5.1.2. Метрика Lk відстаней

5.1.3 Робота у вищих вимірах

5.1.4 Просторовий егалітаризм

5.1.5 Точки та вектори

5.1.6 Відстані між розподілами ймовірностей

5.2. Класифікація сусідніх значень

5.3. Асоціативні правила.

5.3.1. Поняття асоціативного правила

5.3.2. Алгоритм Apriori побудови асоціативних правил

5.3.3. Сфера застосування асоціативних правил

Питання для самоперевірки

ЧАСТИНА 2. ІНШІ МЕТОДИ НАВЧАННЯ

РОЗДІЛ 6. НАВЧАННЯ З ПІДКРІПЛЕННЯМ

6.1. Генетичні алгоритми

6.1.1. Схема генетичного алгоритму

6.1.2. Генетичні операції.

6.1.3. Подання даних

6.1.4. Відбір

6.1.5. Підходи Дарвіна, Ламарка і Болдуїна

6.2. Стимулююче навчання

6.2.1. Оцінювання поведінки аґента

6.2.2. Багаторукі бандити

6.2.3. Доказово оптимальні алгоритми

6.2.4. Евристичні стратегії

6.2.5. Модель агентів з декількома станами

6.2.6. Пошук оптимальних стратегій у відомій моделі

Питання для самоперевірки

РОЗДІЛ 7. НЕЙРОННІ МЕРЕЖІ

7.1. Навчання на основі зв’язків

7.1.1. Біологічні нейронні мережі

7.1.2. Модель штучного нейрона

7.1.3. Подання нейромереж та їх архітектура

7.1.4. Сучасні архітектури нейромереж

7.1.5. Навчання одношарових нейромереж прямого поширення.

7.1.6. Навчання багатошарових нейромереж прямого поширення

7.2. Мережі, що самоорганізуються

7.2.1. Опис мереж, що самоорганізуються

7.2.2. Міри відстані між векторами

7.2.3. Проблема нормалізації векторів

7.2.4. Міра організації мережі

7.2.5. Механізм стомлення нейронів

7.2.6. Методи навчання мереж, що самоорганізуються

7.2.7. Самоорганізаційні карти Кохонена

7.2.8. Winner relaxation/winner enhancing

7.2.9.Cluster refinement phase

7.2.10. Візуалізація, Rectifying SOM

7.2.11. Розширюваний нейронний газ (Growing Neural Gas, GNG)

Перелік контрольних запитань

Список рекомендованої літератури