Метод опорных векторов (SVM)

2019-03-21T16:41:49Z

Egormkn: Новая страница: «{{в разработке}} '''Метод опорных векторов''' (англ. ''support vector machine'', ''SVM'') — семейство алгори…»

{{в разработке}}

'''Метод опорных векторов''' (англ. ''support vector machine'', ''SVM'') — семейство алгоритмов обучения с учителем, использующихся для решения задач классификации и регрессии. Основная идея метода заключается в построении гиперплоскости, разделяющей объекты выборки наиболее оптимальным способом.

== Метод опорных векторов в задаче классификации ==
Рассмотрим задачу классификации, в которой объектам из $X=\mathbb{R}^n$ соответствует один из двух классов $Y = \{-1, 1\}$.

Пусть задана обучающая выборка пар "объект-ответ" $X^\ell = (x_i, y_i)_{i=1}^\ell$. Будем строить линейный пороговый классификатор:

$$a(x) = sign\left(\sum\limits_{j=1}^\ell w_j x^j - w_0\right) = sign(\langle w, x \rangle - w_0)$$

где $x = (x^1, \ldots, x^n)$ — вектор значений признаков объекта, а $w = (w_1, \ldots, w_n)$ и $w_0 \in \mathbb{R}$ — параметры алгоритма.

=== Оптимальная разделяющая гиперплоскость ===

Пусть выборка линейно разделима, то есть существуют такие значения параметров $w$ и $w_0$, для которых функционал количества ошибок равен нулю.

{{Определение
|definition=
'''Отступ''' (англ. ''margin'') — характеристика, оценивающая, насколько объект "погружён" в свой класс, насколько типичным представителем класса он является. Чем меньше значение отступа $M(x_i, y_i)$, тем ближе объект подходит к границе классов и тем выше становится вероятность ошибки. Отступ $M(x_i, y_i)$ отрицателен тогда и только тогда, когда алгоритм $a(x)$ допускает ошибку на объекте $x_i$.
Для задачи бинарной классификации: $M(x_i, y_i) = y_i(\langle x_i, w \rangle - w_0)$
Для задачи классификации на несколько классов: $M(x_i, y_i) = \langle x_i, w_{y_i}\rangle - \max\limits_{y \in \mathbb{Y}, y \ne y_i} \langle x_i, w_y\rangle$
}}

{{Теорема
|id=kkt
|author=Условия Каруша—Куна—Таккера
|statement=
Пусть поставлена задача нелинейного программирования с ограничениями:
$$
\begin{cases}
f(x) \to \min\limits_{x \in X} \\
g_i(x) \leq 0,\;i=1\ldots m \\
h_j(x) = 0,\;j=1\ldots k
\end{cases}
$$

Если $\hat{x} \in \arg\min f$ — решение задачи при наложенных ограничениях, то существуют множители $\mu_i, i = 1\ldots m$, $\lambda_j, j = 1\ldots k$, что для функции Лагранжа $L(x; \mu, \lambda)$ выполняются условия:

$$\begin{cases}\frac{\partial L}{\partial x} = 0 \quad L(x; \mu, \lambda) = f(x) + \sum\limits_{i=1}^m \mu_i g_i(x) + \sum\limits_{j=1}^k \lambda_j h_j(x) \\ g_i(x) \leq 0,\;h_j(x) = 0 \quad \text{(исходные ограничения)} \\ \mu_i \geq 0 \quad \text{(двойственные ограничения)} \\ \mu_i g_i(x) = 0 \quad \text{(условие дополняющей нежёсткости)} \end{cases}$$
}}

В качестве аппроксимации функции потерь возьмём $L(x_i, y_i) = max(0, 1 - M_i(w, w_0))$

Запишем функционал для метода оптимизации эмпирического риска с использованием данной функции потерь и регуляризации:

$\sum\limits_{i=1}^\ell (1 - M_i(w, w_0))_+ + \frac{1}{2C} \lVert w \rVert^2 \to \min\limits_{w, w_0}$

=== Двойственная задача ===

=== Линейно неразделимая выборка ===

== Метод опорных векторов в задаче регрессии ==
// TODO

== См. также ==
* [[Обзор библиотек для машинного обучения на Python]]
* [[Общие понятия]]

== Примечания ==
<references/>

== Источники информации ==
* [http://www.machinelearning.ru/wiki/index.php?title=%D0%9C%D0%B0%D1%88%D0%B8%D0%BD%D0%B0_%D0%BE%D0%BF%D0%BE%D1%80%D0%BD%D1%8B%D1%85_%D0%B2%D0%B5%D0%BA%D1%82%D0%BE%D1%80%D0%BE%D0%B2 machinelearning.ru {{---}} Машина опорных векторов]
* [https://www.youtube.com/watch?v=Adi67_94_gc&list=PLJOzdkh8T5kp99tGTEFjH_b9zqEQiiBtC&index=5 Лекция "Линейные методы классификации: метод опорных векторов"] {{---}} К.В. Воронцов, курс "Машинное обучение" 2014
* [https://ru.wikipedia.org/wiki/%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%BE%D0%BF%D0%BE%D1%80%D0%BD%D1%8B%D1%85_%D0%B2%D0%B5%D0%BA%D1%82%D0%BE%D1%80%D0%BE%D0%B2 Wikipedia {{---}} Метод опорных векторов]
* Alexey Nefedov {{---}} [https://svmtutorial.online/ Support Vector Machines: A Simple Tutorial]
* John Platt {{---}} [https://www.microsoft.com/en-us/research/publication/sequential-minimal-optimization-a-fast-algorithm-for-training-support-vector-machines/ Sequential Minimal Optimization: A Fast Algorithm for Training Support Vector Machines]

[[Категория: Машинное обучение]]
[[Категория: Классификация]]
[[Категория: Регрессия]]

Получение следующего объекта

2016-05-01T10:57:57Z

Egormkn: /* Специализация алгоритма для генерации следующего сочетания */ Лишняя скобка в псевдокоде

== Алгоритм ==
{{Определение|definition= '''Получение следующего объекта''' {{---}} это нахождение объекта, следующего за данным в [[Лексикографический порядок|лексикографическом порядке]].
}}
Объект <tex>Q</tex> называется следующим за <tex>P</tex>, если <tex>P < Q</tex> и не найдется такого <tex>R</tex>, что <tex>P < R < Q</tex>.

Отсюда понятен алгоритм:
* находим суффикс минимальной длины, который можно изменить без изменения префикса текущего объекта <tex>P</tex>,
* к оставшейся части дописываем минимальный возможный элемент (чтобы было выполнено правило <tex>P < Q</tex>),
* дописываем минимальный возможный хвост.
По построению получаем, что <tex>Q</tex> {{---}} минимально возможный.

== Специализация алгоритма для генерации следующего битового вектора ==
* Находим минимальный суффикс, в котором есть <tex>0</tex>, его можно увеличить, не меняя оставшейся части
* Вместо <tex>0</tex> записываем <tex>1</tex>
* Дописываем минимально возможный хвост из нулей
'''int[]''' nextVector('''int[]''' a): // <tex>n</tex> {{---}} длина вектора
'''while''' (n >= 0) '''and''' (a[n] != 0)
a[n] = 0
n--
'''if''' n == -1
'''return''' ''null''
a[n] = 1
'''return''' a
Приведённый алгоритм эквивалентен прибавлению единицы к битовому вектору.
=== Пример работы ===
{| class="wikitable" border = 1
|0||1||0||1||style="background:#FFCC00"|1||исходный битовый вектор
|-
| || || || ||^|| начинаем идти с конца
|-
|0||1||0||style="background:#FFCC00"|0||style="background:#FFCC00"|0|| пока элементы равны 1, заменяем их на 0
|-
|0||1||style="background:#FFCC00"|1||0||0|| меняем первый не удовлетворяющий условию цикла элемент на 1
|-
|'''0'''||'''1'''||'''1'''||'''0'''||'''0'''||следующий битовый вектор
|}

== Специализация алгоритма для генерации следующей перестановки ==
* Двигаясь справа налево, находим элемент, нарушающий убывающую последовательность (в обычном порядке, слева направо, см. пример)
* Меняем его с минимальным элементом, большим нашего, стоящим правее
* Перевернем правую часть

'''int[]''' nextPermutation('''int[]''' a): // <tex>n</tex> {{---}} длина перестановки
'''for''' i = n - 2 '''downto''' 0
'''if''' a[i] < a[i + 1]
min = i + 1;
'''for''' j = i + 1 '''to''' n - 1
'''if''' (a[j] < a[min]) '''and''' (a[j] > a[i])
min = j
swap(a[i], a[min])
reverse(a, i + 1, n - 1)
'''return''' a
'''return''' ''null''

=== Пример работы ===
{| class="wikitable" border = 1
|1||3||style="background:#FFCC00"|2||5||style="background:#FFCC00"|4||исходная перестановка
|-
| || ||^|| || ||находим элемент, нарушающий убывающую последовательность
|-
| || || || ||^||минимальный элемент больше нашего
|-
|1||3||style="background:#FFCC00"|4||5||style="background:#FFCC00"|2||меняем их местами
|-
|1||3||4||style="background:#FFCC00"|2||style="background:#FFCC00"|5||разворачивам правую часть
|-
|'''1'''||'''3'''||'''4'''||'''2'''||'''5'''||следующая перестановка
|}

== Специализация алгоритма для генерации следующей мультиперестановки ==
* Двигаясь справа налево, находим элемент, нарушающий убывающую последовательность (в обычном порядке, слева направо, см. пример).
* Меняем его с минимальным элементом, большим нашего, стоящим правее.
* Переворачиваем правую часть.
'''int[]''' nextMultiperm('''int[]''' b): // <tex>n</tex> {{---}} длина мультиперестановки
i = n - 2
'''while''' (i >= 0) '''and''' (b[i] >= b[i + 1])
i--
'''if''' i >= 0
j = i + 1
'''while''' (j < n - 1) '''and''' (b[j + 1] > b[i])
j++
swap(b[i] , b[j])
reverse(b, i + 1, n - 1)
'''return''' b
'''else'''
'''return''' ''null''

=== Пример работы ===
{| class="wikitable" border = 1
|1||2||3||1||style="background:#FFCC00"|2||style="background:#FFCC00"|3||Исходная перестановка.
|-
| || || || ||^|| ||Находим элемент, нарушающий убывающую последовательность.
|-
| || || || || ||^||Минимальный элемент больше нашего.
|-
|1||2||3||1||style="background:#FFCC00"|3||style="background:#FFCC00"|2||Меняем их местами.
|-
|'''1'''||'''2'''||'''3'''||'''1'''||'''3'''||'''2'''||Следующая мультиперестановка.
|}

== Специализация алгоритма для генерации следующего сочетания ==

* Добавим в конец массива с сочетанием <tex>N+1</tex> – максимальный элемент.
* Пойдём справа налево. Будем искать номер элемента, который отличается от предыдущего на <tex>2</tex>.
* Увеличим найденный элемент на <tex>1</tex>, и допишем в конец минимально возможный хвост, если такого элемента нет – на вход было дано последнее сочетание.
'''int[]''' nextChoose('''int[]''' a, '''int''' n, '''int''' k): // <tex>n,k </tex> {{---}} параметры сочетания
'''for''' i = 0 '''to''' k - 1
b[i] = a[i]
b[k] = n + 1
i = k - 1
'''while''' (i >= 0) '''and''' (b[i + 1] - b[i] < 2)
i--
'''if''' i >= 0
b[i]++
'''for''' j = i + 1 '''to''' k - 1
b[j] = b[j - 1] + 1
'''for''' i = 0 '''to''' k - 1
a[i] = b[i]
'''return''' a
'''else'''
'''return''' ''null''

=== Пример работы ===
{| class="wikitable" border = 1
|1||2||5||6||style="background:#FFCC00"|'''7'''||Дописываем 7 в конец сочетания.
|-
|1||style="background:#FFCC00"|2||5||6||'''7'''||
|-
| ||^|| || || ||Находим элемент i, a[i + 1] - a[ i ] >= 2
|-
|1||style="background:#FFCC00"|3||5||6||'''7'''||Увеличиваем его на 1.
|-
|1||3||style="background:#FFCC00"|4||style="background:#FFCC00"|5||style="background:#FFCC00"|'''6'''||Дописываем минимальный хвост.
|-
|'''1'''||'''3'''||'''4'''||'''5'''||''' '''||Следующее сочетание.
|}

== Специализация алгоритма для генерации следующего разбиения на слагаемые ==
Рассматриваемый алгоритм находит следующее [[комбинаторные объекты|разбиение на слагаемые]], при этом разбиение упорядоченно по возрастанию.
* Увеличим предпоследнее слагаемое на <tex>1</tex>, уменьшим последнее слагаемое на <tex>1</tex>.
** Если предпоследнее слагаемое стало больше последнего, то увеличиваем предпоследнее слагаемое на величину последнего.
** Если предпоследнее слагаемое меньше последнего, то разбиваем последнее слагаемое <tex>s</tex> на два слагаемых <tex>a</tex> и <tex>b</tex> таких, что <tex>a</tex> равно предпоследнему слагаемому, а <tex>b = s - a</tex>. Повторяем этот процесс, пока разбиение остается корректным, то есть предпоследнее слагаемое хотя бы в два раза меньше последнего.

<code>
// <tex>b</tex> {{---}} список, содержащий разбиение данного числа <tex>b.size</tex>{{---}} его размер 
'''list<int>''' nextPartition('''list<int>''' b):
b[b.size - 1]--
b[b.size - 2]++
'''if''' b[b.size - 2] > b[b.size - 1]
b[b.size - 2] += b[b.size - 1]
b.remove(b.size - 1)
'''else'''
'''while''' b[b.size - 2] * 2 <= b[b.size - 1]
b.add(b[b.size - 1] - b[b.size - 2])
b[b.size - 2] = b[b.size - 3]
'''return''' b
</code>

=== Пример работы ===
{| class="wikitable" border = 1
|1||style="background:#FFCC00"|1||style="background:#FFCC00"|7|| || ||Прибавим 1 + 1, вычтем 7 - 1.
|-
|1||style="background:#FFCC00"|2||style="background:#FFCC00"|6|| || ||Проверяем: 2 < 6, значит разбиваем 6 пока оно не станет меньше 4
|-
|1||2||style="background:#FFCC00"|2||style="background:#FFCC00"|4|| ||
|-
|1||2||2||style="background:#FFCC00"|2||style="background:#FFCC00"|2||
|-
|'''1'''||'''2'''||'''2'''||'''2'''||'''2'''||Следующее разбиение на слагаемые числа 9.
|}

{| class="wikitable" border = 1
|1||style="background:#FFCC00"|4||style="background:#FFCC00"|5||Прибавим 4 + 1, вычтем 5 - 1.
|-
|1||style="background:#FFCC00"|5||style="background:#FFCC00"|4||Проверяем: 5 > 4, значит прибавим к 5 + 4.
|-
|1||9||style="background:#FFCC00"|4||Удалим последний элемент.
|-
|'''1'''||'''9'''||||Следующее разбиение на слагаемые числа 10.
|}

== Специализация алгоритма для генерации следующего разбиения на подмножества ==

Рассмотрим множество первых n натуральных чисел:<tex>N_n = \{1, 2, ..., n\}</tex>

Упорядочим все разбиения на множества <tex>N_n</tex> лексикографически. Для этого, во-первых, в каждом разбиении упорядочим множества лексикографически. Будем говорить, что подмножество <tex> A \subset N_n </tex> лексикографически меньше подмножества <tex> B \subset N_n </tex> , если верно одно из следующих условий:

*существует <tex>i</tex> такое, что <tex>i \in A</tex> , <tex>i \notin B</tex>, для всех <tex>j < i: j \in A</tex> если и только если <tex>j \in B</tex> , и существует <tex>k > i</tex> такое что <tex>k \in B</tex>;
* <tex> A \subset B </tex> и <tex>i < j</tex> для всех <tex>i \in A</tex> и <tex>j \in B</tex> \ <tex> A </tex>.

Разбиения упорядочены лексикографически следующим образом. Разбиение <tex>N_n = A_1 \cup A_2 \cup . . . \cup A_k</tex> лексикографически меньше разбиения <tex>N_n = B_1 \cup B_2 \cup . . . \cup B_l</tex> если существует такое <tex>i</tex>, что <tex>A_1 = B_1, A_2 = B_2, . . . ,A_{i - 1} = B_{i - 1}, A_i < B_i</tex>.

'''Рассмотрим алгоритм нахождения лексикографически следующего разбиения на подмножества:'''
*Будем хранить подмножества в списке списков, например, разбиение <tex> \{1, 2, 3\}~ \{4, 5\}</tex> будет выглядеть так:

{| class="wikitable" border = 1
|1||2||3
|-
|4||5||
|}

* Двигаясь снизу вверх и справа налево, будем удалять элементы, записывая их в отдельный массив. Будем повторять эту операцию, пока не сможем выполнить одно из действий, описанных ниже:
** Заменить рассматриваемый элемент уже удаленным. Из всех подходящих элементов выбираем минимальный. '''Важное замечание''': мы не можем заменить первый элемент подмножества, мы можем только удалить его.
** Дополнить рассматриваемое подмножество уже удаленным элементом. Из всех подходящих элементов выбираем минимальный.
* Допишем лексикографически минимальный хвост подмножеств из оставшихся элементов.

<code>
'''list<list<int>>''' nextSetPartition('''list<list<int>>''' a):
// <tex>a</tex> {{---}} список, содержащий подмножества
// <tex>used</tex> {{---}} список, в котором мы храним удаленные элементы
used = '''list<int>'''
fl = ''false''
'''for''' i = a.size - 1 '''downto''' 0
'''if''' (used.size != 0) '''and''' (used[used.size - 1] > a[i][a[i].size - 1]) // если можем добавить в конец подмножества элемент из <tex>used</tex>
a[i].add(used[used.size - 1]) //добавляем
used.remove(used.size - 1)
'''break'''
'''for''' j = a[i].size - 1 '''downto''' 0
'''if''' (used.size != 0) '''and''' (j != 0) '''and''' (used[used.size - 1] > a[i][j]) //если можем заменить элемент, другим элементом из списка <tex>used</tex> 
a[i][j] = used[used.size - 1] //заменяем
fl = ''true''
'''break'''
'''if''' fl '''break'''
used.add(a[i][j]) //добавляем в <tex>used</tex> <tex>j</tex> элемент <tex>i</tex>-го подмножества
a[i].remove(j) //удаляем <tex>j</tex> элемент <tex>i</tex>-го подмножества
//далее выведем все получившиеся подмножества
sort(used)
'''for''' i = 0 '''to''' used.size - 1
a.add('''list<int>'''(used[i])) //добавляем лексикографически минимальных хвост
'''return''' a
</code>

=== Пример работы ===

'''Рассмотрим следующее разбиение:'''

{| class="wikitable" border = 1
|1||2||3
|-
|4||5||
|}

'''1 Шаг:'''

{| class="wikitable" border = 1
|1||2||3||
|-
|4||style="background:#FFCC00"|5||||
|-
| ||^|| ||Удалили элемент 5.
|-
| || || ||used
|}

'''2 Шаг:'''

{| class="wikitable" border = 1
|1||2||3||
|-
|style="background:#FFCC00"|4|| ||||
|-
|^|| || ||Удалили элемент 4. Так как он является первым в подмножестве, то мы не можем заменить его на другой.
|-
|5|| || ||used
|}

'''3 Шаг:'''

{| class="wikitable" border = 1
|1||2||3||style="background:#FFCC00"|4||
|-
| || || ||^||Дополнили первое подмножество элементом 4
|-
|5|| || || ||used
|}

'''4 Шаг:'''

{| class="wikitable" border = 1
|1||2||3||4||
|-
|style="background:#FFCC00"|5|| || || ||Дописали лексикографически минимальный хвост
|-
| || || || ||used
|}

== См.также ==
* [[Получение предыдущего объекта]]
* [[Получение объекта по номеру]]
* [[Получение номера по объекту]]

== Источники информации ==

* [http://rain.ifmo.ru/cat/view.php/vis/combinations/permutations-2000 Визуализатор перестановок]
* [http://cppalgo.blogspot.com/2011/02/episode-2.html Пример компактного кода для перестановок (С++)]

[[Категория: Дискретная математика и алгоритмы]]
[[Категория: Комбинаторика]]