Уменьшение размерности - История изменений

Maintenance script: rollbackEdits.php mass rollback

2022-09-04T16:40:38Z

rollbackEdits.php mass rollback

217.79.179.7 в 03:44, 1 сентября 2022

2022-09-01T03:44:02Z

5.44.169.198: /* Правила обрезки */

2022-06-29T23:11:42Z

‎Правила обрезки

Wa5teed: /* Выбор признаков */

2022-06-29T20:40:13Z

‎Выбор признаков

Wa5teed: /* Правила обрезки */

2022-06-29T20:32:42Z

‎Правила обрезки

Wa5teed: /* Выбор признаков */

2022-06-29T20:29:43Z

‎Выбор признаков

PaulKh: /* См. также */ removed sups

2020-02-16T18:02:42Z

‎См. также: removed sups

Ile86171: Отмена правки 72392, сделанной Ile86171 (обсуждение)

2020-01-22T23:56:35Z

Отмена правки 72392, сделанной Ile86171 (обсуждение)

Внесённые изменения

Ile86171: PCA v0.0.2

2020-01-22T23:55:19Z

PCA v0.0.2

Внесённые изменения

91.215.123.110 в 14:22, 8 апреля 2019

2019-04-08T14:22:24Z

← Предыдущая		Версия 16:40, 4 сентября 2022
Строка 1:		Строка 1:
−	~~{\| class="wikitable" align="center" style="color: red; background-color: black; font-size: 56px; width: 800px;"~~
−	\|+
−	~~\|-align="center"~~
−	~~\|'''НЕТ ВОЙНЕ'''~~
−	~~\|-style="font-size: 16px;"~~
−	\|
−	24 февраля 2022 года российское руководство во главе с Владимиром Путиным развязало агрессивную войну против Украины. В глазах всего мира это военное преступление совершено от лица всей страны, всех россиян.
−
−	Будучи гражданами Российской Федерации, мы против своей воли оказались ответственными за нарушение международного права, военное вторжение и массовую гибель людей. Чудовищность совершенного преступления не оставляет возможности промолчать или ограничиться пассивным несогласием.
−
−	Мы убеждены в абсолютной ценности человеческой жизни, в незыблемости прав и свобод личности. Режим Путина — угроза этим ценностям. Наша задача — обьединить все силы для сопротивления ей.
−
−	Эту войну начали не россияне, а обезумевший диктатор. И наш гражданский долг — сделать всё, чтобы её остановить.
−
−	~~''Антивоенный комитет России''~~
−	~~\|-style="font-size: 16px;"~~
−	\|Распространяйте правду о текущих событиях, оберегайте от пропаганды своих друзей и близких. Изменение общественного восприятия войны - ключ к её завершению.
−	~~\|-style="font-size: 16px;"~~
−	\|[https://meduza.io/ meduza.io], [https://www.youtube.com/c/popularpolitics/videos Популярная политика], [https://novayagazeta.ru/ Новая газета], [https://zona.media/ zona.media], [https://www.youtube.com/c/MackNack/videos Майкл Наки].
−	\|}
−
	Под '''уменьшением размерности''' (англ. ''dimensionality reduction'') в машинном обучении подразумевается уменьшение числа признаков набора данных. Наличие в нем признаков избыточных, неинформативных или слабо информативных может понизить эффективность модели, а после такого преобразования она упрощается, и соответственно уменьшается размер набора данных в памяти и ускоряется работа алгоритмов ML на нем. Уменьшение размерности может быть осуществлено методами выбора признаков (англ. ''feature selection'') или выделения признаков (англ. ''feature extraction'').		Под '''уменьшением размерности''' (англ. ''dimensionality reduction'') в машинном обучении подразумевается уменьшение числа признаков набора данных. Наличие в нем признаков избыточных, неинформативных или слабо информативных может понизить эффективность модели, а после такого преобразования она упрощается, и соответственно уменьшается размер набора данных в памяти и ускоряется работа алгоритмов ML на нем. Уменьшение размерности может быть осуществлено методами выбора признаков (англ. ''feature selection'') или выделения признаков (англ. ''feature extraction'').
	==Выбор признаков==		==Выбор признаков==

← Предыдущая		Версия 03:44, 1 сентября 2022
Строка 1:		Строка 1:
		+	{\| class="wikitable" align="center" style="color: red; background-color: black; font-size: 56px; width: 800px;"
		+	\|+
		+	\|-align="center"
		+	\|'''НЕТ ВОЙНЕ'''
		+	\|-style="font-size: 16px;"
		+	\|
		+	24 февраля 2022 года российское руководство во главе с Владимиром Путиным развязало агрессивную войну против Украины. В глазах всего мира это военное преступление совершено от лица всей страны, всех россиян.
		+
		+	Будучи гражданами Российской Федерации, мы против своей воли оказались ответственными за нарушение международного права, военное вторжение и массовую гибель людей. Чудовищность совершенного преступления не оставляет возможности промолчать или ограничиться пассивным несогласием.
		+
		+	Мы убеждены в абсолютной ценности человеческой жизни, в незыблемости прав и свобод личности. Режим Путина — угроза этим ценностям. Наша задача — обьединить все силы для сопротивления ей.
		+
		+	Эту войну начали не россияне, а обезумевший диктатор. И наш гражданский долг — сделать всё, чтобы её остановить.
		+
		+	''Антивоенный комитет России''
		+	\|-style="font-size: 16px;"
		+	\|Распространяйте правду о текущих событиях, оберегайте от пропаганды своих друзей и близких. Изменение общественного восприятия войны - ключ к её завершению.
		+	\|-style="font-size: 16px;"
		+	\|[https://meduza.io/ meduza.io], [https://www.youtube.com/c/popularpolitics/videos Популярная политика], [https://novayagazeta.ru/ Новая газета], [https://zona.media/ zona.media], [https://www.youtube.com/c/MackNack/videos Майкл Наки].
		+	\|}
		+
	Под '''уменьшением размерности''' (англ. ''dimensionality reduction'') в машинном обучении подразумевается уменьшение числа признаков набора данных. Наличие в нем признаков избыточных, неинформативных или слабо информативных может понизить эффективность модели, а после такого преобразования она упрощается, и соответственно уменьшается размер набора данных в памяти и ускоряется работа алгоритмов ML на нем. Уменьшение размерности может быть осуществлено методами выбора признаков (англ. ''feature selection'') или выделения признаков (англ. ''feature extraction'').		Под '''уменьшением размерности''' (англ. ''dimensionality reduction'') в машинном обучении подразумевается уменьшение числа признаков набора данных. Наличие в нем признаков избыточных, неинформативных или слабо информативных может понизить эффективность модели, а после такого преобразования она упрощается, и соответственно уменьшается размер набора данных в памяти и ускоряется работа алгоритмов ML на нем. Уменьшение размерности может быть осуществлено методами выбора признаков (англ. ''feature selection'') или выделения признаков (англ. ''feature extraction'').
	==Выбор признаков==		==Выбор признаков==

@@ Строка 49: / Строка 49: @@
 Может быть известно число признаков, которые нужно оставить, или выкинуть.
-Порог значимости признаков соответствует порогу для меры, например, корреляции, для которой выкидываются признаки, для которых корреляция меньше определенного порога:
+Порог значимости признаков соответствует порогу для меры, например, для корреляции. Выкидываются признаки, для которых корреляция меньше определенного порога:
 <tex>\left | F \right | > x</tex>

@@ Строка 55: / Строка 55: @@
 Может существовать интегральный порог значимости, то есть признаки отсортированы по нормированной по единице "полезности" <tex>\mu</tex>, и выбирается несколько признаков с наибольшей <tex>\mu</tex>.
-Метод сломанной трости. Есть отрезок, который мы разбиваем по <tex>n-1</tex> случайным точкам. Если отсортировать длины подотрезков, то для <tex>i</tex>-го подотрезка длина будет равна примерно:
+'''Метод сломанной трости'''. Есть отрезок, который мы разбиваем по <tex>n-1</tex> случайным точкам. Если отсортировать длины подотрезков, то для <tex>i</tex>-го подотрезка длина будет равна примерно:
 <tex>T = \frac{\sum_{i=1}^{k} \frac{1}{i} }{k}</tex>, где <tex>k</tex> {{---}} число признаков, которые нужно оставить.
@@ Строка 61: / Строка 61: @@
 Тогда берутся те признаки, для которых <tex>\mu</tex> превышает порог <tex>T</tex>.
-Метод локтя. Пусть есть график для признаков, отсортированных по убыванию <tex>\mu</tex>. Берутся признаки, идущие до резкого перехода между соседними значениями. То есть берутся <tex>\mu</tex> до порога <tex>T</tex>, где <tex>T</tex> {{---}} основание наиболее острого угла, образованного тремя соседними точками на графике.
+'''Метод локтя'''. Пусть есть график для признаков, отсортированных по убыванию <tex>\mu</tex>. Берутся признаки, идущие до резкого перехода между соседними значениями. То есть берутся <tex>\mu</tex> до порога <tex>T</tex>, где <tex>T</tex> {{---}} основание наиболее острого угла, образованного тремя соседними точками на графике.
 Метод локтя можно использовать и для задачи кластеризации. Например, пусть <tex>\mu</tex> {{---}} внутрикластерное расстояние. Тогда выбирается число кластеров, соответствующее резкому переходу между соседними значениями на графике.

@@ Строка 53: / Строка 53: @@
 <tex>\left | F \right | > x</tex>
-Может существовать интегральный порог значимости, то есть признаки отсортированы по нормированной по единице "полезности" <tex>\mu</tex>, нормированной по единице, и выбирается несколько признаков с наибольшей <tex>\mu</tex>.
+Может существовать интегральный порог значимости, то есть признаки отсортированы по нормированной по единице "полезности" <tex>\mu</tex>, и выбирается несколько признаков с наибольшей <tex>\mu</tex>.
 Метод сломанной трости. Есть отрезок, который мы разбиваем по <tex>n-1</tex> случайным точкам. Если отсортировать длины подотрезков, то для <tex>i</tex>-го подотрезка длина будет равна примерно:

@@ Строка 37: / Строка 37: @@
 Встроенные методы используют преимущества оберточных методов и являются более эффективными, при этом на отбор тратится меньше времени, уменьшается риск [[переобучение|переобучения]], но т.к. полученный набор признаков был отобран на основе знаний о классификаторе, то есть вероятность, что для другого классификатора это множество признаков уже не будет настолько же релевантным.
 ===Другие методы===
@@ Строка 89: / Строка 116: @@
              curCount -= curStep
          return included
 ==Выделение признаков==
 Другим способом уменьшить размерность входных данных является выделение признаков. Эти методы каким-то образом составляют из уже исходных признаков новые, все также полностью описывающие пространство набора данных, но уменьшая его размерность и теряя в репрезентативности данных, т.к. становится непонятно, за что отвечают новые признаки.

@@ Строка 176: / Строка 176: @@
 ==См. также==
 *[[Переобучение]]
-*[[Метод опорных векторов (SVM)| SVM]]<sup>[на 28.01.19 не создан]</sup>
+*[[Метод опорных векторов (SVM)| SVM]]
 *[[Дерево решений и случайный лес| Случайный лес]]
-*[[Метод главных компонент (PCA)| PCA]]<sup>[на 28.01.19 не создан]</sup>
+*[[Метод главных компонент (PCA)| PCA]]
-*[[Стохастическое вложение соседей с t-распределением |t-SNE]]<sup>[на 28.01.19 не создан]</sup>
+*[[Стохастическое вложение соседей с t-распределением |t-SNE]]
 ==Примечания==
 <references/>

@@ Строка 160: / Строка 160: @@
    '''import''' java.io.FileReader;
-   // load dataset
+   <font color="green">// load dataset</font>
    '''var''' data = new Instances(new BufferedReader(new FileReader("data/bank-data.arff")));
    '''var''' filter = new NumericToNominal();
    filter.setInputFormat(data);
    data = Filter.useFilter(data, filter);
-   // initialize the PCA-based selector
+   <font color="green">// initialize the PCA-based selector</font>
    '''var''' pca = new PrincipalComponents();
-   // dimensionality reduction is achieved through selecting enough eigenvectors to account
+   <font color="green">// dimensionality reduction is achieved through selecting enough eigenvectors to account</font>
-   // for some percantege of the variance in the original data
+   <font color="green">// for some percantege of the variance in the original data</font>
    pca.setVarianceCovered(0.95);
    pca.buildEvaluator(data);
-   // transform the dataset
+   <font color="green">// transform the dataset</font>
    data = pca.transformedData(data);