Викиконспекты - Вклад участника [ru]

Настройка гиперпараметров

2020-04-23T11:53:41Z

AnneKsatn:

== Гиперпараметры ==

Гиперпараметры — параметры, которые не настраиваются во время обучения модели. Пример гиперпараметра — шаг градиентного спуска, он задается перед обучением. Пример параметров — веса градиентного спуска, они изменяются и настраиваются во время обучения.

Для подбора гиперпараметров необходимо разделить датасет на три части:
* training set (тренировочный набор данных, для обучении модели)
* validation set (валидационный набор данных, для расчета ошибки и выбора наилучшей модели)
* test set (тестовый набор данных, для тестирования лучшей модели)

Зачем нам нужен и валидационный, и тестовый набор? Дело в том, что модель может переучиться на валидационном наборе данных. Для выявления переобучения используется тестовый набор данных.

Рассмотрим модель <code>KNeighborsClassifier</code> из библиотеки sklearn. Все “параметры” данной модели (loss, penalty, alpha и т.д), с точки зрения машинного обучения, являются гиперпараметрами, так как задаются до начала обучения.

class sklearn.linear_model.SGDClassifier(loss='hinge', penalty='l2', alpha=0.0001, l1_ratio=0.15, fit_intercept=True, max_iter=1000,
tol=0.001, shuffle=True, verbose=0, epsilon=0.1, n_jobs=None, random_state=None, learning_rate='optimal',
eta0=0.0, power_t=0.5, early_stopping=False, validation_fraction=0.1, n_iter_no_change=5, class_weight=None,
warm_start=False, average=False)

== Grid search ==

=== Общая информация ===

Grid search принимает на вход модель и различные значения гиперпараметров (сетку гиперпараметров). Далее, для каждого возможного сочетания значений гиперпараметров, метод считает ошибку и в конце выбирает сочетание, при котором ошибка минимальна.

=== Sklearn Grid search: использование ===

Пример использования <code>GridSearch</code> из библиотеки scikit-learn:

# Создание экземпляра класса <code>SGDClassifier</code> (из sklearn)
# Создание сетки гиперпараметров. В данном случае будем подбирать коэффициент регуляризации, шаг градиентного спуска, количество итераций и параметр скорости обучения.
# Создание экземпляра класса кросс-валидации
# Создание экземпляра <code>GridSearch</code> (из sklearn). Первый параметр — модель, второй — сетка гиперпараметров, третий — функционал ошибки (используемый для контроля качества моделей по технике кросс-валидации), четвертый — кросс-валидация (можно задать количество фолдов, а можно передать экземпляр класса кросс - валидации)
# Запуск поиска по сетке.

classifier = linear_model.SGDClassifier(random_state = 0, tol=1e-3)

parameters_grid = {
'alpha' : np.linspace(0.00001, 0.0001, 15),
'learning_rate': ['optimal', 'constant', 'invscaling'],
'eta0' : np.linspace(0.00001, 0.0001, 15),
'max_iter' : np.arange(5,10),
}

cv = model_selection.StratifiedShuffleSplit(n_splits=10, test_size = 0.2)
grid_cv = model_selection.GridSearchCV(classifier, parameters_grid, scoring = 'accuracy', cv = cv)
grid_cv.fit(train_data, test_data)

Out:
GridSearchCV(cv=StratifiedShuffleSplit(n_splits=10, random_state=0, test_size=0.2, train_size=None), error_score=nan,
estimator=SGDClassifier(alpha=0.0001, average=False, class_weight=None, early_stopping=False,
epsilon=0.1, eta0=0.0, fit_intercept=True, l1_ratio=0.15, learning_rate='optimal',
loss='hinge', max_iter=1000, n_iter_no_change=5, n_jobs=None,
penalty='l2...
'eta0': array([1.00000000e-05, 1.64285714e-05, 2.28571429e-05, 2.92857143e-05, 3.57142857e-05, 4.21428571e-05, 4.85714286e-05, 5.50000000e-05,
6.14285714e-05, 6.78571429e-05, 7.42857143e-05, 8.07142857e-05, 8.71428571e-05, 9.35714286e-05, 1.00000000e-04]),
'learning_rate': ['optimal', 'constant', 'invscaling'],
'max_iter': array([5, 6, 7, 8, 9])},
pre_dispatch='2*n_jobs', refit=True, return_train_score=False,
scoring='accuracy', verbose=0)

=== Sklearn Grid search: важные атрибуты ===

* <code>best_estimator_</code> — лучшая модель
* <code>best_score_</code> — ошибка, полученная на лучшей модели.
* <code>best_params_</code> — гиперпараметры лучшей модели 

print(grid_cv.best_estimator_) 
Out: SGDClassifier(alpha=4.857142857142857e-05, average=False, class_weight=None, early_stopping=False, epsilon=0.1, eta0=1e-05, fit_intercept=True,
l1_ratio=0.15, learning_rate='optimal', loss='hinge', max_iter=6, n_iter_no_change=5, n_jobs=None, penalty='l2', power_t=0.5,
random_state=0, shuffle=True, tol=0.001, validation_fraction=0.1, verbose=0, warm_start=False)

print(grid_cv.best_score_) 
Out: 0.9099999999999999

print(grid_cv.best_params_) 
Out: {'alpha': 4.857142857142857e-05, 'eta0': 1e-05, 'learning_rate': 'optimal', 'max_iter': 6}

* <code>cv_results_</code> — результаты всех моделей. 

print(grid_cv.cv_results_) 
Out:
{'mean_fit_time': array([0.00209482, 0.00120714, 0.00089645, ..., 0.00109975, 0.00100021,
0.00099928]),
'std_fit_time': array([1.22382854e-03, 6.21233347e-04, 5.32190271e-04, ...,
3.11922473e-04, 1.27400324e-05, 1.94000071e-06]),
'mean_score_time': array([2.00700760e-04, 0.00000000e+00, 2.99715996e-04, ...,
1.99961662e-04, 2.96926498e-04, 9.98973846e-05]),
'std_score_time': array([0.0004014 , 0. , 0.00045782, ..., 0.00039992, 0.00045363,
0.00029969]),
...... }

print(grid_cv.cv_results_['param_max_iter'].data) 
Out: array([5, 6, 7, ..., 7, 8, 9], dtype=object)

=== Реализация Grid search в библеотеках ===
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html scikit-learn]
* [https://github.com/kubeflow/katib Katib]
* [https://tidymodels.github.io/tune/articles/grid.html Tune]
* [https://autonomio.github.io/docs_talos/#grid-search Talos]

== Random grid search ==

=== Основная информация ===

Вместо полного перебора, Random grid search работает с некоторыми, случайным образом выбранными, комбинациями. На основе полученных результатов, происходит сужение области поиска.

Когда random grid search будет гораздо полезнее, чем grid search? В ситуации, когда гиперпараметров много, но сильно влияющих на конечную производительность алгоритма — мало.

=== Реализация Random grid ===

* [https://ray.readthedocs.io/en/latest/tune-searchalg.html#variant-generation-grid-search-random-search Ray]
* [https://github.com/kubeflow/katib Katib]
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.RandomizedSearchCV.html scikit-learn]
* [https://ray.readthedocs.io/en/latest/tune-searchalg.html#variant-generation-grid-search-random-search Tune]
* [https://autonomio.github.io/docs_talos/#models Talos]
* [https://hyperopt.github.io/hyperopt/#algorithms Hyperopt]

== SMBO ==

=== Основная информация ===

SMBO (Sequential Model-Based Optimization) — методы, основанные на байесовской оптимизации

Когда используют SMBO? Когда оптимизация целевой функции будет стоить очень "дорого". Главная идея SMBO — замена целевой функции "суррогатной" функцией.

На каждом шаге работы SMBO:

# Строится вероятностная модель (суррогатная функция) целевой функции.
# Подбираются гиперпараметры, которые лучше всего подходят для вероятностной модели.
# Подобранные гиперпараметры применяются к целевой функции.
# Вероятностная модель перестраивается (обновляется).
# Шаги 2-4 повторяются столько раз, сколько задал пользователь.

Существует четыре ключевые аспекта SMBO:
* Сетка значений гиперпараметров (область поиска).
* Целевая функция (выводит оценку, которую мы хотим минимизировать или максимизировать).
* Вероятностная модель целевой функции (суррогатная функция).
* Критерий, называемый функцией выбора (для выбора следующих гиперпараметры по текущей вероятностной модели).

Методы SMBO отличаются между собой вероятностными моделями и функциями выбора: 
Популярные вероятностные модели (суррогатные функции):
* Gaussian Processes
* Tree Parzen Estimators (TPE)
* Random Forest Regressions

=== TPE ===

==== Основная информация ====
TPE — Tree-structured Parzen Estimator (Древовидная структура Парзена)

Как было написано выше, методы SMBO отличаются тем, как они строят вероятностную модель <math> {p(y|x)} </math>. В случае TPE, используется следующая функция:

<math> p(y) = \frac{p(x|y) * p(y)}{p(x)} </math>

<math> {p(x|y)} </math> — распределение гиперпараметров, <math> y </math> — значение целевой функции, <math> y* </math> — пороговое начение

<math> p(x|y) = \begin{cases}
l(x), & \mbox{if } y < y* \\
g(x), & \mbox{if } y \ge y*
\end{cases}
</math>

В TPE задается два различных распределения гиперпараметров: первое при значениях целевой функции меньших, чем пороговое значение. Второе - при значениях целевой функции больших, чем пороговое значение.

==== Алгоритм ====

# На вход подается список пар (parameters, loss)
# По заданному порогу, происходит разбиение списка на 2 части
# Для каждого списка строится распределение
# Возвращается значение: <math> argmin_{param} \frac{g(param)}{l(param)} </math>

=== SMAC ===

==== Основная информация ====

SMAC использует Random Forest regression и расширяет подходы SMBO:

* Использует дискретные и условные пространства параметров.
* Обрабатывает негауссовский шум.
* Выделяет бюджет на общее время, доступное для настройки алгоритма, а не на количество оценок функций.

Кроме того, SMAC использует переданную ему модель для формирования списка перспективных конфигураций (сочетаний) параметров. Чтобы оценить перспективность конфигурация <math> \theta </math>, SMAC строит распределение результатов модели для <math> \theta </math>.
С помощью этого распределения, а также информации, о текущей лучшей конфигурации, SMAC вычисляет ожидаемое положительное улучшение [https://www.cs.ubc.ca/~hutter/papers/10-TR-SMAC.pdf <math> EI(\theta) </math>].
После нахождения <math> EI(\theta) </math> необходимо найти конфигурацию с наибольшим значением <math> EI(\theta) </math>. Эта задача приводит к проблеме максимизация значения на всем пространстве конфигураций.
Другие методы SMBO максимизируют значения а случайной выборке из пространства конфигураций, что достаточно плохо работает в случае высокомерного пространства.
SMAC применяет немного другой подход: выполняется несколько локальных и поисков и среди них выбираются все конфигурации с максимальным <math> EI(\theta) </math>. И уже среди них производится новый поиск и выбирается лучшая конфигурация.

=== Реализация ===
* Random Forest Regressions: [https://www.automl.org/automated-algorithm-design/algorithm-configuration/smac/ SMAC]
* Tree Parzen Estimators: [https://hyperopt.github.io/hyperopt/#algorithms Hyperopt]
* Gaussian Processes: [https://devhub.io/repos/automl-spearmint Spearmint], [https://scikit-optimize.github.io/stable/modules/classes.html#module-skopt.optimizer Scikit-optimize]

== См. также ==
[http://neerc.ifmo.ru/wiki/index.php?title=Машинное_обучение Викиконспекты: Машинное обучение]

== Источники ==

* [https://papers.nips.cc/paper/4443-algorithms-for-hyper-parameter-optimization.pdf Algorithms for Hyper-Parameter Optimization]
* [https://www.cs.ubc.ca/~hutter/papers/10-TR-SMAC.pdf Sequential Model-Based Optimization for General Algorithm Configuration]
* [https://www.youtube.com/watch?v=u6MG_UTwiIQ Bayesian optimization]
* [https://www.youtube.com/watch?v=PgJMLpIfIc8 Гауссовские процессы и байесовская оптимизация]
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html GridSearchCV sklearn]

Настройка гиперпараметров

2020-04-23T11:49:23Z

AnneKsatn: /* Основная информация */

== Гиперпараметры ==

Гиперпараметры — параметры, которые не настраиваются во время обучения модели. Пример гиперпараметра — шаг градиентного спуска, он задается перед обучением. Пример параметров — веса градиентного спуска, они изменяются и настраиваются во время обучения.

Для подбора гиперпараметров необходимо разделить датасет на три части:
* training set (тренировочный набор данных, для обучении модели)
* validation set (валидационный набор данных, для расчета ошибки и выбора наилучшей модели)
* test set (тестовый набор данных, для тестирования лучшей модели)

Зачем нам нужен и валидационный, и тестовый набор? Дело в том, что модель может переучиться на валидационном наборе данных. Для выявления переобучения используется тестовый набор данных.

Рассмотрим модель <code>KNeighborsClassifier</code> из библиотеки sklearn. Все “параметры” данной модели (loss, penalty, alpha и т.д), с точки зрения машинного обучения, являются гиперпараметрами, так как задаются до начала обучения.

class sklearn.linear_model.SGDClassifier(loss='hinge', penalty='l2', alpha=0.0001, l1_ratio=0.15, fit_intercept=True, max_iter=1000,
tol=0.001, shuffle=True, verbose=0, epsilon=0.1, n_jobs=None, random_state=None, learning_rate='optimal',
eta0=0.0, power_t=0.5, early_stopping=False, validation_fraction=0.1, n_iter_no_change=5, class_weight=None,
warm_start=False, average=False)

== Grid search ==

=== Общая информация ===

Grid search принимает на вход модель и различные значения гиперпараметров (сетку гиперпараметров). Далее, для каждого возможного сочетания значений гиперпараметров, метод считает ошибку и в конце выбирает сочетание, при котором ошибка минимальна.

=== Sklearn Grid search: использование ===

Пример использования <code>GridSearch</code> из библиотеки scikit-learn:

# Создание экземпляра класса <code>SGDClassifier</code> (из sklearn)
# Создание сетки гиперпараметров. В данном случае будем подбирать коэффициент регуляризации, шаг градиентного спуска, количество итераций и параметр скорости обучения.
# Создание экземпляра класса кросс-валидации
# Создание экземпляра <code>GridSearch</code> (из sklearn). Первый параметр — модель, второй — сетка гиперпараметров, третий — функционал ошибки (используемый для контроля качества моделей по технике кросс-валидации), четвертый — кросс-валидация (можно задать количество фолдов, а можно передать экземпляр класса кросс - валидации)
# Запуск поиска по сетке.

classifier = linear_model.SGDClassifier(random_state = 0, tol=1e-3)

parameters_grid = {
'alpha' : np.linspace(0.00001, 0.0001, 15),
'learning_rate': ['optimal', 'constant', 'invscaling'],
'eta0' : np.linspace(0.00001, 0.0001, 15),
'max_iter' : np.arange(5,10),
}

cv = model_selection.StratifiedShuffleSplit(n_splits=10, test_size = 0.2)
grid_cv = model_selection.GridSearchCV(classifier, parameters_grid, scoring = 'accuracy', cv = cv)
grid_cv.fit(train_data, test_data)

Out:
GridSearchCV(cv=StratifiedShuffleSplit(n_splits=10, random_state=0, test_size=0.2, train_size=None), error_score=nan,
estimator=SGDClassifier(alpha=0.0001, average=False, class_weight=None, early_stopping=False,
epsilon=0.1, eta0=0.0, fit_intercept=True, l1_ratio=0.15, learning_rate='optimal',
loss='hinge', max_iter=1000, n_iter_no_change=5, n_jobs=None,
penalty='l2...
'eta0': array([1.00000000e-05, 1.64285714e-05, 2.28571429e-05, 2.92857143e-05, 3.57142857e-05, 4.21428571e-05, 4.85714286e-05, 5.50000000e-05,
6.14285714e-05, 6.78571429e-05, 7.42857143e-05, 8.07142857e-05, 8.71428571e-05, 9.35714286e-05, 1.00000000e-04]),
'learning_rate': ['optimal', 'constant', 'invscaling'],
'max_iter': array([5, 6, 7, 8, 9])},
pre_dispatch='2*n_jobs', refit=True, return_train_score=False,
scoring='accuracy', verbose=0)

=== Sklearn Grid search: важные атрибуты ===

* <code>best_estimator_</code> — лучшая модель
* <code>best_score_</code> — ошибка, полученная на лучшей модели.
* <code>best_params_</code> — гиперпараметры лучшей модели 

print(grid_cv.best_estimator_) 
Out: SGDClassifier(alpha=4.857142857142857e-05, average=False, class_weight=None, early_stopping=False, epsilon=0.1, eta0=1e-05, fit_intercept=True,
l1_ratio=0.15, learning_rate='optimal', loss='hinge', max_iter=6, n_iter_no_change=5, n_jobs=None, penalty='l2', power_t=0.5,
random_state=0, shuffle=True, tol=0.001, validation_fraction=0.1, verbose=0, warm_start=False)

print(grid_cv.best_score_) 
Out: 0.9099999999999999

print(grid_cv.best_params_) 
Out: {'alpha': 4.857142857142857e-05, 'eta0': 1e-05, 'learning_rate': 'optimal', 'max_iter': 6}

* <code>cv_results_</code> — результаты всех моделей. 

print(grid_cv.cv_results_) 
Out:
{'mean_fit_time': array([0.00209482, 0.00120714, 0.00089645, ..., 0.00109975, 0.00100021,
0.00099928]),
'std_fit_time': array([1.22382854e-03, 6.21233347e-04, 5.32190271e-04, ...,
3.11922473e-04, 1.27400324e-05, 1.94000071e-06]),
'mean_score_time': array([2.00700760e-04, 0.00000000e+00, 2.99715996e-04, ...,
1.99961662e-04, 2.96926498e-04, 9.98973846e-05]),
'std_score_time': array([0.0004014 , 0. , 0.00045782, ..., 0.00039992, 0.00045363,
0.00029969]),
...... }

print(grid_cv.cv_results_['param_max_iter'].data) 
Out: array([5, 6, 7, ..., 7, 8, 9], dtype=object)

=== Реализация Grid search в библеотеках ===
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html scikit-learn]
* [https://github.com/kubeflow/katib Katib]
* [https://tidymodels.github.io/tune/articles/grid.html Tune]
* [https://autonomio.github.io/docs_talos/#grid-search Talos]

== Random grid search ==

=== Основная информация ===

Вместо полного перебора, Random grid search работает с некоторыми, случайным образом выбранными, комбинациями. На основе полученных результатов, происходит сужение области поиска.

Когда random grid search будет гораздо полезнее, чем grid search? В ситуации, когда гиперпараметров много, но сильно влияющих на конечную производительность алгоритма — мало.

=== Реализация Random grid ===

* [https://ray.readthedocs.io/en/latest/tune-searchalg.html#variant-generation-grid-search-random-search Ray]
* [https://github.com/kubeflow/katib Katib]
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.RandomizedSearchCV.html scikit-learn]
* [https://ray.readthedocs.io/en/latest/tune-searchalg.html#variant-generation-grid-search-random-search Tune]
* [https://autonomio.github.io/docs_talos/#models Talos]
* [https://hyperopt.github.io/hyperopt/#algorithms Hyperopt]

== SMBO ==

=== Основная информация ===

SMBO (Sequential Model-Based Optimization) — методы, основанные на байесовской оптимизации

Когда используют SMBO? Когда оптимизация целевой функции будет стоить очень "дорого". Главная идея SMBO — замена целевой функции "суррогатной" функцией.

На каждом шаге работы SMBO:

# Строится вероятностная модель (суррогатная функция) целевой функции.
# Подбираются гиперпараметры, которые лучше всего подходят для вероятностной модели.
# Подобранные гиперпараметры применяются к целевой функции.
# Вероятностная модель перестраивается (обновляется).
# Шаги 2-4 повторяются столько раз, сколько задал пользователь.

Существует четыре ключевые аспекта SMBO:
* Сетка значений гиперпараметров (область поиска).
* Целевая функция (выводит оценку, которую мы хотим минимизировать или максимизировать).
* Вероятностная модель целевой функции (суррогатная функция).
* Критерий, называемый функцией выбора (для выбора следующих гиперпараметры по текущей вероятностной модели).

Методы SMBO отличаются между собой вероятностными моделями и функциями выбора: 
Популярные вероятностные модели (суррогатные функции):
* Gaussian Processes
* Tree Parzen Estimators (TPE)
* Random Forest Regressions

=== TPE ===

==== Основная информация ====
TPE — Tree-structured Parzen Estimator (Древовидная структура Парзена)

Как было написано выше, методы SMBO отличаются тем, как они строят вероятностную модель <math> {p(y|x)} </math>. В случае TPE, используется следующая функция:

<math> p(y) = \frac{p(x|y) * p(y)}{p(x)} </math>

<math> {p(x|y)} </math> — распределение гиперпараметров, <math> y </math> — значение целевой функции, <math> y* </math> — пороговое начение

<math> p(x|y) = \begin{cases}
l(x), & \mbox{if } y < y* \\
g(x), & \mbox{if } y \ge y*
\end{cases}
</math>

В TPE задается два различных распределения гиперпараметров: первое при значениях целевой функции меньших, чем пороговое значение. Второе - при значениях целевой функции больших, чем пороговое значение.

==== Алгоритм ====

# На вход подается список пар (parameters, loss)
# По заданному порогу, происходит разбиение списка на 2 части
# Для каждого списка строится распределение
# Возвращается значение: <math> argmin_{param} \frac{g(param)}{l(param)} </math>

=== SMAC ===

==== Основная информация ====

SMAC использует Random Forest regression и расширяет подходы SMBO:

* Использует дискретные и условные пространства параметров.
* Обрабатывает негауссовский шум.
* Выделяет бюджет на общее время, доступное для настройки алгоритма, а не на количество оценок функций.

Кроме того, SMAC использует переданную ему модель для формирования списка перспективных конфигураций (сочетаний) параметров. Чтобы оценить перспективность конфигурация <math> \theta </math>, SMAC строит распределение результатов модели для <math> \theta </math>.
С помощью этого распределения, а также информации, о текущей лучшей конфигурации, SMAC вычисляет ожидаемое положительное улучшение [https://www.cs.ubc.ca/~hutter/papers/10-TR-SMAC.pdf <math> EI(\theta) </math>].
После нахождения <math> EI(\theta) </math> необходимо найти конфигурацию с наибольшим значением <math> EI(\theta) </math>. Эта задача приводит к проблеме максимизация значения на всем пространстве конфигураций.
Другие методы SMBO максимизируют значения а случайной выборке из пространства конфигураций, что достаточно плохо работает в случае высокомерного пространства.
SMAC применяет немного другой подход: выполняется несколько локальных и поисков и среди них выбираются все конфигурации с максимальным <math> EI(\theta) </math>. И уже среди них производится новый поиск и выбирается лучшая конфигурация.

=== Реализация ===
* Random Forest Regressions: [https://www.automl.org/automated-algorithm-design/algorithm-configuration/smac/ SMAC]
* Tree Parzen Estimators: [https://hyperopt.github.io/hyperopt/#algorithms Hyperopt]
* Gaussian Processes: [https://devhub.io/repos/automl-spearmint Spearmint], [https://scikit-optimize.github.io/stable/modules/classes.html#module-skopt.optimizer Scikit-optimize]

== Источники ==

* [https://papers.nips.cc/paper/4443-algorithms-for-hyper-parameter-optimization.pdf Algorithms for Hyper-Parameter Optimization]
* [https://www.cs.ubc.ca/~hutter/papers/10-TR-SMAC.pdf Sequential Model-Based Optimization for General Algorithm Configuration]
* [https://www.youtube.com/watch?v=u6MG_UTwiIQ Bayesian optimization]
* [https://www.youtube.com/watch?v=PgJMLpIfIc8 Гауссовские процессы и байесовская оптимизация]
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html GridSearchCV sklearn]

Настройка гиперпараметров

2020-04-23T11:48:38Z

AnneKsatn: /* SMAC */

== Гиперпараметры ==

Гиперпараметры — параметры, которые не настраиваются во время обучения модели. Пример гиперпараметра — шаг градиентного спуска, он задается перед обучением. Пример параметров — веса градиентного спуска, они изменяются и настраиваются во время обучения.

Для подбора гиперпараметров необходимо разделить датасет на три части:
* training set (тренировочный набор данных, для обучении модели)
* validation set (валидационный набор данных, для расчета ошибки и выбора наилучшей модели)
* test set (тестовый набор данных, для тестирования лучшей модели)

Зачем нам нужен и валидационный, и тестовый набор? Дело в том, что модель может переучиться на валидационном наборе данных. Для выявления переобучения используется тестовый набор данных.

Рассмотрим модель <code>KNeighborsClassifier</code> из библиотеки sklearn. Все “параметры” данной модели (loss, penalty, alpha и т.д), с точки зрения машинного обучения, являются гиперпараметрами, так как задаются до начала обучения.

class sklearn.linear_model.SGDClassifier(loss='hinge', penalty='l2', alpha=0.0001, l1_ratio=0.15, fit_intercept=True, max_iter=1000,
tol=0.001, shuffle=True, verbose=0, epsilon=0.1, n_jobs=None, random_state=None, learning_rate='optimal',
eta0=0.0, power_t=0.5, early_stopping=False, validation_fraction=0.1, n_iter_no_change=5, class_weight=None,
warm_start=False, average=False)

== Grid search ==

=== Общая информация ===

Grid search принимает на вход модель и различные значения гиперпараметров (сетку гиперпараметров). Далее, для каждого возможного сочетания значений гиперпараметров, метод считает ошибку и в конце выбирает сочетание, при котором ошибка минимальна.

=== Sklearn Grid search: использование ===

Пример использования <code>GridSearch</code> из библиотеки scikit-learn:

# Создание экземпляра класса <code>SGDClassifier</code> (из sklearn)
# Создание сетки гиперпараметров. В данном случае будем подбирать коэффициент регуляризации, шаг градиентного спуска, количество итераций и параметр скорости обучения.
# Создание экземпляра класса кросс-валидации
# Создание экземпляра <code>GridSearch</code> (из sklearn). Первый параметр — модель, второй — сетка гиперпараметров, третий — функционал ошибки (используемый для контроля качества моделей по технике кросс-валидации), четвертый — кросс-валидация (можно задать количество фолдов, а можно передать экземпляр класса кросс - валидации)
# Запуск поиска по сетке.

classifier = linear_model.SGDClassifier(random_state = 0, tol=1e-3)

parameters_grid = {
'alpha' : np.linspace(0.00001, 0.0001, 15),
'learning_rate': ['optimal', 'constant', 'invscaling'],
'eta0' : np.linspace(0.00001, 0.0001, 15),
'max_iter' : np.arange(5,10),
}

cv = model_selection.StratifiedShuffleSplit(n_splits=10, test_size = 0.2)
grid_cv = model_selection.GridSearchCV(classifier, parameters_grid, scoring = 'accuracy', cv = cv)
grid_cv.fit(train_data, test_data)

Out:
GridSearchCV(cv=StratifiedShuffleSplit(n_splits=10, random_state=0, test_size=0.2, train_size=None), error_score=nan,
estimator=SGDClassifier(alpha=0.0001, average=False, class_weight=None, early_stopping=False,
epsilon=0.1, eta0=0.0, fit_intercept=True, l1_ratio=0.15, learning_rate='optimal',
loss='hinge', max_iter=1000, n_iter_no_change=5, n_jobs=None,
penalty='l2...
'eta0': array([1.00000000e-05, 1.64285714e-05, 2.28571429e-05, 2.92857143e-05, 3.57142857e-05, 4.21428571e-05, 4.85714286e-05, 5.50000000e-05,
6.14285714e-05, 6.78571429e-05, 7.42857143e-05, 8.07142857e-05, 8.71428571e-05, 9.35714286e-05, 1.00000000e-04]),
'learning_rate': ['optimal', 'constant', 'invscaling'],
'max_iter': array([5, 6, 7, 8, 9])},
pre_dispatch='2*n_jobs', refit=True, return_train_score=False,
scoring='accuracy', verbose=0)

=== Sklearn Grid search: важные атрибуты ===

* <code>best_estimator_</code> — лучшая модель
* <code>best_score_</code> — ошибка, полученная на лучшей модели.
* <code>best_params_</code> — гиперпараметры лучшей модели 

print(grid_cv.best_estimator_) 
Out: SGDClassifier(alpha=4.857142857142857e-05, average=False, class_weight=None, early_stopping=False, epsilon=0.1, eta0=1e-05, fit_intercept=True,
l1_ratio=0.15, learning_rate='optimal', loss='hinge', max_iter=6, n_iter_no_change=5, n_jobs=None, penalty='l2', power_t=0.5,
random_state=0, shuffle=True, tol=0.001, validation_fraction=0.1, verbose=0, warm_start=False)

print(grid_cv.best_score_) 
Out: 0.9099999999999999

print(grid_cv.best_params_) 
Out: {'alpha': 4.857142857142857e-05, 'eta0': 1e-05, 'learning_rate': 'optimal', 'max_iter': 6}

* <code>cv_results_</code> — результаты всех моделей. 

print(grid_cv.cv_results_) 
Out:
{'mean_fit_time': array([0.00209482, 0.00120714, 0.00089645, ..., 0.00109975, 0.00100021,
0.00099928]),
'std_fit_time': array([1.22382854e-03, 6.21233347e-04, 5.32190271e-04, ...,
3.11922473e-04, 1.27400324e-05, 1.94000071e-06]),
'mean_score_time': array([2.00700760e-04, 0.00000000e+00, 2.99715996e-04, ...,
1.99961662e-04, 2.96926498e-04, 9.98973846e-05]),
'std_score_time': array([0.0004014 , 0. , 0.00045782, ..., 0.00039992, 0.00045363,
0.00029969]),
...... }

print(grid_cv.cv_results_['param_max_iter'].data) 
Out: array([5, 6, 7, ..., 7, 8, 9], dtype=object)

=== Реализация Grid search в библеотеках ===
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html scikit-learn]
* [https://github.com/kubeflow/katib Katib]
* [https://tidymodels.github.io/tune/articles/grid.html Tune]
* [https://autonomio.github.io/docs_talos/#grid-search Talos]

== Random grid search ==

=== Основная информация ===

Вместо полного перебора, Random grid search работает с некоторыми, случайным образом выбранными, комбинациями. На основе полученных результатов, происходит сужение области поиска.

Когда random grid search будет гораздо полезнее, чем grid search? В ситуации, когда гиперпараметров много, но сильно влияющих на конечную производительность алгоритма — мало.

=== Реализация Random grid ===

* [https://ray.readthedocs.io/en/latest/tune-searchalg.html#variant-generation-grid-search-random-search Ray]
* [https://github.com/kubeflow/katib Katib]
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.RandomizedSearchCV.html scikit-learn]
* [https://ray.readthedocs.io/en/latest/tune-searchalg.html#variant-generation-grid-search-random-search Tune]
* [https://autonomio.github.io/docs_talos/#models Talos]
* [https://hyperopt.github.io/hyperopt/#algorithms Hyperopt]

== SMBO ==

=== Основная информация ===

SMBO (Sequential Model-Based Optimization) — методы, основанные на байесовской оптимизации

Когда используют SMBO? Когда оптимизация целевой функции будет стоить очень "дорого". Главная идея SMBO — замена целевой функции "суррогатной" функцией.

На каждом шаге работы SMBO:

# Строится вероятностная модель (суррогатная функция) целевой функции.
# Подбираются гиперпараметры, которые лучше всего подходят для вероятностной модели.
# Подобранные гиперпараметры применяются к целевой функции.
# Вероятностная модель перестраивается (обновляется).
# Шаги 2-4 повторяются столько раз, сколько задал пользователь.

Существует четыре ключевые аспекта SMBO:
* Сетка значений гиперпараметров (область поиска).
* Целевая функция (выводит оценку, которую мы хотим минимизировать или максимизировать).
* Вероятностная модель целевой функции (суррогатная функция).
* Критерий, называемый функцией выбора (для выбора следующих гиперпараметры по текущей вероятностной модели).

Методы SMBO отличаются между собой вероятностными моделями и функциями выбора: 
Популярные вероятностные модели (суррогатные функции):
* Gaussian Processes
* Tree Parzen Estimators (TPE)
* Random Forest Regressions

=== TPE ===

==== Основная информация ====
TPE — Tree-structured Parzen Estimator (Древовидная структура Парзена)

Как было написано выше, методы SMBO отличаются тем, как они строят вероятностную модель <math> {p(y|x)} </math>. В случае TPE, используется следующая функция:

<math> p(y) = \frac{p(x|y) * p(y)}{p(x)} </math>

<math> {p(x|y)} </math> — распределение гиперпараметров, <math> y </math> — значение целевой функции, <math> y* </math> — пороговое начение

<math> p(x|y) = \begin{cases}
l(x), & \mbox{if } y < y* \\
g(x), & \mbox{if } y \ge y*
\end{cases}
</math>

В TPE задается два различных распределения гиперпараметров: первое при значениях целевой функции меньших, чем пороговое значение. Второе - при значениях целевой функции больших, чем пороговое значение.

==== Алгоритм ====

# На вход подается список пар (parameters, loss)
# По заданному порогу, происходит разбиение списка на 2 части
# Для каждого списка строится распределение
# Возвращается значение: <math> argmin_{param} \frac{g(param)}{l(param)} </math>

=== SMAC ===

==== Основная информация ====

SMAC использует Random Forest regression и расширяет подходы SMBO:

* Использует дискретные и условные пространства параметров.
* Обрабатывает негауссовский шум.
* Выделяет бюджет на общее время, доступное для настройки алгоритма, а не на количество оценок функций.

Кроме того, SMAC использует переданную ему модель для формирования списка перспективных конфигураций (сочетаний) параметров. Чтобы оценить перспективность конфигурация <math> \theta </math>, SMAC строит распределение результатов модели для <math> \theta </math>.
С помощью этого распределения, а также информации, о текущей лучшей конфигурации, SMAC вычисляет ожидаемое положительное улучшение [https://www.cs.ubc.ca/~hutter/papers/10-TR-SMAC.pdf EI].
После нахождения <math> EI(\theta) </math> необходимо найти конфигурацию с наибольшим значением <math> EI(\theta) </math>. Эта задача приводит к проблеме максимизация значения на всем пространстве конфигураций.
Другие методы SMBO максимизируют значения а случайной выборке из пространства конфигураций, что достаточно плохо работает в случае высокомерного пространства.
SMAC применяет немного другой подход: выполняется несколько локальных и поисков и среди них выбираются все конфигурации с максимальным EI. И уже среди них производится новый поиск и выбирается лучшая конфигурация.

=== Реализация ===
* Random Forest Regressions: [https://www.automl.org/automated-algorithm-design/algorithm-configuration/smac/ SMAC]
* Tree Parzen Estimators: [https://hyperopt.github.io/hyperopt/#algorithms Hyperopt]
* Gaussian Processes: [https://devhub.io/repos/automl-spearmint Spearmint], [https://scikit-optimize.github.io/stable/modules/classes.html#module-skopt.optimizer Scikit-optimize]

== Источники ==

* [https://papers.nips.cc/paper/4443-algorithms-for-hyper-parameter-optimization.pdf Algorithms for Hyper-Parameter Optimization]
* [https://www.cs.ubc.ca/~hutter/papers/10-TR-SMAC.pdf Sequential Model-Based Optimization for General Algorithm Configuration]
* [https://www.youtube.com/watch?v=u6MG_UTwiIQ Bayesian optimization]
* [https://www.youtube.com/watch?v=PgJMLpIfIc8 Гауссовские процессы и байесовская оптимизация]
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html GridSearchCV sklearn]

Настройка гиперпараметров

2020-04-23T11:47:44Z

AnneKsatn: /* Основная информация */

== Гиперпараметры ==

Гиперпараметры — параметры, которые не настраиваются во время обучения модели. Пример гиперпараметра — шаг градиентного спуска, он задается перед обучением. Пример параметров — веса градиентного спуска, они изменяются и настраиваются во время обучения.

Для подбора гиперпараметров необходимо разделить датасет на три части:
* training set (тренировочный набор данных, для обучении модели)
* validation set (валидационный набор данных, для расчета ошибки и выбора наилучшей модели)
* test set (тестовый набор данных, для тестирования лучшей модели)

Зачем нам нужен и валидационный, и тестовый набор? Дело в том, что модель может переучиться на валидационном наборе данных. Для выявления переобучения используется тестовый набор данных.

Рассмотрим модель <code>KNeighborsClassifier</code> из библиотеки sklearn. Все “параметры” данной модели (loss, penalty, alpha и т.д), с точки зрения машинного обучения, являются гиперпараметрами, так как задаются до начала обучения.

class sklearn.linear_model.SGDClassifier(loss='hinge', penalty='l2', alpha=0.0001, l1_ratio=0.15, fit_intercept=True, max_iter=1000,
tol=0.001, shuffle=True, verbose=0, epsilon=0.1, n_jobs=None, random_state=None, learning_rate='optimal',
eta0=0.0, power_t=0.5, early_stopping=False, validation_fraction=0.1, n_iter_no_change=5, class_weight=None,
warm_start=False, average=False)

== Grid search ==

=== Общая информация ===

Grid search принимает на вход модель и различные значения гиперпараметров (сетку гиперпараметров). Далее, для каждого возможного сочетания значений гиперпараметров, метод считает ошибку и в конце выбирает сочетание, при котором ошибка минимальна.

=== Sklearn Grid search: использование ===

Пример использования <code>GridSearch</code> из библиотеки scikit-learn:

# Создание экземпляра класса <code>SGDClassifier</code> (из sklearn)
# Создание сетки гиперпараметров. В данном случае будем подбирать коэффициент регуляризации, шаг градиентного спуска, количество итераций и параметр скорости обучения.
# Создание экземпляра класса кросс-валидации
# Создание экземпляра <code>GridSearch</code> (из sklearn). Первый параметр — модель, второй — сетка гиперпараметров, третий — функционал ошибки (используемый для контроля качества моделей по технике кросс-валидации), четвертый — кросс-валидация (можно задать количество фолдов, а можно передать экземпляр класса кросс - валидации)
# Запуск поиска по сетке.

classifier = linear_model.SGDClassifier(random_state = 0, tol=1e-3)

parameters_grid = {
'alpha' : np.linspace(0.00001, 0.0001, 15),
'learning_rate': ['optimal', 'constant', 'invscaling'],
'eta0' : np.linspace(0.00001, 0.0001, 15),
'max_iter' : np.arange(5,10),
}

cv = model_selection.StratifiedShuffleSplit(n_splits=10, test_size = 0.2)
grid_cv = model_selection.GridSearchCV(classifier, parameters_grid, scoring = 'accuracy', cv = cv)
grid_cv.fit(train_data, test_data)

Out:
GridSearchCV(cv=StratifiedShuffleSplit(n_splits=10, random_state=0, test_size=0.2, train_size=None), error_score=nan,
estimator=SGDClassifier(alpha=0.0001, average=False, class_weight=None, early_stopping=False,
epsilon=0.1, eta0=0.0, fit_intercept=True, l1_ratio=0.15, learning_rate='optimal',
loss='hinge', max_iter=1000, n_iter_no_change=5, n_jobs=None,
penalty='l2...
'eta0': array([1.00000000e-05, 1.64285714e-05, 2.28571429e-05, 2.92857143e-05, 3.57142857e-05, 4.21428571e-05, 4.85714286e-05, 5.50000000e-05,
6.14285714e-05, 6.78571429e-05, 7.42857143e-05, 8.07142857e-05, 8.71428571e-05, 9.35714286e-05, 1.00000000e-04]),
'learning_rate': ['optimal', 'constant', 'invscaling'],
'max_iter': array([5, 6, 7, 8, 9])},
pre_dispatch='2*n_jobs', refit=True, return_train_score=False,
scoring='accuracy', verbose=0)

=== Sklearn Grid search: важные атрибуты ===

* <code>best_estimator_</code> — лучшая модель
* <code>best_score_</code> — ошибка, полученная на лучшей модели.
* <code>best_params_</code> — гиперпараметры лучшей модели 

print(grid_cv.best_estimator_) 
Out: SGDClassifier(alpha=4.857142857142857e-05, average=False, class_weight=None, early_stopping=False, epsilon=0.1, eta0=1e-05, fit_intercept=True,
l1_ratio=0.15, learning_rate='optimal', loss='hinge', max_iter=6, n_iter_no_change=5, n_jobs=None, penalty='l2', power_t=0.5,
random_state=0, shuffle=True, tol=0.001, validation_fraction=0.1, verbose=0, warm_start=False)

print(grid_cv.best_score_) 
Out: 0.9099999999999999

print(grid_cv.best_params_) 
Out: {'alpha': 4.857142857142857e-05, 'eta0': 1e-05, 'learning_rate': 'optimal', 'max_iter': 6}

* <code>cv_results_</code> — результаты всех моделей. 

print(grid_cv.cv_results_) 
Out:
{'mean_fit_time': array([0.00209482, 0.00120714, 0.00089645, ..., 0.00109975, 0.00100021,
0.00099928]),
'std_fit_time': array([1.22382854e-03, 6.21233347e-04, 5.32190271e-04, ...,
3.11922473e-04, 1.27400324e-05, 1.94000071e-06]),
'mean_score_time': array([2.00700760e-04, 0.00000000e+00, 2.99715996e-04, ...,
1.99961662e-04, 2.96926498e-04, 9.98973846e-05]),
'std_score_time': array([0.0004014 , 0. , 0.00045782, ..., 0.00039992, 0.00045363,
0.00029969]),
...... }

print(grid_cv.cv_results_['param_max_iter'].data) 
Out: array([5, 6, 7, ..., 7, 8, 9], dtype=object)

=== Реализация Grid search в библеотеках ===
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html scikit-learn]
* [https://github.com/kubeflow/katib Katib]
* [https://tidymodels.github.io/tune/articles/grid.html Tune]
* [https://autonomio.github.io/docs_talos/#grid-search Talos]

== Random grid search ==

=== Основная информация ===

Вместо полного перебора, Random grid search работает с некоторыми, случайным образом выбранными, комбинациями. На основе полученных результатов, происходит сужение области поиска.

Когда random grid search будет гораздо полезнее, чем grid search? В ситуации, когда гиперпараметров много, но сильно влияющих на конечную производительность алгоритма — мало.

=== Реализация Random grid ===

* [https://ray.readthedocs.io/en/latest/tune-searchalg.html#variant-generation-grid-search-random-search Ray]
* [https://github.com/kubeflow/katib Katib]
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.RandomizedSearchCV.html scikit-learn]
* [https://ray.readthedocs.io/en/latest/tune-searchalg.html#variant-generation-grid-search-random-search Tune]
* [https://autonomio.github.io/docs_talos/#models Talos]
* [https://hyperopt.github.io/hyperopt/#algorithms Hyperopt]

== SMBO ==

=== Основная информация ===

SMBO (Sequential Model-Based Optimization) — методы, основанные на байесовской оптимизации

Когда используют SMBO? Когда оптимизация целевой функции будет стоить очень "дорого". Главная идея SMBO — замена целевой функции "суррогатной" функцией.

На каждом шаге работы SMBO:

# Строится вероятностная модель (суррогатная функция) целевой функции.
# Подбираются гиперпараметры, которые лучше всего подходят для вероятностной модели.
# Подобранные гиперпараметры применяются к целевой функции.
# Вероятностная модель перестраивается (обновляется).
# Шаги 2-4 повторяются столько раз, сколько задал пользователь.

Существует четыре ключевые аспекта SMBO:
* Сетка значений гиперпараметров (область поиска).
* Целевая функция (выводит оценку, которую мы хотим минимизировать или максимизировать).
* Вероятностная модель целевой функции (суррогатная функция).
* Критерий, называемый функцией выбора (для выбора следующих гиперпараметры по текущей вероятностной модели).

Методы SMBO отличаются между собой вероятностными моделями и функциями выбора: 
Популярные вероятностные модели (суррогатные функции):
* Gaussian Processes
* Tree Parzen Estimators (TPE)
* Random Forest Regressions

=== TPE ===

==== Основная информация ====
TPE — Tree-structured Parzen Estimator (Древовидная структура Парзена)

Как было написано выше, методы SMBO отличаются тем, как они строят вероятностную модель <math> {p(y|x)} </math>. В случае TPE, используется следующая функция:

<math> p(y) = \frac{p(x|y) * p(y)}{p(x)} </math>

<math> {p(x|y)} </math> — распределение гиперпараметров, <math> y </math> — значение целевой функции, <math> y* </math> — пороговое начение

<math> p(x|y) = \begin{cases}
l(x), & \mbox{if } y < y* \\
g(x), & \mbox{if } y \ge y*
\end{cases}
</math>

В TPE задается два различных распределения гиперпараметров: первое при значениях целевой функции меньших, чем пороговое значение. Второе - при значениях целевой функции больших, чем пороговое значение.

==== Алгоритм ====

# На вход подается список пар (parameters, loss)
# По заданному порогу, происходит разбиение списка на 2 части
# Для каждого списка строится распределение
# Возвращается значение: <math> argmin_{param} \frac{g(param)}{l(param)} </math>

=== SMAC ===

==== Основная информация ====

SMAC использует Random Forest regression и расширяет подходы SMBO:

* Использует дискретные и условные пространства параметров.
* Обрабатывает негауссовский шум.
* Выделяет бюджет на общее время, доступное для настройки алгоритма, а не на количество оценок функций.

Кроме того, SMAC использует переданную ему модель для формирования списка перспективных конфигураций (сочетаний) параметров. Чтобы оценить перспективность конфигурация <math> \theta </math>, SMAC строит распределение результатов модели для <math> \theta </math>.
С помощью этого распределения, а также информации, о текущей лучшей конфигурации, SMAC вычисляет ожидаемое положительное улучшение [https://www.cs.ubc.ca/~hutter/papers/10-TR-SMAC.pdf EI].
После нахождения math> EI(\theta) </math> необходимо найти конфигурацию с наибольшим значением math> EI(\theta) </math>. Эта задача приводит к проблеме максимизация значения на всем пространстве конфигураций.
Другие методы SMBO максимизируют значения а случайной выборке из пространства конфигураций, что достаточно плохо работает в случае высокомерного пространства.
SMAC применяет немного другой подход: выполняется несколько локальных и поисков и среди них выбираются все конфигурации с максимальным EI. И уже среди них производится новый поиск и выбирается лучшая конфигурация.

=== Реализация ===
* Random Forest Regressions: [https://www.automl.org/automated-algorithm-design/algorithm-configuration/smac/ SMAC]
* Tree Parzen Estimators: [https://hyperopt.github.io/hyperopt/#algorithms Hyperopt]
* Gaussian Processes: [https://devhub.io/repos/automl-spearmint Spearmint], [https://scikit-optimize.github.io/stable/modules/classes.html#module-skopt.optimizer Scikit-optimize]

== Источники ==

* [https://papers.nips.cc/paper/4443-algorithms-for-hyper-parameter-optimization.pdf Algorithms for Hyper-Parameter Optimization]
* [https://www.cs.ubc.ca/~hutter/papers/10-TR-SMAC.pdf Sequential Model-Based Optimization for General Algorithm Configuration]
* [https://www.youtube.com/watch?v=u6MG_UTwiIQ Bayesian optimization]
* [https://www.youtube.com/watch?v=PgJMLpIfIc8 Гауссовские процессы и байесовская оптимизация]
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html GridSearchCV sklearn]

Настройка гиперпараметров

2020-04-23T11:38:14Z

AnneKsatn: /* SMAC */

== Гиперпараметры ==

Гиперпараметры — параметры, которые не настраиваются во время обучения модели. Пример гиперпараметра — шаг градиентного спуска, он задается перед обучением. Пример параметров — веса градиентного спуска, они изменяются и настраиваются во время обучения.

Для подбора гиперпараметров необходимо разделить датасет на три части:
* training set (тренировочный набор данных, для обучении модели)
* validation set (валидационный набор данных, для расчета ошибки и выбора наилучшей модели)
* test set (тестовый набор данных, для тестирования лучшей модели)

Зачем нам нужен и валидационный, и тестовый набор? Дело в том, что модель может переучиться на валидационном наборе данных. Для выявления переобучения используется тестовый набор данных.

Рассмотрим модель <code>KNeighborsClassifier</code> из библиотеки sklearn. Все “параметры” данной модели (loss, penalty, alpha и т.д), с точки зрения машинного обучения, являются гиперпараметрами, так как задаются до начала обучения.

class sklearn.linear_model.SGDClassifier(loss='hinge', penalty='l2', alpha=0.0001, l1_ratio=0.15, fit_intercept=True, max_iter=1000,
tol=0.001, shuffle=True, verbose=0, epsilon=0.1, n_jobs=None, random_state=None, learning_rate='optimal',
eta0=0.0, power_t=0.5, early_stopping=False, validation_fraction=0.1, n_iter_no_change=5, class_weight=None,
warm_start=False, average=False)

== Grid search ==

=== Общая информация ===

Grid search принимает на вход модель и различные значения гиперпараметров (сетку гиперпараметров). Далее, для каждого возможного сочетания значений гиперпараметров, метод считает ошибку и в конце выбирает сочетание, при котором ошибка минимальна.

=== Sklearn Grid search: использование ===

Пример использования <code>GridSearch</code> из библиотеки scikit-learn:

# Создание экземпляра класса <code>SGDClassifier</code> (из sklearn)
# Создание сетки гиперпараметров. В данном случае будем подбирать коэффициент регуляризации, шаг градиентного спуска, количество итераций и параметр скорости обучения.
# Создание экземпляра класса кросс-валидации
# Создание экземпляра <code>GridSearch</code> (из sklearn). Первый параметр — модель, второй — сетка гиперпараметров, третий — функционал ошибки (используемый для контроля качества моделей по технике кросс-валидации), четвертый — кросс-валидация (можно задать количество фолдов, а можно передать экземпляр класса кросс - валидации)
# Запуск поиска по сетке.

classifier = linear_model.SGDClassifier(random_state = 0, tol=1e-3)

parameters_grid = {
'alpha' : np.linspace(0.00001, 0.0001, 15),
'learning_rate': ['optimal', 'constant', 'invscaling'],
'eta0' : np.linspace(0.00001, 0.0001, 15),
'max_iter' : np.arange(5,10),
}

cv = model_selection.StratifiedShuffleSplit(n_splits=10, test_size = 0.2)
grid_cv = model_selection.GridSearchCV(classifier, parameters_grid, scoring = 'accuracy', cv = cv)
grid_cv.fit(train_data, test_data)

Out:
GridSearchCV(cv=StratifiedShuffleSplit(n_splits=10, random_state=0, test_size=0.2, train_size=None), error_score=nan,
estimator=SGDClassifier(alpha=0.0001, average=False, class_weight=None, early_stopping=False,
epsilon=0.1, eta0=0.0, fit_intercept=True, l1_ratio=0.15, learning_rate='optimal',
loss='hinge', max_iter=1000, n_iter_no_change=5, n_jobs=None,
penalty='l2...
'eta0': array([1.00000000e-05, 1.64285714e-05, 2.28571429e-05, 2.92857143e-05, 3.57142857e-05, 4.21428571e-05, 4.85714286e-05, 5.50000000e-05,
6.14285714e-05, 6.78571429e-05, 7.42857143e-05, 8.07142857e-05, 8.71428571e-05, 9.35714286e-05, 1.00000000e-04]),
'learning_rate': ['optimal', 'constant', 'invscaling'],
'max_iter': array([5, 6, 7, 8, 9])},
pre_dispatch='2*n_jobs', refit=True, return_train_score=False,
scoring='accuracy', verbose=0)

=== Sklearn Grid search: важные атрибуты ===

* <code>best_estimator_</code> — лучшая модель
* <code>best_score_</code> — ошибка, полученная на лучшей модели.
* <code>best_params_</code> — гиперпараметры лучшей модели 

print(grid_cv.best_estimator_) 
Out: SGDClassifier(alpha=4.857142857142857e-05, average=False, class_weight=None, early_stopping=False, epsilon=0.1, eta0=1e-05, fit_intercept=True,
l1_ratio=0.15, learning_rate='optimal', loss='hinge', max_iter=6, n_iter_no_change=5, n_jobs=None, penalty='l2', power_t=0.5,
random_state=0, shuffle=True, tol=0.001, validation_fraction=0.1, verbose=0, warm_start=False)

print(grid_cv.best_score_) 
Out: 0.9099999999999999

print(grid_cv.best_params_) 
Out: {'alpha': 4.857142857142857e-05, 'eta0': 1e-05, 'learning_rate': 'optimal', 'max_iter': 6}

* <code>cv_results_</code> — результаты всех моделей. 

print(grid_cv.cv_results_) 
Out:
{'mean_fit_time': array([0.00209482, 0.00120714, 0.00089645, ..., 0.00109975, 0.00100021,
0.00099928]),
'std_fit_time': array([1.22382854e-03, 6.21233347e-04, 5.32190271e-04, ...,
3.11922473e-04, 1.27400324e-05, 1.94000071e-06]),
'mean_score_time': array([2.00700760e-04, 0.00000000e+00, 2.99715996e-04, ...,
1.99961662e-04, 2.96926498e-04, 9.98973846e-05]),
'std_score_time': array([0.0004014 , 0. , 0.00045782, ..., 0.00039992, 0.00045363,
0.00029969]),
...... }

print(grid_cv.cv_results_['param_max_iter'].data) 
Out: array([5, 6, 7, ..., 7, 8, 9], dtype=object)

=== Реализация Grid search в библеотеках ===
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html scikit-learn]
* [https://github.com/kubeflow/katib Katib]
* [https://tidymodels.github.io/tune/articles/grid.html Tune]
* [https://autonomio.github.io/docs_talos/#grid-search Talos]

== Random grid search ==

=== Основная информация ===

Вместо полного перебора, Random grid search работает с некоторыми, случайным образом выбранными, комбинациями. На основе полученных результатов, происходит сужение области поиска.

Когда random grid search будет гораздо полезнее, чем grid search? В ситуации, когда гиперпараметров много, но сильно влияющих на конечную производительность алгоритма — мало.

=== Реализация Random grid ===

* [https://ray.readthedocs.io/en/latest/tune-searchalg.html#variant-generation-grid-search-random-search Ray]
* [https://github.com/kubeflow/katib Katib]
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.RandomizedSearchCV.html scikit-learn]
* [https://ray.readthedocs.io/en/latest/tune-searchalg.html#variant-generation-grid-search-random-search Tune]
* [https://autonomio.github.io/docs_talos/#models Talos]
* [https://hyperopt.github.io/hyperopt/#algorithms Hyperopt]

== SMBO ==

=== Основная информация ===

SMBO (Sequential Model-Based Optimization) — методы, основанные на байесовской оптимизации

Когда используют SMBO? Когда оптимизация целевой функции будет стоить очень "дорого". Главная идея SMBO — замена целевой функции "суррогатной" функцией.

На каждом шаге работы SMBO:

# Строится вероятностная модель (суррогатная функция) целевой функции.
# Подбираются гиперпараметры, которые лучше всего подходят для вероятностной модели.
# Подобранные гиперпараметры применяются к целевой функции.
# Вероятностная модель перестраивается (обновляется).
# Шаги 2-4 повторяются столько раз, сколько задал пользователь.

Существует четыре ключевые аспекта SMBO:
* Сетка значений гиперпараметров (область поиска).
* Целевая функция (выводит оценку, которую мы хотим минимизировать или максимизировать).
* Вероятностная модель целевой функции (суррогатная функция).
* Критерий, называемый функцией выбора (для выбора следующих гиперпараметры по текущей вероятностной модели).

Методы SMBO отличаются между собой вероятностными моделями и функциями выбора: 
Популярные вероятностные модели (суррогатные функции):
* Gaussian Processes
* Tree Parzen Estimators (TPE)
* Random Forest Regressions

=== TPE ===

==== Основная информация ====
TPE — Tree-structured Parzen Estimator (Древовидная структура Парзена)

Как было написано выше, методы SMBO отличаются тем, как они строят вероятностную модель <math> {p(y|x)} </math>. В случае TPE, используется следующая функция:

<math> p(y) = \frac{p(x|y) * p(y)}{p(x)} </math>

<math> {p(x|y)} </math> — распределение гиперпараметров, <math> y </math> — значение целевой функции, <math> y* </math> — пороговое начение

<math> p(x|y) = \begin{cases}
l(x), & \mbox{if } y < y* \\
g(x), & \mbox{if } y \ge y*
\end{cases}
</math>

В TPE задается два различных распределения гиперпараметров: первое при значениях целевой функции меньших, чем пороговое значение. Второе - при значениях целевой функции больших, чем пороговое значение.

==== Алгоритм ====

# На вход подается список пар (parameters, loss)
# По заданному порогу, происходит разбиение списка на 2 части
# Для каждого списка строится распределение
# Возвращается значение: <math> argmin_{param} \frac{g(param)}{l(param)} </math>

=== SMAC ===

==== Основная информация ====

SMAC использует Random Forest regression и расширяет подходы SMBO:

* Использует дискретные и условные пространства параметров.
* Обрабатывает негауссовский шум.
* Выделяет бюджет на общее время, доступное для настройки алгоритма, а не на количество оценок функций.

Кроме того, SMAC использует переданную ему модель для формирования списка перспективных конфигураций (сочетаний) параметров. Чтобы оценить перспективность конфигурация <math> \theta </math>, SMAC строит распределение результатов модели для <math> \theta </math>.
С помощью этого распределения, а также информации, о текущей лучшей конфигурации, SMAC вычисляет ожидаемое положительное улучшение [https://www.cs.ubc.ca/~hutter/papers/10-TR-SMAC.pdf EI]. И на основе этого делает выбор о наилучшей конфигурации.

=== Реализация ===
* Random Forest Regressions: [https://www.automl.org/automated-algorithm-design/algorithm-configuration/smac/ SMAC]
* Tree Parzen Estimators: [https://hyperopt.github.io/hyperopt/#algorithms Hyperopt]
* Gaussian Processes: [https://devhub.io/repos/automl-spearmint Spearmint], [https://scikit-optimize.github.io/stable/modules/classes.html#module-skopt.optimizer Scikit-optimize]

== Источники ==

* [https://papers.nips.cc/paper/4443-algorithms-for-hyper-parameter-optimization.pdf Algorithms for Hyper-Parameter Optimization]
* [https://www.cs.ubc.ca/~hutter/papers/10-TR-SMAC.pdf Sequential Model-Based Optimization for General Algorithm Configuration]
* [https://www.youtube.com/watch?v=u6MG_UTwiIQ Bayesian optimization]
* [https://www.youtube.com/watch?v=PgJMLpIfIc8 Гауссовские процессы и байесовская оптимизация]
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html GridSearchCV sklearn]

Настройка гиперпараметров

2020-04-23T11:15:33Z

AnneKsatn: /* Источники */

== Гиперпараметры ==

Гиперпараметры — параметры, которые не настраиваются во время обучения модели. Пример гиперпараметра — шаг градиентного спуска, он задается перед обучением. Пример параметров — веса градиентного спуска, они изменяются и настраиваются во время обучения.

Для подбора гиперпараметров необходимо разделить датасет на три части:
* training set (тренировочный набор данных, для обучении модели)
* validation set (валидационный набор данных, для расчета ошибки и выбора наилучшей модели)
* test set (тестовый набор данных, для тестирования лучшей модели)

Зачем нам нужен и валидационный, и тестовый набор? Дело в том, что модель может переучиться на валидационном наборе данных. Для выявления переобучения используется тестовый набор данных.

Рассмотрим модель <code>KNeighborsClassifier</code> из библиотеки sklearn. Все “параметры” данной модели (loss, penalty, alpha и т.д), с точки зрения машинного обучения, являются гиперпараметрами, так как задаются до начала обучения.

class sklearn.linear_model.SGDClassifier(loss='hinge', penalty='l2', alpha=0.0001, l1_ratio=0.15, fit_intercept=True, max_iter=1000,
tol=0.001, shuffle=True, verbose=0, epsilon=0.1, n_jobs=None, random_state=None, learning_rate='optimal',
eta0=0.0, power_t=0.5, early_stopping=False, validation_fraction=0.1, n_iter_no_change=5, class_weight=None,
warm_start=False, average=False)

== Grid search ==

=== Общая информация ===

Grid search принимает на вход модель и различные значения гиперпараметров (сетку гиперпараметров). Далее, для каждого возможного сочетания значений гиперпараметров, метод считает ошибку и в конце выбирает сочетание, при котором ошибка минимальна.

=== Sklearn Grid search: использование ===

Пример использования <code>GridSearch</code> из библиотеки scikit-learn:

# Создание экземпляра класса <code>SGDClassifier</code> (из sklearn)
# Создание сетки гиперпараметров. В данном случае будем подбирать коэффициент регуляризации, шаг градиентного спуска, количество итераций и параметр скорости обучения.
# Создание экземпляра класса кросс-валидации
# Создание экземпляра <code>GridSearch</code> (из sklearn). Первый параметр — модель, второй — сетка гиперпараметров, третий — функционал ошибки (используемый для контроля качества моделей по технике кросс-валидации), четвертый — кросс-валидация (можно задать количество фолдов, а можно передать экземпляр класса кросс - валидации)
# Запуск поиска по сетке.

classifier = linear_model.SGDClassifier(random_state = 0, tol=1e-3)

parameters_grid = {
'alpha' : np.linspace(0.00001, 0.0001, 15),
'learning_rate': ['optimal', 'constant', 'invscaling'],
'eta0' : np.linspace(0.00001, 0.0001, 15),
'max_iter' : np.arange(5,10),
}

cv = model_selection.StratifiedShuffleSplit(n_splits=10, test_size = 0.2)
grid_cv = model_selection.GridSearchCV(classifier, parameters_grid, scoring = 'accuracy', cv = cv)
grid_cv.fit(train_data, test_data)

Out:
GridSearchCV(cv=StratifiedShuffleSplit(n_splits=10, random_state=0, test_size=0.2, train_size=None), error_score=nan,
estimator=SGDClassifier(alpha=0.0001, average=False, class_weight=None, early_stopping=False,
epsilon=0.1, eta0=0.0, fit_intercept=True, l1_ratio=0.15, learning_rate='optimal',
loss='hinge', max_iter=1000, n_iter_no_change=5, n_jobs=None,
penalty='l2...
'eta0': array([1.00000000e-05, 1.64285714e-05, 2.28571429e-05, 2.92857143e-05, 3.57142857e-05, 4.21428571e-05, 4.85714286e-05, 5.50000000e-05,
6.14285714e-05, 6.78571429e-05, 7.42857143e-05, 8.07142857e-05, 8.71428571e-05, 9.35714286e-05, 1.00000000e-04]),
'learning_rate': ['optimal', 'constant', 'invscaling'],
'max_iter': array([5, 6, 7, 8, 9])},
pre_dispatch='2*n_jobs', refit=True, return_train_score=False,
scoring='accuracy', verbose=0)

=== Sklearn Grid search: важные атрибуты ===

* <code>best_estimator_</code> — лучшая модель
* <code>best_score_</code> — ошибка, полученная на лучшей модели.
* <code>best_params_</code> — гиперпараметры лучшей модели 

print(grid_cv.best_estimator_) 
Out: SGDClassifier(alpha=4.857142857142857e-05, average=False, class_weight=None, early_stopping=False, epsilon=0.1, eta0=1e-05, fit_intercept=True,
l1_ratio=0.15, learning_rate='optimal', loss='hinge', max_iter=6, n_iter_no_change=5, n_jobs=None, penalty='l2', power_t=0.5,
random_state=0, shuffle=True, tol=0.001, validation_fraction=0.1, verbose=0, warm_start=False)

print(grid_cv.best_score_) 
Out: 0.9099999999999999

print(grid_cv.best_params_) 
Out: {'alpha': 4.857142857142857e-05, 'eta0': 1e-05, 'learning_rate': 'optimal', 'max_iter': 6}

* <code>cv_results_</code> — результаты всех моделей. 

print(grid_cv.cv_results_) 
Out:
{'mean_fit_time': array([0.00209482, 0.00120714, 0.00089645, ..., 0.00109975, 0.00100021,
0.00099928]),
'std_fit_time': array([1.22382854e-03, 6.21233347e-04, 5.32190271e-04, ...,
3.11922473e-04, 1.27400324e-05, 1.94000071e-06]),
'mean_score_time': array([2.00700760e-04, 0.00000000e+00, 2.99715996e-04, ...,
1.99961662e-04, 2.96926498e-04, 9.98973846e-05]),
'std_score_time': array([0.0004014 , 0. , 0.00045782, ..., 0.00039992, 0.00045363,
0.00029969]),
...... }

print(grid_cv.cv_results_['param_max_iter'].data) 
Out: array([5, 6, 7, ..., 7, 8, 9], dtype=object)

=== Реализация Grid search в библеотеках ===
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html scikit-learn]
* [https://github.com/kubeflow/katib Katib]
* [https://tidymodels.github.io/tune/articles/grid.html Tune]
* [https://autonomio.github.io/docs_talos/#grid-search Talos]

== Random grid search ==

=== Основная информация ===

Вместо полного перебора, Random grid search работает с некоторыми, случайным образом выбранными, комбинациями. На основе полученных результатов, происходит сужение области поиска.

Когда random grid search будет гораздо полезнее, чем grid search? В ситуации, когда гиперпараметров много, но сильно влияющих на конечную производительность алгоритма — мало.

=== Реализация Random grid ===

* [https://ray.readthedocs.io/en/latest/tune-searchalg.html#variant-generation-grid-search-random-search Ray]
* [https://github.com/kubeflow/katib Katib]
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.RandomizedSearchCV.html scikit-learn]
* [https://ray.readthedocs.io/en/latest/tune-searchalg.html#variant-generation-grid-search-random-search Tune]
* [https://autonomio.github.io/docs_talos/#models Talos]
* [https://hyperopt.github.io/hyperopt/#algorithms Hyperopt]

== SMBO ==

=== Основная информация ===

SMBO (Sequential Model-Based Optimization) — методы, основанные на байесовской оптимизации

Когда используют SMBO? Когда оптимизация целевой функции будет стоить очень "дорого". Главная идея SMBO — замена целевой функции "суррогатной" функцией.

На каждом шаге работы SMBO:

# Строится вероятностная модель (суррогатная функция) целевой функции.
# Подбираются гиперпараметры, которые лучше всего подходят для вероятностной модели.
# Подобранные гиперпараметры применяются к целевой функции.
# Вероятностная модель перестраивается (обновляется).
# Шаги 2-4 повторяются столько раз, сколько задал пользователь.

Существует четыре ключевые аспекта SMBO:
* Сетка значений гиперпараметров (область поиска).
* Целевая функция (выводит оценку, которую мы хотим минимизировать или максимизировать).
* Вероятностная модель целевой функции (суррогатная функция).
* Критерий, называемый функцией выбора (для выбора следующих гиперпараметры по текущей вероятностной модели).

Методы SMBO отличаются между собой вероятностными моделями и функциями выбора: 
Популярные вероятностные модели (суррогатные функции):
* Gaussian Processes
* Tree Parzen Estimators (TPE)
* Random Forest Regressions

=== TPE ===

==== Основная информация ====
TPE — Tree-structured Parzen Estimator (Древовидная структура Парзена)

Как было написано выше, методы SMBO отличаются тем, как они строят вероятностную модель <math> {p(y|x)} </math>. В случае TPE, используется следующая функция:

<math> p(y) = \frac{p(x|y) * p(y)}{p(x)} </math>

<math> {p(x|y)} </math> — распределение гиперпараметров, <math> y </math> — значение целевой функции, <math> y* </math> — пороговое начение

<math> p(x|y) = \begin{cases}
l(x), & \mbox{if } y < y* \\
g(x), & \mbox{if } y \ge y*
\end{cases}
</math>

В TPE задается два различных распределения гиперпараметров: первое при значениях целевой функции меньших, чем пороговое значение. Второе - при значениях целевой функции больших, чем пороговое значение.

==== Алгоритм ====

# На вход подается список пар (parameters, loss)
# По заданному порогу, происходит разбиение списка на 2 части
# Для каждого списка строится распределение
# Возвращается значение: <math> argmin_{param} \frac{g(param)}{l(param)} </math>

=== SMAC ===

==== Основная информация ====

SMAC использует Random Forest regression и расширяет подходы SMBO:

* Использует дискретные и условные пространства параметров.
* Обрабатывает негауссовский шум.
* Выделяет бюджет на общее время, доступное для настройки алгоритма, а не на количество оценок функций.

=== Реализация ===
* Random Forest Regressions: [https://www.automl.org/automated-algorithm-design/algorithm-configuration/smac/ SMAC]
* Tree Parzen Estimators: [https://hyperopt.github.io/hyperopt/#algorithms Hyperopt]
* Gaussian Processes: [https://devhub.io/repos/automl-spearmint Spearmint], [https://scikit-optimize.github.io/stable/modules/classes.html#module-skopt.optimizer Scikit-optimize]

== Источники ==

* [https://papers.nips.cc/paper/4443-algorithms-for-hyper-parameter-optimization.pdf Algorithms for Hyper-Parameter Optimization]
* [https://www.cs.ubc.ca/~hutter/papers/10-TR-SMAC.pdf Sequential Model-Based Optimization for General Algorithm Configuration]
* [https://www.youtube.com/watch?v=u6MG_UTwiIQ Bayesian optimization]
* [https://www.youtube.com/watch?v=PgJMLpIfIc8 Гауссовские процессы и байесовская оптимизация]
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html GridSearchCV sklearn]

Настройка гиперпараметров

2020-04-23T11:11:57Z

AnneKsatn: /* Основная информация */

== Гиперпараметры ==

Гиперпараметры — параметры, которые не настраиваются во время обучения модели. Пример гиперпараметра — шаг градиентного спуска, он задается перед обучением. Пример параметров — веса градиентного спуска, они изменяются и настраиваются во время обучения.

Для подбора гиперпараметров необходимо разделить датасет на три части:
* training set (тренировочный набор данных, для обучении модели)
* validation set (валидационный набор данных, для расчета ошибки и выбора наилучшей модели)
* test set (тестовый набор данных, для тестирования лучшей модели)

Зачем нам нужен и валидационный, и тестовый набор? Дело в том, что модель может переучиться на валидационном наборе данных. Для выявления переобучения используется тестовый набор данных.

Рассмотрим модель <code>KNeighborsClassifier</code> из библиотеки sklearn. Все “параметры” данной модели (loss, penalty, alpha и т.д), с точки зрения машинного обучения, являются гиперпараметрами, так как задаются до начала обучения.

class sklearn.linear_model.SGDClassifier(loss='hinge', penalty='l2', alpha=0.0001, l1_ratio=0.15, fit_intercept=True, max_iter=1000,
tol=0.001, shuffle=True, verbose=0, epsilon=0.1, n_jobs=None, random_state=None, learning_rate='optimal',
eta0=0.0, power_t=0.5, early_stopping=False, validation_fraction=0.1, n_iter_no_change=5, class_weight=None,
warm_start=False, average=False)

== Grid search ==

=== Общая информация ===

Grid search принимает на вход модель и различные значения гиперпараметров (сетку гиперпараметров). Далее, для каждого возможного сочетания значений гиперпараметров, метод считает ошибку и в конце выбирает сочетание, при котором ошибка минимальна.

=== Sklearn Grid search: использование ===

Пример использования <code>GridSearch</code> из библиотеки scikit-learn:

# Создание экземпляра класса <code>SGDClassifier</code> (из sklearn)
# Создание сетки гиперпараметров. В данном случае будем подбирать коэффициент регуляризации, шаг градиентного спуска, количество итераций и параметр скорости обучения.
# Создание экземпляра класса кросс-валидации
# Создание экземпляра <code>GridSearch</code> (из sklearn). Первый параметр — модель, второй — сетка гиперпараметров, третий — функционал ошибки (используемый для контроля качества моделей по технике кросс-валидации), четвертый — кросс-валидация (можно задать количество фолдов, а можно передать экземпляр класса кросс - валидации)
# Запуск поиска по сетке.

classifier = linear_model.SGDClassifier(random_state = 0, tol=1e-3)

parameters_grid = {
'alpha' : np.linspace(0.00001, 0.0001, 15),
'learning_rate': ['optimal', 'constant', 'invscaling'],
'eta0' : np.linspace(0.00001, 0.0001, 15),
'max_iter' : np.arange(5,10),
}

cv = model_selection.StratifiedShuffleSplit(n_splits=10, test_size = 0.2)
grid_cv = model_selection.GridSearchCV(classifier, parameters_grid, scoring = 'accuracy', cv = cv)
grid_cv.fit(train_data, test_data)

Out:
GridSearchCV(cv=StratifiedShuffleSplit(n_splits=10, random_state=0, test_size=0.2, train_size=None), error_score=nan,
estimator=SGDClassifier(alpha=0.0001, average=False, class_weight=None, early_stopping=False,
epsilon=0.1, eta0=0.0, fit_intercept=True, l1_ratio=0.15, learning_rate='optimal',
loss='hinge', max_iter=1000, n_iter_no_change=5, n_jobs=None,
penalty='l2...
'eta0': array([1.00000000e-05, 1.64285714e-05, 2.28571429e-05, 2.92857143e-05, 3.57142857e-05, 4.21428571e-05, 4.85714286e-05, 5.50000000e-05,
6.14285714e-05, 6.78571429e-05, 7.42857143e-05, 8.07142857e-05, 8.71428571e-05, 9.35714286e-05, 1.00000000e-04]),
'learning_rate': ['optimal', 'constant', 'invscaling'],
'max_iter': array([5, 6, 7, 8, 9])},
pre_dispatch='2*n_jobs', refit=True, return_train_score=False,
scoring='accuracy', verbose=0)

=== Sklearn Grid search: важные атрибуты ===

* <code>best_estimator_</code> — лучшая модель
* <code>best_score_</code> — ошибка, полученная на лучшей модели.
* <code>best_params_</code> — гиперпараметры лучшей модели 

print(grid_cv.best_estimator_) 
Out: SGDClassifier(alpha=4.857142857142857e-05, average=False, class_weight=None, early_stopping=False, epsilon=0.1, eta0=1e-05, fit_intercept=True,
l1_ratio=0.15, learning_rate='optimal', loss='hinge', max_iter=6, n_iter_no_change=5, n_jobs=None, penalty='l2', power_t=0.5,
random_state=0, shuffle=True, tol=0.001, validation_fraction=0.1, verbose=0, warm_start=False)

print(grid_cv.best_score_) 
Out: 0.9099999999999999

print(grid_cv.best_params_) 
Out: {'alpha': 4.857142857142857e-05, 'eta0': 1e-05, 'learning_rate': 'optimal', 'max_iter': 6}

* <code>cv_results_</code> — результаты всех моделей. 

print(grid_cv.cv_results_) 
Out:
{'mean_fit_time': array([0.00209482, 0.00120714, 0.00089645, ..., 0.00109975, 0.00100021,
0.00099928]),
'std_fit_time': array([1.22382854e-03, 6.21233347e-04, 5.32190271e-04, ...,
3.11922473e-04, 1.27400324e-05, 1.94000071e-06]),
'mean_score_time': array([2.00700760e-04, 0.00000000e+00, 2.99715996e-04, ...,
1.99961662e-04, 2.96926498e-04, 9.98973846e-05]),
'std_score_time': array([0.0004014 , 0. , 0.00045782, ..., 0.00039992, 0.00045363,
0.00029969]),
...... }

print(grid_cv.cv_results_['param_max_iter'].data) 
Out: array([5, 6, 7, ..., 7, 8, 9], dtype=object)

=== Реализация Grid search в библеотеках ===
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html scikit-learn]
* [https://github.com/kubeflow/katib Katib]
* [https://tidymodels.github.io/tune/articles/grid.html Tune]
* [https://autonomio.github.io/docs_talos/#grid-search Talos]

== Random grid search ==

=== Основная информация ===

Вместо полного перебора, Random grid search работает с некоторыми, случайным образом выбранными, комбинациями. На основе полученных результатов, происходит сужение области поиска.

Когда random grid search будет гораздо полезнее, чем grid search? В ситуации, когда гиперпараметров много, но сильно влияющих на конечную производительность алгоритма — мало.

=== Реализация Random grid ===

* [https://ray.readthedocs.io/en/latest/tune-searchalg.html#variant-generation-grid-search-random-search Ray]
* [https://github.com/kubeflow/katib Katib]
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.RandomizedSearchCV.html scikit-learn]
* [https://ray.readthedocs.io/en/latest/tune-searchalg.html#variant-generation-grid-search-random-search Tune]
* [https://autonomio.github.io/docs_talos/#models Talos]
* [https://hyperopt.github.io/hyperopt/#algorithms Hyperopt]

== SMBO ==

=== Основная информация ===

SMBO (Sequential Model-Based Optimization) — методы, основанные на байесовской оптимизации

Когда используют SMBO? Когда оптимизация целевой функции будет стоить очень "дорого". Главная идея SMBO — замена целевой функции "суррогатной" функцией.

На каждом шаге работы SMBO:

# Строится вероятностная модель (суррогатная функция) целевой функции.
# Подбираются гиперпараметры, которые лучше всего подходят для вероятностной модели.
# Подобранные гиперпараметры применяются к целевой функции.
# Вероятностная модель перестраивается (обновляется).
# Шаги 2-4 повторяются столько раз, сколько задал пользователь.

Существует четыре ключевые аспекта SMBO:
* Сетка значений гиперпараметров (область поиска).
* Целевая функция (выводит оценку, которую мы хотим минимизировать или максимизировать).
* Вероятностная модель целевой функции (суррогатная функция).
* Критерий, называемый функцией выбора (для выбора следующих гиперпараметры по текущей вероятностной модели).

Методы SMBO отличаются между собой вероятностными моделями и функциями выбора: 
Популярные вероятностные модели (суррогатные функции):
* Gaussian Processes
* Tree Parzen Estimators (TPE)
* Random Forest Regressions

=== TPE ===

==== Основная информация ====
TPE — Tree-structured Parzen Estimator (Древовидная структура Парзена)

Как было написано выше, методы SMBO отличаются тем, как они строят вероятностную модель <math> {p(y|x)} </math>. В случае TPE, используется следующая функция:

<math> p(y) = \frac{p(x|y) * p(y)}{p(x)} </math>

<math> {p(x|y)} </math> — распределение гиперпараметров, <math> y </math> — значение целевой функции, <math> y* </math> — пороговое начение

<math> p(x|y) = \begin{cases}
l(x), & \mbox{if } y < y* \\
g(x), & \mbox{if } y \ge y*
\end{cases}
</math>

В TPE задается два различных распределения гиперпараметров: первое при значениях целевой функции меньших, чем пороговое значение. Второе - при значениях целевой функции больших, чем пороговое значение.

==== Алгоритм ====

# На вход подается список пар (parameters, loss)
# По заданному порогу, происходит разбиение списка на 2 части
# Для каждого списка строится распределение
# Возвращается значение: <math> argmin_{param} \frac{g(param)}{l(param)} </math>

=== SMAC ===

==== Основная информация ====

SMAC использует Random Forest regression и расширяет подходы SMBO:

* Использует дискретные и условные пространства параметров.
* Обрабатывает негауссовский шум.
* Выделяет бюджет на общее время, доступное для настройки алгоритма, а не на количество оценок функций.

=== Реализация ===
* Random Forest Regressions: [https://www.automl.org/automated-algorithm-design/algorithm-configuration/smac/ SMAC]
* Tree Parzen Estimators: [https://hyperopt.github.io/hyperopt/#algorithms Hyperopt]
* Gaussian Processes: [https://devhub.io/repos/automl-spearmint Spearmint], [https://scikit-optimize.github.io/stable/modules/classes.html#module-skopt.optimizer Scikit-optimize]

== Источники ==

* [https://papers.nips.cc/paper/4443-algorithms-for-hyper-parameter-optimization.pdf Algorithms for Hyper-Parameter Optimization]
* [https://www.youtube.com/watch?v=u6MG_UTwiIQ Bayesian optimization]
* [https://www.youtube.com/watch?v=PgJMLpIfIc8 Гауссовские процессы и байесовская оптимизация]
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html GridSearchCV sklearn]

Настройка гиперпараметров

2020-04-23T11:11:21Z

AnneKsatn: /* Алгоритм */

== Гиперпараметры ==

Гиперпараметры — параметры, которые не настраиваются во время обучения модели. Пример гиперпараметра — шаг градиентного спуска, он задается перед обучением. Пример параметров — веса градиентного спуска, они изменяются и настраиваются во время обучения.

Для подбора гиперпараметров необходимо разделить датасет на три части:
* training set (тренировочный набор данных, для обучении модели)
* validation set (валидационный набор данных, для расчета ошибки и выбора наилучшей модели)
* test set (тестовый набор данных, для тестирования лучшей модели)

Зачем нам нужен и валидационный, и тестовый набор? Дело в том, что модель может переучиться на валидационном наборе данных. Для выявления переобучения используется тестовый набор данных.

Рассмотрим модель <code>KNeighborsClassifier</code> из библиотеки sklearn. Все “параметры” данной модели (loss, penalty, alpha и т.д), с точки зрения машинного обучения, являются гиперпараметрами, так как задаются до начала обучения.

class sklearn.linear_model.SGDClassifier(loss='hinge', penalty='l2', alpha=0.0001, l1_ratio=0.15, fit_intercept=True, max_iter=1000,
tol=0.001, shuffle=True, verbose=0, epsilon=0.1, n_jobs=None, random_state=None, learning_rate='optimal',
eta0=0.0, power_t=0.5, early_stopping=False, validation_fraction=0.1, n_iter_no_change=5, class_weight=None,
warm_start=False, average=False)

== Grid search ==

=== Общая информация ===

Grid search принимает на вход модель и различные значения гиперпараметров (сетку гиперпараметров). Далее, для каждого возможного сочетания значений гиперпараметров, метод считает ошибку и в конце выбирает сочетание, при котором ошибка минимальна.

=== Sklearn Grid search: использование ===

Пример использования <code>GridSearch</code> из библиотеки scikit-learn:

# Создание экземпляра класса <code>SGDClassifier</code> (из sklearn)
# Создание сетки гиперпараметров. В данном случае будем подбирать коэффициент регуляризации, шаг градиентного спуска, количество итераций и параметр скорости обучения.
# Создание экземпляра класса кросс-валидации
# Создание экземпляра <code>GridSearch</code> (из sklearn). Первый параметр — модель, второй — сетка гиперпараметров, третий — функционал ошибки (используемый для контроля качества моделей по технике кросс-валидации), четвертый — кросс-валидация (можно задать количество фолдов, а можно передать экземпляр класса кросс - валидации)
# Запуск поиска по сетке.

classifier = linear_model.SGDClassifier(random_state = 0, tol=1e-3)

parameters_grid = {
'alpha' : np.linspace(0.00001, 0.0001, 15),
'learning_rate': ['optimal', 'constant', 'invscaling'],
'eta0' : np.linspace(0.00001, 0.0001, 15),
'max_iter' : np.arange(5,10),
}

cv = model_selection.StratifiedShuffleSplit(n_splits=10, test_size = 0.2)
grid_cv = model_selection.GridSearchCV(classifier, parameters_grid, scoring = 'accuracy', cv = cv)
grid_cv.fit(train_data, test_data)

Out:
GridSearchCV(cv=StratifiedShuffleSplit(n_splits=10, random_state=0, test_size=0.2, train_size=None), error_score=nan,
estimator=SGDClassifier(alpha=0.0001, average=False, class_weight=None, early_stopping=False,
epsilon=0.1, eta0=0.0, fit_intercept=True, l1_ratio=0.15, learning_rate='optimal',
loss='hinge', max_iter=1000, n_iter_no_change=5, n_jobs=None,
penalty='l2...
'eta0': array([1.00000000e-05, 1.64285714e-05, 2.28571429e-05, 2.92857143e-05, 3.57142857e-05, 4.21428571e-05, 4.85714286e-05, 5.50000000e-05,
6.14285714e-05, 6.78571429e-05, 7.42857143e-05, 8.07142857e-05, 8.71428571e-05, 9.35714286e-05, 1.00000000e-04]),
'learning_rate': ['optimal', 'constant', 'invscaling'],
'max_iter': array([5, 6, 7, 8, 9])},
pre_dispatch='2*n_jobs', refit=True, return_train_score=False,
scoring='accuracy', verbose=0)

=== Sklearn Grid search: важные атрибуты ===

* <code>best_estimator_</code> — лучшая модель
* <code>best_score_</code> — ошибка, полученная на лучшей модели.
* <code>best_params_</code> — гиперпараметры лучшей модели 

print(grid_cv.best_estimator_) 
Out: SGDClassifier(alpha=4.857142857142857e-05, average=False, class_weight=None, early_stopping=False, epsilon=0.1, eta0=1e-05, fit_intercept=True,
l1_ratio=0.15, learning_rate='optimal', loss='hinge', max_iter=6, n_iter_no_change=5, n_jobs=None, penalty='l2', power_t=0.5,
random_state=0, shuffle=True, tol=0.001, validation_fraction=0.1, verbose=0, warm_start=False)

print(grid_cv.best_score_) 
Out: 0.9099999999999999

print(grid_cv.best_params_) 
Out: {'alpha': 4.857142857142857e-05, 'eta0': 1e-05, 'learning_rate': 'optimal', 'max_iter': 6}

* <code>cv_results_</code> — результаты всех моделей. 

print(grid_cv.cv_results_) 
Out:
{'mean_fit_time': array([0.00209482, 0.00120714, 0.00089645, ..., 0.00109975, 0.00100021,
0.00099928]),
'std_fit_time': array([1.22382854e-03, 6.21233347e-04, 5.32190271e-04, ...,
3.11922473e-04, 1.27400324e-05, 1.94000071e-06]),
'mean_score_time': array([2.00700760e-04, 0.00000000e+00, 2.99715996e-04, ...,
1.99961662e-04, 2.96926498e-04, 9.98973846e-05]),
'std_score_time': array([0.0004014 , 0. , 0.00045782, ..., 0.00039992, 0.00045363,
0.00029969]),
...... }

print(grid_cv.cv_results_['param_max_iter'].data) 
Out: array([5, 6, 7, ..., 7, 8, 9], dtype=object)

=== Реализация Grid search в библеотеках ===
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html scikit-learn]
* [https://github.com/kubeflow/katib Katib]
* [https://tidymodels.github.io/tune/articles/grid.html Tune]
* [https://autonomio.github.io/docs_talos/#grid-search Talos]

== Random grid search ==

=== Основная информация ===

Вместо полного перебора, Random grid search работает с некоторыми, случайным образом выбранными, комбинациями. На основе полученных результатов, происходит сужение области поиска.

Когда random grid search будет гораздо полезнее, чем grid search? В ситуации, когда гиперпараметров много, но сильно влияющих на конечную производительность алгоритма — мало.

=== Реализация Random grid ===

* [https://ray.readthedocs.io/en/latest/tune-searchalg.html#variant-generation-grid-search-random-search Ray]
* [https://github.com/kubeflow/katib Katib]
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.RandomizedSearchCV.html scikit-learn]
* [https://ray.readthedocs.io/en/latest/tune-searchalg.html#variant-generation-grid-search-random-search Tune]
* [https://autonomio.github.io/docs_talos/#models Talos]
* [https://hyperopt.github.io/hyperopt/#algorithms Hyperopt]

== SMBO ==

=== Основная информация ===

SMBO (Sequential Model-Based Optimization) — методы, основанные на байесовской оптимизации

Когда используют SMBO? Когда оптимизация целевой функции будет стоить очень "дорого". Главная идея SMBO — замена целевой функции "суррогатной" функцией.

На каждом шаге работы SMBO:

# Строится вероятностная модель (суррогатная функция) целевой функции.
# Подбираются гиперпараметры, которые лучше всего подходят для вероятностной модели.
# Подобранные гиперпараметры применяются к целевой функции.
# Вероятностная модель перестраивается (обновляется).
# Шаги 2-4 повторяются столько раз, сколько задал пользователь.

Существует четыре ключевые аспекта SMBO:
* Сетка значений гиперпараметров (область поиска).
* Целевая функция (выводит оценку, которую мы хотим минимизировать или максимизировать).
* Вероятностная модель целевой функции (суррогатная функция).
* Критерий, называемый функцией выбора (для выбора следующих гиперпараметры по текущей вероятностной модели).

Методы SMBO отличаются между собой вероятностными моделями и функциями выбора: 
Популярные вероятностные модели (суррогатные функции):
* Gaussian Processes
* Tree Parzen Estimators (TPE)
* Random Forest Regressions

=== TPE ===

==== Основная информация ====
TPE — Tree-structured Parzen Estimator (Древовидная структура Парзена)

Как было написано выше, методы SMBO отличаются тем, как они строят вероятностную модель <math> {p(y|x)} </math>. В случае TPE, используется следующая функция:

<math> p(y) = \frac{p(x|y) * p(y)}{p(x)} </math>

<math> {p(x|y)} </math> — распределение гиперпараметров, <math> y </math> — значение целевой функции, <math> y* </math> — пороговое начение

<math> p(x|y) = \begin{cases}
l(x), & \mbox{if } y < y* \\
g(x), & \mbox{if } y \ge y*
\end{cases}
</math>

В TPE задается два различных распределения гиперпараметров: первое при значениях целевой функции меньших, чем пороговое значение. Второе - при значений целевой функции больших, чем пороговое значение.

==== Алгоритм ====

# На вход подается список пар (parameters, loss)
# По заданному порогу, происходит разбиение списка на 2 части
# Для каждого списка строится распределение
# Возвращается значение: <math> argmin_{param} \frac{g(param)}{l(param)} </math>

=== SMAC ===

==== Основная информация ====

SMAC использует Random Forest regression и расширяет подходы SMBO:

* Использует дискретные и условные пространства параметров.
* Обрабатывает негауссовский шум.
* Выделяет бюджет на общее время, доступное для настройки алгоритма, а не на количество оценок функций.

=== Реализация ===
* Random Forest Regressions: [https://www.automl.org/automated-algorithm-design/algorithm-configuration/smac/ SMAC]
* Tree Parzen Estimators: [https://hyperopt.github.io/hyperopt/#algorithms Hyperopt]
* Gaussian Processes: [https://devhub.io/repos/automl-spearmint Spearmint], [https://scikit-optimize.github.io/stable/modules/classes.html#module-skopt.optimizer Scikit-optimize]

== Источники ==

* [https://papers.nips.cc/paper/4443-algorithms-for-hyper-parameter-optimization.pdf Algorithms for Hyper-Parameter Optimization]
* [https://www.youtube.com/watch?v=u6MG_UTwiIQ Bayesian optimization]
* [https://www.youtube.com/watch?v=PgJMLpIfIc8 Гауссовские процессы и байесовская оптимизация]
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html GridSearchCV sklearn]

Настройка гиперпараметров

2020-04-23T11:11:04Z

AnneKsatn: /* Алгоритм */

== Гиперпараметры ==

Гиперпараметры — параметры, которые не настраиваются во время обучения модели. Пример гиперпараметра — шаг градиентного спуска, он задается перед обучением. Пример параметров — веса градиентного спуска, они изменяются и настраиваются во время обучения.

Для подбора гиперпараметров необходимо разделить датасет на три части:
* training set (тренировочный набор данных, для обучении модели)
* validation set (валидационный набор данных, для расчета ошибки и выбора наилучшей модели)
* test set (тестовый набор данных, для тестирования лучшей модели)

Зачем нам нужен и валидационный, и тестовый набор? Дело в том, что модель может переучиться на валидационном наборе данных. Для выявления переобучения используется тестовый набор данных.

Рассмотрим модель <code>KNeighborsClassifier</code> из библиотеки sklearn. Все “параметры” данной модели (loss, penalty, alpha и т.д), с точки зрения машинного обучения, являются гиперпараметрами, так как задаются до начала обучения.

class sklearn.linear_model.SGDClassifier(loss='hinge', penalty='l2', alpha=0.0001, l1_ratio=0.15, fit_intercept=True, max_iter=1000,
tol=0.001, shuffle=True, verbose=0, epsilon=0.1, n_jobs=None, random_state=None, learning_rate='optimal',
eta0=0.0, power_t=0.5, early_stopping=False, validation_fraction=0.1, n_iter_no_change=5, class_weight=None,
warm_start=False, average=False)

== Grid search ==

=== Общая информация ===

Grid search принимает на вход модель и различные значения гиперпараметров (сетку гиперпараметров). Далее, для каждого возможного сочетания значений гиперпараметров, метод считает ошибку и в конце выбирает сочетание, при котором ошибка минимальна.

=== Sklearn Grid search: использование ===

Пример использования <code>GridSearch</code> из библиотеки scikit-learn:

# Создание экземпляра класса <code>SGDClassifier</code> (из sklearn)
# Создание сетки гиперпараметров. В данном случае будем подбирать коэффициент регуляризации, шаг градиентного спуска, количество итераций и параметр скорости обучения.
# Создание экземпляра класса кросс-валидации
# Создание экземпляра <code>GridSearch</code> (из sklearn). Первый параметр — модель, второй — сетка гиперпараметров, третий — функционал ошибки (используемый для контроля качества моделей по технике кросс-валидации), четвертый — кросс-валидация (можно задать количество фолдов, а можно передать экземпляр класса кросс - валидации)
# Запуск поиска по сетке.

classifier = linear_model.SGDClassifier(random_state = 0, tol=1e-3)

parameters_grid = {
'alpha' : np.linspace(0.00001, 0.0001, 15),
'learning_rate': ['optimal', 'constant', 'invscaling'],
'eta0' : np.linspace(0.00001, 0.0001, 15),
'max_iter' : np.arange(5,10),
}

cv = model_selection.StratifiedShuffleSplit(n_splits=10, test_size = 0.2)
grid_cv = model_selection.GridSearchCV(classifier, parameters_grid, scoring = 'accuracy', cv = cv)
grid_cv.fit(train_data, test_data)

Out:
GridSearchCV(cv=StratifiedShuffleSplit(n_splits=10, random_state=0, test_size=0.2, train_size=None), error_score=nan,
estimator=SGDClassifier(alpha=0.0001, average=False, class_weight=None, early_stopping=False,
epsilon=0.1, eta0=0.0, fit_intercept=True, l1_ratio=0.15, learning_rate='optimal',
loss='hinge', max_iter=1000, n_iter_no_change=5, n_jobs=None,
penalty='l2...
'eta0': array([1.00000000e-05, 1.64285714e-05, 2.28571429e-05, 2.92857143e-05, 3.57142857e-05, 4.21428571e-05, 4.85714286e-05, 5.50000000e-05,
6.14285714e-05, 6.78571429e-05, 7.42857143e-05, 8.07142857e-05, 8.71428571e-05, 9.35714286e-05, 1.00000000e-04]),
'learning_rate': ['optimal', 'constant', 'invscaling'],
'max_iter': array([5, 6, 7, 8, 9])},
pre_dispatch='2*n_jobs', refit=True, return_train_score=False,
scoring='accuracy', verbose=0)

=== Sklearn Grid search: важные атрибуты ===

* <code>best_estimator_</code> — лучшая модель
* <code>best_score_</code> — ошибка, полученная на лучшей модели.
* <code>best_params_</code> — гиперпараметры лучшей модели 

print(grid_cv.best_estimator_) 
Out: SGDClassifier(alpha=4.857142857142857e-05, average=False, class_weight=None, early_stopping=False, epsilon=0.1, eta0=1e-05, fit_intercept=True,
l1_ratio=0.15, learning_rate='optimal', loss='hinge', max_iter=6, n_iter_no_change=5, n_jobs=None, penalty='l2', power_t=0.5,
random_state=0, shuffle=True, tol=0.001, validation_fraction=0.1, verbose=0, warm_start=False)

print(grid_cv.best_score_) 
Out: 0.9099999999999999

print(grid_cv.best_params_) 
Out: {'alpha': 4.857142857142857e-05, 'eta0': 1e-05, 'learning_rate': 'optimal', 'max_iter': 6}

* <code>cv_results_</code> — результаты всех моделей. 

print(grid_cv.cv_results_) 
Out:
{'mean_fit_time': array([0.00209482, 0.00120714, 0.00089645, ..., 0.00109975, 0.00100021,
0.00099928]),
'std_fit_time': array([1.22382854e-03, 6.21233347e-04, 5.32190271e-04, ...,
3.11922473e-04, 1.27400324e-05, 1.94000071e-06]),
'mean_score_time': array([2.00700760e-04, 0.00000000e+00, 2.99715996e-04, ...,
1.99961662e-04, 2.96926498e-04, 9.98973846e-05]),
'std_score_time': array([0.0004014 , 0. , 0.00045782, ..., 0.00039992, 0.00045363,
0.00029969]),
...... }

print(grid_cv.cv_results_['param_max_iter'].data) 
Out: array([5, 6, 7, ..., 7, 8, 9], dtype=object)

=== Реализация Grid search в библеотеках ===
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html scikit-learn]
* [https://github.com/kubeflow/katib Katib]
* [https://tidymodels.github.io/tune/articles/grid.html Tune]
* [https://autonomio.github.io/docs_talos/#grid-search Talos]

== Random grid search ==

=== Основная информация ===

Вместо полного перебора, Random grid search работает с некоторыми, случайным образом выбранными, комбинациями. На основе полученных результатов, происходит сужение области поиска.

Когда random grid search будет гораздо полезнее, чем grid search? В ситуации, когда гиперпараметров много, но сильно влияющих на конечную производительность алгоритма — мало.

=== Реализация Random grid ===

* [https://ray.readthedocs.io/en/latest/tune-searchalg.html#variant-generation-grid-search-random-search Ray]
* [https://github.com/kubeflow/katib Katib]
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.RandomizedSearchCV.html scikit-learn]
* [https://ray.readthedocs.io/en/latest/tune-searchalg.html#variant-generation-grid-search-random-search Tune]
* [https://autonomio.github.io/docs_talos/#models Talos]
* [https://hyperopt.github.io/hyperopt/#algorithms Hyperopt]

== SMBO ==

=== Основная информация ===

SMBO (Sequential Model-Based Optimization) — методы, основанные на байесовской оптимизации

Когда используют SMBO? Когда оптимизация целевой функции будет стоить очень "дорого". Главная идея SMBO — замена целевой функции "суррогатной" функцией.

На каждом шаге работы SMBO:

# Строится вероятностная модель (суррогатная функция) целевой функции.
# Подбираются гиперпараметры, которые лучше всего подходят для вероятностной модели.
# Подобранные гиперпараметры применяются к целевой функции.
# Вероятностная модель перестраивается (обновляется).
# Шаги 2-4 повторяются столько раз, сколько задал пользователь.

Существует четыре ключевые аспекта SMBO:
* Сетка значений гиперпараметров (область поиска).
* Целевая функция (выводит оценку, которую мы хотим минимизировать или максимизировать).
* Вероятностная модель целевой функции (суррогатная функция).
* Критерий, называемый функцией выбора (для выбора следующих гиперпараметры по текущей вероятностной модели).

Методы SMBO отличаются между собой вероятностными моделями и функциями выбора: 
Популярные вероятностные модели (суррогатные функции):
* Gaussian Processes
* Tree Parzen Estimators (TPE)
* Random Forest Regressions

=== TPE ===

==== Основная информация ====
TPE — Tree-structured Parzen Estimator (Древовидная структура Парзена)

Как было написано выше, методы SMBO отличаются тем, как они строят вероятностную модель <math> {p(y|x)} </math>. В случае TPE, используется следующая функция:

<math> p(y) = \frac{p(x|y) * p(y)}{p(x)} </math>

<math> {p(x|y)} </math> — распределение гиперпараметров, <math> y </math> — значение целевой функции, <math> y* </math> — пороговое начение

<math> p(x|y) = \begin{cases}
l(x), & \mbox{if } y < y* \\
g(x), & \mbox{if } y \ge y*
\end{cases}
</math>

В TPE задается два различных распределения гиперпараметров: первое при значениях целевой функции меньших, чем пороговое значение. Второе - при значений целевой функции больших, чем пороговое значение.

==== Алгоритм ====

# На вход подается список пар (parameters, loss)
# По заданному порогу, происходит разбиение списка на 2 части
# Для каждого списка строится распределение
# Возвращается значение: argmin_{param} \frac{g(param)}{l(param)} </math>

=== SMAC ===

==== Основная информация ====

SMAC использует Random Forest regression и расширяет подходы SMBO:

* Использует дискретные и условные пространства параметров.
* Обрабатывает негауссовский шум.
* Выделяет бюджет на общее время, доступное для настройки алгоритма, а не на количество оценок функций.

=== Реализация ===
* Random Forest Regressions: [https://www.automl.org/automated-algorithm-design/algorithm-configuration/smac/ SMAC]
* Tree Parzen Estimators: [https://hyperopt.github.io/hyperopt/#algorithms Hyperopt]
* Gaussian Processes: [https://devhub.io/repos/automl-spearmint Spearmint], [https://scikit-optimize.github.io/stable/modules/classes.html#module-skopt.optimizer Scikit-optimize]

== Источники ==

* [https://papers.nips.cc/paper/4443-algorithms-for-hyper-parameter-optimization.pdf Algorithms for Hyper-Parameter Optimization]
* [https://www.youtube.com/watch?v=u6MG_UTwiIQ Bayesian optimization]
* [https://www.youtube.com/watch?v=PgJMLpIfIc8 Гауссовские процессы и байесовская оптимизация]
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html GridSearchCV sklearn]

Настройка гиперпараметров

2020-04-23T11:10:37Z

AnneKsatn: /* Основная информация */

== Гиперпараметры ==

Гиперпараметры — параметры, которые не настраиваются во время обучения модели. Пример гиперпараметра — шаг градиентного спуска, он задается перед обучением. Пример параметров — веса градиентного спуска, они изменяются и настраиваются во время обучения.

Для подбора гиперпараметров необходимо разделить датасет на три части:
* training set (тренировочный набор данных, для обучении модели)
* validation set (валидационный набор данных, для расчета ошибки и выбора наилучшей модели)
* test set (тестовый набор данных, для тестирования лучшей модели)

Зачем нам нужен и валидационный, и тестовый набор? Дело в том, что модель может переучиться на валидационном наборе данных. Для выявления переобучения используется тестовый набор данных.

Рассмотрим модель <code>KNeighborsClassifier</code> из библиотеки sklearn. Все “параметры” данной модели (loss, penalty, alpha и т.д), с точки зрения машинного обучения, являются гиперпараметрами, так как задаются до начала обучения.

class sklearn.linear_model.SGDClassifier(loss='hinge', penalty='l2', alpha=0.0001, l1_ratio=0.15, fit_intercept=True, max_iter=1000,
tol=0.001, shuffle=True, verbose=0, epsilon=0.1, n_jobs=None, random_state=None, learning_rate='optimal',
eta0=0.0, power_t=0.5, early_stopping=False, validation_fraction=0.1, n_iter_no_change=5, class_weight=None,
warm_start=False, average=False)

== Grid search ==

=== Общая информация ===

Grid search принимает на вход модель и различные значения гиперпараметров (сетку гиперпараметров). Далее, для каждого возможного сочетания значений гиперпараметров, метод считает ошибку и в конце выбирает сочетание, при котором ошибка минимальна.

=== Sklearn Grid search: использование ===

Пример использования <code>GridSearch</code> из библиотеки scikit-learn:

# Создание экземпляра класса <code>SGDClassifier</code> (из sklearn)
# Создание сетки гиперпараметров. В данном случае будем подбирать коэффициент регуляризации, шаг градиентного спуска, количество итераций и параметр скорости обучения.
# Создание экземпляра класса кросс-валидации
# Создание экземпляра <code>GridSearch</code> (из sklearn). Первый параметр — модель, второй — сетка гиперпараметров, третий — функционал ошибки (используемый для контроля качества моделей по технике кросс-валидации), четвертый — кросс-валидация (можно задать количество фолдов, а можно передать экземпляр класса кросс - валидации)
# Запуск поиска по сетке.

classifier = linear_model.SGDClassifier(random_state = 0, tol=1e-3)

parameters_grid = {
'alpha' : np.linspace(0.00001, 0.0001, 15),
'learning_rate': ['optimal', 'constant', 'invscaling'],
'eta0' : np.linspace(0.00001, 0.0001, 15),
'max_iter' : np.arange(5,10),
}

cv = model_selection.StratifiedShuffleSplit(n_splits=10, test_size = 0.2)
grid_cv = model_selection.GridSearchCV(classifier, parameters_grid, scoring = 'accuracy', cv = cv)
grid_cv.fit(train_data, test_data)

Out:
GridSearchCV(cv=StratifiedShuffleSplit(n_splits=10, random_state=0, test_size=0.2, train_size=None), error_score=nan,
estimator=SGDClassifier(alpha=0.0001, average=False, class_weight=None, early_stopping=False,
epsilon=0.1, eta0=0.0, fit_intercept=True, l1_ratio=0.15, learning_rate='optimal',
loss='hinge', max_iter=1000, n_iter_no_change=5, n_jobs=None,
penalty='l2...
'eta0': array([1.00000000e-05, 1.64285714e-05, 2.28571429e-05, 2.92857143e-05, 3.57142857e-05, 4.21428571e-05, 4.85714286e-05, 5.50000000e-05,
6.14285714e-05, 6.78571429e-05, 7.42857143e-05, 8.07142857e-05, 8.71428571e-05, 9.35714286e-05, 1.00000000e-04]),
'learning_rate': ['optimal', 'constant', 'invscaling'],
'max_iter': array([5, 6, 7, 8, 9])},
pre_dispatch='2*n_jobs', refit=True, return_train_score=False,
scoring='accuracy', verbose=0)

=== Sklearn Grid search: важные атрибуты ===

* <code>best_estimator_</code> — лучшая модель
* <code>best_score_</code> — ошибка, полученная на лучшей модели.
* <code>best_params_</code> — гиперпараметры лучшей модели 

print(grid_cv.best_estimator_) 
Out: SGDClassifier(alpha=4.857142857142857e-05, average=False, class_weight=None, early_stopping=False, epsilon=0.1, eta0=1e-05, fit_intercept=True,
l1_ratio=0.15, learning_rate='optimal', loss='hinge', max_iter=6, n_iter_no_change=5, n_jobs=None, penalty='l2', power_t=0.5,
random_state=0, shuffle=True, tol=0.001, validation_fraction=0.1, verbose=0, warm_start=False)

print(grid_cv.best_score_) 
Out: 0.9099999999999999

print(grid_cv.best_params_) 
Out: {'alpha': 4.857142857142857e-05, 'eta0': 1e-05, 'learning_rate': 'optimal', 'max_iter': 6}

* <code>cv_results_</code> — результаты всех моделей. 

print(grid_cv.cv_results_) 
Out:
{'mean_fit_time': array([0.00209482, 0.00120714, 0.00089645, ..., 0.00109975, 0.00100021,
0.00099928]),
'std_fit_time': array([1.22382854e-03, 6.21233347e-04, 5.32190271e-04, ...,
3.11922473e-04, 1.27400324e-05, 1.94000071e-06]),
'mean_score_time': array([2.00700760e-04, 0.00000000e+00, 2.99715996e-04, ...,
1.99961662e-04, 2.96926498e-04, 9.98973846e-05]),
'std_score_time': array([0.0004014 , 0. , 0.00045782, ..., 0.00039992, 0.00045363,
0.00029969]),
...... }

print(grid_cv.cv_results_['param_max_iter'].data) 
Out: array([5, 6, 7, ..., 7, 8, 9], dtype=object)

=== Реализация Grid search в библеотеках ===
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html scikit-learn]
* [https://github.com/kubeflow/katib Katib]
* [https://tidymodels.github.io/tune/articles/grid.html Tune]
* [https://autonomio.github.io/docs_talos/#grid-search Talos]

== Random grid search ==

=== Основная информация ===

Вместо полного перебора, Random grid search работает с некоторыми, случайным образом выбранными, комбинациями. На основе полученных результатов, происходит сужение области поиска.

Когда random grid search будет гораздо полезнее, чем grid search? В ситуации, когда гиперпараметров много, но сильно влияющих на конечную производительность алгоритма — мало.

=== Реализация Random grid ===

* [https://ray.readthedocs.io/en/latest/tune-searchalg.html#variant-generation-grid-search-random-search Ray]
* [https://github.com/kubeflow/katib Katib]
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.RandomizedSearchCV.html scikit-learn]
* [https://ray.readthedocs.io/en/latest/tune-searchalg.html#variant-generation-grid-search-random-search Tune]
* [https://autonomio.github.io/docs_talos/#models Talos]
* [https://hyperopt.github.io/hyperopt/#algorithms Hyperopt]

== SMBO ==

=== Основная информация ===

SMBO (Sequential Model-Based Optimization) — методы, основанные на байесовской оптимизации

Когда используют SMBO? Когда оптимизация целевой функции будет стоить очень "дорого". Главная идея SMBO — замена целевой функции "суррогатной" функцией.

На каждом шаге работы SMBO:

# Строится вероятностная модель (суррогатная функция) целевой функции.
# Подбираются гиперпараметры, которые лучше всего подходят для вероятностной модели.
# Подобранные гиперпараметры применяются к целевой функции.
# Вероятностная модель перестраивается (обновляется).
# Шаги 2-4 повторяются столько раз, сколько задал пользователь.

Существует четыре ключевые аспекта SMBO:
* Сетка значений гиперпараметров (область поиска).
* Целевая функция (выводит оценку, которую мы хотим минимизировать или максимизировать).
* Вероятностная модель целевой функции (суррогатная функция).
* Критерий, называемый функцией выбора (для выбора следующих гиперпараметры по текущей вероятностной модели).

Методы SMBO отличаются между собой вероятностными моделями и функциями выбора: 
Популярные вероятностные модели (суррогатные функции):
* Gaussian Processes
* Tree Parzen Estimators (TPE)
* Random Forest Regressions

=== TPE ===

==== Основная информация ====
TPE — Tree-structured Parzen Estimator (Древовидная структура Парзена)

Как было написано выше, методы SMBO отличаются тем, как они строят вероятностную модель <math> {p(y|x)} </math>. В случае TPE, используется следующая функция:

<math> p(y) = \frac{p(x|y) * p(y)}{p(x)} </math>

<math> {p(x|y)} </math> — распределение гиперпараметров, <math> y </math> — значение целевой функции, <math> y* </math> — пороговое начение

<math> p(x|y) = \begin{cases}
l(x), & \mbox{if } y < y* \\
g(x), & \mbox{if } y \ge y*
\end{cases}
</math>

В TPE задается два различных распределения гиперпараметров: первое при значениях целевой функции меньших, чем пороговое значение. Второе - при значений целевой функции больших, чем пороговое значение.

==== Алгоритм ====

# На вход подается список пар (parameters, loss)
# По заданному порогу, происходит разбиение списка на 2 части
# Для каждого списка строится распределение
# <math> \mbox{ Return }argmin_{param} \frac{g(param)}{l(param)} </math>

=== SMAC ===

==== Основная информация ====

SMAC использует Random Forest regression и расширяет подходы SMBO:

* Использует дискретные и условные пространства параметров.
* Обрабатывает негауссовский шум.
* Выделяет бюджет на общее время, доступное для настройки алгоритма, а не на количество оценок функций.

=== Реализация ===
* Random Forest Regressions: [https://www.automl.org/automated-algorithm-design/algorithm-configuration/smac/ SMAC]
* Tree Parzen Estimators: [https://hyperopt.github.io/hyperopt/#algorithms Hyperopt]
* Gaussian Processes: [https://devhub.io/repos/automl-spearmint Spearmint], [https://scikit-optimize.github.io/stable/modules/classes.html#module-skopt.optimizer Scikit-optimize]

== Источники ==

* [https://papers.nips.cc/paper/4443-algorithms-for-hyper-parameter-optimization.pdf Algorithms for Hyper-Parameter Optimization]
* [https://www.youtube.com/watch?v=u6MG_UTwiIQ Bayesian optimization]
* [https://www.youtube.com/watch?v=PgJMLpIfIc8 Гауссовские процессы и байесовская оптимизация]
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html GridSearchCV sklearn]

Настройка гиперпараметров

2020-04-23T10:54:55Z

AnneKsatn: /* Основная информация */

== Гиперпараметры ==

Гиперпараметры — параметры, которые не настраиваются во время обучения модели. Пример гиперпараметра — шаг градиентного спуска, он задается перед обучением. Пример параметров — веса градиентного спуска, они изменяются и настраиваются во время обучения.

Для подбора гиперпараметров необходимо разделить датасет на три части:
* training set (тренировочный набор данных, для обучении модели)
* validation set (валидационный набор данных, для расчета ошибки и выбора наилучшей модели)
* test set (тестовый набор данных, для тестирования лучшей модели)

Зачем нам нужен и валидационный, и тестовый набор? Дело в том, что модель может переучиться на валидационном наборе данных. Для выявления переобучения используется тестовый набор данных.

Рассмотрим модель <code>KNeighborsClassifier</code> из библиотеки sklearn. Все “параметры” данной модели (loss, penalty, alpha и т.д), с точки зрения машинного обучения, являются гиперпараметрами, так как задаются до начала обучения.

class sklearn.linear_model.SGDClassifier(loss='hinge', penalty='l2', alpha=0.0001, l1_ratio=0.15, fit_intercept=True, max_iter=1000,
tol=0.001, shuffle=True, verbose=0, epsilon=0.1, n_jobs=None, random_state=None, learning_rate='optimal',
eta0=0.0, power_t=0.5, early_stopping=False, validation_fraction=0.1, n_iter_no_change=5, class_weight=None,
warm_start=False, average=False)

== Grid search ==

=== Общая информация ===

Grid search принимает на вход модель и различные значения гиперпараметров (сетку гиперпараметров). Далее, для каждого возможного сочетания значений гиперпараметров, метод считает ошибку и в конце выбирает сочетание, при котором ошибка минимальна.

=== Sklearn Grid search: использование ===

Пример использования <code>GridSearch</code> из библиотеки scikit-learn:

# Создание экземпляра класса <code>SGDClassifier</code> (из sklearn)
# Создание сетки гиперпараметров. В данном случае будем подбирать коэффициент регуляризации, шаг градиентного спуска, количество итераций и параметр скорости обучения.
# Создание экземпляра класса кросс-валидации
# Создание экземпляра <code>GridSearch</code> (из sklearn). Первый параметр — модель, второй — сетка гиперпараметров, третий — функционал ошибки (используемый для контроля качества моделей по технике кросс-валидации), четвертый — кросс-валидация (можно задать количество фолдов, а можно передать экземпляр класса кросс - валидации)
# Запуск поиска по сетке.

classifier = linear_model.SGDClassifier(random_state = 0, tol=1e-3)

parameters_grid = {
'alpha' : np.linspace(0.00001, 0.0001, 15),
'learning_rate': ['optimal', 'constant', 'invscaling'],
'eta0' : np.linspace(0.00001, 0.0001, 15),
'max_iter' : np.arange(5,10),
}

cv = model_selection.StratifiedShuffleSplit(n_splits=10, test_size = 0.2)
grid_cv = model_selection.GridSearchCV(classifier, parameters_grid, scoring = 'accuracy', cv = cv)
grid_cv.fit(train_data, test_data)

Out:
GridSearchCV(cv=StratifiedShuffleSplit(n_splits=10, random_state=0, test_size=0.2, train_size=None), error_score=nan,
estimator=SGDClassifier(alpha=0.0001, average=False, class_weight=None, early_stopping=False,
epsilon=0.1, eta0=0.0, fit_intercept=True, l1_ratio=0.15, learning_rate='optimal',
loss='hinge', max_iter=1000, n_iter_no_change=5, n_jobs=None,
penalty='l2...
'eta0': array([1.00000000e-05, 1.64285714e-05, 2.28571429e-05, 2.92857143e-05, 3.57142857e-05, 4.21428571e-05, 4.85714286e-05, 5.50000000e-05,
6.14285714e-05, 6.78571429e-05, 7.42857143e-05, 8.07142857e-05, 8.71428571e-05, 9.35714286e-05, 1.00000000e-04]),
'learning_rate': ['optimal', 'constant', 'invscaling'],
'max_iter': array([5, 6, 7, 8, 9])},
pre_dispatch='2*n_jobs', refit=True, return_train_score=False,
scoring='accuracy', verbose=0)

=== Sklearn Grid search: важные атрибуты ===

* <code>best_estimator_</code> — лучшая модель
* <code>best_score_</code> — ошибка, полученная на лучшей модели.
* <code>best_params_</code> — гиперпараметры лучшей модели 

print(grid_cv.best_estimator_) 
Out: SGDClassifier(alpha=4.857142857142857e-05, average=False, class_weight=None, early_stopping=False, epsilon=0.1, eta0=1e-05, fit_intercept=True,
l1_ratio=0.15, learning_rate='optimal', loss='hinge', max_iter=6, n_iter_no_change=5, n_jobs=None, penalty='l2', power_t=0.5,
random_state=0, shuffle=True, tol=0.001, validation_fraction=0.1, verbose=0, warm_start=False)

print(grid_cv.best_score_) 
Out: 0.9099999999999999

print(grid_cv.best_params_) 
Out: {'alpha': 4.857142857142857e-05, 'eta0': 1e-05, 'learning_rate': 'optimal', 'max_iter': 6}

* <code>cv_results_</code> — результаты всех моделей. 

print(grid_cv.cv_results_) 
Out:
{'mean_fit_time': array([0.00209482, 0.00120714, 0.00089645, ..., 0.00109975, 0.00100021,
0.00099928]),
'std_fit_time': array([1.22382854e-03, 6.21233347e-04, 5.32190271e-04, ...,
3.11922473e-04, 1.27400324e-05, 1.94000071e-06]),
'mean_score_time': array([2.00700760e-04, 0.00000000e+00, 2.99715996e-04, ...,
1.99961662e-04, 2.96926498e-04, 9.98973846e-05]),
'std_score_time': array([0.0004014 , 0. , 0.00045782, ..., 0.00039992, 0.00045363,
0.00029969]),
...... }

print(grid_cv.cv_results_['param_max_iter'].data) 
Out: array([5, 6, 7, ..., 7, 8, 9], dtype=object)

=== Реализация Grid search в библеотеках ===
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html scikit-learn]
* [https://github.com/kubeflow/katib Katib]
* [https://tidymodels.github.io/tune/articles/grid.html Tune]
* [https://autonomio.github.io/docs_talos/#grid-search Talos]

== Random grid search ==

=== Основная информация ===

Вместо полного перебора, Random grid search работает с некоторыми, случайным образом выбранными, комбинациями. На основе полученных результатов, происходит сужение области поиска.

Когда random grid search будет гораздо полезнее, чем grid search? В ситуации, когда гиперпараметров много, но сильно влияющих на конечную производительность алгоритма — мало.

=== Реализация Random grid ===

* [https://ray.readthedocs.io/en/latest/tune-searchalg.html#variant-generation-grid-search-random-search Ray]
* [https://github.com/kubeflow/katib Katib]
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.RandomizedSearchCV.html scikit-learn]
* [https://ray.readthedocs.io/en/latest/tune-searchalg.html#variant-generation-grid-search-random-search Tune]
* [https://autonomio.github.io/docs_talos/#models Talos]
* [https://hyperopt.github.io/hyperopt/#algorithms Hyperopt]

== SMBO ==

=== Основная информация ===

SMBO (Sequential Model-Based Optimization) — методы, основанные на байесовской оптимизации

Когда используют SMBO? Когда оптимизация целевой функции будет стоить очень "дорого". Главная идея SMBO — замена целевой функции "суррогатной" функцией.

На каждом шаге работы SMBO:

# Строится вероятностная модель (суррогатная функция) целевой функции.
# Подбираются гиперпараметры, которые лучше всего подходят для вероятностной модели.
# Подобранные гиперпараметры применяются к целевой функции.
# Вероятностная модель перестраивается (обновляется).
# Шаги 2-4 повторяются столько раз, сколько задал пользователь.

Существует четыре ключевые аспекта SMBO:
* Сетка значений гиперпараметров (область поиска).
* Целевая функция (выводит оценку, которую мы хотим минимизировать или максимизировать).
* Вероятностная модель целевой функции (суррогатная функция).
* Критерий, называемый функцией выбора (для выбора следующих гиперпараметры по текущей вероятностной модели).

Методы SMBO отличаются между собой вероятностными моделями и функциями выбора: 
Популярные вероятностные модели (суррогатные функции):
* Gaussian Processes
* Tree Parzen Estimators (TPE)
* Random Forest Regressions

=== TPE ===

==== Основная информация ====
TPE — Tree-structured Parzen Estimator (Древовидная структура Парзена)

Как было написано выше, методы SMBO отличаются тем, как они строят вероятностную модель <math> {p(y|x)} </math>. В случае TPE, используется следующая функция:

<math> p(y) = \frac{p(x|y) * p(y)}{p(x)} </math>

<math> {p(x|y)} </math> — распределение гиперпараметров, <math> y </math> — значение целевой функции, <math> y* </math> — пороговое начение

<math> p(x|y) = \begin{cases}
l(x), & \mbox{if } y < y* \\
g(x), & \mbox{if } y \ge y*
\end{cases}
</math>

=== SMAC ===

==== Основная информация ====

SMAC использует Random Forest regression и расширяет подходы SMBO:

* Использует дискретные и условные пространства параметров.
* Обрабатывает негауссовский шум.
* Выделяет бюджет на общее время, доступное для настройки алгоритма, а не на количество оценок функций.

=== Реализация ===
* Random Forest Regressions: [https://www.automl.org/automated-algorithm-design/algorithm-configuration/smac/ SMAC]
* Tree Parzen Estimators: [https://hyperopt.github.io/hyperopt/#algorithms Hyperopt]
* Gaussian Processes: [https://devhub.io/repos/automl-spearmint Spearmint], [https://scikit-optimize.github.io/stable/modules/classes.html#module-skopt.optimizer Scikit-optimize]

== Источники ==

* [https://papers.nips.cc/paper/4443-algorithms-for-hyper-parameter-optimization.pdf Algorithms for Hyper-Parameter Optimization]
* [https://www.youtube.com/watch?v=u6MG_UTwiIQ Bayesian optimization]
* [https://www.youtube.com/watch?v=PgJMLpIfIc8 Гауссовские процессы и байесовская оптимизация]
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html GridSearchCV sklearn]

Настройка гиперпараметров

2020-04-23T10:53:02Z

AnneKsatn: /* Основная информация */

== Гиперпараметры ==

Гиперпараметры — параметры, которые не настраиваются во время обучения модели. Пример гиперпараметра — шаг градиентного спуска, он задается перед обучением. Пример параметров — веса градиентного спуска, они изменяются и настраиваются во время обучения.

Для подбора гиперпараметров необходимо разделить датасет на три части:
* training set (тренировочный набор данных, для обучении модели)
* validation set (валидационный набор данных, для расчета ошибки и выбора наилучшей модели)
* test set (тестовый набор данных, для тестирования лучшей модели)

Зачем нам нужен и валидационный, и тестовый набор? Дело в том, что модель может переучиться на валидационном наборе данных. Для выявления переобучения используется тестовый набор данных.

Рассмотрим модель <code>KNeighborsClassifier</code> из библиотеки sklearn. Все “параметры” данной модели (loss, penalty, alpha и т.д), с точки зрения машинного обучения, являются гиперпараметрами, так как задаются до начала обучения.

class sklearn.linear_model.SGDClassifier(loss='hinge', penalty='l2', alpha=0.0001, l1_ratio=0.15, fit_intercept=True, max_iter=1000,
tol=0.001, shuffle=True, verbose=0, epsilon=0.1, n_jobs=None, random_state=None, learning_rate='optimal',
eta0=0.0, power_t=0.5, early_stopping=False, validation_fraction=0.1, n_iter_no_change=5, class_weight=None,
warm_start=False, average=False)

== Grid search ==

=== Общая информация ===

Grid search принимает на вход модель и различные значения гиперпараметров (сетку гиперпараметров). Далее, для каждого возможного сочетания значений гиперпараметров, метод считает ошибку и в конце выбирает сочетание, при котором ошибка минимальна.

=== Sklearn Grid search: использование ===

Пример использования <code>GridSearch</code> из библиотеки scikit-learn:

# Создание экземпляра класса <code>SGDClassifier</code> (из sklearn)
# Создание сетки гиперпараметров. В данном случае будем подбирать коэффициент регуляризации, шаг градиентного спуска, количество итераций и параметр скорости обучения.
# Создание экземпляра класса кросс-валидации
# Создание экземпляра <code>GridSearch</code> (из sklearn). Первый параметр — модель, второй — сетка гиперпараметров, третий — функционал ошибки (используемый для контроля качества моделей по технике кросс-валидации), четвертый — кросс-валидация (можно задать количество фолдов, а можно передать экземпляр класса кросс - валидации)
# Запуск поиска по сетке.

classifier = linear_model.SGDClassifier(random_state = 0, tol=1e-3)

parameters_grid = {
'alpha' : np.linspace(0.00001, 0.0001, 15),
'learning_rate': ['optimal', 'constant', 'invscaling'],
'eta0' : np.linspace(0.00001, 0.0001, 15),
'max_iter' : np.arange(5,10),
}

cv = model_selection.StratifiedShuffleSplit(n_splits=10, test_size = 0.2)
grid_cv = model_selection.GridSearchCV(classifier, parameters_grid, scoring = 'accuracy', cv = cv)
grid_cv.fit(train_data, test_data)

Out:
GridSearchCV(cv=StratifiedShuffleSplit(n_splits=10, random_state=0, test_size=0.2, train_size=None), error_score=nan,
estimator=SGDClassifier(alpha=0.0001, average=False, class_weight=None, early_stopping=False,
epsilon=0.1, eta0=0.0, fit_intercept=True, l1_ratio=0.15, learning_rate='optimal',
loss='hinge', max_iter=1000, n_iter_no_change=5, n_jobs=None,
penalty='l2...
'eta0': array([1.00000000e-05, 1.64285714e-05, 2.28571429e-05, 2.92857143e-05, 3.57142857e-05, 4.21428571e-05, 4.85714286e-05, 5.50000000e-05,
6.14285714e-05, 6.78571429e-05, 7.42857143e-05, 8.07142857e-05, 8.71428571e-05, 9.35714286e-05, 1.00000000e-04]),
'learning_rate': ['optimal', 'constant', 'invscaling'],
'max_iter': array([5, 6, 7, 8, 9])},
pre_dispatch='2*n_jobs', refit=True, return_train_score=False,
scoring='accuracy', verbose=0)

=== Sklearn Grid search: важные атрибуты ===

* <code>best_estimator_</code> — лучшая модель
* <code>best_score_</code> — ошибка, полученная на лучшей модели.
* <code>best_params_</code> — гиперпараметры лучшей модели 

print(grid_cv.best_estimator_) 
Out: SGDClassifier(alpha=4.857142857142857e-05, average=False, class_weight=None, early_stopping=False, epsilon=0.1, eta0=1e-05, fit_intercept=True,
l1_ratio=0.15, learning_rate='optimal', loss='hinge', max_iter=6, n_iter_no_change=5, n_jobs=None, penalty='l2', power_t=0.5,
random_state=0, shuffle=True, tol=0.001, validation_fraction=0.1, verbose=0, warm_start=False)

print(grid_cv.best_score_) 
Out: 0.9099999999999999

print(grid_cv.best_params_) 
Out: {'alpha': 4.857142857142857e-05, 'eta0': 1e-05, 'learning_rate': 'optimal', 'max_iter': 6}

* <code>cv_results_</code> — результаты всех моделей. 

print(grid_cv.cv_results_) 
Out:
{'mean_fit_time': array([0.00209482, 0.00120714, 0.00089645, ..., 0.00109975, 0.00100021,
0.00099928]),
'std_fit_time': array([1.22382854e-03, 6.21233347e-04, 5.32190271e-04, ...,
3.11922473e-04, 1.27400324e-05, 1.94000071e-06]),
'mean_score_time': array([2.00700760e-04, 0.00000000e+00, 2.99715996e-04, ...,
1.99961662e-04, 2.96926498e-04, 9.98973846e-05]),
'std_score_time': array([0.0004014 , 0. , 0.00045782, ..., 0.00039992, 0.00045363,
0.00029969]),
...... }

print(grid_cv.cv_results_['param_max_iter'].data) 
Out: array([5, 6, 7, ..., 7, 8, 9], dtype=object)

=== Реализация Grid search в библеотеках ===
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html scikit-learn]
* [https://github.com/kubeflow/katib Katib]
* [https://tidymodels.github.io/tune/articles/grid.html Tune]
* [https://autonomio.github.io/docs_talos/#grid-search Talos]

== Random grid search ==

=== Основная информация ===

Вместо полного перебора, Random grid search работает с некоторыми, случайным образом выбранными, комбинациями. На основе полученных результатов, происходит сужение области поиска.

Когда random grid search будет гораздо полезнее, чем grid search? В ситуации, когда гиперпараметров много, но сильно влияющих на конечную производительность алгоритма — мало.

=== Реализация Random grid ===

* [https://ray.readthedocs.io/en/latest/tune-searchalg.html#variant-generation-grid-search-random-search Ray]
* [https://github.com/kubeflow/katib Katib]
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.RandomizedSearchCV.html scikit-learn]
* [https://ray.readthedocs.io/en/latest/tune-searchalg.html#variant-generation-grid-search-random-search Tune]
* [https://autonomio.github.io/docs_talos/#models Talos]
* [https://hyperopt.github.io/hyperopt/#algorithms Hyperopt]

== SMBO ==

=== Основная информация ===

SMBO (Sequential Model-Based Optimization) — методы, основанные на байесовской оптимизации

Когда используют SMBO? Когда оптимизация целевой функции будет стоить очень "дорого". Главная идея SMBO — замена целевой функции "суррогатной" функцией.

На каждом шаге работы SMBO:

# Строится вероятностная модель (суррогатная функция) целевой функции.
# Подбираются гиперпараметры, которые лучше всего подходят для вероятностной модели.
# Подобранные гиперпараметры применяются к целевой функции.
# Вероятностная модель перестраивается (обновляется).
# Шаги 2-4 повторяются столько раз, сколько задал пользователь.

Существует четыре ключевые аспекта SMBO:
* Сетка значений гиперпараметров (область поиска).
* Целевая функция (выводит оценку, которую мы хотим минимизировать или максимизировать).
* Вероятностная модель целевой функции (суррогатная функция).
* Критерий, называемый функцией выбора (для выбора следующих гиперпараметры по текущей вероятностной модели).

Методы SMBO отличаются между собой вероятностными моделями и функциями выбора: 
Популярные вероятностные модели (суррогатные функции):
* Gaussian Processes
* Tree Parzen Estimators (TPE)
* Random Forest Regressions

=== TPE ===

==== Основная информация ====
TPE — Tree-structured Parzen Estimator (Древовидная структура Парзена)

Как было написано выше, методы SMBO отличаются тем, как они строят вероятностную модель <math> {p(y|x)} </math>. В случае TPE, используется следующая функция:

<math> p(y) = \frac{p(x|y) * p(y)}{p(x)} </math>

<math> {p(x|y)} </math> — распределение гиперпараметров.

<math> p(x|y) = \begin{cases}
l(x), & \mbox{if } y < y* \\
g(x), & \mbox{if } y \ge y*
\end{cases}
</math>

=== SMAC ===

==== Основная информация ====

SMAC использует Random Forest regression и расширяет подходы SMBO:

* Использует дискретные и условные пространства параметров.
* Обрабатывает негауссовский шум.
* Выделяет бюджет на общее время, доступное для настройки алгоритма, а не на количество оценок функций.

=== Реализация ===
* Random Forest Regressions: [https://www.automl.org/automated-algorithm-design/algorithm-configuration/smac/ SMAC]
* Tree Parzen Estimators: [https://hyperopt.github.io/hyperopt/#algorithms Hyperopt]
* Gaussian Processes: [https://devhub.io/repos/automl-spearmint Spearmint], [https://scikit-optimize.github.io/stable/modules/classes.html#module-skopt.optimizer Scikit-optimize]

== Источники ==

* [https://papers.nips.cc/paper/4443-algorithms-for-hyper-parameter-optimization.pdf Algorithms for Hyper-Parameter Optimization]
* [https://www.youtube.com/watch?v=u6MG_UTwiIQ Bayesian optimization]
* [https://www.youtube.com/watch?v=PgJMLpIfIc8 Гауссовские процессы и байесовская оптимизация]
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html GridSearchCV sklearn]

Настройка гиперпараметров

2020-04-23T10:50:49Z

AnneKsatn: /* Основная информация */

== Гиперпараметры ==

Гиперпараметры — параметры, которые не настраиваются во время обучения модели. Пример гиперпараметра — шаг градиентного спуска, он задается перед обучением. Пример параметров — веса градиентного спуска, они изменяются и настраиваются во время обучения.

Для подбора гиперпараметров необходимо разделить датасет на три части:
* training set (тренировочный набор данных, для обучении модели)
* validation set (валидационный набор данных, для расчета ошибки и выбора наилучшей модели)
* test set (тестовый набор данных, для тестирования лучшей модели)

Зачем нам нужен и валидационный, и тестовый набор? Дело в том, что модель может переучиться на валидационном наборе данных. Для выявления переобучения используется тестовый набор данных.

Рассмотрим модель <code>KNeighborsClassifier</code> из библиотеки sklearn. Все “параметры” данной модели (loss, penalty, alpha и т.д), с точки зрения машинного обучения, являются гиперпараметрами, так как задаются до начала обучения.

class sklearn.linear_model.SGDClassifier(loss='hinge', penalty='l2', alpha=0.0001, l1_ratio=0.15, fit_intercept=True, max_iter=1000,
tol=0.001, shuffle=True, verbose=0, epsilon=0.1, n_jobs=None, random_state=None, learning_rate='optimal',
eta0=0.0, power_t=0.5, early_stopping=False, validation_fraction=0.1, n_iter_no_change=5, class_weight=None,
warm_start=False, average=False)

== Grid search ==

=== Общая информация ===

Grid search принимает на вход модель и различные значения гиперпараметров (сетку гиперпараметров). Далее, для каждого возможного сочетания значений гиперпараметров, метод считает ошибку и в конце выбирает сочетание, при котором ошибка минимальна.

=== Sklearn Grid search: использование ===

Пример использования <code>GridSearch</code> из библиотеки scikit-learn:

# Создание экземпляра класса <code>SGDClassifier</code> (из sklearn)
# Создание сетки гиперпараметров. В данном случае будем подбирать коэффициент регуляризации, шаг градиентного спуска, количество итераций и параметр скорости обучения.
# Создание экземпляра класса кросс-валидации
# Создание экземпляра <code>GridSearch</code> (из sklearn). Первый параметр — модель, второй — сетка гиперпараметров, третий — функционал ошибки (используемый для контроля качества моделей по технике кросс-валидации), четвертый — кросс-валидация (можно задать количество фолдов, а можно передать экземпляр класса кросс - валидации)
# Запуск поиска по сетке.

classifier = linear_model.SGDClassifier(random_state = 0, tol=1e-3)

parameters_grid = {
'alpha' : np.linspace(0.00001, 0.0001, 15),
'learning_rate': ['optimal', 'constant', 'invscaling'],
'eta0' : np.linspace(0.00001, 0.0001, 15),
'max_iter' : np.arange(5,10),
}

cv = model_selection.StratifiedShuffleSplit(n_splits=10, test_size = 0.2)
grid_cv = model_selection.GridSearchCV(classifier, parameters_grid, scoring = 'accuracy', cv = cv)
grid_cv.fit(train_data, test_data)

Out:
GridSearchCV(cv=StratifiedShuffleSplit(n_splits=10, random_state=0, test_size=0.2, train_size=None), error_score=nan,
estimator=SGDClassifier(alpha=0.0001, average=False, class_weight=None, early_stopping=False,
epsilon=0.1, eta0=0.0, fit_intercept=True, l1_ratio=0.15, learning_rate='optimal',
loss='hinge', max_iter=1000, n_iter_no_change=5, n_jobs=None,
penalty='l2...
'eta0': array([1.00000000e-05, 1.64285714e-05, 2.28571429e-05, 2.92857143e-05, 3.57142857e-05, 4.21428571e-05, 4.85714286e-05, 5.50000000e-05,
6.14285714e-05, 6.78571429e-05, 7.42857143e-05, 8.07142857e-05, 8.71428571e-05, 9.35714286e-05, 1.00000000e-04]),
'learning_rate': ['optimal', 'constant', 'invscaling'],
'max_iter': array([5, 6, 7, 8, 9])},
pre_dispatch='2*n_jobs', refit=True, return_train_score=False,
scoring='accuracy', verbose=0)

=== Sklearn Grid search: важные атрибуты ===

* <code>best_estimator_</code> — лучшая модель
* <code>best_score_</code> — ошибка, полученная на лучшей модели.
* <code>best_params_</code> — гиперпараметры лучшей модели 

print(grid_cv.best_estimator_) 
Out: SGDClassifier(alpha=4.857142857142857e-05, average=False, class_weight=None, early_stopping=False, epsilon=0.1, eta0=1e-05, fit_intercept=True,
l1_ratio=0.15, learning_rate='optimal', loss='hinge', max_iter=6, n_iter_no_change=5, n_jobs=None, penalty='l2', power_t=0.5,
random_state=0, shuffle=True, tol=0.001, validation_fraction=0.1, verbose=0, warm_start=False)

print(grid_cv.best_score_) 
Out: 0.9099999999999999

print(grid_cv.best_params_) 
Out: {'alpha': 4.857142857142857e-05, 'eta0': 1e-05, 'learning_rate': 'optimal', 'max_iter': 6}

* <code>cv_results_</code> — результаты всех моделей. 

print(grid_cv.cv_results_) 
Out:
{'mean_fit_time': array([0.00209482, 0.00120714, 0.00089645, ..., 0.00109975, 0.00100021,
0.00099928]),
'std_fit_time': array([1.22382854e-03, 6.21233347e-04, 5.32190271e-04, ...,
3.11922473e-04, 1.27400324e-05, 1.94000071e-06]),
'mean_score_time': array([2.00700760e-04, 0.00000000e+00, 2.99715996e-04, ...,
1.99961662e-04, 2.96926498e-04, 9.98973846e-05]),
'std_score_time': array([0.0004014 , 0. , 0.00045782, ..., 0.00039992, 0.00045363,
0.00029969]),
...... }

print(grid_cv.cv_results_['param_max_iter'].data) 
Out: array([5, 6, 7, ..., 7, 8, 9], dtype=object)

=== Реализация Grid search в библеотеках ===
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html scikit-learn]
* [https://github.com/kubeflow/katib Katib]
* [https://tidymodels.github.io/tune/articles/grid.html Tune]
* [https://autonomio.github.io/docs_talos/#grid-search Talos]

== Random grid search ==

=== Основная информация ===

Вместо полного перебора, Random grid search работает с некоторыми, случайным образом выбранными, комбинациями. На основе полученных результатов, происходит сужение области поиска.

Когда random grid search будет гораздо полезнее, чем grid search? В ситуации, когда гиперпараметров много, но сильно влияющих на конечную производительность алгоритма — мало.

=== Реализация Random grid ===

* [https://ray.readthedocs.io/en/latest/tune-searchalg.html#variant-generation-grid-search-random-search Ray]
* [https://github.com/kubeflow/katib Katib]
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.RandomizedSearchCV.html scikit-learn]
* [https://ray.readthedocs.io/en/latest/tune-searchalg.html#variant-generation-grid-search-random-search Tune]
* [https://autonomio.github.io/docs_talos/#models Talos]
* [https://hyperopt.github.io/hyperopt/#algorithms Hyperopt]

== SMBO ==

=== Основная информация ===

SMBO (Sequential Model-Based Optimization) — методы, основанные на байесовской оптимизации

Когда используют SMBO? Когда оптимизация целевой функции будет стоить очень "дорого". Главная идея SMBO — замена целевой функции "суррогатной" функцией.

На каждом шаге работы SMBO:

# Строится вероятностная модель (суррогатная функция) целевой функции.
# Подбираются гиперпараметры, которые лучше всего подходят для вероятностной модели.
# Подобранные гиперпараметры применяются к целевой функции.
# Вероятностная модель перестраивается (обновляется).
# Шаги 2-4 повторяются столько раз, сколько задал пользователь.

Существует четыре ключевые аспекта SMBO:
* Сетка значений гиперпараметров (область поиска).
* Целевая функция (выводит оценку, которую мы хотим минимизировать или максимизировать).
* Вероятностная модель целевой функции (суррогатная функция).
* Критерий, называемый функцией выбора (для выбора следующих гиперпараметры по текущей вероятностной модели).

Методы SMBO отличаются между собой вероятностными моделями и функциями выбора: 
Популярные вероятностные модели (суррогатные функции):
* Gaussian Processes
* Tree Parzen Estimators (TPE)
* Random Forest Regressions

=== TPE ===

==== Основная информация ====
TPE — Tree-structured Parzen Estimator (Древовидная структура Парзена)

Как было написано выше, методы SMBO отличаются тем, как они строят вероятностную модель <math> {p(y|x)} </math>. В случае TPE, используется следующая функция:

<math> p(y) = \frac{p(x|y) * p(y)}{p(x)} </math>

<math> {p(x|y)} </math> — распределение гиперпараметров.

<math> p(x|y) = \begin{cases}
l(x), & \mbox{if } n \mbox{ is even} \\
g(x), & \mbox{if } n \mbox{ is odd}
\end{cases}
</math>

=== SMAC ===

==== Основная информация ====

SMAC использует Random Forest regression и расширяет подходы SMBO:

* Использует дискретные и условные пространства параметров.
* Обрабатывает негауссовский шум.
* Выделяет бюджет на общее время, доступное для настройки алгоритма, а не на количество оценок функций.

=== Реализация ===
* Random Forest Regressions: [https://www.automl.org/automated-algorithm-design/algorithm-configuration/smac/ SMAC]
* Tree Parzen Estimators: [https://hyperopt.github.io/hyperopt/#algorithms Hyperopt]
* Gaussian Processes: [https://devhub.io/repos/automl-spearmint Spearmint], [https://scikit-optimize.github.io/stable/modules/classes.html#module-skopt.optimizer Scikit-optimize]

== Источники ==

* [https://papers.nips.cc/paper/4443-algorithms-for-hyper-parameter-optimization.pdf Algorithms for Hyper-Parameter Optimization]
* [https://www.youtube.com/watch?v=u6MG_UTwiIQ Bayesian optimization]
* [https://www.youtube.com/watch?v=PgJMLpIfIc8 Гауссовские процессы и байесовская оптимизация]
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html GridSearchCV sklearn]

Настройка гиперпараметров

2020-04-23T10:35:28Z

AnneKsatn: /* Источники */

== Гиперпараметры ==

Гиперпараметры — параметры, которые не настраиваются во время обучения модели. Пример гиперпараметра — шаг градиентного спуска, он задается перед обучением. Пример параметров — веса градиентного спуска, они изменяются и настраиваются во время обучения.

Для подбора гиперпараметров необходимо разделить датасет на три части:
* training set (тренировочный набор данных, для обучении модели)
* validation set (валидационный набор данных, для расчета ошибки и выбора наилучшей модели)
* test set (тестовый набор данных, для тестирования лучшей модели)

Зачем нам нужен и валидационный, и тестовый набор? Дело в том, что модель может переучиться на валидационном наборе данных. Для выявления переобучения используется тестовый набор данных.

Рассмотрим модель <code>KNeighborsClassifier</code> из библиотеки sklearn. Все “параметры” данной модели (loss, penalty, alpha и т.д), с точки зрения машинного обучения, являются гиперпараметрами, так как задаются до начала обучения.

class sklearn.linear_model.SGDClassifier(loss='hinge', penalty='l2', alpha=0.0001, l1_ratio=0.15, fit_intercept=True, max_iter=1000,
tol=0.001, shuffle=True, verbose=0, epsilon=0.1, n_jobs=None, random_state=None, learning_rate='optimal',
eta0=0.0, power_t=0.5, early_stopping=False, validation_fraction=0.1, n_iter_no_change=5, class_weight=None,
warm_start=False, average=False)

== Grid search ==

=== Общая информация ===

Grid search принимает на вход модель и различные значения гиперпараметров (сетку гиперпараметров). Далее, для каждого возможного сочетания значений гиперпараметров, метод считает ошибку и в конце выбирает сочетание, при котором ошибка минимальна.

=== Sklearn Grid search: использование ===

Пример использования <code>GridSearch</code> из библиотеки scikit-learn:

# Создание экземпляра класса <code>SGDClassifier</code> (из sklearn)
# Создание сетки гиперпараметров. В данном случае будем подбирать коэффициент регуляризации, шаг градиентного спуска, количество итераций и параметр скорости обучения.
# Создание экземпляра класса кросс-валидации
# Создание экземпляра <code>GridSearch</code> (из sklearn). Первый параметр — модель, второй — сетка гиперпараметров, третий — функционал ошибки (используемый для контроля качества моделей по технике кросс-валидации), четвертый — кросс-валидация (можно задать количество фолдов, а можно передать экземпляр класса кросс - валидации)
# Запуск поиска по сетке.

classifier = linear_model.SGDClassifier(random_state = 0, tol=1e-3)

parameters_grid = {
'alpha' : np.linspace(0.00001, 0.0001, 15),
'learning_rate': ['optimal', 'constant', 'invscaling'],
'eta0' : np.linspace(0.00001, 0.0001, 15),
'max_iter' : np.arange(5,10),
}

cv = model_selection.StratifiedShuffleSplit(n_splits=10, test_size = 0.2)
grid_cv = model_selection.GridSearchCV(classifier, parameters_grid, scoring = 'accuracy', cv = cv)
grid_cv.fit(train_data, test_data)

Out:
GridSearchCV(cv=StratifiedShuffleSplit(n_splits=10, random_state=0, test_size=0.2, train_size=None), error_score=nan,
estimator=SGDClassifier(alpha=0.0001, average=False, class_weight=None, early_stopping=False,
epsilon=0.1, eta0=0.0, fit_intercept=True, l1_ratio=0.15, learning_rate='optimal',
loss='hinge', max_iter=1000, n_iter_no_change=5, n_jobs=None,
penalty='l2...
'eta0': array([1.00000000e-05, 1.64285714e-05, 2.28571429e-05, 2.92857143e-05, 3.57142857e-05, 4.21428571e-05, 4.85714286e-05, 5.50000000e-05,
6.14285714e-05, 6.78571429e-05, 7.42857143e-05, 8.07142857e-05, 8.71428571e-05, 9.35714286e-05, 1.00000000e-04]),
'learning_rate': ['optimal', 'constant', 'invscaling'],
'max_iter': array([5, 6, 7, 8, 9])},
pre_dispatch='2*n_jobs', refit=True, return_train_score=False,
scoring='accuracy', verbose=0)

=== Sklearn Grid search: важные атрибуты ===

* <code>best_estimator_</code> — лучшая модель
* <code>best_score_</code> — ошибка, полученная на лучшей модели.
* <code>best_params_</code> — гиперпараметры лучшей модели 

print(grid_cv.best_estimator_) 
Out: SGDClassifier(alpha=4.857142857142857e-05, average=False, class_weight=None, early_stopping=False, epsilon=0.1, eta0=1e-05, fit_intercept=True,
l1_ratio=0.15, learning_rate='optimal', loss='hinge', max_iter=6, n_iter_no_change=5, n_jobs=None, penalty='l2', power_t=0.5,
random_state=0, shuffle=True, tol=0.001, validation_fraction=0.1, verbose=0, warm_start=False)

print(grid_cv.best_score_) 
Out: 0.9099999999999999

print(grid_cv.best_params_) 
Out: {'alpha': 4.857142857142857e-05, 'eta0': 1e-05, 'learning_rate': 'optimal', 'max_iter': 6}

* <code>cv_results_</code> — результаты всех моделей. 

print(grid_cv.cv_results_) 
Out:
{'mean_fit_time': array([0.00209482, 0.00120714, 0.00089645, ..., 0.00109975, 0.00100021,
0.00099928]),
'std_fit_time': array([1.22382854e-03, 6.21233347e-04, 5.32190271e-04, ...,
3.11922473e-04, 1.27400324e-05, 1.94000071e-06]),
'mean_score_time': array([2.00700760e-04, 0.00000000e+00, 2.99715996e-04, ...,
1.99961662e-04, 2.96926498e-04, 9.98973846e-05]),
'std_score_time': array([0.0004014 , 0. , 0.00045782, ..., 0.00039992, 0.00045363,
0.00029969]),
...... }

print(grid_cv.cv_results_['param_max_iter'].data) 
Out: array([5, 6, 7, ..., 7, 8, 9], dtype=object)

=== Реализация Grid search в библеотеках ===
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html scikit-learn]
* [https://github.com/kubeflow/katib Katib]
* [https://tidymodels.github.io/tune/articles/grid.html Tune]
* [https://autonomio.github.io/docs_talos/#grid-search Talos]

== Random grid search ==

=== Основная информация ===

Вместо полного перебора, Random grid search работает с некоторыми, случайным образом выбранными, комбинациями. На основе полученных результатов, происходит сужение области поиска.

Когда random grid search будет гораздо полезнее, чем grid search? В ситуации, когда гиперпараметров много, но сильно влияющих на конечную производительность алгоритма — мало.

=== Реализация Random grid ===

* [https://ray.readthedocs.io/en/latest/tune-searchalg.html#variant-generation-grid-search-random-search Ray]
* [https://github.com/kubeflow/katib Katib]
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.RandomizedSearchCV.html scikit-learn]
* [https://ray.readthedocs.io/en/latest/tune-searchalg.html#variant-generation-grid-search-random-search Tune]
* [https://autonomio.github.io/docs_talos/#models Talos]
* [https://hyperopt.github.io/hyperopt/#algorithms Hyperopt]

== SMBO ==

=== Основная информация ===

SMBO (Sequential Model-Based Optimization) — методы, основанные на байесовской оптимизации

Когда используют SMBO? Когда оптимизация целевой функции будет стоить очень "дорого". Главная идея SMBO — замена целевой функции "суррогатной" функцией.

На каждом шаге работы SMBO:

# Строится вероятностная модель (суррогатная функция) целевой функции.
# Подбираются гиперпараметры, которые лучше всего подходят для вероятностной модели.
# Подобранные гиперпараметры применяются к целевой функции.
# Вероятностная модель перестраивается (обновляется).
# Шаги 2-4 повторяются столько раз, сколько задал пользователь.

Существует четыре ключевые аспекта SMBO:
* Сетка значений гиперпараметров (область поиска).
* Целевая функция (выводит оценку, которую мы хотим минимизировать или максимизировать).
* Вероятностная модель целевой функции (суррогатная функция).
* Критерий, называемый функцией выбора (для выбора следующих гиперпараметры по текущей вероятностной модели).

Методы SMBO отличаются между собой вероятностными моделями и функциями выбора: 
Популярные вероятностные модели (суррогатные функции):
* Gaussian Processes
* Tree Parzen Estimators (TPE)
* Random Forest Regressions

=== TPE ===

==== Основная информация ====
TPE — Tree-structured Parzen Estimator (Древовидная структура Парзена)

Как было написано выше, методы SMBO отличаются тем, как они строят вероятностную модель <math> {p(y|x)} </math>. В случае TPE, используется следующая функция:

<math> p(y) = \frac{p(x|y) * p(y)}{p(x)} </math>

<math> {p(x|y)} </math> — распределение гиперпараметров.

=== SMAC ===

==== Основная информация ====

SMAC использует Random Forest regression и расширяет подходы SMBO:

* Использует дискретные и условные пространства параметров.
* Обрабатывает негауссовский шум.
* Выделяет бюджет на общее время, доступное для настройки алгоритма, а не на количество оценок функций.

=== Реализация ===
* Random Forest Regressions: [https://www.automl.org/automated-algorithm-design/algorithm-configuration/smac/ SMAC]
* Tree Parzen Estimators: [https://hyperopt.github.io/hyperopt/#algorithms Hyperopt]
* Gaussian Processes: [https://devhub.io/repos/automl-spearmint Spearmint], [https://scikit-optimize.github.io/stable/modules/classes.html#module-skopt.optimizer Scikit-optimize]

== Источники ==

* [https://papers.nips.cc/paper/4443-algorithms-for-hyper-parameter-optimization.pdf Algorithms for Hyper-Parameter Optimization]
* [https://www.youtube.com/watch?v=u6MG_UTwiIQ Bayesian optimization]
* [https://www.youtube.com/watch?v=PgJMLpIfIc8 Гауссовские процессы и байесовская оптимизация]
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html GridSearchCV sklearn]

Настройка гиперпараметров

2020-04-23T10:34:31Z

AnneKsatn: /* Источники */

== Гиперпараметры ==

Гиперпараметры — параметры, которые не настраиваются во время обучения модели. Пример гиперпараметра — шаг градиентного спуска, он задается перед обучением. Пример параметров — веса градиентного спуска, они изменяются и настраиваются во время обучения.

Для подбора гиперпараметров необходимо разделить датасет на три части:
* training set (тренировочный набор данных, для обучении модели)
* validation set (валидационный набор данных, для расчета ошибки и выбора наилучшей модели)
* test set (тестовый набор данных, для тестирования лучшей модели)

Зачем нам нужен и валидационный, и тестовый набор? Дело в том, что модель может переучиться на валидационном наборе данных. Для выявления переобучения используется тестовый набор данных.

Рассмотрим модель <code>KNeighborsClassifier</code> из библиотеки sklearn. Все “параметры” данной модели (loss, penalty, alpha и т.д), с точки зрения машинного обучения, являются гиперпараметрами, так как задаются до начала обучения.

class sklearn.linear_model.SGDClassifier(loss='hinge', penalty='l2', alpha=0.0001, l1_ratio=0.15, fit_intercept=True, max_iter=1000,
tol=0.001, shuffle=True, verbose=0, epsilon=0.1, n_jobs=None, random_state=None, learning_rate='optimal',
eta0=0.0, power_t=0.5, early_stopping=False, validation_fraction=0.1, n_iter_no_change=5, class_weight=None,
warm_start=False, average=False)

== Grid search ==

=== Общая информация ===

Grid search принимает на вход модель и различные значения гиперпараметров (сетку гиперпараметров). Далее, для каждого возможного сочетания значений гиперпараметров, метод считает ошибку и в конце выбирает сочетание, при котором ошибка минимальна.

=== Sklearn Grid search: использование ===

Пример использования <code>GridSearch</code> из библиотеки scikit-learn:

# Создание экземпляра класса <code>SGDClassifier</code> (из sklearn)
# Создание сетки гиперпараметров. В данном случае будем подбирать коэффициент регуляризации, шаг градиентного спуска, количество итераций и параметр скорости обучения.
# Создание экземпляра класса кросс-валидации
# Создание экземпляра <code>GridSearch</code> (из sklearn). Первый параметр — модель, второй — сетка гиперпараметров, третий — функционал ошибки (используемый для контроля качества моделей по технике кросс-валидации), четвертый — кросс-валидация (можно задать количество фолдов, а можно передать экземпляр класса кросс - валидации)
# Запуск поиска по сетке.

classifier = linear_model.SGDClassifier(random_state = 0, tol=1e-3)

parameters_grid = {
'alpha' : np.linspace(0.00001, 0.0001, 15),
'learning_rate': ['optimal', 'constant', 'invscaling'],
'eta0' : np.linspace(0.00001, 0.0001, 15),
'max_iter' : np.arange(5,10),
}

cv = model_selection.StratifiedShuffleSplit(n_splits=10, test_size = 0.2)
grid_cv = model_selection.GridSearchCV(classifier, parameters_grid, scoring = 'accuracy', cv = cv)
grid_cv.fit(train_data, test_data)

Out:
GridSearchCV(cv=StratifiedShuffleSplit(n_splits=10, random_state=0, test_size=0.2, train_size=None), error_score=nan,
estimator=SGDClassifier(alpha=0.0001, average=False, class_weight=None, early_stopping=False,
epsilon=0.1, eta0=0.0, fit_intercept=True, l1_ratio=0.15, learning_rate='optimal',
loss='hinge', max_iter=1000, n_iter_no_change=5, n_jobs=None,
penalty='l2...
'eta0': array([1.00000000e-05, 1.64285714e-05, 2.28571429e-05, 2.92857143e-05, 3.57142857e-05, 4.21428571e-05, 4.85714286e-05, 5.50000000e-05,
6.14285714e-05, 6.78571429e-05, 7.42857143e-05, 8.07142857e-05, 8.71428571e-05, 9.35714286e-05, 1.00000000e-04]),
'learning_rate': ['optimal', 'constant', 'invscaling'],
'max_iter': array([5, 6, 7, 8, 9])},
pre_dispatch='2*n_jobs', refit=True, return_train_score=False,
scoring='accuracy', verbose=0)

=== Sklearn Grid search: важные атрибуты ===

* <code>best_estimator_</code> — лучшая модель
* <code>best_score_</code> — ошибка, полученная на лучшей модели.
* <code>best_params_</code> — гиперпараметры лучшей модели 

print(grid_cv.best_estimator_) 
Out: SGDClassifier(alpha=4.857142857142857e-05, average=False, class_weight=None, early_stopping=False, epsilon=0.1, eta0=1e-05, fit_intercept=True,
l1_ratio=0.15, learning_rate='optimal', loss='hinge', max_iter=6, n_iter_no_change=5, n_jobs=None, penalty='l2', power_t=0.5,
random_state=0, shuffle=True, tol=0.001, validation_fraction=0.1, verbose=0, warm_start=False)

print(grid_cv.best_score_) 
Out: 0.9099999999999999

print(grid_cv.best_params_) 
Out: {'alpha': 4.857142857142857e-05, 'eta0': 1e-05, 'learning_rate': 'optimal', 'max_iter': 6}

* <code>cv_results_</code> — результаты всех моделей. 

print(grid_cv.cv_results_) 
Out:
{'mean_fit_time': array([0.00209482, 0.00120714, 0.00089645, ..., 0.00109975, 0.00100021,
0.00099928]),
'std_fit_time': array([1.22382854e-03, 6.21233347e-04, 5.32190271e-04, ...,
3.11922473e-04, 1.27400324e-05, 1.94000071e-06]),
'mean_score_time': array([2.00700760e-04, 0.00000000e+00, 2.99715996e-04, ...,
1.99961662e-04, 2.96926498e-04, 9.98973846e-05]),
'std_score_time': array([0.0004014 , 0. , 0.00045782, ..., 0.00039992, 0.00045363,
0.00029969]),
...... }

print(grid_cv.cv_results_['param_max_iter'].data) 
Out: array([5, 6, 7, ..., 7, 8, 9], dtype=object)

=== Реализация Grid search в библеотеках ===
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html scikit-learn]
* [https://github.com/kubeflow/katib Katib]
* [https://tidymodels.github.io/tune/articles/grid.html Tune]
* [https://autonomio.github.io/docs_talos/#grid-search Talos]

== Random grid search ==

=== Основная информация ===

Вместо полного перебора, Random grid search работает с некоторыми, случайным образом выбранными, комбинациями. На основе полученных результатов, происходит сужение области поиска.

Когда random grid search будет гораздо полезнее, чем grid search? В ситуации, когда гиперпараметров много, но сильно влияющих на конечную производительность алгоритма — мало.

=== Реализация Random grid ===

* [https://ray.readthedocs.io/en/latest/tune-searchalg.html#variant-generation-grid-search-random-search Ray]
* [https://github.com/kubeflow/katib Katib]
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.RandomizedSearchCV.html scikit-learn]
* [https://ray.readthedocs.io/en/latest/tune-searchalg.html#variant-generation-grid-search-random-search Tune]
* [https://autonomio.github.io/docs_talos/#models Talos]
* [https://hyperopt.github.io/hyperopt/#algorithms Hyperopt]

== SMBO ==

=== Основная информация ===

SMBO (Sequential Model-Based Optimization) — методы, основанные на байесовской оптимизации

Когда используют SMBO? Когда оптимизация целевой функции будет стоить очень "дорого". Главная идея SMBO — замена целевой функции "суррогатной" функцией.

На каждом шаге работы SMBO:

# Строится вероятностная модель (суррогатная функция) целевой функции.
# Подбираются гиперпараметры, которые лучше всего подходят для вероятностной модели.
# Подобранные гиперпараметры применяются к целевой функции.
# Вероятностная модель перестраивается (обновляется).
# Шаги 2-4 повторяются столько раз, сколько задал пользователь.

Существует четыре ключевые аспекта SMBO:
* Сетка значений гиперпараметров (область поиска).
* Целевая функция (выводит оценку, которую мы хотим минимизировать или максимизировать).
* Вероятностная модель целевой функции (суррогатная функция).
* Критерий, называемый функцией выбора (для выбора следующих гиперпараметры по текущей вероятностной модели).

Методы SMBO отличаются между собой вероятностными моделями и функциями выбора: 
Популярные вероятностные модели (суррогатные функции):
* Gaussian Processes
* Tree Parzen Estimators (TPE)
* Random Forest Regressions

=== TPE ===

==== Основная информация ====
TPE — Tree-structured Parzen Estimator (Древовидная структура Парзена)

Как было написано выше, методы SMBO отличаются тем, как они строят вероятностную модель <math> {p(y|x)} </math>. В случае TPE, используется следующая функция:

<math> p(y) = \frac{p(x|y) * p(y)}{p(x)} </math>

<math> {p(x|y)} </math> — распределение гиперпараметров.

=== SMAC ===

==== Основная информация ====

SMAC использует Random Forest regression и расширяет подходы SMBO:

* Использует дискретные и условные пространства параметров.
* Обрабатывает негауссовский шум.
* Выделяет бюджет на общее время, доступное для настройки алгоритма, а не на количество оценок функций.

=== Реализация ===
* Random Forest Regressions: [https://www.automl.org/automated-algorithm-design/algorithm-configuration/smac/ SMAC]
* Tree Parzen Estimators: [https://hyperopt.github.io/hyperopt/#algorithms Hyperopt]
* Gaussian Processes: [https://devhub.io/repos/automl-spearmint Spearmint], [https://scikit-optimize.github.io/stable/modules/classes.html#module-skopt.optimizer Scikit-optimize]

== Источники ==

* [https://papers.nips.cc/paper/4443-algorithms-for-hyper-parameter-optimization.pdf Algorithms for Hyper-Parameter Optimization]
* [https://towardsdatascience.com/hyperparameters-optimization-526348bb8e2d Hyperparameters Optimization]
* [https://www.youtube.com/watch?v=u6MG_UTwiIQ Bayesian optimization]
* [https://www.youtube.com/watch?v=PgJMLpIfIc8 Гауссовские процессы и байесовская оптимизация]
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html GridSearchCV sklearn]

Настройка гиперпараметров

2020-04-23T10:33:25Z

AnneKsatn: /* Реализация Random grid */

== Гиперпараметры ==

Гиперпараметры — параметры, которые не настраиваются во время обучения модели. Пример гиперпараметра — шаг градиентного спуска, он задается перед обучением. Пример параметров — веса градиентного спуска, они изменяются и настраиваются во время обучения.

Для подбора гиперпараметров необходимо разделить датасет на три части:
* training set (тренировочный набор данных, для обучении модели)
* validation set (валидационный набор данных, для расчета ошибки и выбора наилучшей модели)
* test set (тестовый набор данных, для тестирования лучшей модели)

Зачем нам нужен и валидационный, и тестовый набор? Дело в том, что модель может переучиться на валидационном наборе данных. Для выявления переобучения используется тестовый набор данных.

Рассмотрим модель <code>KNeighborsClassifier</code> из библиотеки sklearn. Все “параметры” данной модели (loss, penalty, alpha и т.д), с точки зрения машинного обучения, являются гиперпараметрами, так как задаются до начала обучения.

class sklearn.linear_model.SGDClassifier(loss='hinge', penalty='l2', alpha=0.0001, l1_ratio=0.15, fit_intercept=True, max_iter=1000,
tol=0.001, shuffle=True, verbose=0, epsilon=0.1, n_jobs=None, random_state=None, learning_rate='optimal',
eta0=0.0, power_t=0.5, early_stopping=False, validation_fraction=0.1, n_iter_no_change=5, class_weight=None,
warm_start=False, average=False)

== Grid search ==

=== Общая информация ===

Grid search принимает на вход модель и различные значения гиперпараметров (сетку гиперпараметров). Далее, для каждого возможного сочетания значений гиперпараметров, метод считает ошибку и в конце выбирает сочетание, при котором ошибка минимальна.

=== Sklearn Grid search: использование ===

Пример использования <code>GridSearch</code> из библиотеки scikit-learn:

# Создание экземпляра класса <code>SGDClassifier</code> (из sklearn)
# Создание сетки гиперпараметров. В данном случае будем подбирать коэффициент регуляризации, шаг градиентного спуска, количество итераций и параметр скорости обучения.
# Создание экземпляра класса кросс-валидации
# Создание экземпляра <code>GridSearch</code> (из sklearn). Первый параметр — модель, второй — сетка гиперпараметров, третий — функционал ошибки (используемый для контроля качества моделей по технике кросс-валидации), четвертый — кросс-валидация (можно задать количество фолдов, а можно передать экземпляр класса кросс - валидации)
# Запуск поиска по сетке.

classifier = linear_model.SGDClassifier(random_state = 0, tol=1e-3)

parameters_grid = {
'alpha' : np.linspace(0.00001, 0.0001, 15),
'learning_rate': ['optimal', 'constant', 'invscaling'],
'eta0' : np.linspace(0.00001, 0.0001, 15),
'max_iter' : np.arange(5,10),
}

cv = model_selection.StratifiedShuffleSplit(n_splits=10, test_size = 0.2)
grid_cv = model_selection.GridSearchCV(classifier, parameters_grid, scoring = 'accuracy', cv = cv)
grid_cv.fit(train_data, test_data)

Out:
GridSearchCV(cv=StratifiedShuffleSplit(n_splits=10, random_state=0, test_size=0.2, train_size=None), error_score=nan,
estimator=SGDClassifier(alpha=0.0001, average=False, class_weight=None, early_stopping=False,
epsilon=0.1, eta0=0.0, fit_intercept=True, l1_ratio=0.15, learning_rate='optimal',
loss='hinge', max_iter=1000, n_iter_no_change=5, n_jobs=None,
penalty='l2...
'eta0': array([1.00000000e-05, 1.64285714e-05, 2.28571429e-05, 2.92857143e-05, 3.57142857e-05, 4.21428571e-05, 4.85714286e-05, 5.50000000e-05,
6.14285714e-05, 6.78571429e-05, 7.42857143e-05, 8.07142857e-05, 8.71428571e-05, 9.35714286e-05, 1.00000000e-04]),
'learning_rate': ['optimal', 'constant', 'invscaling'],
'max_iter': array([5, 6, 7, 8, 9])},
pre_dispatch='2*n_jobs', refit=True, return_train_score=False,
scoring='accuracy', verbose=0)

=== Sklearn Grid search: важные атрибуты ===

* <code>best_estimator_</code> — лучшая модель
* <code>best_score_</code> — ошибка, полученная на лучшей модели.
* <code>best_params_</code> — гиперпараметры лучшей модели 

print(grid_cv.best_estimator_) 
Out: SGDClassifier(alpha=4.857142857142857e-05, average=False, class_weight=None, early_stopping=False, epsilon=0.1, eta0=1e-05, fit_intercept=True,
l1_ratio=0.15, learning_rate='optimal', loss='hinge', max_iter=6, n_iter_no_change=5, n_jobs=None, penalty='l2', power_t=0.5,
random_state=0, shuffle=True, tol=0.001, validation_fraction=0.1, verbose=0, warm_start=False)

print(grid_cv.best_score_) 
Out: 0.9099999999999999

print(grid_cv.best_params_) 
Out: {'alpha': 4.857142857142857e-05, 'eta0': 1e-05, 'learning_rate': 'optimal', 'max_iter': 6}

* <code>cv_results_</code> — результаты всех моделей. 

print(grid_cv.cv_results_) 
Out:
{'mean_fit_time': array([0.00209482, 0.00120714, 0.00089645, ..., 0.00109975, 0.00100021,
0.00099928]),
'std_fit_time': array([1.22382854e-03, 6.21233347e-04, 5.32190271e-04, ...,
3.11922473e-04, 1.27400324e-05, 1.94000071e-06]),
'mean_score_time': array([2.00700760e-04, 0.00000000e+00, 2.99715996e-04, ...,
1.99961662e-04, 2.96926498e-04, 9.98973846e-05]),
'std_score_time': array([0.0004014 , 0. , 0.00045782, ..., 0.00039992, 0.00045363,
0.00029969]),
...... }

print(grid_cv.cv_results_['param_max_iter'].data) 
Out: array([5, 6, 7, ..., 7, 8, 9], dtype=object)

=== Реализация Grid search в библеотеках ===
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html scikit-learn]
* [https://github.com/kubeflow/katib Katib]
* [https://tidymodels.github.io/tune/articles/grid.html Tune]
* [https://autonomio.github.io/docs_talos/#grid-search Talos]

== Random grid search ==

=== Основная информация ===

Вместо полного перебора, Random grid search работает с некоторыми, случайным образом выбранными, комбинациями. На основе полученных результатов, происходит сужение области поиска.

Когда random grid search будет гораздо полезнее, чем grid search? В ситуации, когда гиперпараметров много, но сильно влияющих на конечную производительность алгоритма — мало.

=== Реализация Random grid ===

* [https://ray.readthedocs.io/en/latest/tune-searchalg.html#variant-generation-grid-search-random-search Ray]
* [https://github.com/kubeflow/katib Katib]
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.RandomizedSearchCV.html scikit-learn]
* [https://ray.readthedocs.io/en/latest/tune-searchalg.html#variant-generation-grid-search-random-search Tune]
* [https://autonomio.github.io/docs_talos/#models Talos]
* [https://hyperopt.github.io/hyperopt/#algorithms Hyperopt]

== SMBO ==

=== Основная информация ===

SMBO (Sequential Model-Based Optimization) — методы, основанные на байесовской оптимизации

Когда используют SMBO? Когда оптимизация целевой функции будет стоить очень "дорого". Главная идея SMBO — замена целевой функции "суррогатной" функцией.

На каждом шаге работы SMBO:

# Строится вероятностная модель (суррогатная функция) целевой функции.
# Подбираются гиперпараметры, которые лучше всего подходят для вероятностной модели.
# Подобранные гиперпараметры применяются к целевой функции.
# Вероятностная модель перестраивается (обновляется).
# Шаги 2-4 повторяются столько раз, сколько задал пользователь.

Существует четыре ключевые аспекта SMBO:
* Сетка значений гиперпараметров (область поиска).
* Целевая функция (выводит оценку, которую мы хотим минимизировать или максимизировать).
* Вероятностная модель целевой функции (суррогатная функция).
* Критерий, называемый функцией выбора (для выбора следующих гиперпараметры по текущей вероятностной модели).

Методы SMBO отличаются между собой вероятностными моделями и функциями выбора: 
Популярные вероятностные модели (суррогатные функции):
* Gaussian Processes
* Tree Parzen Estimators (TPE)
* Random Forest Regressions

=== TPE ===

==== Основная информация ====
TPE — Tree-structured Parzen Estimator (Древовидная структура Парзена)

Как было написано выше, методы SMBO отличаются тем, как они строят вероятностную модель <math> {p(y|x)} </math>. В случае TPE, используется следующая функция:

<math> p(y) = \frac{p(x|y) * p(y)}{p(x)} </math>

<math> {p(x|y)} </math> — распределение гиперпараметров.

=== SMAC ===

==== Основная информация ====

SMAC использует Random Forest regression и расширяет подходы SMBO:

* Использует дискретные и условные пространства параметров.
* Обрабатывает негауссовский шум.
* Выделяет бюджет на общее время, доступное для настройки алгоритма, а не на количество оценок функций.

=== Реализация ===
* Random Forest Regressions: [https://www.automl.org/automated-algorithm-design/algorithm-configuration/smac/ SMAC]
* Tree Parzen Estimators: [https://hyperopt.github.io/hyperopt/#algorithms Hyperopt]
* Gaussian Processes: [https://devhub.io/repos/automl-spearmint Spearmint], [https://scikit-optimize.github.io/stable/modules/classes.html#module-skopt.optimizer Scikit-optimize]

== Источники ==

* [https://towardsdatascience.com/hyperparameters-optimization-526348bb8e2d Hyperparameters Optimization]
* [https://www.youtube.com/watch?v=u6MG_UTwiIQ Bayesian optimization]
* [https://www.youtube.com/watch?v=PgJMLpIfIc8 Гауссовские процессы и байесовская оптимизация]
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html GridSearchCV sklearn]

Настройка гиперпараметров

2020-04-23T10:31:51Z

AnneKsatn: реструктурирование

== Гиперпараметры ==

Гиперпараметры — параметры, которые не настраиваются во время обучения модели. Пример гиперпараметра — шаг градиентного спуска, он задается перед обучением. Пример параметров — веса градиентного спуска, они изменяются и настраиваются во время обучения.

Для подбора гиперпараметров необходимо разделить датасет на три части:
* training set (тренировочный набор данных, для обучении модели)
* validation set (валидационный набор данных, для расчета ошибки и выбора наилучшей модели)
* test set (тестовый набор данных, для тестирования лучшей модели)

Зачем нам нужен и валидационный, и тестовый набор? Дело в том, что модель может переучиться на валидационном наборе данных. Для выявления переобучения используется тестовый набор данных.

Рассмотрим модель <code>KNeighborsClassifier</code> из библиотеки sklearn. Все “параметры” данной модели (loss, penalty, alpha и т.д), с точки зрения машинного обучения, являются гиперпараметрами, так как задаются до начала обучения.

class sklearn.linear_model.SGDClassifier(loss='hinge', penalty='l2', alpha=0.0001, l1_ratio=0.15, fit_intercept=True, max_iter=1000,
tol=0.001, shuffle=True, verbose=0, epsilon=0.1, n_jobs=None, random_state=None, learning_rate='optimal',
eta0=0.0, power_t=0.5, early_stopping=False, validation_fraction=0.1, n_iter_no_change=5, class_weight=None,
warm_start=False, average=False)

== Grid search ==

=== Общая информация ===

Grid search принимает на вход модель и различные значения гиперпараметров (сетку гиперпараметров). Далее, для каждого возможного сочетания значений гиперпараметров, метод считает ошибку и в конце выбирает сочетание, при котором ошибка минимальна.

=== Sklearn Grid search: использование ===

Пример использования <code>GridSearch</code> из библиотеки scikit-learn:

# Создание экземпляра класса <code>SGDClassifier</code> (из sklearn)
# Создание сетки гиперпараметров. В данном случае будем подбирать коэффициент регуляризации, шаг градиентного спуска, количество итераций и параметр скорости обучения.
# Создание экземпляра класса кросс-валидации
# Создание экземпляра <code>GridSearch</code> (из sklearn). Первый параметр — модель, второй — сетка гиперпараметров, третий — функционал ошибки (используемый для контроля качества моделей по технике кросс-валидации), четвертый — кросс-валидация (можно задать количество фолдов, а можно передать экземпляр класса кросс - валидации)
# Запуск поиска по сетке.

classifier = linear_model.SGDClassifier(random_state = 0, tol=1e-3)

parameters_grid = {
'alpha' : np.linspace(0.00001, 0.0001, 15),
'learning_rate': ['optimal', 'constant', 'invscaling'],
'eta0' : np.linspace(0.00001, 0.0001, 15),
'max_iter' : np.arange(5,10),
}

cv = model_selection.StratifiedShuffleSplit(n_splits=10, test_size = 0.2)
grid_cv = model_selection.GridSearchCV(classifier, parameters_grid, scoring = 'accuracy', cv = cv)
grid_cv.fit(train_data, test_data)

Out:
GridSearchCV(cv=StratifiedShuffleSplit(n_splits=10, random_state=0, test_size=0.2, train_size=None), error_score=nan,
estimator=SGDClassifier(alpha=0.0001, average=False, class_weight=None, early_stopping=False,
epsilon=0.1, eta0=0.0, fit_intercept=True, l1_ratio=0.15, learning_rate='optimal',
loss='hinge', max_iter=1000, n_iter_no_change=5, n_jobs=None,
penalty='l2...
'eta0': array([1.00000000e-05, 1.64285714e-05, 2.28571429e-05, 2.92857143e-05, 3.57142857e-05, 4.21428571e-05, 4.85714286e-05, 5.50000000e-05,
6.14285714e-05, 6.78571429e-05, 7.42857143e-05, 8.07142857e-05, 8.71428571e-05, 9.35714286e-05, 1.00000000e-04]),
'learning_rate': ['optimal', 'constant', 'invscaling'],
'max_iter': array([5, 6, 7, 8, 9])},
pre_dispatch='2*n_jobs', refit=True, return_train_score=False,
scoring='accuracy', verbose=0)

=== Sklearn Grid search: важные атрибуты ===

* <code>best_estimator_</code> — лучшая модель
* <code>best_score_</code> — ошибка, полученная на лучшей модели.
* <code>best_params_</code> — гиперпараметры лучшей модели 

print(grid_cv.best_estimator_) 
Out: SGDClassifier(alpha=4.857142857142857e-05, average=False, class_weight=None, early_stopping=False, epsilon=0.1, eta0=1e-05, fit_intercept=True,
l1_ratio=0.15, learning_rate='optimal', loss='hinge', max_iter=6, n_iter_no_change=5, n_jobs=None, penalty='l2', power_t=0.5,
random_state=0, shuffle=True, tol=0.001, validation_fraction=0.1, verbose=0, warm_start=False)

print(grid_cv.best_score_) 
Out: 0.9099999999999999

print(grid_cv.best_params_) 
Out: {'alpha': 4.857142857142857e-05, 'eta0': 1e-05, 'learning_rate': 'optimal', 'max_iter': 6}

* <code>cv_results_</code> — результаты всех моделей. 

print(grid_cv.cv_results_) 
Out:
{'mean_fit_time': array([0.00209482, 0.00120714, 0.00089645, ..., 0.00109975, 0.00100021,
0.00099928]),
'std_fit_time': array([1.22382854e-03, 6.21233347e-04, 5.32190271e-04, ...,
3.11922473e-04, 1.27400324e-05, 1.94000071e-06]),
'mean_score_time': array([2.00700760e-04, 0.00000000e+00, 2.99715996e-04, ...,
1.99961662e-04, 2.96926498e-04, 9.98973846e-05]),
'std_score_time': array([0.0004014 , 0. , 0.00045782, ..., 0.00039992, 0.00045363,
0.00029969]),
...... }

print(grid_cv.cv_results_['param_max_iter'].data) 
Out: array([5, 6, 7, ..., 7, 8, 9], dtype=object)

=== Реализация Grid search в библеотеках ===
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html scikit-learn]
* [https://github.com/kubeflow/katib Katib]
* [https://tidymodels.github.io/tune/articles/grid.html Tune]
* [https://autonomio.github.io/docs_talos/#grid-search Talos]

== Random grid search ==

=== Основная информация ===

Вместо полного перебора, Random grid search работает с некоторыми, случайным образом выбранными, комбинациями. На основе полученных результатов, происходит сужение области поиска.

Когда random grid search будет гораздо полезнее, чем grid search? В ситуации, когда гиперпараметров много, но сильно влияющих на конечную производительность алгоритма — мало.

=== Реализация Random grid ===

* [https://ray.readthedocs.io/en/latest/tune-searchalg.html#variant-generation-grid-search-random-search Ray]
* [https://github.com/kubeflow/katib Katib]
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.RandomizedSearchCV.html scikit-learn]
* [https://ray.readthedocs.io/en/latest/tune-searchalg.html#variant-generation-grid-search-random-search Tune]
* [https://autonomio.github.io/docs_talos/#models Talos]

== SMBO ==

=== Основная информация ===

SMBO (Sequential Model-Based Optimization) — методы, основанные на байесовской оптимизации

Когда используют SMBO? Когда оптимизация целевой функции будет стоить очень "дорого". Главная идея SMBO — замена целевой функции "суррогатной" функцией.

На каждом шаге работы SMBO:

# Строится вероятностная модель (суррогатная функция) целевой функции.
# Подбираются гиперпараметры, которые лучше всего подходят для вероятностной модели.
# Подобранные гиперпараметры применяются к целевой функции.
# Вероятностная модель перестраивается (обновляется).
# Шаги 2-4 повторяются столько раз, сколько задал пользователь.

Существует четыре ключевые аспекта SMBO:
* Сетка значений гиперпараметров (область поиска).
* Целевая функция (выводит оценку, которую мы хотим минимизировать или максимизировать).
* Вероятностная модель целевой функции (суррогатная функция).
* Критерий, называемый функцией выбора (для выбора следующих гиперпараметры по текущей вероятностной модели).

Методы SMBO отличаются между собой вероятностными моделями и функциями выбора: 
Популярные вероятностные модели (суррогатные функции):
* Gaussian Processes
* Tree Parzen Estimators (TPE)
* Random Forest Regressions

=== TPE ===

==== Основная информация ====
TPE — Tree-structured Parzen Estimator (Древовидная структура Парзена)

Как было написано выше, методы SMBO отличаются тем, как они строят вероятностную модель <math> {p(y|x)} </math>. В случае TPE, используется следующая функция:

<math> p(y) = \frac{p(x|y) * p(y)}{p(x)} </math>

<math> {p(x|y)} </math> — распределение гиперпараметров.

=== SMAC ===

==== Основная информация ====

SMAC использует Random Forest regression и расширяет подходы SMBO:

* Использует дискретные и условные пространства параметров.
* Обрабатывает негауссовский шум.
* Выделяет бюджет на общее время, доступное для настройки алгоритма, а не на количество оценок функций.

=== Реализация ===
* Random Forest Regressions: [https://www.automl.org/automated-algorithm-design/algorithm-configuration/smac/ SMAC]
* Tree Parzen Estimators: [https://hyperopt.github.io/hyperopt/#algorithms Hyperopt]
* Gaussian Processes: [https://devhub.io/repos/automl-spearmint Spearmint], [https://scikit-optimize.github.io/stable/modules/classes.html#module-skopt.optimizer Scikit-optimize]

== Источники ==

* [https://towardsdatascience.com/hyperparameters-optimization-526348bb8e2d Hyperparameters Optimization]
* [https://www.youtube.com/watch?v=u6MG_UTwiIQ Bayesian optimization]
* [https://www.youtube.com/watch?v=PgJMLpIfIc8 Гауссовские процессы и байесовская оптимизация]
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html GridSearchCV sklearn]

Настройка гиперпараметров

2020-04-23T10:25:49Z

AnneKsatn: /* Реализация */

== Гиперпараметры ==

Гиперпараметры — параметры, которые не настраиваются во время обучения модели. Пример гиперпараметра — шаг градиентного спуска, он задается перед обучением. Пример параметров — веса градиентного спуска, они изменяются и настраиваются во время обучения.

Для подбора гиперпараметров необходимо разделить датасет на три части:
* training set (тренировочный набор данных, для обучении модели)
* validation set (валидационный набор данных, для расчета ошибки и выбора наилучшей модели)
* test set (тестовый набор данных, для тестирования лучшей модели)

Зачем нам нужен и валидационный, и тестовый набор? Дело в том, что модель может переучиться на валидационном наборе данных. Для выявления переобучения используется тестовый набор данных.

Рассмотрим модель <code>KNeighborsClassifier</code> из библиотеки sklearn. Все “параметры” данной модели (loss, penalty, alpha и т.д), с точки зрения машинного обучения, являются гиперпараметрами, так как задаются до начала обучения.

class sklearn.linear_model.SGDClassifier(loss='hinge', penalty='l2', alpha=0.0001, l1_ratio=0.15, fit_intercept=True, max_iter=1000,
tol=0.001, shuffle=True, verbose=0, epsilon=0.1, n_jobs=None, random_state=None, learning_rate='optimal',
eta0=0.0, power_t=0.5, early_stopping=False, validation_fraction=0.1, n_iter_no_change=5, class_weight=None,
warm_start=False, average=False)

== Grid search ==

=== Общая информация ===

Grid search принимает на вход модель и различные значения гиперпараметров (сетку гиперпараметров). Далее, для каждого возможного сочетания значений гиперпараметров, метод считает ошибку и в конце выбирает сочетание, при котором ошибка минимальна.

=== Sklearn Grid search: использование ===

Пример использования <code>GridSearch</code> из библиотеки scikit-learn:

# Создание экземпляра класса <code>SGDClassifier</code> (из sklearn)
# Создание сетки гиперпараметров. В данном случае будем подбирать коэффициент регуляризации, шаг градиентного спуска, количество итераций и параметр скорости обучения.
# Создание экземпляра класса кросс-валидации
# Создание экземпляра <code>GridSearch</code> (из sklearn). Первый параметр — модель, второй — сетка гиперпараметров, третий — функционал ошибки (используемый для контроля качества моделей по технике кросс-валидации), четвертый — кросс-валидация (можно задать количество фолдов, а можно передать экземпляр класса кросс - валидации)
# Запуск поиска по сетке.

classifier = linear_model.SGDClassifier(random_state = 0, tol=1e-3)

parameters_grid = {
'alpha' : np.linspace(0.00001, 0.0001, 15),
'learning_rate': ['optimal', 'constant', 'invscaling'],
'eta0' : np.linspace(0.00001, 0.0001, 15),
'max_iter' : np.arange(5,10),
}

cv = model_selection.StratifiedShuffleSplit(n_splits=10, test_size = 0.2)
grid_cv = model_selection.GridSearchCV(classifier, parameters_grid, scoring = 'accuracy', cv = cv)
grid_cv.fit(train_data, test_data)

Out:
GridSearchCV(cv=StratifiedShuffleSplit(n_splits=10, random_state=0, test_size=0.2, train_size=None), error_score=nan,
estimator=SGDClassifier(alpha=0.0001, average=False, class_weight=None, early_stopping=False,
epsilon=0.1, eta0=0.0, fit_intercept=True, l1_ratio=0.15, learning_rate='optimal',
loss='hinge', max_iter=1000, n_iter_no_change=5, n_jobs=None,
penalty='l2...
'eta0': array([1.00000000e-05, 1.64285714e-05, 2.28571429e-05, 2.92857143e-05, 3.57142857e-05, 4.21428571e-05, 4.85714286e-05, 5.50000000e-05,
6.14285714e-05, 6.78571429e-05, 7.42857143e-05, 8.07142857e-05, 8.71428571e-05, 9.35714286e-05, 1.00000000e-04]),
'learning_rate': ['optimal', 'constant', 'invscaling'],
'max_iter': array([5, 6, 7, 8, 9])},
pre_dispatch='2*n_jobs', refit=True, return_train_score=False,
scoring='accuracy', verbose=0)

=== Sklearn Grid search: важные атрибуты ===

* <code>best_estimator_</code> — лучшая модель
* <code>best_score_</code> — ошибка, полученная на лучшей модели.
* <code>best_params_</code> — гиперпараметры лучшей модели 

print(grid_cv.best_estimator_) 
Out: SGDClassifier(alpha=4.857142857142857e-05, average=False, class_weight=None, early_stopping=False, epsilon=0.1, eta0=1e-05, fit_intercept=True,
l1_ratio=0.15, learning_rate='optimal', loss='hinge', max_iter=6, n_iter_no_change=5, n_jobs=None, penalty='l2', power_t=0.5,
random_state=0, shuffle=True, tol=0.001, validation_fraction=0.1, verbose=0, warm_start=False)

print(grid_cv.best_score_) 
Out: 0.9099999999999999

print(grid_cv.best_params_) 
Out: {'alpha': 4.857142857142857e-05, 'eta0': 1e-05, 'learning_rate': 'optimal', 'max_iter': 6}

* <code>cv_results_</code> — результаты всех моделей. 

print(grid_cv.cv_results_) 
Out:
{'mean_fit_time': array([0.00209482, 0.00120714, 0.00089645, ..., 0.00109975, 0.00100021,
0.00099928]),
'std_fit_time': array([1.22382854e-03, 6.21233347e-04, 5.32190271e-04, ...,
3.11922473e-04, 1.27400324e-05, 1.94000071e-06]),
'mean_score_time': array([2.00700760e-04, 0.00000000e+00, 2.99715996e-04, ...,
1.99961662e-04, 2.96926498e-04, 9.98973846e-05]),
'std_score_time': array([0.0004014 , 0. , 0.00045782, ..., 0.00039992, 0.00045363,
0.00029969]),
...... }

print(grid_cv.cv_results_['param_max_iter'].data) 
Out: array([5, 6, 7, ..., 7, 8, 9], dtype=object)

=== Реализация Grid search в библеотеках ===
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html scikit-learn]
* [https://github.com/kubeflow/katib Katib]
* [https://tidymodels.github.io/tune/articles/grid.html Tune]
* [https://autonomio.github.io/docs_talos/#grid-search Talos]

== Random grid search ==

=== Основная информация ===

Вместо полного перебора, Random grid search работает с некоторыми, случайным образом выбранными, комбинациями. На основе полученных результатов, происходит сужение области поиска.

Когда random grid search будет гораздо полезнее, чем grid search? В ситуации, когда гиперпараметров много, но сильно влияющих на конечную производительность алгоритма — мало.

=== Реализация Random grid ===

* [https://ray.readthedocs.io/en/latest/tune-searchalg.html#variant-generation-grid-search-random-search Ray]
* [https://github.com/kubeflow/katib Katib]
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.RandomizedSearchCV.html scikit-learn]
* [https://ray.readthedocs.io/en/latest/tune-searchalg.html#variant-generation-grid-search-random-search Tune]
* [https://autonomio.github.io/docs_talos/#models Talos]

== SMBO ==

=== Основная информация ===

SMBO (Sequential Model-Based Optimization) — методы, основанные на байесовской оптимизации

Когда используют SMBO? Когда оптимизация целевой функции будет стоить очень "дорого". Главная идея SMBO — замена целевой функции "суррогатной" функцией.

На каждом шаге работы SMBO:

# Строится вероятностная модель (суррогатная функция) целевой функции.
# Подбираются гиперпараметры, которые лучше всего подходят для вероятностной модели.
# Подобранные гиперпараметры применяются к целевой функции.
# Вероятностная модель перестраивается (обновляется).
# Шаги 2-4 повторяются столько раз, сколько задал пользователь.

Существует четыре ключевые аспекта SMBO:
* Сетка значений гиперпараметров (область поиска).
* Целевая функция (выводит оценку, которую мы хотим минимизировать или максимизировать).
* Вероятностная модель целевой функции (суррогатная функция).
* Критерий, называемый функцией выбора (для выбора следующих гиперпараметры по текущей вероятностной модели).

Методы SMBO отличаются между собой вероятностными моделями и функциями выбора: 
Популярные вероятностные модели (суррогатные функции):
* Gaussian Processes
* Tree Parzen Estimators (TPE)
* Random Forest Regressions

=== Реализация ===
* Random Forest Regressions: [https://www.automl.org/automated-algorithm-design/algorithm-configuration/smac/ SMAC]
* Tree Parzen Estimators: [https://hyperopt.github.io/hyperopt/#algorithms Hyperopt]
* Gaussian Processes: [https://devhub.io/repos/automl-spearmint Spearmint], [https://scikit-optimize.github.io/stable/modules/classes.html#module-skopt.optimizer Scikit-optimize]

== TPE ==

=== Основная информация ===
TPE — Tree-structured Parzen Estimator (Древовидная структура Парзена)

Как было написано выше, методы SMBO отличаются тем, как они строят вероятностную модель <math> {p(y|x)} </math>. В случае TPE, используется следующая функция:

<math> p(y) = \frac{p(x|y) * p(y)}{p(x)} </math>

<math> {p(x|y)} </math> — распределение гиперпараметров.

=== Реализация ===

* [https://hyperopt.github.io/hyperopt/#algorithms Hyperopt]

== SMAC ==

=== Основная информация ===

SMAC использует Random Forest regression и расширяет подходы SMBO:

* Использует дискретные и условные пространства параметров.
* Обрабатывает негауссовский шум.
* Выделяет бюджет на общее время, доступное для настройки алгоритма, а не на количество оценок функций.

=== Реализация ===
[https://www.automl.org/automated-algorithm-design/algorithm-configuration/smac/ SMAC]

== Источники ==

* [https://towardsdatascience.com/hyperparameters-optimization-526348bb8e2d Hyperparameters Optimization]
* [https://www.youtube.com/watch?v=u6MG_UTwiIQ Bayesian optimization]
* [https://www.youtube.com/watch?v=PgJMLpIfIc8 Гауссовские процессы и байесовская оптимизация]
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html GridSearchCV sklearn]

Настройка гиперпараметров

2020-04-23T10:25:28Z

AnneKsatn: /* Реализация */

== Гиперпараметры ==

Гиперпараметры — параметры, которые не настраиваются во время обучения модели. Пример гиперпараметра — шаг градиентного спуска, он задается перед обучением. Пример параметров — веса градиентного спуска, они изменяются и настраиваются во время обучения.

Для подбора гиперпараметров необходимо разделить датасет на три части:
* training set (тренировочный набор данных, для обучении модели)
* validation set (валидационный набор данных, для расчета ошибки и выбора наилучшей модели)
* test set (тестовый набор данных, для тестирования лучшей модели)

Зачем нам нужен и валидационный, и тестовый набор? Дело в том, что модель может переучиться на валидационном наборе данных. Для выявления переобучения используется тестовый набор данных.

Рассмотрим модель <code>KNeighborsClassifier</code> из библиотеки sklearn. Все “параметры” данной модели (loss, penalty, alpha и т.д), с точки зрения машинного обучения, являются гиперпараметрами, так как задаются до начала обучения.

class sklearn.linear_model.SGDClassifier(loss='hinge', penalty='l2', alpha=0.0001, l1_ratio=0.15, fit_intercept=True, max_iter=1000,
tol=0.001, shuffle=True, verbose=0, epsilon=0.1, n_jobs=None, random_state=None, learning_rate='optimal',
eta0=0.0, power_t=0.5, early_stopping=False, validation_fraction=0.1, n_iter_no_change=5, class_weight=None,
warm_start=False, average=False)

== Grid search ==

=== Общая информация ===

Grid search принимает на вход модель и различные значения гиперпараметров (сетку гиперпараметров). Далее, для каждого возможного сочетания значений гиперпараметров, метод считает ошибку и в конце выбирает сочетание, при котором ошибка минимальна.

=== Sklearn Grid search: использование ===

Пример использования <code>GridSearch</code> из библиотеки scikit-learn:

# Создание экземпляра класса <code>SGDClassifier</code> (из sklearn)
# Создание сетки гиперпараметров. В данном случае будем подбирать коэффициент регуляризации, шаг градиентного спуска, количество итераций и параметр скорости обучения.
# Создание экземпляра класса кросс-валидации
# Создание экземпляра <code>GridSearch</code> (из sklearn). Первый параметр — модель, второй — сетка гиперпараметров, третий — функционал ошибки (используемый для контроля качества моделей по технике кросс-валидации), четвертый — кросс-валидация (можно задать количество фолдов, а можно передать экземпляр класса кросс - валидации)
# Запуск поиска по сетке.

classifier = linear_model.SGDClassifier(random_state = 0, tol=1e-3)

parameters_grid = {
'alpha' : np.linspace(0.00001, 0.0001, 15),
'learning_rate': ['optimal', 'constant', 'invscaling'],
'eta0' : np.linspace(0.00001, 0.0001, 15),
'max_iter' : np.arange(5,10),
}

cv = model_selection.StratifiedShuffleSplit(n_splits=10, test_size = 0.2)
grid_cv = model_selection.GridSearchCV(classifier, parameters_grid, scoring = 'accuracy', cv = cv)
grid_cv.fit(train_data, test_data)

Out:
GridSearchCV(cv=StratifiedShuffleSplit(n_splits=10, random_state=0, test_size=0.2, train_size=None), error_score=nan,
estimator=SGDClassifier(alpha=0.0001, average=False, class_weight=None, early_stopping=False,
epsilon=0.1, eta0=0.0, fit_intercept=True, l1_ratio=0.15, learning_rate='optimal',
loss='hinge', max_iter=1000, n_iter_no_change=5, n_jobs=None,
penalty='l2...
'eta0': array([1.00000000e-05, 1.64285714e-05, 2.28571429e-05, 2.92857143e-05, 3.57142857e-05, 4.21428571e-05, 4.85714286e-05, 5.50000000e-05,
6.14285714e-05, 6.78571429e-05, 7.42857143e-05, 8.07142857e-05, 8.71428571e-05, 9.35714286e-05, 1.00000000e-04]),
'learning_rate': ['optimal', 'constant', 'invscaling'],
'max_iter': array([5, 6, 7, 8, 9])},
pre_dispatch='2*n_jobs', refit=True, return_train_score=False,
scoring='accuracy', verbose=0)

=== Sklearn Grid search: важные атрибуты ===

* <code>best_estimator_</code> — лучшая модель
* <code>best_score_</code> — ошибка, полученная на лучшей модели.
* <code>best_params_</code> — гиперпараметры лучшей модели 

print(grid_cv.best_estimator_) 
Out: SGDClassifier(alpha=4.857142857142857e-05, average=False, class_weight=None, early_stopping=False, epsilon=0.1, eta0=1e-05, fit_intercept=True,
l1_ratio=0.15, learning_rate='optimal', loss='hinge', max_iter=6, n_iter_no_change=5, n_jobs=None, penalty='l2', power_t=0.5,
random_state=0, shuffle=True, tol=0.001, validation_fraction=0.1, verbose=0, warm_start=False)

print(grid_cv.best_score_) 
Out: 0.9099999999999999

print(grid_cv.best_params_) 
Out: {'alpha': 4.857142857142857e-05, 'eta0': 1e-05, 'learning_rate': 'optimal', 'max_iter': 6}

* <code>cv_results_</code> — результаты всех моделей. 

print(grid_cv.cv_results_) 
Out:
{'mean_fit_time': array([0.00209482, 0.00120714, 0.00089645, ..., 0.00109975, 0.00100021,
0.00099928]),
'std_fit_time': array([1.22382854e-03, 6.21233347e-04, 5.32190271e-04, ...,
3.11922473e-04, 1.27400324e-05, 1.94000071e-06]),
'mean_score_time': array([2.00700760e-04, 0.00000000e+00, 2.99715996e-04, ...,
1.99961662e-04, 2.96926498e-04, 9.98973846e-05]),
'std_score_time': array([0.0004014 , 0. , 0.00045782, ..., 0.00039992, 0.00045363,
0.00029969]),
...... }

print(grid_cv.cv_results_['param_max_iter'].data) 
Out: array([5, 6, 7, ..., 7, 8, 9], dtype=object)

=== Реализация Grid search в библеотеках ===
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html scikit-learn]
* [https://github.com/kubeflow/katib Katib]
* [https://tidymodels.github.io/tune/articles/grid.html Tune]
* [https://autonomio.github.io/docs_talos/#grid-search Talos]

== Random grid search ==

=== Основная информация ===

Вместо полного перебора, Random grid search работает с некоторыми, случайным образом выбранными, комбинациями. На основе полученных результатов, происходит сужение области поиска.

Когда random grid search будет гораздо полезнее, чем grid search? В ситуации, когда гиперпараметров много, но сильно влияющих на конечную производительность алгоритма — мало.

=== Реализация Random grid ===

* [https://ray.readthedocs.io/en/latest/tune-searchalg.html#variant-generation-grid-search-random-search Ray]
* [https://github.com/kubeflow/katib Katib]
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.RandomizedSearchCV.html scikit-learn]
* [https://ray.readthedocs.io/en/latest/tune-searchalg.html#variant-generation-grid-search-random-search Tune]
* [https://autonomio.github.io/docs_talos/#models Talos]

== SMBO ==

=== Основная информация ===

SMBO (Sequential Model-Based Optimization) — методы, основанные на байесовской оптимизации

Когда используют SMBO? Когда оптимизация целевой функции будет стоить очень "дорого". Главная идея SMBO — замена целевой функции "суррогатной" функцией.

На каждом шаге работы SMBO:

# Строится вероятностная модель (суррогатная функция) целевой функции.
# Подбираются гиперпараметры, которые лучше всего подходят для вероятностной модели.
# Подобранные гиперпараметры применяются к целевой функции.
# Вероятностная модель перестраивается (обновляется).
# Шаги 2-4 повторяются столько раз, сколько задал пользователь.

Существует четыре ключевые аспекта SMBO:
* Сетка значений гиперпараметров (область поиска).
* Целевая функция (выводит оценку, которую мы хотим минимизировать или максимизировать).
* Вероятностная модель целевой функции (суррогатная функция).
* Критерий, называемый функцией выбора (для выбора следующих гиперпараметры по текущей вероятностной модели).

Методы SMBO отличаются между собой вероятностными моделями и функциями выбора: 
Популярные вероятностные модели (суррогатные функции):
* Gaussian Processes
* Tree Parzen Estimators (TPE)
* Random Forest Regressions

=== Реализация ===
* Random Forest Regressions: [https://www.automl.org/automated-algorithm-design/algorithm-configuration/smac/ SMAC]
* Tree Parzen Estimators: [https://hyperopt.github.io/hyperopt/#algorithms Hyperopt]
* Gaussian Processes: [https://devhub.io/repos/automl-spearmint Spearmint], [https://scikit-optimize.github.io/stable/modules/classes.html#module-skopt.optimizer Scikit-optimize]

== TPE ==

=== Основная информация ===
TPE — Tree-structured Parzen Estimator (Древовидная структура Парзена)

Как было написано выше, методы SMBO отличаются тем, как они строят вероятностную модель <math> {p(y|x)} </math>. В случае TPE, используется следующая функция:

<math> p(y) = \frac{p(x|y) * p(y)}{p(x)} </math>

<math> {p(x|y)} </math> — распределение гиперпараметров.

=== Реализация ===

* Hyperopt

== SMAC ==

=== Основная информация ===

SMAC использует Random Forest regression и расширяет подходы SMBO:

* Использует дискретные и условные пространства параметров.
* Обрабатывает негауссовский шум.
* Выделяет бюджет на общее время, доступное для настройки алгоритма, а не на количество оценок функций.

=== Реализация ===
[https://www.automl.org/automated-algorithm-design/algorithm-configuration/smac/ SMAC]

== Источники ==

* [https://towardsdatascience.com/hyperparameters-optimization-526348bb8e2d Hyperparameters Optimization]
* [https://www.youtube.com/watch?v=u6MG_UTwiIQ Bayesian optimization]
* [https://www.youtube.com/watch?v=PgJMLpIfIc8 Гауссовские процессы и байесовская оптимизация]
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html GridSearchCV sklearn]

Настройка гиперпараметров

2020-04-23T10:25:00Z

AnneKsatn: /* Реализация */

== Гиперпараметры ==

Гиперпараметры — параметры, которые не настраиваются во время обучения модели. Пример гиперпараметра — шаг градиентного спуска, он задается перед обучением. Пример параметров — веса градиентного спуска, они изменяются и настраиваются во время обучения.

Для подбора гиперпараметров необходимо разделить датасет на три части:
* training set (тренировочный набор данных, для обучении модели)
* validation set (валидационный набор данных, для расчета ошибки и выбора наилучшей модели)
* test set (тестовый набор данных, для тестирования лучшей модели)

Зачем нам нужен и валидационный, и тестовый набор? Дело в том, что модель может переучиться на валидационном наборе данных. Для выявления переобучения используется тестовый набор данных.

Рассмотрим модель <code>KNeighborsClassifier</code> из библиотеки sklearn. Все “параметры” данной модели (loss, penalty, alpha и т.д), с точки зрения машинного обучения, являются гиперпараметрами, так как задаются до начала обучения.

class sklearn.linear_model.SGDClassifier(loss='hinge', penalty='l2', alpha=0.0001, l1_ratio=0.15, fit_intercept=True, max_iter=1000,
tol=0.001, shuffle=True, verbose=0, epsilon=0.1, n_jobs=None, random_state=None, learning_rate='optimal',
eta0=0.0, power_t=0.5, early_stopping=False, validation_fraction=0.1, n_iter_no_change=5, class_weight=None,
warm_start=False, average=False)

== Grid search ==

=== Общая информация ===

Grid search принимает на вход модель и различные значения гиперпараметров (сетку гиперпараметров). Далее, для каждого возможного сочетания значений гиперпараметров, метод считает ошибку и в конце выбирает сочетание, при котором ошибка минимальна.

=== Sklearn Grid search: использование ===

Пример использования <code>GridSearch</code> из библиотеки scikit-learn:

# Создание экземпляра класса <code>SGDClassifier</code> (из sklearn)
# Создание сетки гиперпараметров. В данном случае будем подбирать коэффициент регуляризации, шаг градиентного спуска, количество итераций и параметр скорости обучения.
# Создание экземпляра класса кросс-валидации
# Создание экземпляра <code>GridSearch</code> (из sklearn). Первый параметр — модель, второй — сетка гиперпараметров, третий — функционал ошибки (используемый для контроля качества моделей по технике кросс-валидации), четвертый — кросс-валидация (можно задать количество фолдов, а можно передать экземпляр класса кросс - валидации)
# Запуск поиска по сетке.

classifier = linear_model.SGDClassifier(random_state = 0, tol=1e-3)

parameters_grid = {
'alpha' : np.linspace(0.00001, 0.0001, 15),
'learning_rate': ['optimal', 'constant', 'invscaling'],
'eta0' : np.linspace(0.00001, 0.0001, 15),
'max_iter' : np.arange(5,10),
}

cv = model_selection.StratifiedShuffleSplit(n_splits=10, test_size = 0.2)
grid_cv = model_selection.GridSearchCV(classifier, parameters_grid, scoring = 'accuracy', cv = cv)
grid_cv.fit(train_data, test_data)

Out:
GridSearchCV(cv=StratifiedShuffleSplit(n_splits=10, random_state=0, test_size=0.2, train_size=None), error_score=nan,
estimator=SGDClassifier(alpha=0.0001, average=False, class_weight=None, early_stopping=False,
epsilon=0.1, eta0=0.0, fit_intercept=True, l1_ratio=0.15, learning_rate='optimal',
loss='hinge', max_iter=1000, n_iter_no_change=5, n_jobs=None,
penalty='l2...
'eta0': array([1.00000000e-05, 1.64285714e-05, 2.28571429e-05, 2.92857143e-05, 3.57142857e-05, 4.21428571e-05, 4.85714286e-05, 5.50000000e-05,
6.14285714e-05, 6.78571429e-05, 7.42857143e-05, 8.07142857e-05, 8.71428571e-05, 9.35714286e-05, 1.00000000e-04]),
'learning_rate': ['optimal', 'constant', 'invscaling'],
'max_iter': array([5, 6, 7, 8, 9])},
pre_dispatch='2*n_jobs', refit=True, return_train_score=False,
scoring='accuracy', verbose=0)

=== Sklearn Grid search: важные атрибуты ===

* <code>best_estimator_</code> — лучшая модель
* <code>best_score_</code> — ошибка, полученная на лучшей модели.
* <code>best_params_</code> — гиперпараметры лучшей модели 

print(grid_cv.best_estimator_) 
Out: SGDClassifier(alpha=4.857142857142857e-05, average=False, class_weight=None, early_stopping=False, epsilon=0.1, eta0=1e-05, fit_intercept=True,
l1_ratio=0.15, learning_rate='optimal', loss='hinge', max_iter=6, n_iter_no_change=5, n_jobs=None, penalty='l2', power_t=0.5,
random_state=0, shuffle=True, tol=0.001, validation_fraction=0.1, verbose=0, warm_start=False)

print(grid_cv.best_score_) 
Out: 0.9099999999999999

print(grid_cv.best_params_) 
Out: {'alpha': 4.857142857142857e-05, 'eta0': 1e-05, 'learning_rate': 'optimal', 'max_iter': 6}

* <code>cv_results_</code> — результаты всех моделей. 

print(grid_cv.cv_results_) 
Out:
{'mean_fit_time': array([0.00209482, 0.00120714, 0.00089645, ..., 0.00109975, 0.00100021,
0.00099928]),
'std_fit_time': array([1.22382854e-03, 6.21233347e-04, 5.32190271e-04, ...,
3.11922473e-04, 1.27400324e-05, 1.94000071e-06]),
'mean_score_time': array([2.00700760e-04, 0.00000000e+00, 2.99715996e-04, ...,
1.99961662e-04, 2.96926498e-04, 9.98973846e-05]),
'std_score_time': array([0.0004014 , 0. , 0.00045782, ..., 0.00039992, 0.00045363,
0.00029969]),
...... }

print(grid_cv.cv_results_['param_max_iter'].data) 
Out: array([5, 6, 7, ..., 7, 8, 9], dtype=object)

=== Реализация Grid search в библеотеках ===
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html scikit-learn]
* [https://github.com/kubeflow/katib Katib]
* [https://tidymodels.github.io/tune/articles/grid.html Tune]
* [https://autonomio.github.io/docs_talos/#grid-search Talos]

== Random grid search ==

=== Основная информация ===

Вместо полного перебора, Random grid search работает с некоторыми, случайным образом выбранными, комбинациями. На основе полученных результатов, происходит сужение области поиска.

Когда random grid search будет гораздо полезнее, чем grid search? В ситуации, когда гиперпараметров много, но сильно влияющих на конечную производительность алгоритма — мало.

=== Реализация Random grid ===

* [https://ray.readthedocs.io/en/latest/tune-searchalg.html#variant-generation-grid-search-random-search Ray]
* [https://github.com/kubeflow/katib Katib]
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.RandomizedSearchCV.html scikit-learn]
* [https://ray.readthedocs.io/en/latest/tune-searchalg.html#variant-generation-grid-search-random-search Tune]
* [https://autonomio.github.io/docs_talos/#models Talos]

== SMBO ==

=== Основная информация ===

SMBO (Sequential Model-Based Optimization) — методы, основанные на байесовской оптимизации

Когда используют SMBO? Когда оптимизация целевой функции будет стоить очень "дорого". Главная идея SMBO — замена целевой функции "суррогатной" функцией.

На каждом шаге работы SMBO:

# Строится вероятностная модель (суррогатная функция) целевой функции.
# Подбираются гиперпараметры, которые лучше всего подходят для вероятностной модели.
# Подобранные гиперпараметры применяются к целевой функции.
# Вероятностная модель перестраивается (обновляется).
# Шаги 2-4 повторяются столько раз, сколько задал пользователь.

Существует четыре ключевые аспекта SMBO:
* Сетка значений гиперпараметров (область поиска).
* Целевая функция (выводит оценку, которую мы хотим минимизировать или максимизировать).
* Вероятностная модель целевой функции (суррогатная функция).
* Критерий, называемый функцией выбора (для выбора следующих гиперпараметры по текущей вероятностной модели).

Методы SMBO отличаются между собой вероятностными моделями и функциями выбора: 
Популярные вероятностные модели (суррогатные функции):
* Gaussian Processes
* Tree Parzen Estimators (TPE)
* Random Forest Regressions

=== Реализация ===
* Random Forest Regressions: [https://www.automl.org/automated-algorithm-design/algorithm-configuration/smac/ SMAC]
* Tree Parzen Estimators: [https://hyperopt.github.io/hyperopt/#algorithms Hyperopt]
* Gaussian Processes: [https://devhub.io/repos/automl-spearmint Spearmint], [https://scikit-optimize.github.io/stable/modules/classes.html#module-skopt.optimizer Scikit-optimize]

== TPE ==

=== Основная информация ===
TPE — Tree-structured Parzen Estimator (Древовидная структура Парзена)

Как было написано выше, методы SMBO отличаются тем, как они строят вероятностную модель <math> {p(y|x)} </math>. В случае TPE, используется следующая функция:

<math> p(y) = \frac{p(x|y) * p(y)}{p(x)} </math>

<math> {p(x|y)} </math> — распределение гиперпараметров.

=== Реализация ===

* Hyperopt

== SMAC ==

=== Основная информация ===

SMAC использует Random Forest regression и расширяет подходы SMBO:

* Использует дискретные и условные пространства параметров.
* Обрабатывает негауссовский шум.
* Выделяет бюджет на общее время, доступное для настройки алгоритма, а не на количество оценок функций.

=== Реализация ===
* AutoML

== Источники ==

* [https://towardsdatascience.com/hyperparameters-optimization-526348bb8e2d Hyperparameters Optimization]
* [https://www.youtube.com/watch?v=u6MG_UTwiIQ Bayesian optimization]
* [https://www.youtube.com/watch?v=PgJMLpIfIc8 Гауссовские процессы и байесовская оптимизация]
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html GridSearchCV sklearn]

Настройка гиперпараметров

2020-04-23T10:20:12Z

AnneKsatn: /* Реализация Random grid */

== Гиперпараметры ==

Гиперпараметры — параметры, которые не настраиваются во время обучения модели. Пример гиперпараметра — шаг градиентного спуска, он задается перед обучением. Пример параметров — веса градиентного спуска, они изменяются и настраиваются во время обучения.

Для подбора гиперпараметров необходимо разделить датасет на три части:
* training set (тренировочный набор данных, для обучении модели)
* validation set (валидационный набор данных, для расчета ошибки и выбора наилучшей модели)
* test set (тестовый набор данных, для тестирования лучшей модели)

Зачем нам нужен и валидационный, и тестовый набор? Дело в том, что модель может переучиться на валидационном наборе данных. Для выявления переобучения используется тестовый набор данных.

Рассмотрим модель <code>KNeighborsClassifier</code> из библиотеки sklearn. Все “параметры” данной модели (loss, penalty, alpha и т.д), с точки зрения машинного обучения, являются гиперпараметрами, так как задаются до начала обучения.

class sklearn.linear_model.SGDClassifier(loss='hinge', penalty='l2', alpha=0.0001, l1_ratio=0.15, fit_intercept=True, max_iter=1000,
tol=0.001, shuffle=True, verbose=0, epsilon=0.1, n_jobs=None, random_state=None, learning_rate='optimal',
eta0=0.0, power_t=0.5, early_stopping=False, validation_fraction=0.1, n_iter_no_change=5, class_weight=None,
warm_start=False, average=False)

== Grid search ==

=== Общая информация ===

Grid search принимает на вход модель и различные значения гиперпараметров (сетку гиперпараметров). Далее, для каждого возможного сочетания значений гиперпараметров, метод считает ошибку и в конце выбирает сочетание, при котором ошибка минимальна.

=== Sklearn Grid search: использование ===

Пример использования <code>GridSearch</code> из библиотеки scikit-learn:

# Создание экземпляра класса <code>SGDClassifier</code> (из sklearn)
# Создание сетки гиперпараметров. В данном случае будем подбирать коэффициент регуляризации, шаг градиентного спуска, количество итераций и параметр скорости обучения.
# Создание экземпляра класса кросс-валидации
# Создание экземпляра <code>GridSearch</code> (из sklearn). Первый параметр — модель, второй — сетка гиперпараметров, третий — функционал ошибки (используемый для контроля качества моделей по технике кросс-валидации), четвертый — кросс-валидация (можно задать количество фолдов, а можно передать экземпляр класса кросс - валидации)
# Запуск поиска по сетке.

classifier = linear_model.SGDClassifier(random_state = 0, tol=1e-3)

parameters_grid = {
'alpha' : np.linspace(0.00001, 0.0001, 15),
'learning_rate': ['optimal', 'constant', 'invscaling'],
'eta0' : np.linspace(0.00001, 0.0001, 15),
'max_iter' : np.arange(5,10),
}

cv = model_selection.StratifiedShuffleSplit(n_splits=10, test_size = 0.2)
grid_cv = model_selection.GridSearchCV(classifier, parameters_grid, scoring = 'accuracy', cv = cv)
grid_cv.fit(train_data, test_data)

Out:
GridSearchCV(cv=StratifiedShuffleSplit(n_splits=10, random_state=0, test_size=0.2, train_size=None), error_score=nan,
estimator=SGDClassifier(alpha=0.0001, average=False, class_weight=None, early_stopping=False,
epsilon=0.1, eta0=0.0, fit_intercept=True, l1_ratio=0.15, learning_rate='optimal',
loss='hinge', max_iter=1000, n_iter_no_change=5, n_jobs=None,
penalty='l2...
'eta0': array([1.00000000e-05, 1.64285714e-05, 2.28571429e-05, 2.92857143e-05, 3.57142857e-05, 4.21428571e-05, 4.85714286e-05, 5.50000000e-05,
6.14285714e-05, 6.78571429e-05, 7.42857143e-05, 8.07142857e-05, 8.71428571e-05, 9.35714286e-05, 1.00000000e-04]),
'learning_rate': ['optimal', 'constant', 'invscaling'],
'max_iter': array([5, 6, 7, 8, 9])},
pre_dispatch='2*n_jobs', refit=True, return_train_score=False,
scoring='accuracy', verbose=0)

=== Sklearn Grid search: важные атрибуты ===

* <code>best_estimator_</code> — лучшая модель
* <code>best_score_</code> — ошибка, полученная на лучшей модели.
* <code>best_params_</code> — гиперпараметры лучшей модели 

print(grid_cv.best_estimator_) 
Out: SGDClassifier(alpha=4.857142857142857e-05, average=False, class_weight=None, early_stopping=False, epsilon=0.1, eta0=1e-05, fit_intercept=True,
l1_ratio=0.15, learning_rate='optimal', loss='hinge', max_iter=6, n_iter_no_change=5, n_jobs=None, penalty='l2', power_t=0.5,
random_state=0, shuffle=True, tol=0.001, validation_fraction=0.1, verbose=0, warm_start=False)

print(grid_cv.best_score_) 
Out: 0.9099999999999999

print(grid_cv.best_params_) 
Out: {'alpha': 4.857142857142857e-05, 'eta0': 1e-05, 'learning_rate': 'optimal', 'max_iter': 6}

* <code>cv_results_</code> — результаты всех моделей. 

print(grid_cv.cv_results_) 
Out:
{'mean_fit_time': array([0.00209482, 0.00120714, 0.00089645, ..., 0.00109975, 0.00100021,
0.00099928]),
'std_fit_time': array([1.22382854e-03, 6.21233347e-04, 5.32190271e-04, ...,
3.11922473e-04, 1.27400324e-05, 1.94000071e-06]),
'mean_score_time': array([2.00700760e-04, 0.00000000e+00, 2.99715996e-04, ...,
1.99961662e-04, 2.96926498e-04, 9.98973846e-05]),
'std_score_time': array([0.0004014 , 0. , 0.00045782, ..., 0.00039992, 0.00045363,
0.00029969]),
...... }

print(grid_cv.cv_results_['param_max_iter'].data) 
Out: array([5, 6, 7, ..., 7, 8, 9], dtype=object)

=== Реализация Grid search в библеотеках ===
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html scikit-learn]
* [https://github.com/kubeflow/katib Katib]
* [https://tidymodels.github.io/tune/articles/grid.html Tune]
* [https://autonomio.github.io/docs_talos/#grid-search Talos]

== Random grid search ==

=== Основная информация ===

Вместо полного перебора, Random grid search работает с некоторыми, случайным образом выбранными, комбинациями. На основе полученных результатов, происходит сужение области поиска.

Когда random grid search будет гораздо полезнее, чем grid search? В ситуации, когда гиперпараметров много, но сильно влияющих на конечную производительность алгоритма — мало.

=== Реализация Random grid ===

* [https://ray.readthedocs.io/en/latest/tune-searchalg.html#variant-generation-grid-search-random-search Ray]
* [https://github.com/kubeflow/katib Katib]
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.RandomizedSearchCV.html scikit-learn]
* [https://ray.readthedocs.io/en/latest/tune-searchalg.html#variant-generation-grid-search-random-search Tune]
* [https://autonomio.github.io/docs_talos/#models Talos]

== SMBO ==

=== Основная информация ===

SMBO (Sequential Model-Based Optimization) — методы, основанные на байесовской оптимизации

Когда используют SMBO? Когда оптимизация целевой функции будет стоить очень "дорого". Главная идея SMBO — замена целевой функции "суррогатной" функцией.

На каждом шаге работы SMBO:

# Строится вероятностная модель (суррогатная функция) целевой функции.
# Подбираются гиперпараметры, которые лучше всего подходят для вероятностной модели.
# Подобранные гиперпараметры применяются к целевой функции.
# Вероятностная модель перестраивается (обновляется).
# Шаги 2-4 повторяются столько раз, сколько задал пользователь.

Существует четыре ключевые аспекта SMBO:
* Сетка значений гиперпараметров (область поиска).
* Целевая функция (выводит оценку, которую мы хотим минимизировать или максимизировать).
* Вероятностная модель целевой функции (суррогатная функция).
* Критерий, называемый функцией выбора (для выбора следующих гиперпараметры по текущей вероятностной модели).

Методы SMBO отличаются между собой вероятностными моделями и функциями выбора: 
Популярные вероятностные модели (суррогатные функции):
* Gaussian Processes
* Tree Parzen Estimators (TPE)
* Random Forest Regressions

=== Реализация ===
* Random Forest Regressions: SMAC
* Tree Parzen Estimators: Hyperopt
* Gaussian Processes: Spearmint, Scikit-optimize

== TPE ==

=== Основная информация ===
TPE — Tree-structured Parzen Estimator (Древовидная структура Парзена)

Как было написано выше, методы SMBO отличаются тем, как они строят вероятностную модель <math> {p(y|x)} </math>. В случае TPE, используется следующая функция:

<math> p(y) = \frac{p(x|y) * p(y)}{p(x)} </math>

<math> {p(x|y)} </math> — распределение гиперпараметров.

=== Реализация ===

* Hyperopt

== SMAC ==

=== Основная информация ===

SMAC использует Random Forest regression и расширяет подходы SMBO:

* Использует дискретные и условные пространства параметров.
* Обрабатывает негауссовский шум.
* Выделяет бюджет на общее время, доступное для настройки алгоритма, а не на количество оценок функций.

=== Реализация ===
* AutoML

== Источники ==

* [https://towardsdatascience.com/hyperparameters-optimization-526348bb8e2d Hyperparameters Optimization]
* [https://www.youtube.com/watch?v=u6MG_UTwiIQ Bayesian optimization]
* [https://www.youtube.com/watch?v=PgJMLpIfIc8 Гауссовские процессы и байесовская оптимизация]
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html GridSearchCV sklearn]

Настройка гиперпараметров

2020-04-23T09:32:52Z

AnneKsatn: /* Реализация Grid search в библеотеках */

== Гиперпараметры ==

Гиперпараметры — параметры, которые не настраиваются во время обучения модели. Пример гиперпараметра — шаг градиентного спуска, он задается перед обучением. Пример параметров — веса градиентного спуска, они изменяются и настраиваются во время обучения.

Для подбора гиперпараметров необходимо разделить датасет на три части:
* training set (тренировочный набор данных, для обучении модели)
* validation set (валидационный набор данных, для расчета ошибки и выбора наилучшей модели)
* test set (тестовый набор данных, для тестирования лучшей модели)

Зачем нам нужен и валидационный, и тестовый набор? Дело в том, что модель может переучиться на валидационном наборе данных. Для выявления переобучения используется тестовый набор данных.

Рассмотрим модель <code>KNeighborsClassifier</code> из библиотеки sklearn. Все “параметры” данной модели (loss, penalty, alpha и т.д), с точки зрения машинного обучения, являются гиперпараметрами, так как задаются до начала обучения.

class sklearn.linear_model.SGDClassifier(loss='hinge', penalty='l2', alpha=0.0001, l1_ratio=0.15, fit_intercept=True, max_iter=1000,
tol=0.001, shuffle=True, verbose=0, epsilon=0.1, n_jobs=None, random_state=None, learning_rate='optimal',
eta0=0.0, power_t=0.5, early_stopping=False, validation_fraction=0.1, n_iter_no_change=5, class_weight=None,
warm_start=False, average=False)

== Grid search ==

=== Общая информация ===

Grid search принимает на вход модель и различные значения гиперпараметров (сетку гиперпараметров). Далее, для каждого возможного сочетания значений гиперпараметров, метод считает ошибку и в конце выбирает сочетание, при котором ошибка минимальна.

=== Sklearn Grid search: использование ===

Пример использования <code>GridSearch</code> из библиотеки scikit-learn:

# Создание экземпляра класса <code>SGDClassifier</code> (из sklearn)
# Создание сетки гиперпараметров. В данном случае будем подбирать коэффициент регуляризации, шаг градиентного спуска, количество итераций и параметр скорости обучения.
# Создание экземпляра класса кросс-валидации
# Создание экземпляра <code>GridSearch</code> (из sklearn). Первый параметр — модель, второй — сетка гиперпараметров, третий — функционал ошибки (используемый для контроля качества моделей по технике кросс-валидации), четвертый — кросс-валидация (можно задать количество фолдов, а можно передать экземпляр класса кросс - валидации)
# Запуск поиска по сетке.

classifier = linear_model.SGDClassifier(random_state = 0, tol=1e-3)

parameters_grid = {
'alpha' : np.linspace(0.00001, 0.0001, 15),
'learning_rate': ['optimal', 'constant', 'invscaling'],
'eta0' : np.linspace(0.00001, 0.0001, 15),
'max_iter' : np.arange(5,10),
}

cv = model_selection.StratifiedShuffleSplit(n_splits=10, test_size = 0.2)
grid_cv = model_selection.GridSearchCV(classifier, parameters_grid, scoring = 'accuracy', cv = cv)
grid_cv.fit(train_data, test_data)

Out:
GridSearchCV(cv=StratifiedShuffleSplit(n_splits=10, random_state=0, test_size=0.2, train_size=None), error_score=nan,
estimator=SGDClassifier(alpha=0.0001, average=False, class_weight=None, early_stopping=False,
epsilon=0.1, eta0=0.0, fit_intercept=True, l1_ratio=0.15, learning_rate='optimal',
loss='hinge', max_iter=1000, n_iter_no_change=5, n_jobs=None,
penalty='l2...
'eta0': array([1.00000000e-05, 1.64285714e-05, 2.28571429e-05, 2.92857143e-05, 3.57142857e-05, 4.21428571e-05, 4.85714286e-05, 5.50000000e-05,
6.14285714e-05, 6.78571429e-05, 7.42857143e-05, 8.07142857e-05, 8.71428571e-05, 9.35714286e-05, 1.00000000e-04]),
'learning_rate': ['optimal', 'constant', 'invscaling'],
'max_iter': array([5, 6, 7, 8, 9])},
pre_dispatch='2*n_jobs', refit=True, return_train_score=False,
scoring='accuracy', verbose=0)

=== Sklearn Grid search: важные атрибуты ===

* <code>best_estimator_</code> — лучшая модель
* <code>best_score_</code> — ошибка, полученная на лучшей модели.
* <code>best_params_</code> — гиперпараметры лучшей модели 

print(grid_cv.best_estimator_) 
Out: SGDClassifier(alpha=4.857142857142857e-05, average=False, class_weight=None, early_stopping=False, epsilon=0.1, eta0=1e-05, fit_intercept=True,
l1_ratio=0.15, learning_rate='optimal', loss='hinge', max_iter=6, n_iter_no_change=5, n_jobs=None, penalty='l2', power_t=0.5,
random_state=0, shuffle=True, tol=0.001, validation_fraction=0.1, verbose=0, warm_start=False)

print(grid_cv.best_score_) 
Out: 0.9099999999999999

print(grid_cv.best_params_) 
Out: {'alpha': 4.857142857142857e-05, 'eta0': 1e-05, 'learning_rate': 'optimal', 'max_iter': 6}

* <code>cv_results_</code> — результаты всех моделей. 

print(grid_cv.cv_results_) 
Out:
{'mean_fit_time': array([0.00209482, 0.00120714, 0.00089645, ..., 0.00109975, 0.00100021,
0.00099928]),
'std_fit_time': array([1.22382854e-03, 6.21233347e-04, 5.32190271e-04, ...,
3.11922473e-04, 1.27400324e-05, 1.94000071e-06]),
'mean_score_time': array([2.00700760e-04, 0.00000000e+00, 2.99715996e-04, ...,
1.99961662e-04, 2.96926498e-04, 9.98973846e-05]),
'std_score_time': array([0.0004014 , 0. , 0.00045782, ..., 0.00039992, 0.00045363,
0.00029969]),
...... }

print(grid_cv.cv_results_['param_max_iter'].data) 
Out: array([5, 6, 7, ..., 7, 8, 9], dtype=object)

=== Реализация Grid search в библеотеках ===
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html scikit-learn]
* [https://github.com/kubeflow/katib Katib]
* [https://tidymodels.github.io/tune/articles/grid.html Tune]
* [https://autonomio.github.io/docs_talos/#grid-search Talos]

== Random grid search ==

=== Основная информация ===

Вместо полного перебора, Random grid search работает с некоторыми, случайным образом выбранными, комбинациями. На основе полученных результатов, происходит сужение области поиска.

Когда random grid search будет гораздо полезнее, чем grid search? В ситуации, когда гиперпараметров много, но сильно влияющих на конечную производительность алгоритма — мало.

=== Реализация Random grid ===

* hyperopt
* Katib
* scikit-learn
* Tune
* Talos

== SMBO ==

=== Основная информация ===

SMBO (Sequential Model-Based Optimization) — методы, основанные на байесовской оптимизации

Когда используют SMBO? Когда оптимизация целевой функции будет стоить очень "дорого". Главная идея SMBO — замена целевой функции "суррогатной" функцией.

На каждом шаге работы SMBO:

# Строится вероятностная модель (суррогатная функция) целевой функции.
# Подбираются гиперпараметры, которые лучше всего подходят для вероятностной модели.
# Подобранные гиперпараметры применяются к целевой функции.
# Вероятностная модель перестраивается (обновляется).
# Шаги 2-4 повторяются столько раз, сколько задал пользователь.

Существует четыре ключевые аспекта SMBO:
* Сетка значений гиперпараметров (область поиска).
* Целевая функция (выводит оценку, которую мы хотим минимизировать или максимизировать).
* Вероятностная модель целевой функции (суррогатная функция).
* Критерий, называемый функцией выбора (для выбора следующих гиперпараметры по текущей вероятностной модели).

Методы SMBO отличаются между собой вероятностными моделями и функциями выбора: 
Популярные вероятностные модели (суррогатные функции):
* Gaussian Processes
* Tree Parzen Estimators (TPE)
* Random Forest Regressions

=== Реализация ===
* Random Forest Regressions: SMAC
* Tree Parzen Estimators: Hyperopt
* Gaussian Processes: Spearmint, Scikit-optimize

== TPE ==

=== Основная информация ===
TPE — Tree-structured Parzen Estimator (Древовидная структура Парзена)

Как было написано выше, методы SMBO отличаются тем, как они строят вероятностную модель <math> {p(y|x)} </math>. В случае TPE, используется следующая функция:

<math> p(y) = \frac{p(x|y) * p(y)}{p(x)} </math>

<math> {p(x|y)} </math> — распределение гиперпараметров.

=== Реализация ===

* Hyperopt

== SMAC ==

=== Основная информация ===

SMAC использует Random Forest regression и расширяет подходы SMBO:

* Использует дискретные и условные пространства параметров.
* Обрабатывает негауссовский шум.
* Выделяет бюджет на общее время, доступное для настройки алгоритма, а не на количество оценок функций.

=== Реализация ===
* AutoML

== Источники ==

* [https://towardsdatascience.com/hyperparameters-optimization-526348bb8e2d Hyperparameters Optimization]
* [https://www.youtube.com/watch?v=u6MG_UTwiIQ Bayesian optimization]
* [https://www.youtube.com/watch?v=PgJMLpIfIc8 Гауссовские процессы и байесовская оптимизация]
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html GridSearchCV sklearn]

Настройка гиперпараметров

2020-04-23T09:20:59Z

AnneKsatn: /* Sklearn Grid search: использование */

== Гиперпараметры ==

Гиперпараметры — параметры, которые не настраиваются во время обучения модели. Пример гиперпараметра — шаг градиентного спуска, он задается перед обучением. Пример параметров — веса градиентного спуска, они изменяются и настраиваются во время обучения.

Для подбора гиперпараметров необходимо разделить датасет на три части:
* training set (тренировочный набор данных, для обучении модели)
* validation set (валидационный набор данных, для расчета ошибки и выбора наилучшей модели)
* test set (тестовый набор данных, для тестирования лучшей модели)

Зачем нам нужен и валидационный, и тестовый набор? Дело в том, что модель может переучиться на валидационном наборе данных. Для выявления переобучения используется тестовый набор данных.

Рассмотрим модель <code>KNeighborsClassifier</code> из библиотеки sklearn. Все “параметры” данной модели (loss, penalty, alpha и т.д), с точки зрения машинного обучения, являются гиперпараметрами, так как задаются до начала обучения.

class sklearn.linear_model.SGDClassifier(loss='hinge', penalty='l2', alpha=0.0001, l1_ratio=0.15, fit_intercept=True, max_iter=1000,
tol=0.001, shuffle=True, verbose=0, epsilon=0.1, n_jobs=None, random_state=None, learning_rate='optimal',
eta0=0.0, power_t=0.5, early_stopping=False, validation_fraction=0.1, n_iter_no_change=5, class_weight=None,
warm_start=False, average=False)

== Grid search ==

=== Общая информация ===

Grid search принимает на вход модель и различные значения гиперпараметров (сетку гиперпараметров). Далее, для каждого возможного сочетания значений гиперпараметров, метод считает ошибку и в конце выбирает сочетание, при котором ошибка минимальна.

=== Sklearn Grid search: использование ===

Пример использования <code>GridSearch</code> из библиотеки scikit-learn:

# Создание экземпляра класса <code>SGDClassifier</code> (из sklearn)
# Создание сетки гиперпараметров. В данном случае будем подбирать коэффициент регуляризации, шаг градиентного спуска, количество итераций и параметр скорости обучения.
# Создание экземпляра класса кросс-валидации
# Создание экземпляра <code>GridSearch</code> (из sklearn). Первый параметр — модель, второй — сетка гиперпараметров, третий — функционал ошибки (используемый для контроля качества моделей по технике кросс-валидации), четвертый — кросс-валидация (можно задать количество фолдов, а можно передать экземпляр класса кросс - валидации)
# Запуск поиска по сетке.

classifier = linear_model.SGDClassifier(random_state = 0, tol=1e-3)

parameters_grid = {
'alpha' : np.linspace(0.00001, 0.0001, 15),
'learning_rate': ['optimal', 'constant', 'invscaling'],
'eta0' : np.linspace(0.00001, 0.0001, 15),
'max_iter' : np.arange(5,10),
}

cv = model_selection.StratifiedShuffleSplit(n_splits=10, test_size = 0.2)
grid_cv = model_selection.GridSearchCV(classifier, parameters_grid, scoring = 'accuracy', cv = cv)
grid_cv.fit(train_data, test_data)

Out:
GridSearchCV(cv=StratifiedShuffleSplit(n_splits=10, random_state=0, test_size=0.2, train_size=None), error_score=nan,
estimator=SGDClassifier(alpha=0.0001, average=False, class_weight=None, early_stopping=False,
epsilon=0.1, eta0=0.0, fit_intercept=True, l1_ratio=0.15, learning_rate='optimal',
loss='hinge', max_iter=1000, n_iter_no_change=5, n_jobs=None,
penalty='l2...
'eta0': array([1.00000000e-05, 1.64285714e-05, 2.28571429e-05, 2.92857143e-05, 3.57142857e-05, 4.21428571e-05, 4.85714286e-05, 5.50000000e-05,
6.14285714e-05, 6.78571429e-05, 7.42857143e-05, 8.07142857e-05, 8.71428571e-05, 9.35714286e-05, 1.00000000e-04]),
'learning_rate': ['optimal', 'constant', 'invscaling'],
'max_iter': array([5, 6, 7, 8, 9])},
pre_dispatch='2*n_jobs', refit=True, return_train_score=False,
scoring='accuracy', verbose=0)

=== Sklearn Grid search: важные атрибуты ===

* <code>best_estimator_</code> — лучшая модель
* <code>best_score_</code> — ошибка, полученная на лучшей модели.
* <code>best_params_</code> — гиперпараметры лучшей модели 

print(grid_cv.best_estimator_) 
Out: SGDClassifier(alpha=4.857142857142857e-05, average=False, class_weight=None, early_stopping=False, epsilon=0.1, eta0=1e-05, fit_intercept=True,
l1_ratio=0.15, learning_rate='optimal', loss='hinge', max_iter=6, n_iter_no_change=5, n_jobs=None, penalty='l2', power_t=0.5,
random_state=0, shuffle=True, tol=0.001, validation_fraction=0.1, verbose=0, warm_start=False)

print(grid_cv.best_score_) 
Out: 0.9099999999999999

print(grid_cv.best_params_) 
Out: {'alpha': 4.857142857142857e-05, 'eta0': 1e-05, 'learning_rate': 'optimal', 'max_iter': 6}

* <code>cv_results_</code> — результаты всех моделей. 

print(grid_cv.cv_results_) 
Out:
{'mean_fit_time': array([0.00209482, 0.00120714, 0.00089645, ..., 0.00109975, 0.00100021,
0.00099928]),
'std_fit_time': array([1.22382854e-03, 6.21233347e-04, 5.32190271e-04, ...,
3.11922473e-04, 1.27400324e-05, 1.94000071e-06]),
'mean_score_time': array([2.00700760e-04, 0.00000000e+00, 2.99715996e-04, ...,
1.99961662e-04, 2.96926498e-04, 9.98973846e-05]),
'std_score_time': array([0.0004014 , 0. , 0.00045782, ..., 0.00039992, 0.00045363,
0.00029969]),
...... }

print(grid_cv.cv_results_['param_max_iter'].data) 
Out: array([5, 6, 7, ..., 7, 8, 9], dtype=object)

=== Реализация Grid search в библеотеках ===
* Katib
* scikit-learn
* Tune
* Talos

== Random grid search ==

=== Основная информация ===

Вместо полного перебора, Random grid search работает с некоторыми, случайным образом выбранными, комбинациями. На основе полученных результатов, происходит сужение области поиска.

Когда random grid search будет гораздо полезнее, чем grid search? В ситуации, когда гиперпараметров много, но сильно влияющих на конечную производительность алгоритма — мало.

=== Реализация Random grid ===

* hyperopt
* Katib
* scikit-learn
* Tune
* Talos

== SMBO ==

=== Основная информация ===

SMBO (Sequential Model-Based Optimization) — методы, основанные на байесовской оптимизации

Когда используют SMBO? Когда оптимизация целевой функции будет стоить очень "дорого". Главная идея SMBO — замена целевой функции "суррогатной" функцией.

На каждом шаге работы SMBO:

# Строится вероятностная модель (суррогатная функция) целевой функции.
# Подбираются гиперпараметры, которые лучше всего подходят для вероятностной модели.
# Подобранные гиперпараметры применяются к целевой функции.
# Вероятностная модель перестраивается (обновляется).
# Шаги 2-4 повторяются столько раз, сколько задал пользователь.

Существует четыре ключевые аспекта SMBO:
* Сетка значений гиперпараметров (область поиска).
* Целевая функция (выводит оценку, которую мы хотим минимизировать или максимизировать).
* Вероятностная модель целевой функции (суррогатная функция).
* Критерий, называемый функцией выбора (для выбора следующих гиперпараметры по текущей вероятностной модели).

Методы SMBO отличаются между собой вероятностными моделями и функциями выбора: 
Популярные вероятностные модели (суррогатные функции):
* Gaussian Processes
* Tree Parzen Estimators (TPE)
* Random Forest Regressions

=== Реализация ===
* Random Forest Regressions: SMAC
* Tree Parzen Estimators: Hyperopt
* Gaussian Processes: Spearmint, Scikit-optimize

== TPE ==

=== Основная информация ===
TPE — Tree-structured Parzen Estimator (Древовидная структура Парзена)

Как было написано выше, методы SMBO отличаются тем, как они строят вероятностную модель <math> {p(y|x)} </math>. В случае TPE, используется следующая функция:

<math> p(y) = \frac{p(x|y) * p(y)}{p(x)} </math>

<math> {p(x|y)} </math> — распределение гиперпараметров.

=== Реализация ===

* Hyperopt

== SMAC ==

=== Основная информация ===

SMAC использует Random Forest regression и расширяет подходы SMBO:

* Использует дискретные и условные пространства параметров.
* Обрабатывает негауссовский шум.
* Выделяет бюджет на общее время, доступное для настройки алгоритма, а не на количество оценок функций.

=== Реализация ===
* AutoML

== Источники ==

* [https://towardsdatascience.com/hyperparameters-optimization-526348bb8e2d Hyperparameters Optimization]
* [https://www.youtube.com/watch?v=u6MG_UTwiIQ Bayesian optimization]
* [https://www.youtube.com/watch?v=PgJMLpIfIc8 Гауссовские процессы и байесовская оптимизация]
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html GridSearchCV sklearn]

Настройка гиперпараметров

2020-04-23T09:19:35Z

AnneKsatn: /* Sklearn Grid search: важные атрибуты */

== Гиперпараметры ==

Гиперпараметры — параметры, которые не настраиваются во время обучения модели. Пример гиперпараметра — шаг градиентного спуска, он задается перед обучением. Пример параметров — веса градиентного спуска, они изменяются и настраиваются во время обучения.

Для подбора гиперпараметров необходимо разделить датасет на три части:
* training set (тренировочный набор данных, для обучении модели)
* validation set (валидационный набор данных, для расчета ошибки и выбора наилучшей модели)
* test set (тестовый набор данных, для тестирования лучшей модели)

Зачем нам нужен и валидационный, и тестовый набор? Дело в том, что модель может переучиться на валидационном наборе данных. Для выявления переобучения используется тестовый набор данных.

Рассмотрим модель <code>KNeighborsClassifier</code> из библиотеки sklearn. Все “параметры” данной модели (loss, penalty, alpha и т.д), с точки зрения машинного обучения, являются гиперпараметрами, так как задаются до начала обучения.

class sklearn.linear_model.SGDClassifier(loss='hinge', penalty='l2', alpha=0.0001, l1_ratio=0.15, fit_intercept=True, max_iter=1000,
tol=0.001, shuffle=True, verbose=0, epsilon=0.1, n_jobs=None, random_state=None, learning_rate='optimal',
eta0=0.0, power_t=0.5, early_stopping=False, validation_fraction=0.1, n_iter_no_change=5, class_weight=None,
warm_start=False, average=False)

== Grid search ==

=== Общая информация ===

Grid search принимает на вход модель и различные значения гиперпараметров (сетку гиперпараметров). Далее, для каждого возможного сочетания значений гиперпараметров, метод считает ошибку и в конце выбирает сочетание, при котором ошибка минимальна.

=== Sklearn Grid search: использование ===

Пример использования <code>GridSearch</code> из библиотеки scikit-learn:

# Создание экземпляра класса <code>SGDClassifier</code> (из sklearn)
# Создание сетки гиперпараметров. В данном случае будем подбирать коэффициент регуляризации, шаг градиентного спуска, количество итераций и параметр скорости обучения.
# Создание экземпляра класса кросс-валидации
# Создание экземпляра <code>GridSearch</code> (из sklearn). Первый параметр — модель, второй — сетка гиперпараметров, третий — функционал ошибки (используемый для контроля качества моделей по технике кросс-валидации), четвертый — кросс-валидация (можно задать количество фолдов, а можно передать экземпляр класса кросс - валидации)
# Запуск поиска по сетке.

classifier = linear_model.SGDClassifier(random_state = 0, tol=1e-3)

parameters_grid = {
'alpha' : np.linspace(0.00001, 0.0001, 15),
'learning_rate': ['optimal', 'constant', 'invscaling'],
'eta0' : np.linspace(0.00001, 0.0001, 15),
'max_iter' : np.arange(5,10),
}

cv = model_selection.StratifiedShuffleSplit(n_splits=10, test_size = 0.2)
grid_cv = model_selection.GridSearchCV(classifier, parameters_grid, scoring = 'accuracy', cv = cv)
grid_cv.fit(train_data, test_data)

Out:
GridSearchCV(cv=StratifiedShuffleSplit(n_splits=10, random_state=0, test_size=0.2, train_size=None),
error_score=nan,
estimator=SGDClassifier(alpha=0.0001, average=False,
class_weight=None, early_stopping=False,
epsilon=0.1, eta0=0.0, fit_intercept=True,
l1_ratio=0.15, learning_rate='optimal',
loss='hinge', max_iter=1000,
n_iter_no_change=5, n_jobs=None,
penalty='l2...
'eta0': array([1.00000000e-05, 1.64285714e-05, 2.28571429e-05, 2.92857143e-05,
3.57142857e-05, 4.21428571e-05, 4.85714286e-05, 5.50000000e-05,
6.14285714e-05, 6.78571429e-05, 7.42857143e-05, 8.07142857e-05,
8.71428571e-05, 9.35714286e-05, 1.00000000e-04]),
'learning_rate': ['optimal', 'constant', 'invscaling'],
'max_iter': array([5, 6, 7, 8, 9])},
pre_dispatch='2*n_jobs', refit=True, return_train_score=False,
scoring='accuracy', verbose=0)

=== Sklearn Grid search: важные атрибуты ===

* <code>best_estimator_</code> — лучшая модель
* <code>best_score_</code> — ошибка, полученная на лучшей модели.
* <code>best_params_</code> — гиперпараметры лучшей модели 

print(grid_cv.best_estimator_) 
Out: SGDClassifier(alpha=4.857142857142857e-05, average=False, class_weight=None, early_stopping=False, epsilon=0.1, eta0=1e-05, fit_intercept=True,
l1_ratio=0.15, learning_rate='optimal', loss='hinge', max_iter=6, n_iter_no_change=5, n_jobs=None, penalty='l2', power_t=0.5,
random_state=0, shuffle=True, tol=0.001, validation_fraction=0.1, verbose=0, warm_start=False)

print(grid_cv.best_score_) 
Out: 0.9099999999999999

print(grid_cv.best_params_) 
Out: {'alpha': 4.857142857142857e-05, 'eta0': 1e-05, 'learning_rate': 'optimal', 'max_iter': 6}

* <code>cv_results_</code> — результаты всех моделей. 

print(grid_cv.cv_results_) 
Out:
{'mean_fit_time': array([0.00209482, 0.00120714, 0.00089645, ..., 0.00109975, 0.00100021,
0.00099928]),
'std_fit_time': array([1.22382854e-03, 6.21233347e-04, 5.32190271e-04, ...,
3.11922473e-04, 1.27400324e-05, 1.94000071e-06]),
'mean_score_time': array([2.00700760e-04, 0.00000000e+00, 2.99715996e-04, ...,
1.99961662e-04, 2.96926498e-04, 9.98973846e-05]),
'std_score_time': array([0.0004014 , 0. , 0.00045782, ..., 0.00039992, 0.00045363,
0.00029969]),
...... }

print(grid_cv.cv_results_['param_max_iter'].data) 
Out: array([5, 6, 7, ..., 7, 8, 9], dtype=object)

=== Реализация Grid search в библеотеках ===
* Katib
* scikit-learn
* Tune
* Talos

== Random grid search ==

=== Основная информация ===

Вместо полного перебора, Random grid search работает с некоторыми, случайным образом выбранными, комбинациями. На основе полученных результатов, происходит сужение области поиска.

Когда random grid search будет гораздо полезнее, чем grid search? В ситуации, когда гиперпараметров много, но сильно влияющих на конечную производительность алгоритма — мало.

=== Реализация Random grid ===

* hyperopt
* Katib
* scikit-learn
* Tune
* Talos

== SMBO ==

=== Основная информация ===

SMBO (Sequential Model-Based Optimization) — методы, основанные на байесовской оптимизации

Когда используют SMBO? Когда оптимизация целевой функции будет стоить очень "дорого". Главная идея SMBO — замена целевой функции "суррогатной" функцией.

На каждом шаге работы SMBO:

# Строится вероятностная модель (суррогатная функция) целевой функции.
# Подбираются гиперпараметры, которые лучше всего подходят для вероятностной модели.
# Подобранные гиперпараметры применяются к целевой функции.
# Вероятностная модель перестраивается (обновляется).
# Шаги 2-4 повторяются столько раз, сколько задал пользователь.

Существует четыре ключевые аспекта SMBO:
* Сетка значений гиперпараметров (область поиска).
* Целевая функция (выводит оценку, которую мы хотим минимизировать или максимизировать).
* Вероятностная модель целевой функции (суррогатная функция).
* Критерий, называемый функцией выбора (для выбора следующих гиперпараметры по текущей вероятностной модели).

Методы SMBO отличаются между собой вероятностными моделями и функциями выбора: 
Популярные вероятностные модели (суррогатные функции):
* Gaussian Processes
* Tree Parzen Estimators (TPE)
* Random Forest Regressions

=== Реализация ===
* Random Forest Regressions: SMAC
* Tree Parzen Estimators: Hyperopt
* Gaussian Processes: Spearmint, Scikit-optimize

== TPE ==

=== Основная информация ===
TPE — Tree-structured Parzen Estimator (Древовидная структура Парзена)

Как было написано выше, методы SMBO отличаются тем, как они строят вероятностную модель <math> {p(y|x)} </math>. В случае TPE, используется следующая функция:

<math> p(y) = \frac{p(x|y) * p(y)}{p(x)} </math>

<math> {p(x|y)} </math> — распределение гиперпараметров.

=== Реализация ===

* Hyperopt

== SMAC ==

=== Основная информация ===

SMAC использует Random Forest regression и расширяет подходы SMBO:

* Использует дискретные и условные пространства параметров.
* Обрабатывает негауссовский шум.
* Выделяет бюджет на общее время, доступное для настройки алгоритма, а не на количество оценок функций.

=== Реализация ===
* AutoML

== Источники ==

* [https://towardsdatascience.com/hyperparameters-optimization-526348bb8e2d Hyperparameters Optimization]
* [https://www.youtube.com/watch?v=u6MG_UTwiIQ Bayesian optimization]
* [https://www.youtube.com/watch?v=PgJMLpIfIc8 Гауссовские процессы и байесовская оптимизация]
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html GridSearchCV sklearn]

Настройка гиперпараметров

2020-04-23T09:17:56Z

AnneKsatn: /* Гиперпараметры */

== Гиперпараметры ==

Гиперпараметры — параметры, которые не настраиваются во время обучения модели. Пример гиперпараметра — шаг градиентного спуска, он задается перед обучением. Пример параметров — веса градиентного спуска, они изменяются и настраиваются во время обучения.

Для подбора гиперпараметров необходимо разделить датасет на три части:
* training set (тренировочный набор данных, для обучении модели)
* validation set (валидационный набор данных, для расчета ошибки и выбора наилучшей модели)
* test set (тестовый набор данных, для тестирования лучшей модели)

Зачем нам нужен и валидационный, и тестовый набор? Дело в том, что модель может переучиться на валидационном наборе данных. Для выявления переобучения используется тестовый набор данных.

Рассмотрим модель <code>KNeighborsClassifier</code> из библиотеки sklearn. Все “параметры” данной модели (loss, penalty, alpha и т.д), с точки зрения машинного обучения, являются гиперпараметрами, так как задаются до начала обучения.

class sklearn.linear_model.SGDClassifier(loss='hinge', penalty='l2', alpha=0.0001, l1_ratio=0.15, fit_intercept=True, max_iter=1000,
tol=0.001, shuffle=True, verbose=0, epsilon=0.1, n_jobs=None, random_state=None, learning_rate='optimal',
eta0=0.0, power_t=0.5, early_stopping=False, validation_fraction=0.1, n_iter_no_change=5, class_weight=None,
warm_start=False, average=False)

== Grid search ==

=== Общая информация ===

Grid search принимает на вход модель и различные значения гиперпараметров (сетку гиперпараметров). Далее, для каждого возможного сочетания значений гиперпараметров, метод считает ошибку и в конце выбирает сочетание, при котором ошибка минимальна.

=== Sklearn Grid search: использование ===

Пример использования <code>GridSearch</code> из библиотеки scikit-learn:

# Создание экземпляра класса <code>SGDClassifier</code> (из sklearn)
# Создание сетки гиперпараметров. В данном случае будем подбирать коэффициент регуляризации, шаг градиентного спуска, количество итераций и параметр скорости обучения.
# Создание экземпляра класса кросс-валидации
# Создание экземпляра <code>GridSearch</code> (из sklearn). Первый параметр — модель, второй — сетка гиперпараметров, третий — функционал ошибки (используемый для контроля качества моделей по технике кросс-валидации), четвертый — кросс-валидация (можно задать количество фолдов, а можно передать экземпляр класса кросс - валидации)
# Запуск поиска по сетке.

classifier = linear_model.SGDClassifier(random_state = 0, tol=1e-3)

parameters_grid = {
'alpha' : np.linspace(0.00001, 0.0001, 15),
'learning_rate': ['optimal', 'constant', 'invscaling'],
'eta0' : np.linspace(0.00001, 0.0001, 15),
'max_iter' : np.arange(5,10),
}

cv = model_selection.StratifiedShuffleSplit(n_splits=10, test_size = 0.2)
grid_cv = model_selection.GridSearchCV(classifier, parameters_grid, scoring = 'accuracy', cv = cv)
grid_cv.fit(train_data, test_data)

Out:
GridSearchCV(cv=StratifiedShuffleSplit(n_splits=10, random_state=0, test_size=0.2, train_size=None),
error_score=nan,
estimator=SGDClassifier(alpha=0.0001, average=False,
class_weight=None, early_stopping=False,
epsilon=0.1, eta0=0.0, fit_intercept=True,
l1_ratio=0.15, learning_rate='optimal',
loss='hinge', max_iter=1000,
n_iter_no_change=5, n_jobs=None,
penalty='l2...
'eta0': array([1.00000000e-05, 1.64285714e-05, 2.28571429e-05, 2.92857143e-05,
3.57142857e-05, 4.21428571e-05, 4.85714286e-05, 5.50000000e-05,
6.14285714e-05, 6.78571429e-05, 7.42857143e-05, 8.07142857e-05,
8.71428571e-05, 9.35714286e-05, 1.00000000e-04]),
'learning_rate': ['optimal', 'constant', 'invscaling'],
'max_iter': array([5, 6, 7, 8, 9])},
pre_dispatch='2*n_jobs', refit=True, return_train_score=False,
scoring='accuracy', verbose=0)

=== Sklearn Grid search: важные атрибуты ===

* <code>best_estimator_</code> — лучшая модель
* <code>best_score_</code> — ошибка, полученная на лучшей модели.
* <code>best_params_</code> — гиперпараметры лучшей модели 

print(grid_cv.best_estimator_) 
Out: SGDClassifier(alpha=4.857142857142857e-05, average=False, class_weight=None,
early_stopping=False, epsilon=0.1, eta0=1e-05, fit_intercept=True,
l1_ratio=0.15, learning_rate='optimal', loss='hinge', max_iter=6,
n_iter_no_change=5, n_jobs=None, penalty='l2', power_t=0.5,
random_state=0, shuffle=True, tol=0.001, validation_fraction=0.1,
verbose=0, warm_start=False)

print(grid_cv.best_score_) 
Out: 0.9099999999999999

print(grid_cv.best_params_) 
Out: {'alpha': 4.857142857142857e-05, 'eta0': 1e-05, 'learning_rate': 'optimal', 'max_iter': 6}

* <code>cv_results_</code> — результаты всех моделей. 

print(grid_cv.cv_results_) 
Out:
{'mean_fit_time': array([0.00209482, 0.00120714, 0.00089645, ..., 0.00109975, 0.00100021,
0.00099928]),
'std_fit_time': array([1.22382854e-03, 6.21233347e-04, 5.32190271e-04, ...,
3.11922473e-04, 1.27400324e-05, 1.94000071e-06]),
'mean_score_time': array([2.00700760e-04, 0.00000000e+00, 2.99715996e-04, ...,
1.99961662e-04, 2.96926498e-04, 9.98973846e-05]),
'std_score_time': array([0.0004014 , 0. , 0.00045782, ..., 0.00039992, 0.00045363,
0.00029969]),
...... }

print(grid_cv.cv_results_['param_max_iter'].data) 
Out: array([5, 6, 7, ..., 7, 8, 9], dtype=object)

=== Реализация Grid search в библеотеках ===
* Katib
* scikit-learn
* Tune
* Talos

== Random grid search ==

=== Основная информация ===

Вместо полного перебора, Random grid search работает с некоторыми, случайным образом выбранными, комбинациями. На основе полученных результатов, происходит сужение области поиска.

Когда random grid search будет гораздо полезнее, чем grid search? В ситуации, когда гиперпараметров много, но сильно влияющих на конечную производительность алгоритма — мало.

=== Реализация Random grid ===

* hyperopt
* Katib
* scikit-learn
* Tune
* Talos

== SMBO ==

=== Основная информация ===

SMBO (Sequential Model-Based Optimization) — методы, основанные на байесовской оптимизации

Когда используют SMBO? Когда оптимизация целевой функции будет стоить очень "дорого". Главная идея SMBO — замена целевой функции "суррогатной" функцией.

На каждом шаге работы SMBO:

# Строится вероятностная модель (суррогатная функция) целевой функции.
# Подбираются гиперпараметры, которые лучше всего подходят для вероятностной модели.
# Подобранные гиперпараметры применяются к целевой функции.
# Вероятностная модель перестраивается (обновляется).
# Шаги 2-4 повторяются столько раз, сколько задал пользователь.

Существует четыре ключевые аспекта SMBO:
* Сетка значений гиперпараметров (область поиска).
* Целевая функция (выводит оценку, которую мы хотим минимизировать или максимизировать).
* Вероятностная модель целевой функции (суррогатная функция).
* Критерий, называемый функцией выбора (для выбора следующих гиперпараметры по текущей вероятностной модели).

Методы SMBO отличаются между собой вероятностными моделями и функциями выбора: 
Популярные вероятностные модели (суррогатные функции):
* Gaussian Processes
* Tree Parzen Estimators (TPE)
* Random Forest Regressions

=== Реализация ===
* Random Forest Regressions: SMAC
* Tree Parzen Estimators: Hyperopt
* Gaussian Processes: Spearmint, Scikit-optimize

== TPE ==

=== Основная информация ===
TPE — Tree-structured Parzen Estimator (Древовидная структура Парзена)

Как было написано выше, методы SMBO отличаются тем, как они строят вероятностную модель <math> {p(y|x)} </math>. В случае TPE, используется следующая функция:

<math> p(y) = \frac{p(x|y) * p(y)}{p(x)} </math>

<math> {p(x|y)} </math> — распределение гиперпараметров.

=== Реализация ===

* Hyperopt

== SMAC ==

=== Основная информация ===

SMAC использует Random Forest regression и расширяет подходы SMBO:

* Использует дискретные и условные пространства параметров.
* Обрабатывает негауссовский шум.
* Выделяет бюджет на общее время, доступное для настройки алгоритма, а не на количество оценок функций.

=== Реализация ===
* AutoML

== Источники ==

* [https://towardsdatascience.com/hyperparameters-optimization-526348bb8e2d Hyperparameters Optimization]
* [https://www.youtube.com/watch?v=u6MG_UTwiIQ Bayesian optimization]
* [https://www.youtube.com/watch?v=PgJMLpIfIc8 Гауссовские процессы и байесовская оптимизация]
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html GridSearchCV sklearn]

Настройка гиперпараметров

2020-04-23T09:14:58Z

AnneKsatn: /* Sklearn Grid search: важные атрибуты */

== Гиперпараметры ==

Гиперпараметры — параметры, которые не настраиваются во время обучения модели. Пример гиперпараметра — шаг градиентного спуска, он задается перед обучением. Пример параметров — веса градиентного спуска, они изменяются и настраиваются во время обучения.

Для подбора гиперпараметров необходимо разделить датасет на три части:
* training set (тренировочный набор данных, для обучении модели)
* validation set (валидационный набор данных, для расчета ошибки и выбора наилучшей модели)
* test set (тестовый набор данных, для тестирования лучшей модели)

Зачем нам нужен и валидационный, и тестовый набор? Дело в том, что модель может переучиться на валидационном наборе данных. Для выявления переобучения используется тестовый набор данных.

Рассмотрим модель <code>KNeighborsClassifier</code> из библиотеки sklearn. Все “параметры” данной модели, с точки зрения машинного обучения, являются гиперпараметрами, так как задаются до начала обучения.

[[Файл:KNeighborsClassifier_model.png|center|1000px]]

== Grid search ==

=== Общая информация ===

Grid search принимает на вход модель и различные значения гиперпараметров (сетку гиперпараметров). Далее, для каждого возможного сочетания значений гиперпараметров, метод считает ошибку и в конце выбирает сочетание, при котором ошибка минимальна.

=== Sklearn Grid search: использование ===

Пример использования <code>GridSearch</code> из библиотеки scikit-learn:

# Создание экземпляра класса <code>SGDClassifier</code> (из sklearn)
# Создание сетки гиперпараметров. В данном случае будем подбирать коэффициент регуляризации, шаг градиентного спуска, количество итераций и параметр скорости обучения.
# Создание экземпляра класса кросс-валидации
# Создание экземпляра <code>GridSearch</code> (из sklearn). Первый параметр — модель, второй — сетка гиперпараметров, третий — функционал ошибки (используемый для контроля качества моделей по технике кросс-валидации), четвертый — кросс-валидация (можно задать количество фолдов, а можно передать экземпляр класса кросс - валидации)
# Запуск поиска по сетке.

classifier = linear_model.SGDClassifier(random_state = 0, tol=1e-3)

parameters_grid = {
'alpha' : np.linspace(0.00001, 0.0001, 15),
'learning_rate': ['optimal', 'constant', 'invscaling'],
'eta0' : np.linspace(0.00001, 0.0001, 15),
'max_iter' : np.arange(5,10),
}

cv = model_selection.StratifiedShuffleSplit(n_splits=10, test_size = 0.2)
grid_cv = model_selection.GridSearchCV(classifier, parameters_grid, scoring = 'accuracy', cv = cv)
grid_cv.fit(train_data, test_data)

Out:
GridSearchCV(cv=StratifiedShuffleSplit(n_splits=10, random_state=0, test_size=0.2, train_size=None),
error_score=nan,
estimator=SGDClassifier(alpha=0.0001, average=False,
class_weight=None, early_stopping=False,
epsilon=0.1, eta0=0.0, fit_intercept=True,
l1_ratio=0.15, learning_rate='optimal',
loss='hinge', max_iter=1000,
n_iter_no_change=5, n_jobs=None,
penalty='l2...
'eta0': array([1.00000000e-05, 1.64285714e-05, 2.28571429e-05, 2.92857143e-05,
3.57142857e-05, 4.21428571e-05, 4.85714286e-05, 5.50000000e-05,
6.14285714e-05, 6.78571429e-05, 7.42857143e-05, 8.07142857e-05,
8.71428571e-05, 9.35714286e-05, 1.00000000e-04]),
'learning_rate': ['optimal', 'constant', 'invscaling'],
'max_iter': array([5, 6, 7, 8, 9])},
pre_dispatch='2*n_jobs', refit=True, return_train_score=False,
scoring='accuracy', verbose=0)

=== Sklearn Grid search: важные атрибуты ===

* <code>best_estimator_</code> — лучшая модель
* <code>best_score_</code> — ошибка, полученная на лучшей модели.
* <code>best_params_</code> — гиперпараметры лучшей модели 

print(grid_cv.best_estimator_) 
Out: SGDClassifier(alpha=4.857142857142857e-05, average=False, class_weight=None,
early_stopping=False, epsilon=0.1, eta0=1e-05, fit_intercept=True,
l1_ratio=0.15, learning_rate='optimal', loss='hinge', max_iter=6,
n_iter_no_change=5, n_jobs=None, penalty='l2', power_t=0.5,
random_state=0, shuffle=True, tol=0.001, validation_fraction=0.1,
verbose=0, warm_start=False)

print(grid_cv.best_score_) 
Out: 0.9099999999999999

print(grid_cv.best_params_) 
Out: {'alpha': 4.857142857142857e-05, 'eta0': 1e-05, 'learning_rate': 'optimal', 'max_iter': 6}

* <code>cv_results_</code> — результаты всех моделей. 

print(grid_cv.cv_results_) 
Out:
{'mean_fit_time': array([0.00209482, 0.00120714, 0.00089645, ..., 0.00109975, 0.00100021,
0.00099928]),
'std_fit_time': array([1.22382854e-03, 6.21233347e-04, 5.32190271e-04, ...,
3.11922473e-04, 1.27400324e-05, 1.94000071e-06]),
'mean_score_time': array([2.00700760e-04, 0.00000000e+00, 2.99715996e-04, ...,
1.99961662e-04, 2.96926498e-04, 9.98973846e-05]),
'std_score_time': array([0.0004014 , 0. , 0.00045782, ..., 0.00039992, 0.00045363,
0.00029969]),
...... }

print(grid_cv.cv_results_['param_max_iter'].data) 
Out: array([5, 6, 7, ..., 7, 8, 9], dtype=object)

=== Реализация Grid search в библеотеках ===
* Katib
* scikit-learn
* Tune
* Talos

== Random grid search ==

=== Основная информация ===

Вместо полного перебора, Random grid search работает с некоторыми, случайным образом выбранными, комбинациями. На основе полученных результатов, происходит сужение области поиска.

Когда random grid search будет гораздо полезнее, чем grid search? В ситуации, когда гиперпараметров много, но сильно влияющих на конечную производительность алгоритма — мало.

=== Реализация Random grid ===

* hyperopt
* Katib
* scikit-learn
* Tune
* Talos

== SMBO ==

=== Основная информация ===

SMBO (Sequential Model-Based Optimization) — методы, основанные на байесовской оптимизации

Когда используют SMBO? Когда оптимизация целевой функции будет стоить очень "дорого". Главная идея SMBO — замена целевой функции "суррогатной" функцией.

На каждом шаге работы SMBO:

# Строится вероятностная модель (суррогатная функция) целевой функции.
# Подбираются гиперпараметры, которые лучше всего подходят для вероятностной модели.
# Подобранные гиперпараметры применяются к целевой функции.
# Вероятностная модель перестраивается (обновляется).
# Шаги 2-4 повторяются столько раз, сколько задал пользователь.

Существует четыре ключевые аспекта SMBO:
* Сетка значений гиперпараметров (область поиска).
* Целевая функция (выводит оценку, которую мы хотим минимизировать или максимизировать).
* Вероятностная модель целевой функции (суррогатная функция).
* Критерий, называемый функцией выбора (для выбора следующих гиперпараметры по текущей вероятностной модели).

Методы SMBO отличаются между собой вероятностными моделями и функциями выбора: 
Популярные вероятностные модели (суррогатные функции):
* Gaussian Processes
* Tree Parzen Estimators (TPE)
* Random Forest Regressions

=== Реализация ===
* Random Forest Regressions: SMAC
* Tree Parzen Estimators: Hyperopt
* Gaussian Processes: Spearmint, Scikit-optimize

== TPE ==

=== Основная информация ===
TPE — Tree-structured Parzen Estimator (Древовидная структура Парзена)

Как было написано выше, методы SMBO отличаются тем, как они строят вероятностную модель <math> {p(y|x)} </math>. В случае TPE, используется следующая функция:

<math> p(y) = \frac{p(x|y) * p(y)}{p(x)} </math>

<math> {p(x|y)} </math> — распределение гиперпараметров.

=== Реализация ===

* Hyperopt

== SMAC ==

=== Основная информация ===

SMAC использует Random Forest regression и расширяет подходы SMBO:

* Использует дискретные и условные пространства параметров.
* Обрабатывает негауссовский шум.
* Выделяет бюджет на общее время, доступное для настройки алгоритма, а не на количество оценок функций.

=== Реализация ===
* AutoML

== Источники ==

* [https://towardsdatascience.com/hyperparameters-optimization-526348bb8e2d Hyperparameters Optimization]
* [https://www.youtube.com/watch?v=u6MG_UTwiIQ Bayesian optimization]
* [https://www.youtube.com/watch?v=PgJMLpIfIc8 Гауссовские процессы и байесовская оптимизация]
* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html GridSearchCV sklearn]

Настройка гиперпараметров

2020-04-23T09:05:50Z

AnneKsatn: /* Sklearn Grid search: использование */

Настройка гиперпараметров

2020-04-23T08:59:41Z

AnneKsatn: Замена первой картинки

Настройка гиперпараметров

2020-04-22T17:16:22Z

AnneKsatn: источники

Настройка гиперпараметров

2020-04-22T16:57:32Z

AnneKsatn: форматирование текста

Настройка гиперпараметров

2020-04-22T16:50:54Z

AnneKsatn: форматирование

Настройка гиперпараметров

2020-04-22T16:41:15Z

AnneKsatn: замена деф. на тире

Настройка гиперпараметров

2020-04-22T16:36:59Z

AnneKsatn: форматирование текста

== Гиперпараметры ==

Гиперпараметры - параметры, которые не настраиваются во время обучения модели. Пример гиперпараметра - шаг градиентного спуска, он задается перед обучением. Пример параметров - веса градиентного спуска, они изменяются и настраиваются во время обучения.

Для подбора гиперпараметров необходимо разделить датасет на три части:
* training set (тренировочный набор данных, для обучении модели)
* validation set (валидационный набор данных, для расчета ошибки и выбора наилучшей модели)
* test set (тестовый набор данных, для тестирования лучшей модели)

Зачем нам нужен и валидационный, и тестовый набор? Дело в том, что модель может переучиться на валидационном наборе данных. Для выявления переобучения используется тестовый набор данных.

Рассмотрим модель KNeighborsClassifier из библиотеки sklearn. Все “параметры” данной модели, с точки зрения машинного обучения, являются гиперпараметрами, так как задаются до начала обучения.

[[Файл:KNeighborsClassifier_model.png|center|1000px]]

== Техники настройки гиперпараметров ==

=== Grid search ===

==== Общая информация ====

Grid search принимает на вход модель и различные значения гиперпараметров (сетку гиперпараметров). Далее, для каждого возможного сочетания значений гиперпараметров, метод считает ошибку и в конце выбирает сочетание, при котором ошибка минимальна.

==== Sklearn Grid search: использование ====

Пример использования Grid search из библиотеки scikit-learn:

# Создание экземпляра класса SGDClassifier (из sklearn)
# Создание сетки гиперпараметров. В данном случае будем подбирать коэффициент регуляризации, шаг градиентного спуска, количество итераций и параметр скорости обучения.
# Создание экземпляра класса кросс-валидации
# Создание экземпляра GridSearch (из sklearn). Первый параметр - модель, второй - сетка гиперпараметров, третий - функционал ошибки (используемый для контроля качества моделей по технике кросс-валидации), четвертый - кросс-валидация (можно задать количество фолдов, а можно передать экземпляр класса кросс - валидации)
# Запуск поиска по сетке.

[[Файл:KNeighborsClassifier_exmpl.png|center|1000px]]

==== Sklearn Grid search: важные атрибуты ====

* best_estimator_ - лучшая модель
* best_score_ - ошибка, полученная на лучшей модели.
* best_params_ - гиперпараметры лучшей модели 

[[Файл:KNeighborsClassifier_bestest.png|center|1000px]] 

* cv_results_ - результаты всех моделей. 

[[Файл:KNeighborsClassifier_results.png|center|1000px]] 

* доступ к массиву определенного параметра: 

[[Файл:KNeighborsClassifier_param_array.png|center|1000px]] 

==== Реализация Grid search в библеотеках====
* Katib
* scikit-learn
* Tune
* Talos

=== Random grid search ===

==== Основная информация ====

Вместо полного перебора, Random grid search работает с некоторыми, случайным образом выбранными, комбинациями. На основе полученных результатов, происходит сужение области поиска.

Когда random grid search будет гораздо полезнее, чем grid search? В ситуации, когда гиперпараметров много, но сильно влияющих на конечную производительность алгоритма - мало.

==== Реализация Random grid ====

* hyperopt
* Katib
* scikit-learn
* Tune
* Talos

=== SMBO ===

==== Основная информация ====

SMBO (Sequential Model-Based Optimization) - методы, основанные на байесовской оптимизации

Когда используют SMBO? Когда оптимизация целевой функции будет стоить очень "дорого". Главная идея SMBO - замена целевой функции "суррогатной" функцией.

На каждом шаге работы SMBO:

# Строится вероятностная модель (суррогатная функция) целевой функции.
# Подбираются гиперпараметры, которые лучше всего подходят для вероятностной модели.
# Подобранные гиперпараметры применяются к целевой функции.
# Вероятностная модель перестраивается (обновляется).
# Шаги 2-4 повторяются столько раз, сколько задал пользователь.

Существует четыре ключевые аспекта SMBO:
* Сетка значений гиперпараметров (область поиска).
* Целевая функция (выводит оценку, которую мы хотим минимизировать или максимизировать).
* Вероятностная модель целевой функции (суррогатная функция).
* Критерий, называемый функцией выбора (для выбора следующих гиперпараметры по текущей вероятностной модели).

Методы SMBO отличаются между собой вероятностными моделями и функциями выбора: 
Популярные вероятностные модели (суррогатные функции):
* Gaussian Processes
* Tree Parzen Estimators (TPE)
* Random Forest Regressions

==== Реализация ====
* Random Forest Regressions: SMAC
* Tree Parzen Estimators: Hyperopt
* Gaussian Processes: Spearmint, Scikit-optimize

=== TPE ===

==== Основная информация ====
TPE - Tree-structured Parzen Estimator (Древовидная структура Парзена)

Как было написано выше, методы SMBO отличаются тем, как они строят вероятностную модель <math> {p(y|x)} </math>. В случае TPE, используется следующая функция:

<math> p(y) = \frac{p(x|y) * p(y)}{p(x)} </math>

<math> {p(x|y)} </math> - распределение гиперпараметров.

==== Реализация ====

* Hyperopt

=== SMAC ===

==== Основная информация ====

SMAC использует Random Forest regression и расширяет подходы SMBO:

* Использует дискретные и условные пространства параметров.
* Обрабатывает негауссовский шум.
* Выделяет бюджет на общее время, доступное для настройки алгоритма, а не на количество оценок функций.

==== Реализация ====
* AutoML

Настройка гиперпараметров

2020-04-20T11:06:28Z

AnneKsatn: /* Реализация */

== Гиперпараметры ==

Гиперпараметры - параметры, которые не настраиваются во время обучения модели.

Пример гиперпараметра - шаг градиентного спуска, он задается перед обучением. 
Пример параметров - веса градиентного спуска, они изменяются и настраиваются во время обучения.

Для подбора гиперпараметров необходимо разделить датасет на три части:
* training set (тренировочный набор данных, для обучении модели)
* validation set (валидационный набор данных, для расчета ошибки и выбора наилучшей модели)
* test set (тестовый набор данных, для тестирования лучшей модели)

Зачем нам нужен и валидационный, и тестовый набор? 
Дело в том, что модель может переучиться на валидационном наборе данных. Для выявления переобучения используется тестовый набор данных.

Рассмотрим модель KNeighborsClassifier из библиотеки sklearn. Все “параметры” данной модели, с точки зрения машинного обучения, являются гиперпараметрами, так как задаются до начала обучения.

[[Файл:KNeighborsClassifier_model.png|center|1000px]]

== Техники настройки гиперпараметров ==

=== Grid search ===

==== Общая информация ====

Grid search принимает на вход модель и различные значения гиперпараметров (сетку гиперпараметров).
Далее, для каждого возможного сочетания значений гиперпараметров, метод считает ошибку и в конце выбирает сочетание, при котором ошибка минимальна.

==== Sklearn Grid search: использование ====

Пример использования Grid search из библиотеки scikit-learn:

# Создание экземпляра класса SGDClassifier (из sklearn)
# Создание сетки гиперпараметров. В данном случае будем подбирать коэффициент регуляризации, шаг градиентного спуска, количество итераций и параметр скорости обучения.
# Создание экземпляра класса кросс-валидации
# Создание экземпляра GridSearch (из sklearn). Первый параметр - модель, второй - сетка гиперпараметров, третий - функционал ошибки (используемый для контроля качества моделей по технике кросс-валидации), четвертый - кросс-валидация (можно задать количество фолдов, а можно передать экземпляр класса кросс - валидации)
# Запуск поиска по сетке.

[[Файл:KNeighborsClassifier_exmpl.png|center|1000px]]

==== Sklearn Grid search: важные атрибуты ====

* best_estimator_ - лучшая модель
* best_score_ - ошибка, полученная на лучшей модели.
* best_params_ - гиперпараметры лучшей модели 

[[Файл:KNeighborsClassifier_bestest.png|center|1000px]] 

* cv_results_ - результаты всех моделей. 

[[Файл:KNeighborsClassifier_results.png|center|1000px]] 

* доступ к массиву определенного параметра: 

[[Файл:KNeighborsClassifier_param_array.png|center|1000px]] 

==== Реализация Grid search в библеотеках====
* Katib
* scikit-learn
* Tune
* Talos

=== Random grid search ===

==== Основная информация ====

Вместо полного перебора, Random grid search работает с некоторыми, случайным образом выбранными, комбинациями. На основе полученных результатов, происходит сужение области поиска.

Когда random grid search будет гораздо полезнее, чем grid search? 
В ситуации, когда гиперпараметров много, но сильно влияющих на конечную производительность алгоритма - мало.

==== Реализация Random grid ====

* hyperopt
* Katib
* scikit-learn
* Tune
* Talos

=== SMBO ===

==== Основная информация ====

SMBO (Sequential Model-Based Optimization) - методы, основанные на байесовской оптимизации

Когда используют SMBO? 
Когда оптимизация целевой функции будет стоить очень "дорого". Главная идея SMBO - замена целевой функции "суррогатной" функцией.

На каждом шаге работы SMBO:

# Строится вероятностная модель (суррогатная функция) целевой функции.
# Подбираются гиперпараметры, которые лучше всего подходят для вероятностной модели.
# Подобранные гиперпараметры применяются к целевой функции.
# Вероятностная модель перестраивается (обновляется).
# Шаги 2-4 повторяются столько раз, сколько задал пользователь.

Существует четыре ключевые аспекта SMBO:
* Сетка значений гиперпараметров (область поиска).
* Целевая функция (выводит оценку, которую мы хотим минимизировать или максимизировать).
* Вероятностная модель целевой функции (суррогатная функция).
* Критерий, называемый функцией выбора (для выбора следующих гиперпараметры по текущей вероятностной модели).

Методы SMBO отличаются между собой вероятностными моделями и функциями выбора: 
Популярные вероятностные модели (суррогатные функции):
* Gaussian Processes
* Tree Parzen Estimators (TPE)
* Random Forest Regressions

==== Реализация ====
* Random Forest Regressions: SMAC
* Tree Parzen Estimators: Hyperopt
* Gaussian Processes: Spearmint, Scikit-optimize

=== TPE ===

==== Основная информация ====
TPE - Tree-structured Parzen Estimator (Древовидная структура Парзена)

Как было написано выше, методы SMBO отличаются тем, как они строят вероятностную модель <math> {p(y|x)} </math>. В случае TPE, используется следующая функция:

<math> p(y) = \frac{p(x|y) * p(y)}{p(x)} </math>

<math> {p(x|y)} </math> - распределение гиперпараметров.

==== Реализация ====

* Hyperopt

=== SMAC ===

==== Основная информация ====

SMAC использует Random Forest regression и расширяет подходы SMBO:

* Использует дискретные и условные пространства параметров.
* Обрабатывает негауссовский шум.
* Выделяет бюджет на общее время, доступное для настройки алгоритма, а не на количество оценок функций.

==== Реализация ====
* AutoML

Настройка гиперпараметров

2020-04-20T11:05:57Z

AnneKsatn: /* TPE */

== Гиперпараметры ==

Гиперпараметры - параметры, которые не настраиваются во время обучения модели.

Пример гиперпараметра - шаг градиентного спуска, он задается перед обучением. 
Пример параметров - веса градиентного спуска, они изменяются и настраиваются во время обучения.

Для подбора гиперпараметров необходимо разделить датасет на три части:
* training set (тренировочный набор данных, для обучении модели)
* validation set (валидационный набор данных, для расчета ошибки и выбора наилучшей модели)
* test set (тестовый набор данных, для тестирования лучшей модели)

Зачем нам нужен и валидационный, и тестовый набор? 
Дело в том, что модель может переучиться на валидационном наборе данных. Для выявления переобучения используется тестовый набор данных.

Рассмотрим модель KNeighborsClassifier из библиотеки sklearn. Все “параметры” данной модели, с точки зрения машинного обучения, являются гиперпараметрами, так как задаются до начала обучения.

[[Файл:KNeighborsClassifier_model.png|center|1000px]]

== Техники настройки гиперпараметров ==

=== Grid search ===

==== Общая информация ====

Grid search принимает на вход модель и различные значения гиперпараметров (сетку гиперпараметров).
Далее, для каждого возможного сочетания значений гиперпараметров, метод считает ошибку и в конце выбирает сочетание, при котором ошибка минимальна.

==== Sklearn Grid search: использование ====

Пример использования Grid search из библиотеки scikit-learn:

# Создание экземпляра класса SGDClassifier (из sklearn)
# Создание сетки гиперпараметров. В данном случае будем подбирать коэффициент регуляризации, шаг градиентного спуска, количество итераций и параметр скорости обучения.
# Создание экземпляра класса кросс-валидации
# Создание экземпляра GridSearch (из sklearn). Первый параметр - модель, второй - сетка гиперпараметров, третий - функционал ошибки (используемый для контроля качества моделей по технике кросс-валидации), четвертый - кросс-валидация (можно задать количество фолдов, а можно передать экземпляр класса кросс - валидации)
# Запуск поиска по сетке.

[[Файл:KNeighborsClassifier_exmpl.png|center|1000px]]

==== Sklearn Grid search: важные атрибуты ====

* best_estimator_ - лучшая модель
* best_score_ - ошибка, полученная на лучшей модели.
* best_params_ - гиперпараметры лучшей модели 

[[Файл:KNeighborsClassifier_bestest.png|center|1000px]] 

* cv_results_ - результаты всех моделей. 

[[Файл:KNeighborsClassifier_results.png|center|1000px]] 

* доступ к массиву определенного параметра: 

[[Файл:KNeighborsClassifier_param_array.png|center|1000px]] 

==== Реализация Grid search в библеотеках====
* Katib
* scikit-learn
* Tune
* Talos

=== Random grid search ===

==== Основная информация ====

Вместо полного перебора, Random grid search работает с некоторыми, случайным образом выбранными, комбинациями. На основе полученных результатов, происходит сужение области поиска.

Когда random grid search будет гораздо полезнее, чем grid search? 
В ситуации, когда гиперпараметров много, но сильно влияющих на конечную производительность алгоритма - мало.

==== Реализация Random grid ====

* hyperopt
* Katib
* scikit-learn
* Tune
* Talos

=== SMBO ===

==== Основная информация ====

SMBO (Sequential Model-Based Optimization) - методы, основанные на байесовской оптимизации

Когда используют SMBO? 
Когда оптимизация целевой функции будет стоить очень "дорого". Главная идея SMBO - замена целевой функции "суррогатной" функцией.

На каждом шаге работы SMBO:

# Строится вероятностная модель (суррогатная функция) целевой функции.
# Подбираются гиперпараметры, которые лучше всего подходят для вероятностной модели.
# Подобранные гиперпараметры применяются к целевой функции.
# Вероятностная модель перестраивается (обновляется).
# Шаги 2-4 повторяются столько раз, сколько задал пользователь.

Существует четыре ключевые аспекта SMBO:
* Сетка значений гиперпараметров (область поиска).
* Целевая функция (выводит оценку, которую мы хотим минимизировать или максимизировать).
* Вероятностная модель целевой функции (суррогатная функция).
* Критерий, называемый функцией выбора (для выбора следующих гиперпараметры по текущей вероятностной модели).

Методы SMBO отличаются между собой вероятностными моделями и функциями выбора: 
Популярные вероятностные модели (суррогатные функции):
* Gaussian Processes
* Tree Parzen Estimators (TPE)
* Random Forest Regressions

==== Реализация ====
* Random Forest Regressions: SMAC
* Tree Parzen Estimators: Hyperopt
* Gaussian Processes: Spearmint, Scikit-optimize

=== TPE ===

==== Основная информация ====
TPE - Tree-structured Parzen Estimator (Древовидная структура Парзена)

Как было написано выше, методы SMBO отличаются тем, как они строят вероятностную модель <math> {p(y|x)} </math>. В случае TPE, используется следующая функция:

<math> p(y) = \frac{p(x|y) * p(y)}{p(x)} </math>

<math> {p(x|y)} </math> - распределение гиперпараметров.

==== Реализация ====

=== SMAC ===

==== Основная информация ====

SMAC использует Random Forest regression и расширяет подходы SMBO:

* Использует дискретные и условные пространства параметров.
* Обрабатывает негауссовский шум.
* Выделяет бюджет на общее время, доступное для настройки алгоритма, а не на количество оценок функций.

==== Реализация ====
* AutoML

Настройка гиперпараметров

2020-04-20T11:05:27Z

AnneKsatn: /* TPE */

== Гиперпараметры ==

Гиперпараметры - параметры, которые не настраиваются во время обучения модели.

Пример гиперпараметра - шаг градиентного спуска, он задается перед обучением. 
Пример параметров - веса градиентного спуска, они изменяются и настраиваются во время обучения.

Для подбора гиперпараметров необходимо разделить датасет на три части:
* training set (тренировочный набор данных, для обучении модели)
* validation set (валидационный набор данных, для расчета ошибки и выбора наилучшей модели)
* test set (тестовый набор данных, для тестирования лучшей модели)

Зачем нам нужен и валидационный, и тестовый набор? 
Дело в том, что модель может переучиться на валидационном наборе данных. Для выявления переобучения используется тестовый набор данных.

Рассмотрим модель KNeighborsClassifier из библиотеки sklearn. Все “параметры” данной модели, с точки зрения машинного обучения, являются гиперпараметрами, так как задаются до начала обучения.

[[Файл:KNeighborsClassifier_model.png|center|1000px]]

== Техники настройки гиперпараметров ==

=== Grid search ===

==== Общая информация ====

Grid search принимает на вход модель и различные значения гиперпараметров (сетку гиперпараметров).
Далее, для каждого возможного сочетания значений гиперпараметров, метод считает ошибку и в конце выбирает сочетание, при котором ошибка минимальна.

==== Sklearn Grid search: использование ====

Пример использования Grid search из библиотеки scikit-learn:

# Создание экземпляра класса SGDClassifier (из sklearn)
# Создание сетки гиперпараметров. В данном случае будем подбирать коэффициент регуляризации, шаг градиентного спуска, количество итераций и параметр скорости обучения.
# Создание экземпляра класса кросс-валидации
# Создание экземпляра GridSearch (из sklearn). Первый параметр - модель, второй - сетка гиперпараметров, третий - функционал ошибки (используемый для контроля качества моделей по технике кросс-валидации), четвертый - кросс-валидация (можно задать количество фолдов, а можно передать экземпляр класса кросс - валидации)
# Запуск поиска по сетке.

[[Файл:KNeighborsClassifier_exmpl.png|center|1000px]]

==== Sklearn Grid search: важные атрибуты ====

* best_estimator_ - лучшая модель
* best_score_ - ошибка, полученная на лучшей модели.
* best_params_ - гиперпараметры лучшей модели 

[[Файл:KNeighborsClassifier_bestest.png|center|1000px]] 

* cv_results_ - результаты всех моделей. 

[[Файл:KNeighborsClassifier_results.png|center|1000px]] 

* доступ к массиву определенного параметра: 

[[Файл:KNeighborsClassifier_param_array.png|center|1000px]] 

==== Реализация Grid search в библеотеках====
* Katib
* scikit-learn
* Tune
* Talos

=== Random grid search ===

==== Основная информация ====

Вместо полного перебора, Random grid search работает с некоторыми, случайным образом выбранными, комбинациями. На основе полученных результатов, происходит сужение области поиска.

Когда random grid search будет гораздо полезнее, чем grid search? 
В ситуации, когда гиперпараметров много, но сильно влияющих на конечную производительность алгоритма - мало.

==== Реализация Random grid ====

* hyperopt
* Katib
* scikit-learn
* Tune
* Talos

=== SMBO ===

==== Основная информация ====

SMBO (Sequential Model-Based Optimization) - методы, основанные на байесовской оптимизации

Когда используют SMBO? 
Когда оптимизация целевой функции будет стоить очень "дорого". Главная идея SMBO - замена целевой функции "суррогатной" функцией.

На каждом шаге работы SMBO:

# Строится вероятностная модель (суррогатная функция) целевой функции.
# Подбираются гиперпараметры, которые лучше всего подходят для вероятностной модели.
# Подобранные гиперпараметры применяются к целевой функции.
# Вероятностная модель перестраивается (обновляется).
# Шаги 2-4 повторяются столько раз, сколько задал пользователь.

Существует четыре ключевые аспекта SMBO:
* Сетка значений гиперпараметров (область поиска).
* Целевая функция (выводит оценку, которую мы хотим минимизировать или максимизировать).
* Вероятностная модель целевой функции (суррогатная функция).
* Критерий, называемый функцией выбора (для выбора следующих гиперпараметры по текущей вероятностной модели).

Методы SMBO отличаются между собой вероятностными моделями и функциями выбора: 
Популярные вероятностные модели (суррогатные функции):
* Gaussian Processes
* Tree Parzen Estimators (TPE)
* Random Forest Regressions

==== Реализация ====
* Random Forest Regressions: SMAC
* Tree Parzen Estimators: Hyperopt
* Gaussian Processes: Spearmint, Scikit-optimize

=== TPE ===

TPE - Tree-structured Parzen Estimator (Древовидная структура Парзена)

Как было написано выше, методы SMBO отличаются тем, как они строят вероятностную модель <math> {p(y|x)} </math>. В случае TPE, используется следующая функция:

<math> p(y) = \frac{p(x|y) * p(y)}{p(x)} </math>

<math> {p(x|y)} </math> - распределение гиперпараметров.

=== SMAC ===

==== Основная информация ====

SMAC использует Random Forest regression и расширяет подходы SMBO:

* Использует дискретные и условные пространства параметров.
* Обрабатывает негауссовский шум.
* Выделяет бюджет на общее время, доступное для настройки алгоритма, а не на количество оценок функций.

==== Реализация ====
* AutoML

Настройка гиперпараметров

2020-04-20T11:05:16Z

AnneKsatn: /* TPE */

== Гиперпараметры ==

Гиперпараметры - параметры, которые не настраиваются во время обучения модели.

Пример гиперпараметра - шаг градиентного спуска, он задается перед обучением. 
Пример параметров - веса градиентного спуска, они изменяются и настраиваются во время обучения.

Для подбора гиперпараметров необходимо разделить датасет на три части:
* training set (тренировочный набор данных, для обучении модели)
* validation set (валидационный набор данных, для расчета ошибки и выбора наилучшей модели)
* test set (тестовый набор данных, для тестирования лучшей модели)

Зачем нам нужен и валидационный, и тестовый набор? 
Дело в том, что модель может переучиться на валидационном наборе данных. Для выявления переобучения используется тестовый набор данных.

Рассмотрим модель KNeighborsClassifier из библиотеки sklearn. Все “параметры” данной модели, с точки зрения машинного обучения, являются гиперпараметрами, так как задаются до начала обучения.

[[Файл:KNeighborsClassifier_model.png|center|1000px]]

== Техники настройки гиперпараметров ==

=== Grid search ===

==== Общая информация ====

Grid search принимает на вход модель и различные значения гиперпараметров (сетку гиперпараметров).
Далее, для каждого возможного сочетания значений гиперпараметров, метод считает ошибку и в конце выбирает сочетание, при котором ошибка минимальна.

==== Sklearn Grid search: использование ====

Пример использования Grid search из библиотеки scikit-learn:

# Создание экземпляра класса SGDClassifier (из sklearn)
# Создание сетки гиперпараметров. В данном случае будем подбирать коэффициент регуляризации, шаг градиентного спуска, количество итераций и параметр скорости обучения.
# Создание экземпляра класса кросс-валидации
# Создание экземпляра GridSearch (из sklearn). Первый параметр - модель, второй - сетка гиперпараметров, третий - функционал ошибки (используемый для контроля качества моделей по технике кросс-валидации), четвертый - кросс-валидация (можно задать количество фолдов, а можно передать экземпляр класса кросс - валидации)
# Запуск поиска по сетке.

[[Файл:KNeighborsClassifier_exmpl.png|center|1000px]]

==== Sklearn Grid search: важные атрибуты ====

* best_estimator_ - лучшая модель
* best_score_ - ошибка, полученная на лучшей модели.
* best_params_ - гиперпараметры лучшей модели 

[[Файл:KNeighborsClassifier_bestest.png|center|1000px]] 

* cv_results_ - результаты всех моделей. 

[[Файл:KNeighborsClassifier_results.png|center|1000px]] 

* доступ к массиву определенного параметра: 

[[Файл:KNeighborsClassifier_param_array.png|center|1000px]] 

==== Реализация Grid search в библеотеках====
* Katib
* scikit-learn
* Tune
* Talos

=== Random grid search ===

==== Основная информация ====

Вместо полного перебора, Random grid search работает с некоторыми, случайным образом выбранными, комбинациями. На основе полученных результатов, происходит сужение области поиска.

Когда random grid search будет гораздо полезнее, чем grid search? 
В ситуации, когда гиперпараметров много, но сильно влияющих на конечную производительность алгоритма - мало.

==== Реализация Random grid ====

* hyperopt
* Katib
* scikit-learn
* Tune
* Talos

=== SMBO ===

==== Основная информация ====

SMBO (Sequential Model-Based Optimization) - методы, основанные на байесовской оптимизации

Когда используют SMBO? 
Когда оптимизация целевой функции будет стоить очень "дорого". Главная идея SMBO - замена целевой функции "суррогатной" функцией.

На каждом шаге работы SMBO:

# Строится вероятностная модель (суррогатная функция) целевой функции.
# Подбираются гиперпараметры, которые лучше всего подходят для вероятностной модели.
# Подобранные гиперпараметры применяются к целевой функции.
# Вероятностная модель перестраивается (обновляется).
# Шаги 2-4 повторяются столько раз, сколько задал пользователь.

Существует четыре ключевые аспекта SMBO:
* Сетка значений гиперпараметров (область поиска).
* Целевая функция (выводит оценку, которую мы хотим минимизировать или максимизировать).
* Вероятностная модель целевой функции (суррогатная функция).
* Критерий, называемый функцией выбора (для выбора следующих гиперпараметры по текущей вероятностной модели).

Методы SMBO отличаются между собой вероятностными моделями и функциями выбора: 
Популярные вероятностные модели (суррогатные функции):
* Gaussian Processes
* Tree Parzen Estimators (TPE)
* Random Forest Regressions

==== Реализация ====
* Random Forest Regressions: SMAC
* Tree Parzen Estimators: Hyperopt
* Gaussian Processes: Spearmint, Scikit-optimize

=== TPE ===

TPE - Tree-structured Parzen Estimator (Древовидная структура Парзена)

Как было написано выше, методы SMBO отличаются тем, как они строят вероятностную модель <math> {p(y|x)} </math>. В случае TPE, используется следующая функция:

<math> p(y) = \frac{p(x|y) * p(y)}{p(x)} </math>

<math> {p(x|y)} </math> - распределение гиперпараметров.

<math> \left \{ \frac{x}{y} } </math>

=== SMAC ===

==== Основная информация ====

SMAC использует Random Forest regression и расширяет подходы SMBO:

* Использует дискретные и условные пространства параметров.
* Обрабатывает негауссовский шум.
* Выделяет бюджет на общее время, доступное для настройки алгоритма, а не на количество оценок функций.

==== Реализация ====
* AutoML

Настройка гиперпараметров

2020-04-20T11:00:08Z

AnneKsatn: /* TPE */

== Гиперпараметры ==

Гиперпараметры - параметры, которые не настраиваются во время обучения модели.

Пример гиперпараметра - шаг градиентного спуска, он задается перед обучением. 
Пример параметров - веса градиентного спуска, они изменяются и настраиваются во время обучения.

Для подбора гиперпараметров необходимо разделить датасет на три части:
* training set (тренировочный набор данных, для обучении модели)
* validation set (валидационный набор данных, для расчета ошибки и выбора наилучшей модели)
* test set (тестовый набор данных, для тестирования лучшей модели)

Зачем нам нужен и валидационный, и тестовый набор? 
Дело в том, что модель может переучиться на валидационном наборе данных. Для выявления переобучения используется тестовый набор данных.

Рассмотрим модель KNeighborsClassifier из библиотеки sklearn. Все “параметры” данной модели, с точки зрения машинного обучения, являются гиперпараметрами, так как задаются до начала обучения.

[[Файл:KNeighborsClassifier_model.png|center|1000px]]

== Техники настройки гиперпараметров ==

=== Grid search ===

==== Общая информация ====

Grid search принимает на вход модель и различные значения гиперпараметров (сетку гиперпараметров).
Далее, для каждого возможного сочетания значений гиперпараметров, метод считает ошибку и в конце выбирает сочетание, при котором ошибка минимальна.

==== Sklearn Grid search: использование ====

Пример использования Grid search из библиотеки scikit-learn:

# Создание экземпляра класса SGDClassifier (из sklearn)
# Создание сетки гиперпараметров. В данном случае будем подбирать коэффициент регуляризации, шаг градиентного спуска, количество итераций и параметр скорости обучения.
# Создание экземпляра класса кросс-валидации
# Создание экземпляра GridSearch (из sklearn). Первый параметр - модель, второй - сетка гиперпараметров, третий - функционал ошибки (используемый для контроля качества моделей по технике кросс-валидации), четвертый - кросс-валидация (можно задать количество фолдов, а можно передать экземпляр класса кросс - валидации)
# Запуск поиска по сетке.

[[Файл:KNeighborsClassifier_exmpl.png|center|1000px]]

==== Sklearn Grid search: важные атрибуты ====

* best_estimator_ - лучшая модель
* best_score_ - ошибка, полученная на лучшей модели.
* best_params_ - гиперпараметры лучшей модели 

[[Файл:KNeighborsClassifier_bestest.png|center|1000px]] 

* cv_results_ - результаты всех моделей. 

[[Файл:KNeighborsClassifier_results.png|center|1000px]] 

* доступ к массиву определенного параметра: 

[[Файл:KNeighborsClassifier_param_array.png|center|1000px]] 

==== Реализация Grid search в библеотеках====
* Katib
* scikit-learn
* Tune
* Talos

=== Random grid search ===

==== Основная информация ====

Вместо полного перебора, Random grid search работает с некоторыми, случайным образом выбранными, комбинациями. На основе полученных результатов, происходит сужение области поиска.

Когда random grid search будет гораздо полезнее, чем grid search? 
В ситуации, когда гиперпараметров много, но сильно влияющих на конечную производительность алгоритма - мало.

==== Реализация Random grid ====

* hyperopt
* Katib
* scikit-learn
* Tune
* Talos

=== SMBO ===

==== Основная информация ====

SMBO (Sequential Model-Based Optimization) - методы, основанные на байесовской оптимизации

Когда используют SMBO? 
Когда оптимизация целевой функции будет стоить очень "дорого". Главная идея SMBO - замена целевой функции "суррогатной" функцией.

На каждом шаге работы SMBO:

# Строится вероятностная модель (суррогатная функция) целевой функции.
# Подбираются гиперпараметры, которые лучше всего подходят для вероятностной модели.
# Подобранные гиперпараметры применяются к целевой функции.
# Вероятностная модель перестраивается (обновляется).
# Шаги 2-4 повторяются столько раз, сколько задал пользователь.

Существует четыре ключевые аспекта SMBO:
* Сетка значений гиперпараметров (область поиска).
* Целевая функция (выводит оценку, которую мы хотим минимизировать или максимизировать).
* Вероятностная модель целевой функции (суррогатная функция).
* Критерий, называемый функцией выбора (для выбора следующих гиперпараметры по текущей вероятностной модели).

Методы SMBO отличаются между собой вероятностными моделями и функциями выбора: 
Популярные вероятностные модели (суррогатные функции):
* Gaussian Processes
* Tree Parzen Estimators (TPE)
* Random Forest Regressions

==== Реализация ====
* Random Forest Regressions: SMAC
* Tree Parzen Estimators: Hyperopt
* Gaussian Processes: Spearmint, Scikit-optimize

=== TPE ===

TPE - Tree-structured Parzen Estimator (Древовидная структура Парзена)

Как было написано выше, методы SMBO отличаются тем, как они строят вероятностную модель p (y|x). В случае TPE, используется следующая функция:

<math> \frac{x}{y} </math>

=== SMAC ===

==== Основная информация ====

SMAC использует Random Forest regression и расширяет подходы SMBO:

* Использует дискретные и условные пространства параметров.
* Обрабатывает негауссовский шум.
* Выделяет бюджет на общее время, доступное для настройки алгоритма, а не на количество оценок функций.

==== Реализация ====
* AutoML

Настройка гиперпараметров

2020-04-20T10:51:07Z

AnneKsatn: /* Основная информация */

== Гиперпараметры ==

Гиперпараметры - параметры, которые не настраиваются во время обучения модели.

Пример гиперпараметра - шаг градиентного спуска, он задается перед обучением. 
Пример параметров - веса градиентного спуска, они изменяются и настраиваются во время обучения.

Для подбора гиперпараметров необходимо разделить датасет на три части:
* training set (тренировочный набор данных, для обучении модели)
* validation set (валидационный набор данных, для расчета ошибки и выбора наилучшей модели)
* test set (тестовый набор данных, для тестирования лучшей модели)

Зачем нам нужен и валидационный, и тестовый набор? 
Дело в том, что модель может переучиться на валидационном наборе данных. Для выявления переобучения используется тестовый набор данных.

Рассмотрим модель KNeighborsClassifier из библиотеки sklearn. Все “параметры” данной модели, с точки зрения машинного обучения, являются гиперпараметрами, так как задаются до начала обучения.

[[Файл:KNeighborsClassifier_model.png|center|1000px]]

== Техники настройки гиперпараметров ==

=== Grid search ===

==== Общая информация ====

Grid search принимает на вход модель и различные значения гиперпараметров (сетку гиперпараметров).
Далее, для каждого возможного сочетания значений гиперпараметров, метод считает ошибку и в конце выбирает сочетание, при котором ошибка минимальна.

==== Sklearn Grid search: использование ====

Пример использования Grid search из библиотеки scikit-learn:

# Создание экземпляра класса SGDClassifier (из sklearn)
# Создание сетки гиперпараметров. В данном случае будем подбирать коэффициент регуляризации, шаг градиентного спуска, количество итераций и параметр скорости обучения.
# Создание экземпляра класса кросс-валидации
# Создание экземпляра GridSearch (из sklearn). Первый параметр - модель, второй - сетка гиперпараметров, третий - функционал ошибки (используемый для контроля качества моделей по технике кросс-валидации), четвертый - кросс-валидация (можно задать количество фолдов, а можно передать экземпляр класса кросс - валидации)
# Запуск поиска по сетке.

[[Файл:KNeighborsClassifier_exmpl.png|center|1000px]]

==== Sklearn Grid search: важные атрибуты ====

* best_estimator_ - лучшая модель
* best_score_ - ошибка, полученная на лучшей модели.
* best_params_ - гиперпараметры лучшей модели 

[[Файл:KNeighborsClassifier_bestest.png|center|1000px]] 

* cv_results_ - результаты всех моделей. 

[[Файл:KNeighborsClassifier_results.png|center|1000px]] 

* доступ к массиву определенного параметра: 

[[Файл:KNeighborsClassifier_param_array.png|center|1000px]] 

==== Реализация Grid search в библеотеках====
* Katib
* scikit-learn
* Tune
* Talos

=== Random grid search ===

==== Основная информация ====

Вместо полного перебора, Random grid search работает с некоторыми, случайным образом выбранными, комбинациями. На основе полученных результатов, происходит сужение области поиска.

Когда random grid search будет гораздо полезнее, чем grid search? 
В ситуации, когда гиперпараметров много, но сильно влияющих на конечную производительность алгоритма - мало.

==== Реализация Random grid ====

* hyperopt
* Katib
* scikit-learn
* Tune
* Talos

=== SMBO ===

==== Основная информация ====

SMBO (Sequential Model-Based Optimization) - методы, основанные на байесовской оптимизации

Когда используют SMBO? 
Когда оптимизация целевой функции будет стоить очень "дорого". Главная идея SMBO - замена целевой функции "суррогатной" функцией.

На каждом шаге работы SMBO:

# Строится вероятностная модель (суррогатная функция) целевой функции.
# Подбираются гиперпараметры, которые лучше всего подходят для вероятностной модели.
# Подобранные гиперпараметры применяются к целевой функции.
# Вероятностная модель перестраивается (обновляется).
# Шаги 2-4 повторяются столько раз, сколько задал пользователь.

Существует четыре ключевые аспекта SMBO:
* Сетка значений гиперпараметров (область поиска).
* Целевая функция (выводит оценку, которую мы хотим минимизировать или максимизировать).
* Вероятностная модель целевой функции (суррогатная функция).
* Критерий, называемый функцией выбора (для выбора следующих гиперпараметры по текущей вероятностной модели).

Методы SMBO отличаются между собой вероятностными моделями и функциями выбора: 
Популярные вероятностные модели (суррогатные функции):
* Gaussian Processes
* Tree Parzen Estimators (TPE)
* Random Forest Regressions

==== Реализация ====
* Random Forest Regressions: SMAC
* Tree Parzen Estimators: Hyperopt
* Gaussian Processes: Spearmint, Scikit-optimize

=== TPE ===

TPE - Tree-structured Parzen Estimator (Древовидная структура Парзена)

Методы SMBO отличаются тем, как они строят вероятностную модель p (y | x). В случае TPE, используется следующая функция:

формула

=== SMAC ===

==== Основная информация ====

SMAC использует Random Forest regression и расширяет подходы SMBO:

* Использует дискретные и условные пространства параметров.
* Обрабатывает негауссовский шум.
* Выделяет бюджет на общее время, доступное для настройки алгоритма, а не на количество оценок функций.

==== Реализация ====
* AutoML

Настройка гиперпараметров

2020-04-20T10:50:57Z

AnneKsatn: /* Основная информация */

== Гиперпараметры ==

Гиперпараметры - параметры, которые не настраиваются во время обучения модели.

Пример гиперпараметра - шаг градиентного спуска, он задается перед обучением. 
Пример параметров - веса градиентного спуска, они изменяются и настраиваются во время обучения.

Для подбора гиперпараметров необходимо разделить датасет на три части:
* training set (тренировочный набор данных, для обучении модели)
* validation set (валидационный набор данных, для расчета ошибки и выбора наилучшей модели)
* test set (тестовый набор данных, для тестирования лучшей модели)

Зачем нам нужен и валидационный, и тестовый набор? 
Дело в том, что модель может переучиться на валидационном наборе данных. Для выявления переобучения используется тестовый набор данных.

Рассмотрим модель KNeighborsClassifier из библиотеки sklearn. Все “параметры” данной модели, с точки зрения машинного обучения, являются гиперпараметрами, так как задаются до начала обучения.

[[Файл:KNeighborsClassifier_model.png|center|1000px]]

== Техники настройки гиперпараметров ==

=== Grid search ===

==== Общая информация ====

Grid search принимает на вход модель и различные значения гиперпараметров (сетку гиперпараметров).
Далее, для каждого возможного сочетания значений гиперпараметров, метод считает ошибку и в конце выбирает сочетание, при котором ошибка минимальна.

==== Sklearn Grid search: использование ====

Пример использования Grid search из библиотеки scikit-learn:

# Создание экземпляра класса SGDClassifier (из sklearn)
# Создание сетки гиперпараметров. В данном случае будем подбирать коэффициент регуляризации, шаг градиентного спуска, количество итераций и параметр скорости обучения.
# Создание экземпляра класса кросс-валидации
# Создание экземпляра GridSearch (из sklearn). Первый параметр - модель, второй - сетка гиперпараметров, третий - функционал ошибки (используемый для контроля качества моделей по технике кросс-валидации), четвертый - кросс-валидация (можно задать количество фолдов, а можно передать экземпляр класса кросс - валидации)
# Запуск поиска по сетке.

[[Файл:KNeighborsClassifier_exmpl.png|center|1000px]]

==== Sklearn Grid search: важные атрибуты ====

* best_estimator_ - лучшая модель
* best_score_ - ошибка, полученная на лучшей модели.
* best_params_ - гиперпараметры лучшей модели 

[[Файл:KNeighborsClassifier_bestest.png|center|1000px]] 

* cv_results_ - результаты всех моделей. 

[[Файл:KNeighborsClassifier_results.png|center|1000px]] 

* доступ к массиву определенного параметра: 

[[Файл:KNeighborsClassifier_param_array.png|center|1000px]] 

==== Реализация Grid search в библеотеках====
* Katib
* scikit-learn
* Tune
* Talos

=== Random grid search ===

==== Основная информация ====

Вместо полного перебора, Random grid search работает с некоторыми, случайным образом выбранными, комбинациями. На основе полученных результатов, происходит сужение области поиска.

Когда random grid search будет гораздо полезнее, чем grid search? 
В ситуации, когда гиперпараметров много, но сильно влияющих на конечную производительность алгоритма - мало.

==== Реализация Random grid ====

* hyperopt
* Katib
* scikit-learn
* Tune
* Talos

=== SMBO ===

==== Основная информация ====

SMBO (Sequential Model-Based Optimization) - методы, основанные на байесовской оптимизации

Когда используют SMBO? 
Когда оптимизация целевой функции будет стоить очень "дорого". Главная идея SMBO - замена целевой функции "суррогатной" функцией.

На каждом шаге работы SMBO:

# Строится вероятностная модель (суррогатная функция) целевой функции.
# Подбираются гиперпараметры, которые лучше всего подходят для вероятностной модели.
# Подобранные гиперпараметры применяются к целевой функции.
# Вероятностная модель перестраивается (обновляется).
# Шаги 2-4 повторяются столько раз, сколько задал пользователь.

Существует четыре ключевые аспекта SMBO:
* Сетка значений гиперпараметров (область поиска).
* Целевая функция (выводит оценку, которую мы хотим минимизировать или максимизировать).
* Вероятностная модель целевой функции (суррогатная функция).
* Критерий, называемый функцией выбора (для выбора следующих гиперпараметры по текущей вероятностной модели).

Методы SMBO отличаются между собой вероятностными моделями и функциями выбора: 
Популярные вероятностные модели (суррогатные функции):
* Gaussian Processes
* Tree Parzen Estimators (TPE)
* Random Forest Regressions

==== Реализация ====
* Random Forest Regressions: SMAC
* Tree Parzen Estimators: Hyperopt
* Gaussian Processes: Spearmint, Scikit-optimize

=== TPE ===

TPE - Tree-structured Parzen Estimator (Древовидная структура Парзена)

Методы SMBO отличаются тем, как они строят вероятностную модель p (y | x). В случае TPE, используется следующая функция:

формула

=== SMAC ===

==== Основная информация ====

SMAC использует Random Forest regression и расширяет подходы SMBO:

* Использует дискретные и условные пространства параметров.
* Обрабатывает негауссовский шум.
* Выделеяет бюджет на общее время, доступное для настройки алгоритма, а не на количество оценок функций.

==== Реализация ====
* AutoML

Настройка гиперпараметров

2020-04-20T10:50:00Z

AnneKsatn: /* SMAC */

== Гиперпараметры ==

Гиперпараметры - параметры, которые не настраиваются во время обучения модели.

Пример гиперпараметра - шаг градиентного спуска, он задается перед обучением. 
Пример параметров - веса градиентного спуска, они изменяются и настраиваются во время обучения.

Для подбора гиперпараметров необходимо разделить датасет на три части:
* training set (тренировочный набор данных, для обучении модели)
* validation set (валидационный набор данных, для расчета ошибки и выбора наилучшей модели)
* test set (тестовый набор данных, для тестирования лучшей модели)

Зачем нам нужен и валидационный, и тестовый набор? 
Дело в том, что модель может переучиться на валидационном наборе данных. Для выявления переобучения используется тестовый набор данных.

Рассмотрим модель KNeighborsClassifier из библиотеки sklearn. Все “параметры” данной модели, с точки зрения машинного обучения, являются гиперпараметрами, так как задаются до начала обучения.

[[Файл:KNeighborsClassifier_model.png|center|1000px]]

== Техники настройки гиперпараметров ==

=== Grid search ===

==== Общая информация ====

Grid search принимает на вход модель и различные значения гиперпараметров (сетку гиперпараметров).
Далее, для каждого возможного сочетания значений гиперпараметров, метод считает ошибку и в конце выбирает сочетание, при котором ошибка минимальна.

==== Sklearn Grid search: использование ====

Пример использования Grid search из библиотеки scikit-learn:

# Создание экземпляра класса SGDClassifier (из sklearn)
# Создание сетки гиперпараметров. В данном случае будем подбирать коэффициент регуляризации, шаг градиентного спуска, количество итераций и параметр скорости обучения.
# Создание экземпляра класса кросс-валидации
# Создание экземпляра GridSearch (из sklearn). Первый параметр - модель, второй - сетка гиперпараметров, третий - функционал ошибки (используемый для контроля качества моделей по технике кросс-валидации), четвертый - кросс-валидация (можно задать количество фолдов, а можно передать экземпляр класса кросс - валидации)
# Запуск поиска по сетке.

[[Файл:KNeighborsClassifier_exmpl.png|center|1000px]]

==== Sklearn Grid search: важные атрибуты ====

* best_estimator_ - лучшая модель
* best_score_ - ошибка, полученная на лучшей модели.
* best_params_ - гиперпараметры лучшей модели 

[[Файл:KNeighborsClassifier_bestest.png|center|1000px]] 

* cv_results_ - результаты всех моделей. 

[[Файл:KNeighborsClassifier_results.png|center|1000px]] 

* доступ к массиву определенного параметра: 

[[Файл:KNeighborsClassifier_param_array.png|center|1000px]] 

==== Реализация Grid search в библеотеках====
* Katib
* scikit-learn
* Tune
* Talos

=== Random grid search ===

==== Основная информация ====

Вместо полного перебора, Random grid search работает с некоторыми, случайным образом выбранными, комбинациями. На основе полученных результатов, происходит сужение области поиска.

Когда random grid search будет гораздо полезнее, чем grid search? 
В ситуации, когда гиперпараметров много, но сильно влияющих на конечную производительность алгоритма - мало.

==== Реализация Random grid ====

* hyperopt
* Katib
* scikit-learn
* Tune
* Talos

=== SMBO ===

==== Основная информация ====

SMBO (Sequential Model-Based Optimization) - методы, основанные на байесовской оптимизации

Когда используют SMBO? 
Когда оптимизация целевой функции будет стоить очень "дорого". Главная идея SMBO - замена целевой функции "суррогатной" функцией.

На каждом шаге работы SMBO:

# Строится вероятностная модель (суррогатная функция) целевой функции.
# Подбираются гиперпараметры, которые лучше всего подходят для вероятностной модели.
# Подобранные гиперпараметры применяются к целевой функции.
# Вероятностная модель перестраивается (обновляется).
# Шаги 2-4 повторяются столько раз, сколько задал пользователь.

Существует четыре ключевые аспекта SMBO:
* Сетка значений гиперпараметров (область поиска).
* Целевая функция (выводит оценку, которую мы хотим минимизировать или максимизировать).
* Вероятностная модель целевой функции (суррогатная функция).
* Критерий, называемый функцией выбора (для выбора следующих гиперпараметры по текущей вероятностной модели).

Методы SMBO отличаются между собой вероятностными моделями и функциями выбора: 
Популярные вероятностные модели (суррогатные функции):
* Gaussian Processes
* Tree Parzen Estimators (TPE)
* Random Forest Regressions

==== Реализация ====
* Random Forest Regressions: SMAC
* Tree Parzen Estimators: Hyperopt
* Gaussian Processes: Spearmint, Scikit-optimize

=== TPE ===

TPE - Tree-structured Parzen Estimator (Древовидная структура Парзена)

Методы SMBO отличаются тем, как они строят вероятностную модель p (y | x). В случае TPE, используется следующая функция:

формула

=== SMAC ===

==== Основная информация ====

SMAC использует Random Forest regression и расширяет подходы SMBO:

* Использование дискретных и условных пространств параметров.
* Обработка негауссовского шума.
* Выделение бюджет на общее время, доступное для настройки алгоритма, а не на количество оценок функций.

==== Реализация ====
* AutoML

Настройка гиперпараметров

2020-04-20T10:38:56Z

AnneKsatn: /* SMBO */

== Гиперпараметры ==

Гиперпараметры - параметры, которые не настраиваются во время обучения модели.

Пример гиперпараметра - шаг градиентного спуска, он задается перед обучением. 
Пример параметров - веса градиентного спуска, они изменяются и настраиваются во время обучения.

Для подбора гиперпараметров необходимо разделить датасет на три части:
* training set (тренировочный набор данных, для обучении модели)
* validation set (валидационный набор данных, для расчета ошибки и выбора наилучшей модели)
* test set (тестовый набор данных, для тестирования лучшей модели)

Зачем нам нужен и валидационный, и тестовый набор? 
Дело в том, что модель может переучиться на валидационном наборе данных. Для выявления переобучения используется тестовый набор данных.

Рассмотрим модель KNeighborsClassifier из библиотеки sklearn. Все “параметры” данной модели, с точки зрения машинного обучения, являются гиперпараметрами, так как задаются до начала обучения.

[[Файл:KNeighborsClassifier_model.png|center|1000px]]

== Техники настройки гиперпараметров ==

=== Grid search ===

==== Общая информация ====

Grid search принимает на вход модель и различные значения гиперпараметров (сетку гиперпараметров).
Далее, для каждого возможного сочетания значений гиперпараметров, метод считает ошибку и в конце выбирает сочетание, при котором ошибка минимальна.

==== Sklearn Grid search: использование ====

Пример использования Grid search из библиотеки scikit-learn:

# Создание экземпляра класса SGDClassifier (из sklearn)
# Создание сетки гиперпараметров. В данном случае будем подбирать коэффициент регуляризации, шаг градиентного спуска, количество итераций и параметр скорости обучения.
# Создание экземпляра класса кросс-валидации
# Создание экземпляра GridSearch (из sklearn). Первый параметр - модель, второй - сетка гиперпараметров, третий - функционал ошибки (используемый для контроля качества моделей по технике кросс-валидации), четвертый - кросс-валидация (можно задать количество фолдов, а можно передать экземпляр класса кросс - валидации)
# Запуск поиска по сетке.

[[Файл:KNeighborsClassifier_exmpl.png|center|1000px]]

==== Sklearn Grid search: важные атрибуты ====

* best_estimator_ - лучшая модель
* best_score_ - ошибка, полученная на лучшей модели.
* best_params_ - гиперпараметры лучшей модели 

[[Файл:KNeighborsClassifier_bestest.png|center|1000px]] 

* cv_results_ - результаты всех моделей. 

[[Файл:KNeighborsClassifier_results.png|center|1000px]] 

* доступ к массиву определенного параметра: 

[[Файл:KNeighborsClassifier_param_array.png|center|1000px]] 

==== Реализация Grid search в библеотеках====
* Katib
* scikit-learn
* Tune
* Talos

=== Random grid search ===

==== Основная информация ====

Вместо полного перебора, Random grid search работает с некоторыми, случайным образом выбранными, комбинациями. На основе полученных результатов, происходит сужение области поиска.

Когда random grid search будет гораздо полезнее, чем grid search? 
В ситуации, когда гиперпараметров много, но сильно влияющих на конечную производительность алгоритма - мало.

==== Реализация Random grid ====

* hyperopt
* Katib
* scikit-learn
* Tune
* Talos

=== SMBO ===

==== Основная информация ====

SMBO (Sequential Model-Based Optimization) - методы, основанные на байесовской оптимизации

Когда используют SMBO? 
Когда оптимизация целевой функции будет стоить очень "дорого". Главная идея SMBO - замена целевой функции "суррогатной" функцией.

На каждом шаге работы SMBO:

# Строится вероятностная модель (суррогатная функция) целевой функции.
# Подбираются гиперпараметры, которые лучше всего подходят для вероятностной модели.
# Подобранные гиперпараметры применяются к целевой функции.
# Вероятностная модель перестраивается (обновляется).
# Шаги 2-4 повторяются столько раз, сколько задал пользователь.

Существует четыре ключевые аспекта SMBO:
* Сетка значений гиперпараметров (область поиска).
* Целевая функция (выводит оценку, которую мы хотим минимизировать или максимизировать).
* Вероятностная модель целевой функции (суррогатная функция).
* Критерий, называемый функцией выбора (для выбора следующих гиперпараметры по текущей вероятностной модели).

Методы SMBO отличаются между собой вероятностными моделями и функциями выбора: 
Популярные вероятностные модели (суррогатные функции):
* Gaussian Processes
* Tree Parzen Estimators (TPE)
* Random Forest Regressions

==== Реализация ====
* Random Forest Regressions: SMAC
* Tree Parzen Estimators: Hyperopt
* Gaussian Processes: Spearmint, Scikit-optimize

=== TPE ===

TPE - Tree-structured Parzen Estimator (Древовидная структура Парзена)

Методы SMBO отличаются тем, как они строят вероятностную модель p (y | x). В случае TPE, используется следующая функция:

формула

=== SMAC ===

расширяет подходы SMBO

В частности, разработаны подходы обработки данных:

* дискретные и условные пространства параметров (с учетом
оптимизация параметров категориального алгоритма и параметров, между которыми существуют зависимости);
* существенный негауссовский шум (из-за дисперсии в
распределение времени выполнения алгоритма по экземплярам задач и
несколько независимых запусков на одном экземпляре);
* частично цензурированные оценки функций (из-за преждевременного
завершенные запуски алгоритма);
* бюджет на общее время, доступное для настройки алгоритма, а не на количество оценок функций;

Настройка гиперпараметров

2020-04-20T09:18:21Z

AnneKsatn: /* Основная информация */

== Гиперпараметры ==

Гиперпараметры - параметры, которые не настраиваются во время обучения модели.

Пример гиперпараметра - шаг градиентного спуска, он задается перед обучением. 
Пример параметров - веса градиентного спуска, они изменяются и настраиваются во время обучения.

Для подбора гиперпараметров необходимо разделить датасет на три части:
* training set (тренировочный набор данных, для обучении модели)
* validation set (валидационный набор данных, для расчета ошибки и выбора наилучшей модели)
* test set (тестовый набор данных, для тестирования лучшей модели)

Зачем нам нужен и валидационный, и тестовый набор? 
Дело в том, что модель может переучиться на валидационном наборе данных. Для выявления переобучения используется тестовый набор данных.

Рассмотрим модель KNeighborsClassifier из библиотеки sklearn. Все “параметры” данной модели, с точки зрения машинного обучения, являются гиперпараметрами, так как задаются до начала обучения.

[[Файл:KNeighborsClassifier_model.png|center|1000px]]

== Техники настройки гиперпараметров ==

=== Grid search ===

==== Общая информация ====

Grid search принимает на вход модель и различные значения гиперпараметров (сетку гиперпараметров).
Далее, для каждого возможного сочетания значений гиперпараметров, метод считает ошибку и в конце выбирает сочетание, при котором ошибка минимальна.

==== Sklearn Grid search: использование ====

Пример использования Grid search из библиотеки scikit-learn:

# Создание экземпляра класса SGDClassifier (из sklearn)
# Создание сетки гиперпараметров. В данном случае будем подбирать коэффициент регуляризации, шаг градиентного спуска, количество итераций и параметр скорости обучения.
# Создание экземпляра класса кросс-валидации
# Создание экземпляра GridSearch (из sklearn). Первый параметр - модель, второй - сетка гиперпараметров, третий - функционал ошибки (используемый для контроля качества моделей по технике кросс-валидации), четвертый - кросс-валидация (можно задать количество фолдов, а можно передать экземпляр класса кросс - валидации)
# Запуск поиска по сетке.

[[Файл:KNeighborsClassifier_exmpl.png|center|1000px]]

==== Sklearn Grid search: важные атрибуты ====

* best_estimator_ - лучшая модель
* best_score_ - ошибка, полученная на лучшей модели.
* best_params_ - гиперпараметры лучшей модели 

[[Файл:KNeighborsClassifier_bestest.png|center|1000px]] 

* cv_results_ - результаты всех моделей. 

[[Файл:KNeighborsClassifier_results.png|center|1000px]] 

* доступ к массиву определенного параметра: 

[[Файл:KNeighborsClassifier_param_array.png|center|1000px]] 

==== Реализация Grid search в библеотеках====
* Katib
* scikit-learn
* Tune
* Talos

=== Random grid search ===

==== Основная информация ====

Вместо полного перебора, Random grid search работает с некоторыми, случайным образом выбранными, комбинациями. На основе полученных результатов, происходит сужение области поиска.

Когда random grid search будет гораздо полезнее, чем grid search? 
В ситуации, когда гиперпараметров много, но сильно влияющих на конечную производительность алгоритма - мало.

==== Реализация Random grid ====

* hyperopt
* Katib
* scikit-learn
* Tune
* Talos

=== SMBO ===
SMBO - Sequential Model-Based Optimization (Методы последовательной оптимизации на основе моделей)

SMBO являются формализацией байесовской оптимизации.

На каждом шаге SMBO:
# SMBO выбирает текущий набор гиперпараметров на основе предыдущих результатов и Байесовский рассуждений. Делается это для того, чтобы сузить область поиска и сосредоточиться на том, что наиболее перспективно.
# происходит запуск модели с текущими гиперпараметрами
# обновляется вероятностная модель.

Существует пять ключевых аспектов SMBO:
* Сетка значений гиперпараметров (область поиска)
* Целевая функция, которая принимает гиперпараметры и выводит оценку, которую мы хотим минимизировать (или максимизировать)
* Вероятностная модель целевой функции
* Критерий, называемый функцией выбора, для оценки того, какие гиперпараметры выбрать следующим из вероятностной модели.
* История, состоящая из пар <оценка, гиперпараметр>, используемая алгоритмом для обновления вероятностной модели.

Существует несколько вариантов SMBO оптимизации, которые отличаются между собой в 3 и 4 пунктах: есть различные варианты построения вероятностной модели целевой функции и выбора критерия.
Вероятностные модели (3 пункт): Gaussian Processes, Random Forest Regressions, and Tree Parzen Estimators (TPE).
Популярный критерий (4 пункт): Expected Improvement

=== TPE ===

TPE - Tree-structured Parzen Estimator (Древовидная структура Парзена)

Методы SMBO отличаются тем, как они строят вероятностную модель p (y | x). В случае TPE, используется следующая функция:

формула

=== SMAC ===

расширяет подходы SMBO

В частности, разработаны подходы обработки данных:

* дискретные и условные пространства параметров (с учетом
оптимизация параметров категориального алгоритма и параметров, между которыми существуют зависимости);
* существенный негауссовский шум (из-за дисперсии в
распределение времени выполнения алгоритма по экземплярам задач и
несколько независимых запусков на одном экземпляре);
* частично цензурированные оценки функций (из-за преждевременного
завершенные запуски алгоритма);
* бюджет на общее время, доступное для настройки алгоритма, а не на количество оценок функций;

Настройка гиперпараметров

2020-04-20T09:16:00Z

AnneKsatn: Grid search done

== Гиперпараметры ==

Гиперпараметры - параметры, которые не настраиваются во время обучения модели.

Пример гиперпараметра - шаг градиентного спуска, он задается перед обучением. 
Пример параметров - веса градиентного спуска, они изменяются и настраиваются во время обучения.

Для подбора гиперпараметров необходимо разделить датасет на три части:
* training set (тренировочный набор данных, для обучении модели)
* validation set (валидационный набор данных, для расчета ошибки и выбора наилучшей модели)
* test set (тестовый набор данных, для тестирования лучшей модели)

Зачем нам нужен и валидационный, и тестовый набор? 
Дело в том, что модель может переучиться на валидационном наборе данных. Для выявления переобучения используется тестовый набор данных.

Рассмотрим модель KNeighborsClassifier из библиотеки sklearn. Все “параметры” данной модели, с точки зрения машинного обучения, являются гиперпараметрами, так как задаются до начала обучения.

[[Файл:KNeighborsClassifier_model.png|center|1000px]]

== Техники настройки гиперпараметров ==

=== Grid search ===

==== Общая информация ====

Grid search принимает на вход модель и различные значения гиперпараметров (сетку гиперпараметров).
Далее, для каждого возможного сочетания значений гиперпараметров, метод считает ошибку и в конце выбирает сочетание, при котором ошибка минимальна.

==== Sklearn Grid search: использование ====

Пример использования Grid search из библиотеки scikit-learn:

# Создание экземпляра класса SGDClassifier (из sklearn)
# Создание сетки гиперпараметров. В данном случае будем подбирать коэффициент регуляризации, шаг градиентного спуска, количество итераций и параметр скорости обучения.
# Создание экземпляра класса кросс-валидации
# Создание экземпляра GridSearch (из sklearn). Первый параметр - модель, второй - сетка гиперпараметров, третий - функционал ошибки (используемый для контроля качества моделей по технике кросс-валидации), четвертый - кросс-валидация (можно задать количество фолдов, а можно передать экземпляр класса кросс - валидации)
# Запуск поиска по сетке.

[[Файл:KNeighborsClassifier_exmpl.png|center|1000px]]

==== Sklearn Grid search: важные атрибуты ====

* best_estimator_ - лучшая модель
* best_score_ - ошибка, полученная на лучшей модели.
* best_params_ - гиперпараметры лучшей модели 

[[Файл:KNeighborsClassifier_bestest.png|center|1000px]] 

* cv_results_ - результаты всех моделей. 

[[Файл:KNeighborsClassifier_results.png|center|1000px]] 

* доступ к массиву определенного параметра: 

[[Файл:KNeighborsClassifier_param_array.png|center|1000px]] 

==== Реализация Grid search в библеотеках====
* Katib
* scikit-learn
* Tune
* Talos

=== Random grid search ===

==== Основная информация ====

Вместо полного перебора, Random grid search работает с некоторыми, случайным образом выбранными, комбинациями. На основе полученных результатов,происходит сужение области поиска. Random grid search будет гораздо полезнее, чем grid search в ситуации, когда гиперпараметров много, но сильно влияющих на конечную производительность алгоритма - мало.

==== Реализация Random grid ====

* hyperopt
* Katib
* scikit-learn
* Tune
* Talos

=== SMBO ===
SMBO - Sequential Model-Based Optimization (Методы последовательной оптимизации на основе моделей)

SMBO являются формализацией байесовской оптимизации.

На каждом шаге SMBO:
# SMBO выбирает текущий набор гиперпараметров на основе предыдущих результатов и Байесовский рассуждений. Делается это для того, чтобы сузить область поиска и сосредоточиться на том, что наиболее перспективно.
# происходит запуск модели с текущими гиперпараметрами
# обновляется вероятностная модель.

Существует пять ключевых аспектов SMBO:
* Сетка значений гиперпараметров (область поиска)
* Целевая функция, которая принимает гиперпараметры и выводит оценку, которую мы хотим минимизировать (или максимизировать)
* Вероятностная модель целевой функции
* Критерий, называемый функцией выбора, для оценки того, какие гиперпараметры выбрать следующим из вероятностной модели.
* История, состоящая из пар <оценка, гиперпараметр>, используемая алгоритмом для обновления вероятностной модели.

Существует несколько вариантов SMBO оптимизации, которые отличаются между собой в 3 и 4 пунктах: есть различные варианты построения вероятностной модели целевой функции и выбора критерия.
Вероятностные модели (3 пункт): Gaussian Processes, Random Forest Regressions, and Tree Parzen Estimators (TPE).
Популярный критерий (4 пункт): Expected Improvement

=== TPE ===

TPE - Tree-structured Parzen Estimator (Древовидная структура Парзена)

Методы SMBO отличаются тем, как они строят вероятностную модель p (y | x). В случае TPE, используется следующая функция:

формула

=== SMAC ===

расширяет подходы SMBO

В частности, разработаны подходы обработки данных:

* дискретные и условные пространства параметров (с учетом
оптимизация параметров категориального алгоритма и параметров, между которыми существуют зависимости);
* существенный негауссовский шум (из-за дисперсии в
распределение времени выполнения алгоритма по экземплярам задач и
несколько независимых запусков на одном экземпляре);
* частично цензурированные оценки функций (из-за преждевременного
завершенные запуски алгоритма);
* бюджет на общее время, доступное для настройки алгоритма, а не на количество оценок функций;

Файл:KNeighborsClassifier param array.png

2020-04-20T09:05:52Z

AnneKsatn:

Файл:KNeighborsClassifier results.png

2020-04-20T09:04:40Z

AnneKsatn:

Файл:KNeighborsClassifier bestest.png

2020-04-20T09:00:29Z

AnneKsatn:

Файл:KNeighborsClassifier exmpl.png

2020-04-20T08:58:04Z

AnneKsatn:

Настройка гиперпараметров

2020-04-20T08:55:07Z

AnneKsatn: /* Гиперпараметры */

== Гиперпараметры ==

Гиперпараметры - параметры, которые не настраиваются во время обучения модели.

Пример гиперпараметра - шаг градиентного спуска, он задается перед обучением. 
Пример параметров - веса градиентного спуска, они изменяются и настраиваются во время обучения.

Для подбора гиперпараметров необходимо разделить датасет на три части:
* training set (тренировочный набор данных, для обучении модели)
* validation set (валидационный набор данных, для расчета ошибки и выбора наилучшей модели)
* test set (тестовый набор данных, для тестирования лучшей модели)

Зачем нам нужен и валидационный, и тестовый набор? 
Дело в том, что модель может переучиться на валидационном наборе данных. Для выявления переобучения используется тестовый набор данных.

Рассмотрим модель KNeighborsClassifier из библиотеки sklearn.

[[Файл:KNeighborsClassifier_model.png|800px|thumb|left| Все “параметры” данной модели, с точки зрения машинного обучения, являются гиперпараметрами, так как задаются до начала обучения.]]

== Техники настройки гиперпараметров ==

=== Grid search ===

Принимает на вход модель и различные значения гиперпараметров (сетку гиперпараметров). Далее, для каждого возможного сочетания значений гиперпараметров, метод считает ошибку и в конце выбирает сочетание, при котором ошибка минимальна.

Пример использования Grid search из библиотеки scikit-learn:

# Создание экземпляра класса SGDClassifier (из sklearn)
# Создание сетки гиперпараметров. В данном случае будем подбирать коэффициент регуляризации, шаг градиентного спуска, количество итераций и параметр скорости обучения.
# Создание экземпляра класса кросс-валидации.
# Создание экземпляра GridSearch (из sklearn). Первый параметр - модель, второй - сетка гиперпараметров, третий - функционал ошибки (используемый для контроля качества моделей по технику кросс-валидации), четвертый - кросс-# # # валидация (можно задать количество фолдов, а можно передать экземпляр класса кросс - валидации)
# Запуск поиска по сетке.

здесь будет картинка

Важные атрибуты GridSearch

* best_estimator_ - лучшая модель
* best_score_ - ошибка, полученная на лучшей модели.
* best_params_ - гиперпараметры лучшей модели

картинка

* cv_results_ - результаты всех моделей.

картинка

* доступ к массиву определенного параметра:

картинка

==== Реализация ====
* Katib
* scikit-learn
* Tune
* Talos

=== Random grid search ===

Вместо полного перебора, Random grid search работает с некоторыми, случайным образом выбранными, комбинациями. На основе полученных результатов,происходит сужение области поиска. Random grid search будет гораздо полезнее, чем grid search в ситуации, когда гиперпараметров много, но сильно влияющих на конечную производительность алгоритма - мало.

==== Реализация ====

* hyperopt
* Katib
* scikit-learn
* Tune
* Talos

=== SMBO ===
SMBO - Sequential Model-Based Optimization (Методы последовательной оптимизации на основе моделей)

SMBO являются формализацией байесовской оптимизации.

На каждом шаге SMBO:
# SMBO выбирает текущий набор гиперпараметров на основе предыдущих результатов и Байесовский рассуждений. Делается это для того, чтобы сузить область поиска и сосредоточиться на том, что наиболее перспективно.
# происходит запуск модели с текущими гиперпараметрами
# обновляется вероятностная модель.

Существует пять ключевых аспектов SMBO:
* Сетка значений гиперпараметров (область поиска)
* Целевая функция, которая принимает гиперпараметры и выводит оценку, которую мы хотим минимизировать (или максимизировать)
* Вероятностная модель целевой функции
* Критерий, называемый функцией выбора, для оценки того, какие гиперпараметры выбрать следующим из вероятностной модели.
* История, состоящая из пар <оценка, гиперпараметр>, используемая алгоритмом для обновления вероятностной модели.

Существует несколько вариантов SMBO оптимизации, которые отличаются между собой в 3 и 4 пунктах: есть различные варианты построения вероятностной модели целевой функции и выбора критерия.
Вероятностные модели (3 пункт): Gaussian Processes, Random Forest Regressions, and Tree Parzen Estimators (TPE).
Популярный критерий (4 пункт): Expected Improvement

=== TPE ===

TPE - Tree-structured Parzen Estimator (Древовидная структура Парзена)

Методы SMBO отличаются тем, как они строят вероятностную модель p (y | x). В случае TPE, используется следующая функция:

формула

=== SMAC ===

расширяет подходы SMBO

В частности, разработаны подходы обработки данных:

* дискретные и условные пространства параметров (с учетом
оптимизация параметров категориального алгоритма и параметров, между которыми существуют зависимости);
* существенный негауссовский шум (из-за дисперсии в
распределение времени выполнения алгоритма по экземплярам задач и
несколько независимых запусков на одном экземпляре);
* частично цензурированные оценки функций (из-за преждевременного
завершенные запуски алгоритма);
* бюджет на общее время, доступное для настройки алгоритма, а не на количество оценок функций;

Файл:KNeighborsClassifier model.png

2020-04-20T08:52:30Z

AnneKsatn: