Викиконспекты - Вклад участника [ru]

Поиск архитектуры нейронной сети

2020-04-20T03:59:45Z

Tatianadzn:

{{Определение
|definition =
'''Поиск архитектуры нейронной сети''' (англ. ''Neural Architecture Search, NAS'') — процесс автоматизации проектирования архитектуры, то есть нахождение самой модели машинного обучения. Системе NAS предоставляется набор данных, тип задачи (классификация, регрессия и т.д.), на основании которого система определяет архитектуру нейронной сети. Эта архитектура будет работать лучше всех других архитектур для данной задачи при обучении предоставленным набором данных.
}}

NAS можно рассматривать как часть AutoML ([[Автоматическое машинное обучение]]), он имеет значительное совпадение с оптимизацией гиперпараметров ([[Настройка гиперпараметров]]). NAS находит архитектуру из всех возможных архитектур, следуя стратегии поиска, которая максимизирует производительность.

== Принцип работы ==
Методы для NAS классифицируются по трем измерениям: пространство поиска (англ. ''Search Space''), стратегия поиска (англ. ''Search Strategy'') и стратегия оценки эффективности (англ. ''Performance Estimation Strategy''). Схематичный принцип работы NAS отображен на рисунке 1.
[[Файл:NAS 1.PNG|800px|thumb|center|Рисунок 1 — Обобщающая иллюстрация методов NAS. Стратегия поиска
выбирает архитектуру <tex>A</tex> из предопределенного пространства поиска <math>A</math>. Архитектура
передается в стратегию оценки производительности, которая возвращает оценку эффективности <tex>A</tex> в стратегию поиска. ([https://arxiv.org/pdf/1808.05377.pdf Источник])]]

=== Пространство поиска (англ. ''Search Space'') ===
Пространство поиска определяет, какую нейронную архитектуру в принципе может обнаружить подход NAS. Это может быть цепочечная архитектура (см. рисунок 2), в которой выход уровня <tex>(n-1)</tex> подается как вход уровня <tex>(n)</tex>. Или это может быть современная сложная архитектура с пропущенным соединением (англ. ''[https://ieeexplore.ieee.org/document/1323611 multi-branch network]'').
<div style="text-align: center"><ul>
<li style="display: inline-block;"> [[Файл:Chain-like-NAS.png|thumb|330px| Рисунок 2 — ''Chain-like'' и ''multi-branch'' сеть; Различные типы слоев визуализируются разными цветами. Ребро от слоя <tex>L_i</tex> до слоя <tex>L_j</tex> обозначает, что <tex>L_j</tex> получает выходные данные <tex>L_i</tex> в качестве входных данных.]] </li>
<li style="display: inline-block;"> [[Файл:Cell-like-NAS.png|thumb|410px| Рисунок 3 — Слева: ''сell architecture'', две разные ячейки, например ''normal cell'' (вверху) и ''reduction cell'' (внизу); Cправа: ячейки помещены во внешнюю структуру ручной работы]] </li>
</ul></div>
Предварительные знания о типичных свойствах архитектур способны уменьшить размер пространства поиска и упростить поиск. Тем не менее, они также могут помешать человеку найти новые архитектурные строительные блоки, которые выходят за рамки современных человеческих знаний.

Наиболее часто используемые типы архитектур для NAS — это ''entire structures'' ([https://arxiv.org/pdf/1908.00709.pdf, Источник 4.1.1 стр.6]), ''cell-based structures'' ([https://arxiv.org/pdf/1908.00709.pdf, Источник 4.1.2 стр.6]), ''progressive structures'' ([https://arxiv.org/pdf/1908.00709.pdf, Источник 4.1.3 стр.7]) и ''morphism-based structures'' ([https://arxiv.org/pdf/1908.00709.pdf, Источник 4.1.4 стр.8]).

Иногда используют внешнюю архитектуру ручной работы (макроархитектуру) с повторяющимися мотивами или ячейками. В таких случаях внешняя структура является фиксированной, NAS ищет только ''cell''-архитектуры''. Этот тип поиска известен как микро-поиск или ''cell search'' (см. рисунок 3).

=== Стратегия поиска (англ. ''Search Strategy'')===
Стратегия поиска подробно описывает, как исследовать пространство поиска, которое часто экспоненциально велико или даже неограниченно. Она включает в себя классический компромисс между разведкой и эксплуатацией, поскольку, с одной стороны, желательно найти
быстро работающие архитектуры, с другой стороны, следует избегать преждевременного схождения.

Для изучения пространства нейронных архитектур можно использовать множество различных стратегий поиска, включая случайный поиск, байесовскую оптимизацию, эволюционные методы, [[обучение с подкреплением]] и методы на основе градиента.

==== Сравнение методов стратегий поиска ====
Лучшие результаты на сегодняшний день показывает NAS с использованием стратегии байесовской оптимизации (согласно исследованию [https://arxiv.org/pdf/1910.11858.pdf Bayesian Optimization with Neural Architectures for Neural Architecture Search, Colin White, Willie Neiswanger, Yash Savani], рисунок 4).
[[Файл:NAS-method-comparison.PNG|700px|thumb|center| Рисунок 4 — Слева: результат экспериментов, минимизирующих функцию потерь и количества параметров модели; справа: сравнение основных используемых в NAS алгоритмов]]

Байесовская оптимизация (англ. ''Bayes Optimization, BO'') использует алгоритм для построения вероятностной модели целевой функции, а затем использует эту модель, чтобы выбрать наиболее перспективные гиперпараметры и оценивает выбранные гиперпараметры на истинной целевой функции. Следовательно, ''BO'' может итеративно обновлять вероятностную модель, ведя учет оценок прошлых результатов.

==== BANANAS (англ. ''Bayesian optimization with neural architectures for NAS'') ====
[[Файл:BANANAS alg.PNG|400px|thumb|right| Рисунок 5 — Иллюстрация мета-нейронной сети в алгоритме BANANAS]]
Сложностью применения байесовской оптимизации в NAS является обязательное наличие функции расстояния между слоями нейросети. Чтобы обойти этот момент, был разработан алгоритм [https://github.com/naszilla/bananas BANANAS (Bayesian optimization with neural architectures for NAS)] — алгоритм, использующий специальную кодировку ''path encoding'' для кодирования входных архитектур и получающий на выходе вероятностные распределения (см. рисунок 5).

Алгоритм ''BANANAS'':
#Выбираются <tex>t_0</tex> случайных архитектур из пространства поиска (''Search Space'')
#Итерационно проводится обучение ансамбля мета-нейронный сетей на выбранных архитектурах. Каждая сеть ансамбля является сетью прямой связи с полностью связанными слоями, каждому слою дается случайная инициализация весов и случайный порядок обучающего набора. Используемая функция ошибки - вариация MAPE (англ. ''Mean Absolute Percentage Error'').
##Далее формируется набор архитектур-кандидатов посредством случайных изменений лучших архитектур после обучения
##Для каждой архитектуры-кандидата определяется значение переданной на вход ''ITS acquisition function'' (''[[https://en.wikipedia.org/wiki/Thompson_sampling independent Thompson sampling]]'')
##Для архитектуры-кандидата с минимальным значением ''acquisition function'' определяется значение целевой вероятностной функции

===Стратегия оценки эффективности (англ. ''Performance Estimation Strategy'')===
Целью NAS обычно является поиск архитектуры, обеспечивающей высокую точность прогнозов. ''Performance Estimation'' относится к процессу оценки этой производительности. Самый простой вариант — выполнить стандартное обучение и проверку архитектуры данных, но это, к сожалению, вычислительно дорого и ограничивает количество архитектур, которые можно изучить. Поэтому многие недавние исследования направлены на разработку методов, способных снизить стоимость этих оценок производительности.

Способы снижения стоимости ''Performance Estimation'' и увеличения скорости:
*Сокращение качества оценки — более высокая скорость достигается сокращением датасета
*Экстраполяция прямой обучения — функция оценки может быть экстраполирована после всего нескольких обучающих итераций
*Наследование / Сетевые морфизмы — параметры модели не ищутся каждый раз, они наследуются по каким-либо правилам
*Модели ''One-Shot'' / Распределение веса — обучается только одна модель, далее ее веса/параметры используются остальными моделями

== Источники информации ==

* [https://arxiv.org/pdf/1908.00709.pdf AutoML: A Survey of the State-of-the-Art Xin He, Kaiyong Zhao, Xiaowen Chu]
* [https://arxiv.org/pdf/1910.11858.pdf Bayesian Optimization with Neural Architectures for Neural Architecture Search, Colin White, Willie Neiswanger, Yash Savani]
* [https://towardsdatascience.com/neural-architecture-search-nas-the-future-of-deep-learning-c99356351136 Medium Towards Data Science - Neural Architecture Search (NAS) - The Future Of Deep Learning]
*[https://arxiv.org/pdf/1808.05377.pdf Neural Architecture Search: A Survey]

Поиск архитектуры нейронной сети

2020-04-20T03:40:51Z

Tatianadzn:

{{Определение
|definition =
'''Поиск архитектуры нейронной сети''' (англ. ''Neural Architecture Search, NAS'') — процесс автоматизации проектирования архитектуры, то есть нахождение самой модели машинного обучения. Системе NAS предоставляется набор данных, тип задачи (классификация, регрессия и т.д.), на основании которого система определяет архитектуру нейронной сети. Эта архитектура будет работать лучше всех других архитектур для данной задачи при обучении предоставленным набором данных.
}}

NAS можно рассматривать как часть AutoML ([[Автоматическое машинное обучение]]), он имеет значительное совпадение с оптимизацией гиперпараметров ([[Настройка гиперпараметров]]). NAS находит архитектуру из всех возможных архитектур, следуя стратегии поиска, которая максимизирует производительность.

== Принцип работы ==
Методы для NAS классифицируются по трем измерениям: пространство поиска (англ. ''Search Space''), стратегия поиска (англ. ''Search Strategy'') и стратегия оценки эффективности (англ. ''Performance Estimation Strategy''). Схематичный принцип работы NAS отображен на рисунке 1.
[[Файл:NAS 1.PNG|900px|thumb|center|Рисунок 1 — Обобщающая иллюстрация методов NAS. Стратегия поиска
выбирает архитектуру <tex>A</tex> из предопределенного пространства поиска <tex>A</tex>. Архитектура
передается в стратегию оценки производительности, которая возвращает оценку эффективности <tex>A</tex> в стратегию поиска. ([https://arxiv.org/pdf/1808.05377.pdf Источник])]]

=== Пространство поиска (англ. ''Search Space'') ===
Пространство поиска определяет, какую нейронную архитектуру в принципе может обнаружить подход NAS. Это может быть цепочечная архитектура (см. рисунок 2), в которой выход уровня <tex>(n-1)</tex> подается как вход уровня <tex>(n)</tex>. Или это может быть современная сложная архитектура с пропущенным соединением (англ. ''[https://ieeexplore.ieee.org/document/1323611 multi-branch network]'').
<div style="text-align: center"><ul>
<li style="display: inline-block;"> [[Файл:Chain-like-NAS.png|thumb|330px| Рисунок 2 — ''Chain-like'' и ''multi-branch'' сеть; Различные типы слоев визуализируются разными цветами. Ребро от слоя <tex>L_i</tex> до слоя <tex>L_j</tex> обозначает, что <tex>L_j</tex> получает выходные данные <tex>L_i</tex> в качестве входных данных.]] </li>
<li style="display: inline-block;"> [[Файл:Cell-like-NAS.png|thumb|410px| Рисунок 3 — Слева: ''сell architecture'', две разные ячейки, например ''normal cell'' (вверху) и ''reduction cell'' (внизу); Cправа: ячейки помещены во внешнюю структуру ручной работы]] </li>
</ul></div>
Предварительные знания о типичных свойствах архитектур способны уменьшить размер пространства поиска и упростить поиск. Тем не менее, они также могут помешать человеку найти новые архитектурные строительные блоки, которые выходят за рамки современных человеческих знаний.

Наиболее часто используемые типы архитектур для NAS — это ''entire structures'' ([https://arxiv.org/pdf/1908.00709.pdf, Источник 4.1.1 стр.6]), ''cell-based structures'' ([https://arxiv.org/pdf/1908.00709.pdf, Источник 4.1.2 стр.6]), ''progressive structures'' ([https://arxiv.org/pdf/1908.00709.pdf, Источник 4.1.3 стр.7]) и ''morphism-based structures'' ([https://arxiv.org/pdf/1908.00709.pdf, Источник 4.1.4 стр.8]).

Иногда используют внешнюю архитектуру ручной работы (макроархитектуру) с повторяющимися мотивами или ячейками. В таких случаях внешняя структура является фиксированной, NAS ищет только ''cell''-архитектуры''. Этот тип поиска известен как микро-поиск или ''cell search'' (см. рисунок 3).

=== Стратегия поиска (англ. ''Search Strategy'')===
Стратегия поиска подробно описывает, как исследовать пространство поиска, которое часто экспоненциально велико или даже неограниченно. Она включает в себя классический компромисс между разведкой и эксплуатацией, поскольку, с одной стороны, желательно найти
быстро работающие архитектуры, с другой стороны, следует избегать преждевременного схождения.

Для изучения пространства нейронных архитектур можно использовать множество различных стратегий поиска, включая случайный поиск, байесовскую оптимизацию, эволюционные методы, [[обучение с подкреплением]] и методы на основе градиента.

==== Сравнение методов стратегий поиска ====
Лучшие результаты на сегодняшний день показывает NAS с использованием стратегии байесовской оптимизации (согласно исследованию [https://arxiv.org/pdf/1910.11858.pdf Bayesian Optimization with Neural Architectures for Neural Architecture Search, Colin White, Willie Neiswanger, Yash Savani], рисунок 4).
[[Файл:NAS-method-comparison.PNG|800px|thumb|center| Рисунок 4 — Слева: результат экспериментов, минимизирующих функцию потерь и количества параметров модели; справа: сравнение основных используемых в NAS алгоритмов]]

Байесовская оптимизация (Bayes Optimization, BO) использует алгоритм для построения вероятностной модели целевой функции, а затем использует эту модель, чтобы выбрать наиболее перспективные гиперпараметры и оценивает выбранные гиперпараметры на истинной целевой функции. Следовательно, BO может итеративно обновлять вероятностную модель, ведя учет оценок прошлых результатов.

==== BANANAS (англ. ''Bayesian optimization with neural architectures for NAS'') ====
[[Файл:BANANAS alg.PNG|400px|thumb|right| Рисунок 5 — Иллюстрация мета-нейронной сети в алгоритме BANANAS]]
Сложностью применения байесовской оптимизации в NAS является обязательное наличие функции расстояния между слоями нейросети. Чтобы обойти этот момент, был разработан алгоритм [https://github.com/naszilla/bananas BANANAS (Bayesian optimization with neural architectures for NAS)] — алгоритм, использующий специальную кодировку ''path encoding'' для кодирования входных архитектур и получающий на выходе вероятностные распределения (см. рисунок 5).

Алгоритм ''BANANAS'':
#Выбираются <tex>t_0</tex> случайных архитектур из пространства поиска (''Search Space'')
#Итерационно проводится обучение ансамбля мета-нейронный сетей на выбранных архитектурах. Каждая сеть ансамбля является сетью прямой связи с полностью связанными слоями, каждому слою дается случайная инициализация весов и случайный порядок обучающего набора. Используемая функция ошибки - вариация MAPE (англ. ''Mean Absolute Percentage Error'').
##Далее формируется набор архитектур-кандидатов посредством случайных изменений лучших архитектур после обучения
##Для каждой архитектуры-кандидата определяется значение переданной на вход ''ITS acquisition function'' (''[[https://en.wikipedia.org/wiki/Thompson_sampling independent Thompson sampling]]'')
##Для архитектуры-кандидата с минимальным значением ''acquisition function'' определяется значение целевой вероятностной функции

===Стратегия оценки эффективности (англ. ''Performance Estimation Strategy'')===
Целью NAS обычно является поиск архитектуры, обеспечивающей высокую точность прогнозов. ''Performance Estimation'' относится к процессу оценки этой производительности. Самый простой вариант — выполнить стандартное обучение и проверку архитектуры данных, но это, к сожалению, вычислительно дорого и ограничивает количество архитектур, которые можно изучить. Поэтому многие недавние исследования направлены на разработку методов, способных снизить стоимость этих оценок производительности.

Способы снижения стоимости ''Performance Estimation'' и увеличения скорости:
*Сокращение качества оценки — более высокая скорость достигается сокращением датасета
*Экстраполяция прямой обучения — функция оценки может быть экстраполирована после всего нескольких обучающих итераций
*Наследование / Сетевые морфизмы — параметры модели не ищутся каждый раз, они наследуются по каким-либо правилам
*Модели ''One-Shot'' / Распределение веса — обучается только одна модель, далее ее веса/параметры используются остальными моделями

== Источники информации ==

* [https://arxiv.org/pdf/1908.00709.pdf AutoML: A Survey of the State-of-the-Art Xin He, Kaiyong Zhao, Xiaowen Chu]
* [https://arxiv.org/pdf/1910.11858.pdf Bayesian Optimization with Neural Architectures for Neural Architecture Search, Colin White, Willie Neiswanger, Yash Savani]
* [https://towardsdatascience.com/neural-architecture-search-nas-the-future-of-deep-learning-c99356351136 Medium Towards Data Science - Neural Architecture Search (NAS) - The Future Of Deep Learning]
*[https://arxiv.org/pdf/1808.05377.pdf Neural Architecture Search: A Survey]

Поиск архитектуры нейронной сети

2020-04-14T13:30:08Z

Tatianadzn:

Neaural Architecture Search (NAS, Поиск архитектуры нейронной сети) - процесс автоматизации проектирования архитектуры, то есть нахождение самой модели машинного обучения. Системе NAS предоставляется набор данных, тип задачи (классификация, регрессия и т.д.), на основании которого система определяет архитектуру нейронной сети. Эта архитектура будет работать лучше всех других архитектур для данной задачи при обучении предоставленным набором данных.
NAS можно рассматривать как часть AutoML ([[Автоматическое машинное обучение]]), он имеет значительное совпадение с оптимизацией гиперпараметров ([[Настройка гиперпараметров]]). NAS находит архитектуру из всех возможных архитектур, следуя стратегии поиска, которая максимизирует производительность.

== Принцип работы ==
[[Файл:NAS 1.PNG|900px|thumb|center|Абстрактная иллюстрация методов NAS. Стратегия поиска
выбирает архитектуру A из предопределенного пространства поиска A. Архитектура
передается в стратегию оценки производительности, которая возвращает оценку эффективности A в стратегию поиска. ([https://arxiv.org/pdf/1808.05377.pdf Источник])]]

=== Пространство поиска (Search Space) ===
[[Файл:Chain-like-NAS.png|thumb|right|A chain-like and multi-branch network; каждый узел соответствует уровню в нейронной сети. Различные типы слоев визуализируются разными цветами. Ребро от слоя Li до слоя Lj обозначает, что Lj получает выходные данные Li в качестве входных данных.]]
Пространство поиска определяет, какую нейронную архитектуру в принципе может обнаружить подход NAS. Это может быть цепочечная архитектура, в которой выход уровня (n-1) подается как вход уровня (n). [[Файл:Cell-like-NAS.png|left|thumb|слева: сell architecture, две разные ячейки, например normal cell (вверху) и reduction cell (внизу); справа: ячейки помещены во внешнюю структуру ручной работы]].
Или это может быть современная сложная архитектура с пропущенным соединением (multi-branch network).

Предварительные знания о типичных свойствах архитектур способны уменьшить размер пространства поиска и упростить поиск. Тем не менее, они также могут помешать человеку найти новые архитектурные строительные блоки, которые выходят за рамки современных человеческих знаний.

Наиболее часто используемые типы архитектур для NAS - это '''entire structures''', '''cell-based structures''',
'''progressive structures''' и '''morphism-based structures'''.

Иногда используют внешнюю архитектуру ручной работы (макроархитектуру) с повторяющимися мотивами или ячейками. В таких случаях внешняя структура является фиксированной, NAS ищет только cell-архитектуры. Этот тип поиска известен как микро-поиск или cell search.

=== Стратегия поиска (Search Strategy)===
Стратегия поиска подробно описывает, как исследовать пространство поиска, которое часто экспоненциально велико или даже неограниченно. Она включает в себя классический компромисс между разведкой и эксплуатацией, поскольку, с одной стороны, желательно найти
быстро работающие архитектуры, с другой стороны, следует избегать преждевременного схождения.

Для изучения пространства нейронных архитектур можно использовать множество различных стратегий поиска, включая '''случайный поиск''', '''байесовскую оптимизацию''', '''эволюционные методы''', '''[[обучение с подкреплением]] (reinforcement learning)''' и '''методы на основе градиента'''.

==== Сравнение методов стратегий поиска ====
[[Файл:NAS-method-comparison.PNG|800px|thumb|center|слева: результат экспериментов, минимизирующих функцию потерь и количества параметров модели; справа: сравнение основных используемых в NAS алгоритмов]]
Лучшие результаты на сегодняшний день показывает NAS с использованием стратегии байесовской оптимизации (согласно исследованию [https://arxiv.org/pdf/1910.11858.pdf Bayesian Optimization with Neural Architectures for Neural Architecture Search, Colin White, Willie Neiswanger, Yash Savani]).

Байесовская оптимизация (Bayes Optimization, BO) использует алгоритм для построения вероятностной модели целевой функции, а затем использует эту модель, чтобы выбрать наиболее перспективные гиперпараметры и оценивает выбранные гиперпараметры на истинной целевой функции. Следовательно, BO может итеративно обновлять вероятностную модель, ведя учет оценок прошлых результатов.

==== BANANAS (Bayesian optimization with neural architectures for NAS) ====
[[Файл:BANANAS alg.PNG|400px|thumb|right|Иллюстрация мета-нейронной сети в алгоритме BANANAS]]
Сложностью применения байесовской оптимизации в NAS является обязательное наличие функции расстояния между слоями нейросети. Чтобы обойти этот момент, был разработан алгоритм [https://github.com/naszilla/bananas BANANAS (Bayesian optimization with neural architectures for NAS)] - алгоритм, использующий специальную кодировку path encoding для кодирования входных архитектур и получающий на выходе вероятностные распределения (см. рисунок).

Алгоритм BANANAS:
#Выбираются t0 случайных архитектур из пространства поиска (Search Space)
#Итерационно проводится обучение ансамбля мета-нейронный сетей на выбранных архитектурах. Каждая сеть ансамбля является сетью прямой связи с полностью связанными слоями, каждому слою дается случайная инициализация весов и случайный порядок обучающего набора. Используемая функция ошибки - вариация MAPE (mean absolute percentage error).
##Далее формируется набор архитектур-"кандидатов" посредством случайных изменений лучших архитектур после обучения
##Для каждой архитектуры-кандидата определяется значение переданной на вход ITS acquisition function (''[[https://en.wikipedia.org/wiki/Thompson_sampling independent Thompson sampling]]'')
##Для архитектуры-кандидата с минимальным значением acquisition function определяется значение целевой вероятностной функции

===Стратегия оценки эффективности (Performance Estimation Strategy)===
Целью NAS обычно является поиск архитектуры, обеспечивающей высокую точность прогнозов. Performance Estimation относится к процессу оценки этой производительности. Самый простой вариант - выполнить стандартное обучение и проверку архитектуры данных, но это, к сожалению, вычислительно дорого и ограничивает количество архитектур, которые можно изучить. Поэтому многие недавние исследования направлены на разработку методов, способных снизить стоимость этих оценок производительности.

Способы снижения стоимости Performance Estimation и увеличения скорости:
*Сокращение качества оценки - более высокая скорость достигается сокращением датасета
*Экстраполяция прямой обучения - функция оценки может быть экстраполирована после всего нескольких обучающих итераций
*Наследование / Сетевые морфизмы - параметры модели не ищутся каждый раз, они наследуются по каким-либо правилам
*Модели One-Shot / Распределение веса - обучается только одна модель, далее ее веса/параметры используются остальными моделями

== Источники информации ==

* [https://arxiv.org/pdf/1908.00709.pdf AutoML: A Survey of the State-of-the-Art Xin He, Kaiyong Zhao, Xiaowen Chu]
* [https://arxiv.org/pdf/1910.11858.pdf Bayesian Optimization with Neural Architectures for Neural Architecture Search, Colin White, Willie Neiswanger, Yash Savani]
* [https://towardsdatascience.com/neural-architecture-search-nas-the-future-of-deep-learning-c99356351136 Medium Towards Data Science - Neural Architecture Search (NAS) - The Future Of Deep Learning]
*[https://arxiv.org/pdf/1808.05377.pdf Neural Architecture Search: A Survey]

Поиск архитектуры нейронной сети

2020-04-14T13:14:48Z

Tatianadzn:

Neaural Architecture Search (NAS, Поиск архитектуры нейронной сети) - процесс автоматизации проектирования архитектуры, то есть нахождение нашей модели машинного обучения. Системе NAS предоставляется набор данных, тип задачи (классификация, регрессия и т.д.), на основании которого система определяет архитектуру нейронной сети. Эта архитектура будет работать лучше всех других архитектур для данной задачи при обучении предоставленным набором данных.
NAS можно рассматривать как часть AutoML ([[Автоматическое машинное обучение]]), он имеет значительное совпадение с оптимизацией гиперпараметров ([[Настройка гиперпараметров]]). NAS находит архитектуру из всех возможных архитектур, следуя стратегии поиска, которая максимизирует производительность.

== Принцип работы ==
[[Файл:NAS 1.PNG|900px|thumb|center|Абстрактная иллюстрация методов NAS. Стратегия поиска
выбирает архитектуру A из предопределенного пространства поиска A. Архитектура
передается в стратегию оценки производительности, которая возвращает оценку эффективности A в стратегию поиска. ([https://arxiv.org/pdf/1808.05377.pdf Источник])]]

=== Пространство поиска (Search Space) ===
[[Файл:Chain-like-NAS.png|thumb|right|A chain-like and multi-branch network; каждый узел соответствует уровню в нейронной сети. Различные типы слоев визуализируются разными цветами. Ребро от слоя Li до слоя Lj обозначает, что Lj получает выходные данные Li в качестве входных данных.]]
Пространство поиска определяет, какую нейронную архитектуру в принципе может обнаружить подход NAS. Это может быть цепочечная архитектура, в которой выход уровня (n-1) подается как вход уровня (n). [[Файл:Cell-like-NAS.png|left|thumb|слева: сell architecture, две разные ячейки, например normal cell (вверху) и reduction cell (внизу); справа: ячейки помещены во внешнюю структуру ручной работы]].
Или это может быть современная сложная архитектура с пропущенным соединением (multi-branch network).

Предварительные знания о типичных свойствах архитектур способны уменьшить размер пространства поиска и упростить поиск. Тем не менее, они также могут помешать человеку найти новые архитектурные строительные блоки, которые выходят за рамки современных человеческих знаний.

Наиболее часто используемые типы архитектур для NAS - это '''entire structures''', '''cell-based structures''',
'''progressive structures''' и '''morphism-based structures'''.

Иногда используют внешнюю архитектуру ручной работы (макроархитектуру) с повторяющимися мотивами или ячейками. В таких случаях внешняя структура является фиксированной, NAS ищет только cell-архитектуры. Этот тип поиска известен как микро-поиск или cell search.

=== Стратегия поиска (Search Strategy)===
Стратегия поиска подробно описывает, как исследовать пространство поиска, которое часто экспоненциально велико или даже неограниченно. Она включает в себя классический компромисс между разведкой и эксплуатацией, поскольку, с одной стороны, желательно найти
быстро работающие архитектуры, с другой стороны, следует избегать преждевременного схождения.

Для изучения пространства нейронных архитектур можно использовать множество различных стратегий поиска, включая '''случайный поиск''', '''байесовскую оптимизацию''', '''эволюционные методы''', '''[[обучение с подкреплением]] (reinforcement learning)''' и '''методы на основе градиента'''.

==== Сравнение методов стратегий поиска ====
[[Файл:NAS-method-comparison.PNG|800px|thumb|center|слева: результат экспериментов, минимизирующих функцию потерь и количества параметров модели; справа: сравнение основных используемых в NAS алгоритмов]]
Лучшие результаты на сегодняшний день показывает NAS с использованием стратегии байесовской оптимизации (согласно исследованию [https://arxiv.org/pdf/1910.11858.pdf Bayesian Optimization with Neural Architectures for Neural Architecture Search, Colin White, Willie Neiswanger, Yash Savani]).

Байесовская оптимизация (Bayes Optimization, BO) использует алгоритм для построения вероятностной модели целевой функции, а затем использует эту модель, чтобы выбрать наиболее перспективные гиперпараметры и оценивает выбранные гиперпараметры на истинной целевой функции. Следовательно, BO может итеративно обновлять вероятностную модель, ведя учет оценок прошлых результатов.

==== BANANAS (Bayesian optimization with neural architectures for NAS) ====
[[Файл:BANANAS alg.PNG|400px|thumb|right|Иллюстрация мета-нейронной сети в алгоритме BANANAS]]
Сложностью применения байесовской оптимизации в NAS является обязательное наличие функции расстояния между слоями нейросети. Чтобы обойти этот момент, был разработан алгоритм [https://github.com/naszilla/bananas BANANAS (Bayesian optimization with neural architectures for NAS)] - алгоритм, использующий специальную кодировку path encoding для кодирования входных архитектур и получающий на выходе вероятностные распределения (см. рисунок).

Алгоритм BANANAS:
#Выбираются t0 случайных архитектур из пространства поиска (Search Space)
#Итерационно проводится обучение ансамбля мета-нейронный сетей на выбранных архитектурах. Каждая сеть ансамбля является сетью прямой связи с полностью связанными слоями, каждому слою дается случайная инициализация весов и случайный порядок обучающего набора. Используемая функция ошибки - вариация MAPE (mean absolute percentage error).
##Далее формируется набор архитектур-"кандидатов" посредством случайных изменений лучших архитектур после обучения
##Для каждой архитектуры-кандидата определяется значение переданной на вход ITS acquisition function (''[[https://en.wikipedia.org/wiki/Thompson_sampling independent Thompson sampling]]'')
##Для архитектуры-кандидата с минимальным значением acquisition function определяется значение целевой вероятностной функции

===Стратегия оценки эффективности (Performance Estimation Strategy)===
Целью NAS обычно является поиск архитектуры, обеспечивающей высокую точность прогнозов. Performance Estimation относится к процессу оценки этой производительности. Самый простой вариант - выполнить стандартное обучение и проверку архитектуры данных, но это, к сожалению, вычислительно дорого и ограничивает количество архитектур, которые можно изучить. Поэтому многие недавние исследования направлены на разработку методов, способных снизить стоимость этих оценок производительности.

Способы снижения стоимости Performance Estimation и увеличения скорости:
*Сокращение качества оценки - более высокая скорость достигается сокращением датасета
*Экстраполяция прямой обучения - функция оценки может быть экстраполирована после всего нескольких обучающих итераций
*Наследование / Сетевые морфизмы - параметры модели не ищутся каждый раз, они наследуются по каким-либо правилам
*Модели One-Shot / Распределение веса - обучается только одна модель, далее ее веса/параметры используются остальными моделями

== Источники информации ==

* [https://arxiv.org/pdf/1908.00709.pdf AutoML: A Survey of the State-of-the-Art Xin He, Kaiyong Zhao, Xiaowen Chu]
* [https://arxiv.org/pdf/1910.11858.pdf Bayesian Optimization with Neural Architectures for Neural Architecture Search, Colin White, Willie Neiswanger, Yash Savani]
* [https://towardsdatascience.com/neural-architecture-search-nas-the-future-of-deep-learning-c99356351136 Medium Towards Data Science - Neural Architecture Search (NAS) - The Future Of Deep Learning]
*[https://arxiv.org/pdf/1808.05377.pdf Neural Architecture Search: A Survey]

Поиск архитектуры нейронной сети

2020-04-14T10:47:40Z

Tatianadzn:

Neaural Architecture Search (NAS, Поиск архитектуры нейронной сети) - процесс автоматизации проектирования архитектуры, то есть нахождение нашей модели машинного обучения. Системе NAS предоставляется набор данных, тип задачи (классификация, регрессия и т.д.), на основании которого система определяет архитектуру нейронной сети. Эта архитектура будет работать лучше всех других архитектур для данной задачи при обучении предоставленным набором данных.
NAS можно рассматривать как часть AutoML ([[Автоматическое машинное обучение]]), он имеет значительное совпадение с оптимизацией гиперпараметров ([[Настройка гиперпараметров]]). NAS находит архитектуру из всех возможных архитектур, следуя стратегии поиска, которая максимизирует производительность.

== Принцип работы ==
[[Файл:NAS 1.PNG|900px|thumb|center|Абстрактная иллюстрация методов NAS. Стратегия поиска
выбирает архитектуру A из предопределенного пространства поиска A. Архитектура
передается в стратегию оценки производительности, которая возвращает оценку эффективности A в стратегию поиска. ([https://arxiv.org/pdf/1808.05377.pdf Источник])]]

=== Пространство поиска (Search Space) ===
[[Файл:Chain-like-NAS.png|thumb|right|A chain-like and multi-branch network; каждый узел соответствует уровню в нейронной сети. Различные типы слоев визуализируются разными цветами. Ребро от слоя Li до слоя Lj обозначает, что Lj получает выходные данные Li в качестве входных данных.]]
Пространство поиска определяет, какую нейронную архитектуру в принципе может обнаружить подход NAS. Это может быть цепочечная архитектура, в которой выход уровня (n-1) подается как вход уровня (n). [[Файл:Cell-like-NAS.png|left|thumb|слева: сell architecture, две разные ячейки, например normal cell (вверху) и reduction cell (внизу); справа: ячейки помещены во внешнюю структуру ручной работы]] Или это может быть современная сложная архитектура с пропущенным соединением (multi-branch network). Предварительные знания о типичных свойствах архитектур способны уменьшить размер пространства поиска и упростить поиск. Тем не менее, они также могут помешать человеку найти новые архитектурные строительные блоки, которые выходят за рамки современных человеческих знаний.
Наиболее часто используемые типы архитектур для NAS - это ''''entire structures''', '''cell-based structures''',
'''progressive structures''' and '''morphism-based structures'''.

Иногда используют внешнюю архитектуру ручной работы (макроархитектуру) с повторяющимися мотивами или ячейками. В таких случаях внешняя структура является фиксированной, NAS ищет только cell-архитектуры. Этот тип поиска известен как микро-поиск или cell search.

=== Стратегия поиска (Search Strategy)===
Стратегия поиска подробно описывает, как исследовать пространство поиска, которое часто экспоненциально велико или даже неограниченно. Она включает в себя классический компромисс между разведкой и эксплуатацией, поскольку, с одной стороны, желательно найти
быстро работающие архитектуры, с другой стороны, следует избегать преждевременного схождения.

Для изучения пространства нейронных архитектур можно использовать множество различных стратегий поиска, включая '''случайный поиск''', '''байесовскую оптимизацию''', '''эволюционные методы''', '''[[обучение с подкреплением]] (reinforcement learning)''' и '''методы на основе градиента'''.

==== Сравнение методов стратегий поиска ====
[[Файл:NAS-method-comparison.PNG|800px|thumb|center|слева: результат экспериментов, минимизирующих функцию потерь и количества параметров модели; справа: сравнение основных используемых в NAS алгоритмов]]
Лучшие результаты на сегодняшний день показывает NAS с использованием стратегии байесовской оптимизации (согласно исследованию [https://arxiv.org/pdf/1910.11858.pdf Bayesian Optimization with Neural Architectures for Neural Architecture Search, Colin White, Willie Neiswanger, Yash Savani]).

Байесовская оптимизация (Bayes Optimization, BO) использует алгоритм для построения вероятностной модели целевой функции, а затем использует эту модель, чтобы выбрать наиболее перспективные гиперпараметры и оценивает выбранные гиперпараметры на истинной целевой функции. Следовательно, BO может итеративно обновлять вероятностную модель, ведя учет оценок прошлых результатов.

==== BANANAS (Bayesian optimization with neural architectures for NAS) ====
[[Файл:BANANAS alg.PNG|400px|thumb|right|Иллюстрация мета-нейронной сети в алгоритме BANANAS]]
Сложностью применения байесовской оптимизации в NAS является обязательное наличии функции расстояния между слоями нейросети. Чтобы обойти этот момент, был разработан алгоритм [https://github.com/naszilla/bananas BANANAS (Bayesian optimization with neural architectures for NAS)] - алгоритм, использующий специальную кодировку path encoding для кодирования входных архитектур и получающий на выходе вероятностные распределения (см. рисунок).

Алгоритм BANANAS:
#Выбираются t0 случайных архитектур из пространства поиска (Search Space)
#Итерационно проводится обучение ансамбля мета-нейронный сетей на выбранных архитектурах. Каждая сеть ансамбля является сетью прямой связи с полностью связанными слоями, каждому слою дается случайная инициализация весов и случайный порядок обучающего набора. Используемая функция ошибки - вариация MAPE (mean absolute percentage error).
##Далее формируется набор архитектур-"кандидатов" посредством случайных изменений лучших архитектур после обучения
##Для каждой архитектуры-кандидата определяется значение переданной на вход ITS acquisition function (''[[https://en.wikipedia.org/wiki/Thompson_sampling independent Thompson sampling]]'')
##Для архитектуры-кандидата с минимальным значением acquisition function определяется значение целевой вероятностной функции

===Стратегия оценки эффективности (Performance Estimation Strategy)===
Целью NAS обычно является поиск
архитектуры, обеспечивающей высокую точность прогнозов. Performance Estimation относится к процессу оценки этой производительности. Самый простой вариант - выполнить стандартное обучение и проверку архитектуры данных, но это, к сожалению, вычислительно дорого и ограничивает количество архитектур, которые можно изучить. Поэтому многие недавние исследования направлены на разработку методов,
способных снизить стоимость этих оценок производительности.
*Сокращение качества оценки - более высокая скорость достигается сокращением датасета
*Экстраполяция прямой обучения - функция оценки может быть экстраполирована после всего нескольких обучающих итераций
*Наследование / Сетевые морфизмы - параметры модели не ищутся каждый раз, они наследуются по каким-либо правилам
*Модели One-Shot / Распределение веса - обучается только одна модель, далее ее веса/параметры используются остальными моделями

== Источники информации ==

* [https://arxiv.org/pdf/1908.00709.pdf AutoML: A Survey of the State-of-the-Art Xin He, Kaiyong Zhao, Xiaowen Chu]
* [https://arxiv.org/pdf/1910.11858.pdf Bayesian Optimization with Neural Architectures for Neural Architecture Search, Colin White, Willie Neiswanger, Yash Savani]
* [https://towardsdatascience.com/neural-architecture-search-nas-the-future-of-deep-learning-c99356351136 Medium Towards Data Science - Neural Architecture Search (NAS) - The Future Of Deep Learning]
*[https://arxiv.org/pdf/1808.05377.pdf Neural Architecture Search: A Survey]

Поиск архитектуры нейронной сети

2020-04-14T10:06:36Z

Tatianadzn:

Neaural Architecture Search (NAS, Поиск архитектуры нейронной сети) - процесс автоматизации проектирования архитектуры, то есть нахождение нашей модели машинного обучения. Системе NAS предоставляется набор данных, тип задачи (классификация, регрессия и т.д.), на основании которого система определяет архитектуру нейронной сети. Эта архитектура будет работать лучше всех других архитектур для данной задачи при обучении предоставленным набором данных.
NAS можно рассматривать как часть AutoML ([[Автоматическое машинное обучение]]), он имеет значительное совпадение с оптимизацией гиперпараметров ([[Настройка гиперпараметров]]). NAS находит архитектуру из всех возможных архитектур, следуя стратегии поиска, которая максимизирует производительность.

== Принцип работы ==
[[Файл:NAS 1.PNG|900px|thumb|center|Абстрактная иллюстрация методов NAS. Стратегия поиска
выбирает архитектуру A из предопределенного пространства поиска A. Архитектура
передается в стратегию оценки производительности, которая возвращает оценку эффективности A в стратегию поиска. ([https://arxiv.org/pdf/1808.05377.pdf Источник])]]

=== Пространство поиска (Search Space) ===
[[Файл:Chain-like-NAS.png|thumb|right|A chain-like and multi-branch network; каждый узел соответствует уровню в нейронной сети. Различные типы слоев визуализируются разными цветами. Ребро от слоя Li до слоя Lj обозначает, что Lj получает выходные данные Li в качестве входных данных.]]
Пространство поиска определяет, какую нейронную архитектуру в принципе может обнаружить подход NAS. Это может быть цепочечная архитектура, в которой выход уровня (n-1) подается как вход уровня (n). [[Файл:Cell-like-NAS.png|left|thumb|слева: сell architecture, две разные ячейки, например normal cell (вверху) и reduction cell (внизу); справа: ячейки помещены во внешнюю структуру ручной работы]] Или это может быть современная сложная архитектура с пропущенным соединением (multi-branch network). Предварительные знания о типичных свойствах архитектур способны уменьшить размер пространства поиска и упростить поиск. Тем не менее, они также могут помешать человеку найти новые архитектурные строительные блоки, которые выходят за рамки современных человеческих знаний.
Наиболее часто используемые типы архитектур для NAS - это entire structures, cell-based structures,
progressive structures and morphism-based structures.
Иногда используют внешнюю архитектуру ручной работы (макроархитектуру) с повторяющимися мотивами или ячейками. В таких случаях внешняя структура является фиксированной, NAS ищет только cell-архитектуры. Этот тип поиска известен как микро-поиск или cell search.

=== Стратегия поиска (Search Strategy)===
Стратегия поиска подробно описывает, как исследовать пространство поиска, которое часто экспоненциально велико или даже неограниченно. Она включает в себя классический компромисс между разведкой и эксплуатацией, поскольку, с одной стороны, желательно найти
быстро работающие архитектуры, с другой стороны, следует избегать преждевременного схождения.

Для изучения пространства нейронных архитектур можно использовать множество различных стратегий поиска, включая '''случайный поиск''', '''байесовскую оптимизацию''', '''эволюционные методы''', '''[[обучение с подкреплением]] (reinforcement learning)''' и '''методы на основе градиента'''.

==== Сравнение методов стратегий поиска ====
[[Файл:NAS-method-comparison.PNG|800px|thumb|center|слева: результат экспериментов, минимизирующих функцию потерь и количества параметров модели; справа: сравнение основных используемых в NAS алгоритмов]]
Лучшие результаты на сегодняшний день показывает NAS с использованием стратегии байесовской оптимизации (согласно исследованию [https://arxiv.org/pdf/1910.11858.pdf Bayesian Optimization with Neural Architectures for Neural Architecture Search, Colin White, Willie Neiswanger, Yash Savani]).

Байесовская оптимизация (Bayes Optimization, BO) использует алгоритм для построения вероятностной модели целевой функции, а затем использует эту модель, чтобы выбрать наиболее перспективные гиперпараметры и оценивает выбранные гиперпараметры на истинной целевой функции. Следовательно, BO может итеративно обновлять вероятностную модель, ведя учет оценок прошлых результатов.

==== BANANAS (Bayesian optimization with neural architectures for NAS) ====
[[Файл:BANANAS alg.PNG|400px|thumb|right|Иллюстрация мета-нейронной сети в алгоритме BANANAS]]
Сложностью применения байесовской оптимизации в NAS является обязательное наличии функции расстояния между слоями нейросети. Чтобы обойти этот момент, был разработан алгоритм [https://github.com/naszilla/bananas BANANAS (Bayesian optimization with neural architectures for NAS)] - алгоритм, использующий специальную кодировку path encoding для кодирования входных архитектур и получающий на выходе вероятностные распределения (см. рисунок).

Алгоритм BANANAS:
#Выбираются t0 случайных архитектур из пространства поиска (Search Space)
#Итерационно проводится обучение ансамбля мета-нейронный сетей на выбранных архитектурах. Каждая сеть ансамбля является сетью прямой связи с полностью связанными слоями, каждому слою дается случайная инициализация весов и случайный порядок обучающего набора. Используемая функция ошибки - вариация MAPE (mean absolute percentage error).
##Далее формируется набор архитектур-"кандидатов" посредством случайных изменений лучших архитектур после обучения
##Для каждой архитектуры-кандидата определяется значение переданной на вход ITS acquisition function (''[[https://en.wikipedia.org/wiki/Thompson_sampling independent Thompson sampling]]'')
##Для архитектуры-кандидата с минимальным значением acquisition function определяется значение целевой вероятностной функции

===Стратегия оценки эффективности (Performance Estimation Strategy)===
Целью NAS обычно является поиск
архитектуры, обеспечивающей высокую точность прогнозов по невидимым данным. Performance Estimation относится к процессу оценки этой производительности. Самый простой вариант - выполнить стандартное обучение и проверку архитектуры данных, но это, к сожалению, вычислительно дорого и ограничивает количество архитектур, которые можно изучить. Поэтому многие недавние исследования направлены на разработку методов,
способных снизить стоимость этих оценок производительности.

== Источники информации ==

* [https://arxiv.org/pdf/1908.00709.pdf AutoML: A Survey of the State-of-the-Art Xin He, Kaiyong Zhao, Xiaowen Chu]
* [https://arxiv.org/pdf/1910.11858.pdf Bayesian Optimization with Neural Architectures for Neural Architecture Search, Colin White, Willie Neiswanger, Yash Savani]
* [https://towardsdatascience.com/neural-architecture-search-nas-the-future-of-deep-learning-c99356351136 Medium Towards Data Science - Neural Architecture Search (NAS) - The Future Of Deep Learning]
*[https://arxiv.org/pdf/1808.05377.pdf Neural Architecture Search: A Survey]

Поиск архитектуры нейронной сети

2020-04-14T08:02:39Z

Tatianadzn:

Neaural Architecture Search (NAS, Поиск архитектуры нейронной сети) - процесс автоматизации проектирования архитектуры, то есть нахождение нашей модели машинного обучения. Системе NAS предоставляется набор данных, тип задачи (классификация, регрессия и т.д.), на основании которого система определяет архитектуру нейронной сети. Эта архитектура будет работать лучше всех других архитектур для данной задачи при обучении предоставленным набором данных.
NAS можно рассматривать как часть AutoML ([[Автоматическое машинное обучение]]), он имеет значительное совпадение с оптимизацией гиперпараметров ([[Настройка гиперпараметров]]). NAS находит архитектуру из всех возможных архитектур, следуя стратегии поиска, которая максимизирует производительность.

== Принцип работы ==
[[Файл:NAS 1.PNG|900px|thumb|center|Рисунок 1 - Абстрактная иллюстрация методов NAS. Стратегия поиска
выбирает архитектуру A из предопределенного пространства поиска A. Архитектура
передается в стратегию оценки производительности, которая возвращает оценку эффективности A в стратегию поиска. ([https://arxiv.org/pdf/1808.05377.pdf Источник])]]

=== Пространство поиска (Search Space) ===
Пространство поиска определяет, какую нейронную архитектуру в принципе может обнаружить подход NAS. Это может быть цепочечная архитектура, в которой выход уровня (n-1) подается как вход уровня (n). Или это может быть современная сложная архитектура с пропущенным соединением (multi-branch network). Предварительные знания о типичных свойствах архитектур способны уменьшить размер пространства поиска и упростить поиск. Тем не менее, они также могут помешать человеку найти новые архитектурные строительные блоки, которые выходят за рамки современных человеческих знаний.
Наиболее часто используемые типы архитектур для NAS - это entire structures, cell-based structures,
progressive structures and morphism-based structures.
[[Файл:Chain-like-NAS.png|thumb|center|Рисунок 2 - A chain-like and multi-branch network; каждый узел соответствует уровню в нейронной сети. Различные типы слоев визуализируются разными цветами. Ребро от слоя Li до слоя Lj обозначает, что Lj получает выходные данные Li в качестве входных данных.]]
Иногда используют внешнюю архитектуру ручной работы (макроархитектуру) с повторяющимися мотивами или ячейками. В таких случаях внешняя структура является фиксированной, NAS ищет только cell-архитектуры. Этот тип поиска известен как микро-поиск или cell search.
[[Файл:Cell-like-NAS.png|thumb|center|Рисунок 3 - слева: сell architecture, две разные ячейки, например normal cell
(вверху) и reduction cell (внизу); справа: ячейки помещены во внешнюю структуру ручной работы]]

=== Стратегия поиска (Search Strategy)===
Стратегия поиска подробно описывает, как исследовать пространство поиска, которое часто экспоненциально велико или даже неограниченно. Она включает в себя классический компромисс между разведкой и эксплуатацией, поскольку, с одной стороны, желательно найти
быстро работающие архитектуры, с другой стороны, следует избегать преждевременного схождения.

Для изучения пространства нейронных архитектур можно использовать множество различных стратегий поиска, включая '''случайный поиск''', '''байесовскую оптимизацию''', '''эволюционные методы''', '''[[обучение с подкреплением]] (reinforcement learning)''' и '''методы на основе градиента'''.

=== BANANAS (Bayesian optimization with neural architectures for NAS) ===
[[Файл:BANANAS alg.PNG|400px|thumb|right|Иллюстрация мета-нейронной сети в алгоритме BANANAS]]
Сложностью применения байесовской оптимизации в NAS является обязательное наличии функции расстояния между слоями нейросети. Чтобы обойти этот момент, был разработан алгоритм [https://github.com/naszilla/bananas BANANAS (Bayesian optimization with neural architectures for NAS)] - алгоритм, использующий специальную кодировку path encoding для кодирования входных архитектур и получающий на выходе вероятностные распределения (см. рисунок).
Алгоритм BANANAS:
1. Выбираются t0 случайных алгоритмов из пространства поиска (Search Space)
2. Итерационно проводится обучение ансамбля мета-нейронный сетей на выбранных архитектурах. Каждая сеть ансамбля является сетью прямой связи с полностью связанными слоями, каждому слою дается случайная инициализация весов и случайный порядок обучающего набора.
3.

==== Сравнение методов стратегий поиска ====
[[Файл:NAS-method-comparison.PNG|800px|thumb|center|слева: результат экспериментов, минимизирующих функцию потерь и количества параметров модели; справа: сравнение основных используемых в NAS алгоритмов]]
===Стратегия оценки эффективности (Performance Estimation Strategy)===
Целью NAS обычно является поиск
архитектуры, обеспечивающей высокую точность прогнозов по невидимым данным. Performance Estimation относится к процессу оценки этой производительности. Самый простой вариант - выполнить стандартное обучение и проверку архитектуры данных, но это, к сожалению, вычислительно дорого и ограничивает количество архитектур, которые можно изучить. Поэтому многие недавние исследования направлены на разработку методов,
способных снизить стоимость этих оценок производительности.

== Решения NAS ==
=== Метод .. ===
=== Метод Neural Bayes Optimization ===
Байесовская оптимизация (Bayes Optimization, BO) использует алгоритм для построения вероятностной модели целевой функции, а затем использует эту модель, чтобы выбрать наиболее перспективные гиперпараметры и оценивает выбранные гиперпараметры на истинной целевой функции. Следовательно, BO может итеративно обновлять вероятностную модель, ведя учет оценок прошлых результатов.

== Источники информации ==

* [https://arxiv.org/pdf/1908.00709.pdf AutoML: A Survey of the State-of-the-Art Xin He, Kaiyong Zhao, Xiaowen Chu]
* [https://arxiv.org/pdf/1910.11858.pdf Bayesian Optimization with Neural Architectures for Neural Architecture Search, Colin White, Willie Neiswanger, Yash Savani]
* [https://towardsdatascience.com/neural-architecture-search-nas-the-future-of-deep-learning-c99356351136 Medium Towards Data Science - Neural Architecture Search (NAS) - The Future Of Deep Learning]
*[https://arxiv.org/pdf/1808.05377.pdf Neural Architecture Search: A Survey]

Файл:BANANAS alg.PNG

2020-04-14T07:39:44Z

Tatianadzn:

Поиск архитектуры нейронной сети

2020-04-14T07:30:13Z

Tatianadzn:

Neaural Architecture Search (NAS, Поиск архитектуры нейронной сети) - процесс автоматизации проектирования архитектуры, то есть нахождение нашей модели машинного обучения. Системе NAS предоставляется набор данных, тип задачи (классификация, регрессия и т.д.), на основании которого система определяет архитектуру нейронной сети. Эта архитектура будет работать лучше всех других архитектур для данной задачи при обучении предоставленным набором данных.
NAS можно рассматривать как часть AutoML ([[Автоматическое машинное обучение]]), он имеет значительное совпадение с оптимизацией гиперпараметров ([[Настройка гиперпараметров]]). NAS находит архитектуру из всех возможных архитектур, следуя стратегии поиска, которая максимизирует производительность.

== Принцип работы ==
[[Файл:NAS 1.PNG|900px|thumb|center|Рисунок 1 - Абстрактная иллюстрация методов NAS. Стратегия поиска
выбирает архитектуру A из предопределенного пространства поиска A. Архитектура
передается в стратегию оценки производительности, которая возвращает оценку эффективности A в стратегию поиска. ([https://arxiv.org/pdf/1808.05377.pdf Источник])]]

=== Пространство поиска (Search Space) ===
Пространство поиска определяет, какую нейронную архитектуру в принципе может обнаружить подход NAS. Это может быть цепочечная архитектура, в которой выход уровня (n-1) подается как вход уровня (n). Или это может быть современная сложная архитектура с пропущенным соединением (multi-branch network). Предварительные знания о типичных свойствах архитектур способны уменьшить размер пространства поиска и упростить поиск. Тем не менее, они также могут помешать человеку найти новые архитектурные строительные блоки, которые выходят за рамки современных человеческих знаний.
Наиболее часто используемые типы архитектур для NAS - это entire structures, cell-based structures,
progressive structures and morphism-based structures.
[[Файл:Chain-like-NAS.png|thumb|center|Рисунок 2 - A chain-like and multi-branch network; каждый узел соответствует уровню в нейронной сети. Различные типы слоев визуализируются разными цветами. Ребро от слоя Li до слоя Lj обозначает, что Lj получает выходные данные Li в качестве входных данных.]]
Иногда используют внешнюю архитектуру ручной работы (макроархитектуру) с повторяющимися мотивами или ячейками. В таких случаях внешняя структура является фиксированной, NAS ищет только cell-архитектуры. Этот тип поиска известен как микро-поиск или cell search.
[[Файл:Cell-like-NAS.png|thumb|center|Рисунок 3 - слева: сell architecture, две разные ячейки, например normal cell
(вверху) и reduction cell (внизу); справа: ячейки помещены во внешнюю структуру ручной работы]]

=== Стратегия поиска (Search Strategy)===
Стратегия поиска подробно описывает, как исследовать пространство поиска, которое часто экспоненциально велико или даже неограниченно. Она включает в себя классический компромисс между разведкой и эксплуатацией, поскольку, с одной стороны, желательно найти
быстро работающие архитектуры, с другой стороны, следует избегать преждевременного схождения.

Для изучения пространства нейронных архитектур можно использовать множество различных стратегий поиска, включая '''случайный поиск''', '''байесовскую оптимизацию''', '''эволюционные методы''', '''[[обучение с подкреплением]] (reinforcement learning)''' и '''методы на основе градиента'''.

=== BANANAS (Bayesian optimization with neural architectures for NAS) ===

==== Сравнение методов стратегий поиска ====
[[Файл:NAS-method-comparison.PNG|800px|thumb|center|Рисунок 4 - слева: результат экспериментов, минимизирующих функцию потерь и количества параметров модели; справа: сравнение основных используемых в NAS алгоритмов]]
===Стратегия оценки эффективности (Performance Estimation Strategy)===
Целью NAS обычно является поиск
архитектуры, обеспечивающей высокую точность прогнозов по невидимым данным. Performance Estimation относится к процессу оценки этой производительности. Самый простой вариант - выполнить стандартное обучение и проверку архитектуры данных, но это, к сожалению, вычислительно дорого и ограничивает количество архитектур, которые можно изучить. Поэтому многие недавние исследования направлены на разработку методов,
способных снизить стоимость этих оценок производительности.

== Решения NAS ==
=== Метод .. ===
=== Метод Neural Bayes Optimization ===
Байесовская оптимизация (Bayes Optimization, BO) использует алгоритм для построения вероятностной модели целевой функции, а затем использует эту модель, чтобы выбрать наиболее перспективные гиперпараметры и оценивает выбранные гиперпараметры на истинной целевой функции. Следовательно, BO может итеративно обновлять вероятностную модель, ведя учет оценок прошлых результатов.

== Источники информации ==

* [https://arxiv.org/pdf/1908.00709.pdf AutoML: A Survey of the State-of-the-Art Xin He, Kaiyong Zhao, Xiaowen Chu]
* [https://arxiv.org/pdf/1910.11858.pdf Bayesian Optimization with Neural Architectures for Neural Architecture Search, Colin White, Willie Neiswanger, Yash Savani]
* [https://towardsdatascience.com/neural-architecture-search-nas-the-future-of-deep-learning-c99356351136 Medium Towards Data Science - Neural Architecture Search (NAS) - The Future Of Deep Learning]
*[https://arxiv.org/pdf/1808.05377.pdf Neural Architecture Search: A Survey])]

Машинное обучение

2020-04-13T11:53:34Z

Tatianadzn: /* Автоматическое машинное обучение */

[[Категория: Машинное обучение]]

=Общие понятия=
*[[Общие понятия]]
*[[Переобучение]]
*[[Кросс-валидация]]
*[[Стохастический градиентный спуск]]
*[[Регуляризация]]
*[[Ранжирование]]
*[[Обучение с частичным привлечением учителя]]<tex>^\star</tex>
*[[Жизненный цикл модели машинного обучения]]<tex>^\star</tex>

=Классификация и регрессия=
*[[Метрический классификатор и метод ближайших соседей]]
*[[Дерево решений и случайный лес]]
*[[Вариации регрессии]]
*[[Линейная регрессия]]
*[[Логистическая регрессия]]
*[[Метод опорных векторов (SVM)]]
*[[Ядра]]
*[[Оценка качества в задачах классификации и регрессии]]
*[[Байесовская классификация]]
*[[Байесовские сети]]
*[[Поиск ближайших соседей с помощью иерархического маленького мира]]<tex>^\star</tex>

=Кластеризация=
*[[Кластеризация]]
*[[EM-алгоритм]]
*[[Иерархическая кластеризация]]
*[[Оценка качества в задаче кластеризации]]<tex>^\star</tex>
*[[Эволюционные алгоритмы кластеризации]]<tex>^\star</tex>

=Ансамбли=
*[[Виды ансамблей]]
*[[Бустинг, AdaBoost]]
*[[XGBoost]]<tex>^\star</tex>
*[[CatBoost]]<tex>^\star</tex>

=Нейронные сети=
*[[Нейронные сети, перцептрон]]
*[[Обратное распространение ошибки]]
*[[Практики реализации нейронных сетей]]

==Глубокое обучение==
*[[Глубокое обучение]]
*[[Настройка глубокой сети]]
*[[Batch-normalization]]
*[[Рекуррентные нейронные сети]]
*[[Долгая краткосрочная память]]

===Сверточные сети===
*[[Сверточные нейронные сети]]
*[[Neural Style Transfer]]<tex>^\star</tex>

===Компьютерное зрение===
*[[Компьютерное зрение]]
*[[Задача нахождения объектов на изображении]]<tex>^\star</tex>
*[[Сегментация изображений]]

===Порождающие модели===
*[[Порождающие модели]]
*[[Generative Adversarial Nets (GAN)]]
*[[Автокодировщик]]
*[[Вариационный автокодировщик]]<tex>^\star</tex>

===Обработка естественного языка===
*[[Распознавание речи]]
*[[Обработка естественного языка]]
*[[Векторное представление слов]]
*[[Классификация текстов и анализ тональности]]
*[[Долгая краткосрочная память]]
*[[Механизм внимания]]

=Автоматическое машинное обучение=
*[[Автоматическое машинное обучение]]
*[[Модель алгоритма и ее выбор]]
*[[Мета-обучение]]

=Работа с данными=
*[[Уменьшение размерности]]
*[[Выброс]]
*[[Алгоритмы сэмплирования]]
*[[Известные наборы данных]]
*[[Метод главных компонент (PCA)]]
*[[Стохастическое вложение соседей с t-распределением]]

=Обучение с подкреплением=
*[[Обучение с подкреплением]]<tex>^\star</tex>
*[[Методы policy gradient и алгоритм асинхронного актора-критика]]<tex>^\star</tex>

=Активное обучение=
*[[Активное обучение]]<tex>^\star</tex>

=Примеры кода=
*[[Обзор библиотек для машинного обучения на Python]]
*[[Примеры кода на Java]]
*[[Примеры кода на Scala]]<tex>^\star</tex>

=В разработке=
*[[Графовые нейронные сети]]
*[[Рекомендательные системы]]
*[[Настройка гиперпараметров]]
*[[Примеры кода на R]]<tex>^\star</tex>
*[[PixelRNN и PixelCNN]]
*[[:Рекурсивные нейронные сети|Рекурсивные нейронные сети]]
*[[Дополнение к ранжированию]]
*[[Поиск архитектуры нейронной сети]]

Машинное обучение

2020-04-13T11:52:54Z

Tatianadzn:

[[Категория: Машинное обучение]]

=Общие понятия=
*[[Общие понятия]]
*[[Переобучение]]
*[[Кросс-валидация]]
*[[Стохастический градиентный спуск]]
*[[Регуляризация]]
*[[Ранжирование]]
*[[Обучение с частичным привлечением учителя]]<tex>^\star</tex>
*[[Жизненный цикл модели машинного обучения]]<tex>^\star</tex>

=Классификация и регрессия=
*[[Метрический классификатор и метод ближайших соседей]]
*[[Дерево решений и случайный лес]]
*[[Вариации регрессии]]
*[[Линейная регрессия]]
*[[Логистическая регрессия]]
*[[Метод опорных векторов (SVM)]]
*[[Ядра]]
*[[Оценка качества в задачах классификации и регрессии]]
*[[Байесовская классификация]]
*[[Байесовские сети]]
*[[Поиск ближайших соседей с помощью иерархического маленького мира]]<tex>^\star</tex>

=Кластеризация=
*[[Кластеризация]]
*[[EM-алгоритм]]
*[[Иерархическая кластеризация]]
*[[Оценка качества в задаче кластеризации]]<tex>^\star</tex>
*[[Эволюционные алгоритмы кластеризации]]<tex>^\star</tex>

=Ансамбли=
*[[Виды ансамблей]]
*[[Бустинг, AdaBoost]]
*[[XGBoost]]<tex>^\star</tex>
*[[CatBoost]]<tex>^\star</tex>

=Нейронные сети=
*[[Нейронные сети, перцептрон]]
*[[Обратное распространение ошибки]]
*[[Практики реализации нейронных сетей]]

==Глубокое обучение==
*[[Глубокое обучение]]
*[[Настройка глубокой сети]]
*[[Batch-normalization]]
*[[Рекуррентные нейронные сети]]
*[[Долгая краткосрочная память]]

===Сверточные сети===
*[[Сверточные нейронные сети]]
*[[Neural Style Transfer]]<tex>^\star</tex>

===Компьютерное зрение===
*[[Компьютерное зрение]]
*[[Задача нахождения объектов на изображении]]<tex>^\star</tex>
*[[Сегментация изображений]]

===Порождающие модели===
*[[Порождающие модели]]
*[[Generative Adversarial Nets (GAN)]]
*[[Автокодировщик]]
*[[Вариационный автокодировщик]]<tex>^\star</tex>

===Обработка естественного языка===
*[[Распознавание речи]]
*[[Обработка естественного языка]]
*[[Векторное представление слов]]
*[[Классификация текстов и анализ тональности]]
*[[Долгая краткосрочная память]]
*[[Механизм внимания]]

=Автоматическое машинное обучение=
*[[Автоматическое машинное обучение]]
*[[Модель алгоритма и ее выбор]]
*[[Мета-обучение]]
*[[Поиск архитектуры нейронной сети]]

=Работа с данными=
*[[Уменьшение размерности]]
*[[Выброс]]
*[[Алгоритмы сэмплирования]]
*[[Известные наборы данных]]
*[[Метод главных компонент (PCA)]]
*[[Стохастическое вложение соседей с t-распределением]]

=Обучение с подкреплением=
*[[Обучение с подкреплением]]<tex>^\star</tex>
*[[Методы policy gradient и алгоритм асинхронного актора-критика]]<tex>^\star</tex>

=Активное обучение=
*[[Активное обучение]]<tex>^\star</tex>

=Примеры кода=
*[[Обзор библиотек для машинного обучения на Python]]
*[[Примеры кода на Java]]
*[[Примеры кода на Scala]]<tex>^\star</tex>

=В разработке=
*[[Графовые нейронные сети]]
*[[Рекомендательные системы]]
*[[Настройка гиперпараметров]]
*[[Примеры кода на R]]<tex>^\star</tex>
*[[PixelRNN и PixelCNN]]
*[[:Рекурсивные нейронные сети|Рекурсивные нейронные сети]]
*[[Дополнение к ранжированию]]
*[[Поиск архитектуры нейронной сети]]

Поиск архитектуры нейронной сети

2020-04-13T10:40:44Z

Tatianadzn:

Файл:NAS-method-comparison.PNG

2020-04-13T10:38:18Z

Tatianadzn:

Поиск архитектуры нейронной сети

2020-04-13T10:24:42Z

Tatianadzn:

Файл:Chain-like-NAS.png

2020-04-13T10:04:58Z

Tatianadzn:

Файл:Cell-like-NAS.png

2020-04-13T10:03:03Z

Tatianadzn:

Поиск архитектуры нейронной сети

2020-04-13T10:01:26Z

Tatianadzn: /* Методы NAS */

Поиск архитектуры нейронной сети

2020-04-13T09:13:56Z