Викиконспекты - Вклад участника [ru]

Автокодировщик

2019-04-04T21:45:19Z

SuperStrongDinosaur:

[[File:Autoencoder1RUS1998ALEX.png|300px|thumb|Автокодировщик]]
Автокодировщик (англ. autoencoder) — специальная архитектура искусственных нейронных сетей, позволяющая применять обучение без учителя при использовании метода [[ Обратное распространение ошибки | с обратного распространения ошибки]]. Простейшая архитектура автокодировщика — сеть прямого распространения, без обратных связей, наиболее схожая с перцептроном и содержащая входной слой, промежуточный слой и выходной слой. В отличие от [[ Нейронные сети, перцептрон | перцептрона ]], выходной слой автокодировщика должен содержать столько же нейронов, сколько и входной слой.

Автокодировщик состоит из двух частей: энкодера <tex>g</tex> и декодера <tex>f</tex>. Энкодер переводит входной сигнал в его представление (код): <tex>h = g(x)</tex>, а декодер восстанавливает сигнал по его коду: <tex>x = f(h)</tex>.

Автокодировщик, изменяя <tex>f</tex> и <tex>g</tex>, стремится выучить тождественную функцию <tex>x = f(g(x))</tex>, минимизируя какой-то функционал ошибки. <tex>L(x, f(g(x)))</tex>

При этом семейства функций энкодера <tex>g</tex> и декодера <tex>f</tex> как-то ограничены, чтобы автоэнкодер был вынужден отбирать наиболее важные свойства сигнала.

Автокодировщик можно использовать для предобучения, например, когда стоит задача классификации, а размеченных пар слишком мало. Или для понижения размерности в данных для последующей визуализации. Либо когда просто надо научиться различать полезные свойства входного сигнала.

==Пример==

[[File:AutoencoderExampel.png|700px|thumb|]]
Для примера возьмем набор данных для продуктов, купленных клиентами

*Шаг 1: Возьмем первую строку из данных по клиенту для всех продуктов в качестве входа. <tex>1</tex> означает, что клиент купил продукт. <tex>0</tex> означает, что клиент не купил.
*Шаг 2: Закодируем ввод в другой вектор <tex>h</tex> меньшего размера, чем входной. Можно использовать функцию активации сигмоида для <tex>h</tex>, так как она ее область значения от <tex>0</tex> до <tex>1</tex>. <tex>W</tex> - вес, примененный к входу, <tex>b</tex> {{---}} член смещения.
<tex>h = f(Wx+b)</tex>
*Шаг 3: Декодируем вектор <tex>h</tex>, чтобы воссоздать ввод. Выход будет того же размера, что и вход
*Шаг 4: Рассчитать ошибку <tex>L</tex>. Ошибка {{---}} это разница между входным и выходным вектором. Наша цель {{---}} минимизировать ошибку, чтобы выходной вектор был похож на входной вектор.
*Шаг 5: С помощью алгоритма обратного распространения ошибки нужно обновить веса. Скорость обучения определяется тем, насколько обновляются веса.
*Шаг 6: Повторите шаги с <tex>1</tex> по <tex>5</tex> для каждого клиента в наборе данных. Веса обновляются каждый раз (стохастический градиентный спуск)
*Шаг 7: Повторите для большего количества эпох. Эпоха - это когда все строки в наборе данных прошли через нейронную сеть.

==Использование==

*Нелинейное уменьшения размерности. Кодирует ввод в скрытом слое с меньшей размерностью по сравнению с входным измерением. Скрытый слой позже декодируется как выходной. Автоэнкодер уменьшает размерность линейных и нелинейных данных, следовательно, он более мощный, чем [[метод главных компонент]][на 3.04.19 не создан].
*Рекомендации пользователям. При этом используются глубокие кодеры, чтобы понять пользовательские предпочтения, порекомендовать фильмы, книги или предметы
*Извлечения зависимостей в данных: автоэнкодеры пытаются минимизировать ошибку восстановления. В процессе уменьшения ошибки он изучает некоторые важные зависимости, присутствующие во входных данных. Он восстанавливает входные данные из кодированного состояния. Кодирование генерирует новый набор функций, который представляет собой комбинацию оригинальных зависимостей. Кодирование в автоэнкодерах помогает идентифицировать скрытые зависимости, присутствующие во входных данных.
*Распознавание изображений: для распознавания изображений используется сложный автоэнкодер. Можно использовать несколько совмещенных кодировщиков, что помогает изучить различные функции изображения.

==Виды автокодировщиков==

===Undercomplete Autoencoders===
Имеют меньший размер скрытого слоя по сравнению с входным слоем. Это помогает выделить зависимости из данных. Undercomplete Autoencoders минимизируют функцию потерь, штрафуя <tex>g(f(x))</tex> за отличия от входных данных x. Так же не нуждаются в регуляризации, поскольку максимизируют вероятность данных, а не копируют входные данные в выходные.

<tex>L = |x - f(g(x))|</tex>

===Sparse Autoencoders<ref>[https://web.stanford.edu/class/cs294a/sparseAutoencoder.pdf Sparse Autoencoders]</ref>===
Размерность скрытого слоя больше, чем входного. Они все еще могут обнаружить важные особенности из данных. На скрытый слой накладывается штраф за разреженность, <tex>Ω(h)</tex>, значение, близкое к нулю, в дополнение к ошибке восстановления. Это предотвращает переобучение.

<tex>L = |x - f(g(x))| + Ω(h)</tex>

===Denoising Autoencoders(DAE)<ref>[https://towardsdatascience.com/denoising-autoencoders-explained-dbb82467fc2 Denoising Autoencoders]</ref>===
Создаем поврежденную копию ввода, внося некоторый шум. Это помогает обучить убирать шум из данных. DAE минимизирует функцию потерь между выходным узлом и поврежденным вводом.

<tex>L = |x' - f(g(x))|</tex>

===Contractive Autoencoders(CAE)<ref>[http://www.icml-2011.org/papers/455_icmlpaper.pdf Contractive Autoencoders]</ref>===
Целью CAE является получение надежного представления данных, которое менее чувствительно к небольшим изменениям. Надежность представления данных достигается путем регуляризации. Наказание в CAE это норма Фробениуса матрицы Якоби, которая вычисляется для скрытого слоя относительно входных данных. Фробениусовой нормой матрицы Якоби является сумма квадратов всех элементов.

<tex>L = |x - f(g(x))| + \lambda*||J_f(x)||_F^2</tex>

<tex>||J_f(x)||_F^2 = sum_{i, j}(\partial h_j(x) / \partial x_i)^2</tex>

===Stacked Denoising Autoencoders<ref>[http://www.jmlr.org/papers/volume11/vincent10a/vincent10a.pdf Stacked Denoising Autoencoders]</ref>===
Stacked Autoencoders {{---}} это нейронная сеть с несколькими слоями Sparse Autoencoders. Когда мы добавляем в автоэнкодер больше скрытых слоев, это помогает уменьшить объемные код, получаемый кодировщиком. Restricted Boltzmann Machine (RBM) является основной частью сети глубокого убеждения.

===Deep Autoencoders<ref>https://skymind.ai/wiki/deep-autoencoder Deep Autoencoders]</ref>===
Состоит из двух идентичных глубоких сетей. Одна сеть для кодирования и другая для декодирования. Обычно имеют от 4 до 5 уровней для кодирования и следующие от 4 до 5 уровней для декодирования.

===[[Вариационный автокодировщик | Вариационный автокодировщик]]===
Автокодировщик, основанный на вариационном выводе.

==Пример реализации==

Ниже приведена реализация частного случая автокодировщика на языке Python с использованием библиотеки Keras.
Эта реализация работает с датасетом рукописных цифр MNIST.

def create_dense_ae():
# Размерность кодированного представления
encoding_dim = 49

# Энкодер
# Входной плейсхолдер
input_img = Input(shape=(28, 28, 1)) # 28, 28, 1 {{---}} размерности строк, столбцов, фильтров одной картинки, без батч-размерности
# Вспомогательный слой решейпинга
flat_img = Flatten()(input_img)
# Кодированное полносвязным слоем представление
encoded = Dense(encoding_dim, activation='relu')(flat_img)

# Декодер
# Раскодированное другим полносвязным слоем изображение
input_encoded = Input(shape=(encoding_dim,))
flat_decoded = Dense(28*28, activation='sigmoid')(input_encoded)
decoded = Reshape((28, 28, 1))(flat_decoded)
# Модели, в конструктор первым аргументом передаются входные слои, а вторым выходные слои
# Другие модели можно так же использовать как и слои
encoder = Model(input_img, encoded, name="encoder")
decoder = Model(input_encoded, decoded, name="decoder")
autoencoder = Model(input_img, decoder(encoder(input_img)), name="autoencoder")
return encoder, decoder, autoencoder

# Создание модели
encoder, decoder, autoencoder = create_dense_ae()
autoencoder.compile(optimizer='adam', loss='binary_crossentropy')

==См. также==
*[[Вариационный автокодировщик | Вариационный автокодировщик]]
*[[:Generative Adversarial Nets (GAN)|Generative Adversarial Nets (GAN)]]

==Примечания==
<references/>

== Источники информации ==
*[https://medium.com/datadriveninvestor/deep-learning-different-types-of-autoencoders-41d4fa5f7570 Deep Learning — Different Types of Autoencoders]
*[https://medium.com/datadriveninvestor/deep-learning-autoencoders-db265359943e Deep Learning Autoencoders]
*[https://habr.com/ru/post/331382/ Автоэнкодеры в Keras]
[[Категория: Машинное обучение]]
[[Категория: Порождающие модели]]

Автокодировщик

2019-04-04T13:24:22Z

SuperStrongDinosaur:

[[File:Autoencoder1RUS1998ALEX.png|300px|thumb|Автокодировщик]]
Автокодировщик (англ. autoencoder) — специальная архитектура искусственных нейронных сетей, позволяющая применять обучение без учителя при использовании метода [[ Обратное распространение ошибки | собратного распространения ошибки ]]. Простейшая архитектура автокодировщика — сеть прямого распространения, без обратных связей, наиболее схожая с перцептроном и содержащая входной слой, промежуточный слой и выходной слой. В отличие от [[ Нейронные сети, перцептрон | перцептрона ]], выходной слой автокодировщика должен содержать столько же нейронов, сколько и входной слой.

Автокодировщик состоит из двух частей: энкодера <tex>g</tex> и декодера <tex>f</tex>. Энкодер переводит входной сигнал в его представление (код): <tex>h = g(x)</tex>, а декодер восстанавливает сигнал по его коду: <tex>x = f(h)</tex>.

Автокодировщик, изменяя <tex>f</tex> и <tex>g</tex>, стремится выучить тождественную функцию <tex>x = f(g(x))</tex>, минимизируя какой-то функционал ошибки. <tex>L(x, f(g(x)))</tex>

При этом семейства функций энкодера <tex>g</tex> и декодера <tex>f</tex> как-то ограничены, чтобы автоэнкодер был вынужден отбирать наиболее важные свойства сигнала.

Автокодировщик можно использовать для предобучения, например, когда стоит задача классификации, а размеченных пар слишком мало. Или для понижения размерности в данных для последующей визуализации. Либо когда просто надо научиться различать полезные свойства входного сигнала.

==Пример==

[[File:AutoencoderExampel.png|700px|thumb|]]
Для примера возьмем набор данных для продуктов, купленных клиентами

*Шаг 1: Возьмем первую строку из данных по клиенту для всех продуктов в качестве входа. <tex>1</tex> означает, что клиент купил продукт. <tex>0</tex> означает, что клиент не купил.
*Шаг 2: Закодируем ввод в другой вектор <tex>h</tex> меньшего размера, чем входной. Можно использовать функцию активации сигмоида для <tex>h</tex>, так как она ее область значения от <tex>0</tex> до <tex>1</tex>. <tex>W</tex> - вес, примененный к входу, <tex>b</tex> {{---}} член смещения.
<tex>h = f(Wx+b)</tex>
*Шаг 3: Декодируем вектор <tex>h</tex>, чтобы воссоздать ввод. Выход будет того же размера, что и вход
*Шаг 4: Рассчитать ошибку <tex>L</tex>. Ошибка {{---}} это разница между входным и выходным вектором. Наша цель {{---}} минимизировать ошибку, чтобы выходной вектор был похож на входной вектор.
*Шаг 5: С помощью алгоритма обратного распространения ошибки нужно обновить веса. Скорость обучения определяется тем, насколько обновляются веса.
*Шаг 6: Повторите шаги с <tex>1</tex> по <tex>5</tex> для каждого клиента в наборе данных. Веса обновляются каждый раз (стохастический градиентный спуск)
*Шаг 7: Повторите для большего количества эпох. Эпоха - это когда все строки в наборе данных прошли через нейронную сеть.

==Использование==

*Нелинейное уменьшения размерности. Кодирует ввод в скрытом слое с меньшей размерностью по сравнению с входным измерением. Скрытый слой позже декодируется как выходной. Автоэнкодер уменьшает размерность линейных и нелинейных данных, следовательно, он более мощный, чем [[метод главных компонент]][на 3.04.19 не создан].
*Рекомендации пользователям. При этом используются глубокие кодеры, чтобы понять пользовательские предпочтения, порекомендовать фильмы, книги или предметы
*Извлечения зависимостей в данных: автоэнкодеры пытаются минимизировать ошибку восстановления. В процессе уменьшения ошибки он изучает некоторые важные зависимости, присутствующие во входных данных. Он восстанавливает входные данные из кодированного состояния. Кодирование генерирует новый набор функций, который представляет собой комбинацию оригинальных зависимостей. Кодирование в автоэнкодерах помогает идентифицировать скрытые зависимости, присутствующие во входных данных.
*Распознавание изображений: для распознавания изображений используется сложный автоэнкодер. Можно использовать несколько совмещенных кодировщиков, что помогает изучить различные функции изображения.

==Виды автокодировщиков==

===Undercomplete Autoencoders===
Имеют меньший размер скрытого слоя по сравнению с входным слоем. Это помогает выделить зависимости из данных. Undercomplete Autoencoders минимизируют функцию потерь, штрафуя <tex>g(f(x))</tex> за отличия от входных данных x. Так же не нуждаются в регуляризации, поскольку максимизируют вероятность данных, а не копируют входные данные в выходные.

<tex>L = |x - f(g(x))|</tex>

===Sparse Autoencoders===
Размерность скрытого слоя больше, чем входного. Они все еще могут обнаружить важные особенности из данных. Sparse Autoencoders имеют штраф за разреженность, <tex>Ω(h)</tex>, значение, близкое к нулю. На скрытый слой накладывается штраф за разреженность в дополнение к ошибке восстановления. Это предотвращает переобучение.

<tex>L = |x - f(g(x))| + Ω(h)</tex>

===Denoising Autoencoders(DAE)===
Создаем поврежденную копию ввода, внося некоторый шум. Это помогает избежать автоматического копировать входных данные в выходные, не изучая их особенности. DAE минимизирует функцию потерь между выходным узлом и поврежденным вводом.

<tex>L = |x' - f(g(x))|</tex>

===Contractive Autoencoders(CAE)===
Целью CAE является получение надежного представления данных, которое менее чувствительно к небольшим изменениям. Надежность представления данных достигается путем регуляризации. Наказание в CAE это норма Фробениуса матрицы Якоби, которая вычисляется для скрытого слоя относительно входных данных. Фробениусовой нормой матрицы Якоби является сумма квадратов всех элементов.

<tex>L = |x - f(g(x))| + \lambda*||J_f(x)||_F^2</tex>

<tex>||J_f(x)||_F^2 = sum_{i, j}(\partial h_j(x) / \partial x_i)^2</tex>

===Stacked Denoising Autoencoders===
Stacked Autoencoders {{---}} это нейронная сеть с несколькими слоями Sparse Autoencoders. Когда мы добавляем в автоэнкодер больше скрытых слоев, это помогает уменьшить объемные код, получаемый кодировщиком. Restricted Boltzmann Machine (RBM) является основной частью сети глубокого убеждения.

===Deep Autoencoders===
Состоит из двух идентичных глубоких сетей. Одна сеть для кодирования и другая для декодирования. Обычно имеют от 4 до 5 уровней для кодирования и следующие от 4 до 5 уровней для декодирования.

==Пример реализации==

Ниже приведена реализация частного случая автокодировщика на языке Python с использованием библиотеки Keras.
Эта реализация работает с датасетом рукописных цифр MNIST.

def create_dense_ae():
# Размерность кодированного представления
encoding_dim = 49

# Энкодер
# Входной плейсхолдер
input_img = Input(shape=(28, 28, 1)) # 28, 28, 1 {{---}} размерности строк, столбцов, фильтров одной картинки, без батч-размерности
# Вспомогательный слой решейпинга
flat_img = Flatten()(input_img)
# Кодированное полносвязным слоем представление
encoded = Dense(encoding_dim, activation='relu')(flat_img)

# Декодер
# Раскодированное другим полносвязным слоем изображение
input_encoded = Input(shape=(encoding_dim,))
flat_decoded = Dense(28*28, activation='sigmoid')(input_encoded)
decoded = Reshape((28, 28, 1))(flat_decoded)
# Модели, в конструктор первым аргументом передаются входные слои, а вторым выходные слои
# Другие модели можно так же использовать как и слои
encoder = Model(input_img, encoded, name="encoder")
decoder = Model(input_encoded, decoded, name="decoder")
autoencoder = Model(input_img, decoder(encoder(input_img)), name="autoencoder")
return encoder, decoder, autoencoder

==См. также==
*[[:Variational autoencoder (VAE)|Variational autoencoder (VAE)]]
*[[:Generative Adversarial Nets (GAN)|Generative Adversarial Nets (GAN)]]

== Источники информации ==
*[https://medium.com/datadriveninvestor/deep-learning-different-types-of-autoencoders-41d4fa5f7570 Deep Learning — Different Types of Autoencoders]
*[https://medium.com/datadriveninvestor/deep-learning-autoencoders-db265359943e Deep Learning Autoencoders]
*[https://habr.com/ru/post/331382/ Автоэнкодеры в Keras]
[[Категория: Машинное обучение]]
[[Категория: Порождающие модели]]

Файл:Autoencoder1RUS1998ALEX.png

2019-04-04T13:22:48Z

SuperStrongDinosaur:

Автокодировщик

2019-03-17T14:27:18Z

SuperStrongDinosaur:

[[File:Autoencoder1.png|450px|thumb|Автокодировщик]]
Автокодировщик (англ. autoencoder) — специальная архитектура искусственных нейронных сетей, позволяющая применять обучение без учителя при использовании метода обратного распространения ошибки. Простейшая архитектура автокодировщика — сеть прямого распространения, без обратных связей, наиболее схожая с перцептроном и содержащая входной слой, промежуточный слой и выходной слой. В отличие от перцептрона, выходной слой автокодировщика должен содержать столько же нейронов, сколько и входной слой.

Автокодировщик состоит из двух частей: энкодера <tex>g</tex> и декодера <tex>f</tex>. Энкодер переводит входной сигнал в его представление (код): <tex>h = g(x)</tex>, а декодер восстанавливает сигнал по его коду: <tex>x = f(h)</tex>.

Автокодировщик, изменяя <tex>f</tex> и <tex>g</tex>, стремится выучить тождественную функцию <tex>x = f(g(x))</tex>, минимизируя какой-то функционал ошибки. <tex>L(x, f(g(x)))</tex>

При этом семейства функций энкодера <tex>g</tex> и декодера <tex>f</tex> как-то ограничены, чтобы автоэнкодер был вынужден отбирать наиболее важные свойства сигнала.

Автокодировщик можно использовать для предобучения, например, когда стоит задача классификации, а размеченных пар слишком мало. Или для понижения размерности в данных для последующей визуализации. Либо когда просто надо научиться различать полезные свойства входного сигнала.

==Описание==

[[File:AutoencoderExampel.png|450px|thumb|]]
Для примера возьмем набор данных для продуктов, купленных клиентами

*Шаг 1: Возьмем первую строку из данных по клиенту для всех продуктов в качестве входа. <tex>1</tex> означает, что клиент купил продукт. <tex>0</tex> означает, что клиент не купил.
*Шаг 2: Закодируем ввод в другой вектор <tex>h</tex> меньшего размера, чем входной. Можно использовать функцию активации сигмоида для <tex>h</tex>, так как она ее область значения от <tex>0</tex> до <tex>1</tex>. <tex>W</tex> - вес, примененный к входу, <tex>b</tex> - член смещения.
<tex>h = f(Wx+b)</tex>
*Шаг 3: Декодируем вектор <tex>h</tex>, чтобы воссоздать ввод. Выход будет того же размера, что и вход
*Шаг 4: Рассчитать ошибку <tex>L</tex>. Ошибка - это разница между входным и выходным вектором. Наша цель - минимизировать ошибку, чтобы выходной вектор был похож на входной вектор.
*Шаг 5: С помощью алгоритма обратного распространения ошибки нужно обновить веса. Скорость обучения определяется тем, насколько обновляются веса.
*Шаг 6: Повторите шаги с <tex>1</tex> по <tex>5</tex> для каждого клиента в наборе данных. Веса обновляются каждый раз (стохастический градиентный спуск)
*Шаг 7: Повторите для большего количества эпох. Эпоха - это когда все строки в наборе данных прошли через нейронную сеть.

==Использование==

*Нелинейное уменьшения размерности. Кодирует ввод в скрытом слое с меньшей размерностью по сравнению с входным измерением. Скрытый слой позже декодируется как выходной. Автоэнкодер уменьшает размерность линейных и нелинейных данных, следовательно, он более мощный, чем PCA.
*Рекомендации пользователям. При этом используются глубокие кодеры, чтобы понять пользовательские предпочтения, чтобы рекомендовать фильмы, книги или предметы
*Извлечения зависимостей в данных: автоэнкодеры пытаются минимизировать ошибку восстановления. В процессе уменьшения ошибки он изучает некоторые важные зависимости, присутствующие во входных данных. Он восстанавливает входные данные из кодированного состояния. Кодирование генерирует новый набор функций, который представляет собой комбинацию оригинальных зависимостей. Кодирование в автоэнкодерах помогает идентифицировать скрытые зависимости, присутствующие во входных данных.
*Распознавание изображений: для распознавания изображений используется сложный автоэнкодер. Можно использовать несколько совмещенных кодировщиков, что помогает изучить различные функции изображения.

==Пример реализации==

Ниже приведена реализация частного случая автокодировщика на языке Python с использованием библиотеки Keras.
Эта реализация работает с датасетом рукописных цифр MNIST.

def create_dense_ae():
# Размерность кодированного представления
encoding_dim = 49

# Энкодер
# Входной плейсхолдер
input_img = Input(shape=(28, 28, 1)) # 28, 28, 1 - размерности строк, столбцов, фильтров одной картинки, без батч-размерности
# Вспомогательный слой решейпинга
flat_img = Flatten()(input_img)
# Кодированное полносвязным слоем представление
encoded = Dense(encoding_dim, activation='relu')(flat_img)

# Декодер
# Раскодированное другим полносвязным слоем изображение
input_encoded = Input(shape=(encoding_dim,))
flat_decoded = Dense(28*28, activation='sigmoid')(input_encoded)
decoded = Reshape((28, 28, 1))(flat_decoded)
# Модели, в конструктор первым аргументом передаются входные слои, а вторым выходные слои
# Другие модели можно так же использовать как и слои
encoder = Model(input_img, encoded, name="encoder")
decoder = Model(input_encoded, decoded, name="decoder")
autoencoder = Model(input_img, decoder(encoder(input_img)), name="autoencoder")
return encoder, decoder, autoencoder

==См. также==
*[[:Variational autoencoder (VAE)|Variational autoencoder (VAE)]]
*[[:Generative Adversarial Nets (GAN)|Generative Adversarial Nets (GAN)]]

== Источники информации ==
*[https://medium.com/datadriveninvestor/deep-learning-autoencoders-db265359943e Deep Learning Autoencoders]
*[https://habr.com/ru/post/331382/ Автоэнкодеры в Keras]
[[Категория: Машинное обучение]]
[[Категория: Порождающие модели]]

Автокодировщик

2019-03-17T14:23:39Z

SuperStrongDinosaur:

[[File:Autoencoder1.png|450px|thumb|Автокодировщик]]
Автокодировщик (англ. autoencoder) — специальная архитектура искусственных нейронных сетей, позволяющая применять обучение без учителя при использовании метода обратного распространения ошибки. Простейшая архитектура автокодировщика — сеть прямого распространения, без обратных связей, наиболее схожая с перцептроном и содержащая входной слой, промежуточный слой и выходной слой. В отличие от перцептрона, выходной слой автокодировщика должен содержать столько же нейронов, сколько и входной слой.

Автокодировщик состоит из двух частей: энкодера <tex>g</tex> и декодера <tex>f</tex>. Энкодер переводит входной сигнал в его представление (код): <tex>h = g(x)</tex>, а декодер восстанавливает сигнал по его коду: <tex>x = f(h)</tex>.

Автокодировщик, изменяя <tex>f</tex> и <tex>g</tex>, стремится выучить тождественную функцию <tex>x = f(g(x))</tex>, минимизируя какой-то функционал ошибки. <tex>L(x, f(g(x)))</tex>

При этом семейства функций энкодера <tex>g</tex> и декодера <tex>f</tex> как-то ограничены, чтобы автоэнкодер был вынужден отбирать наиболее важные свойства сигнала.

Автокодировщик можно использовать для предобучения, например, когда стоит задача классификации, а размеченных пар слишком мало. Или для понижения размерности в данных для последующей визуализации. Либо когда просто надо научиться различать полезные свойства входного сигнала.

==Описание==

Для примера возьмем набор данных для продуктов, купленных клиентами
[[File:AutoencoderExampel.png|450px|thumb|]]

*Шаг 1: Возьмем первую строку из данных по клиенту для всех продуктов в качестве входных данных. <tex>1</tex> означает, что клиент купил продукт. <tex>0</tex> означает, что клиент не купил продукт.
*Шаг 2: Закодируем ввод в другой вектор <tex>h</tex> меньшего размера, чем входной. Можно использовать функцию активации сигмоида для <tex>h</tex>, так как она ее область значения от <tex>0</tex> до <tex>1</tex>. <tex>W</tex> - вес, примененный к входу, <tex>b</tex> - член смещения.
<tex>h = f(Wx+b)</tex>
*Шаг 3: Декодируем вектор <tex>h</tex>, чтобы воссоздать ввод. Выход будет того же размера, что и вход
*Шаг 4: Рассчитать ошибку <tex>L</tex>. Ошибка - это разница между входным и выходным вектором. Наша цель - минимизировать ошибку, чтобы выходной вектор был похож на входной вектор.
*Шаг 5: С помощью алгоритма обратного распространения ошибки нужно обновить веса. Скорость обучения определяется тем, насколько обновляются веса.
*Шаг 6: Повторите шаги с <tex>1</tex> по <tex>5</tex> для каждого клиента в наборе данных. Веса обновляются каждый раз (стохастический градиентный спуск)
*Шаг 7: Повторите для большего количества эпох. Эпоха - это когда все строки в наборе данных прошли через нейронную сеть.

==Использование==

*Нелинейное уменьшения размерности. Кодирует ввод в скрытом слое с меньшей размерностью по сравнению с входным измерением. Скрытый слой позже декодируется как выходной. Автоэнкодер уменьшает размерность линейных и нелинейных данных, следовательно, он более мощный, чем PCA.
*Рекомендации пользователям. При этом используются глубокие кодеры, чтобы понять пользовательские предпочтения, чтобы рекомендовать фильмы, книги или предметы
*Извлечения зависимостей в данных: автоэнкодеры пытаются минимизировать ошибку восстановления. В процессе уменьшения ошибки он изучает некоторые важные зависимости, присутствующие во входных данных. Он восстанавливает входные данные из кодированного состояния. Кодирование генерирует новый набор функций, который представляет собой комбинацию оригинальных зависимостей. Кодирование в автоэнкодерах помогает идентифицировать скрытые зависимости, присутствующие во входных данных.
*Распознавание изображений: для распознавания изображений используется сложный автоэнкодер. Можно использовать несколько совмещенных кодировщиков, что помогает изучить различные функции изображения.

==Пример реализации==

Ниже приведена реализация частного случая автокодировщика на языке Python с использованием библиотеки Keras.
Эта реализация работает с датасетом рукописных цифр MNIST.

def create_dense_ae():
# Размерность кодированного представления
encoding_dim = 49

# Энкодер
# Входной плейсхолдер
input_img = Input(shape=(28, 28, 1)) # 28, 28, 1 - размерности строк, столбцов, фильтров одной картинки, без батч-размерности
# Вспомогательный слой решейпинга
flat_img = Flatten()(input_img)
# Кодированное полносвязным слоем представление
encoded = Dense(encoding_dim, activation='relu')(flat_img)

# Декодер
# Раскодированное другим полносвязным слоем изображение
input_encoded = Input(shape=(encoding_dim,))
flat_decoded = Dense(28*28, activation='sigmoid')(input_encoded)
decoded = Reshape((28, 28, 1))(flat_decoded)
# Модели, в конструктор первым аргументом передаются входные слои, а вторым выходные слои
# Другие модели можно так же использовать как и слои
encoder = Model(input_img, encoded, name="encoder")
decoder = Model(input_encoded, decoded, name="decoder")
autoencoder = Model(input_img, decoder(encoder(input_img)), name="autoencoder")
return encoder, decoder, autoencoder

==См. также==
*[[:Variational autoencoder (VAE)|Variational autoencoder (VAE)]]
*[[:Generative Adversarial Nets (GAN)|Generative Adversarial Nets (GAN)]]

== Источники информации ==
*[https://medium.com/datadriveninvestor/deep-learning-autoencoders-db265359943e Deep Learning Autoencoders]
*[https://habr.com/ru/post/331382/ Автоэнкодеры в Keras]
[[Категория: Машинное обучение]]
[[Категория: Порождающие модели]]

Машинное обучение

2019-03-17T12:48:51Z

SuperStrongDinosaur: /* Порождающие модели */

[[Категория: Машинное обучение]]

=Общие понятия=
*[[Общие понятия]]
*[[Модель алгоритма и ее выбор]]
*[[Переобучение]]
*[[Кросс-валидация]]
*[[Выброс]]
*[[Ранжирование]]
*[[Стохастический градиентный спуск]]

=Классификация и регрессия=
*[[Метрический классификатор и метод ближайших соседей]]
*[[Нейронные сети, перцептрон]]
*[[Дерево решений и случайный лес]]
*[[Вариации регрессии]]
*[[Линейная регрессия]]
*[[Логистическая регрессия]]
*[[Поиск ближайших соседей с помощью иерархического маленького мира]]<tex>^\star</tex>

=Кластеризация=
*[[Кластеризация]]
*[[Иерархическая кластеризация]]
*[[Оценка качества в задаче кластеризации]]<tex>^\star</tex>

=Ансамбли=
*[[Виды ансамблей]]
*[[Бустинг, AdaBoost]]
*[[XGBoost]]
*[[CatBoost]]

=Глубокое обучение=
*[[Глубокое обучение]]
*[[Настройка глубокой сети]]
*[[Batch-normalization]]
*[[Практики реализации нейронных сетей]]
*[[Рекуррентные нейронные сети]]
*[[Сегментация изображений]]
==Сверточные сети==
*[[Сверточные нейронные сети]]
==Порождающие модели==
*[[Generative Adversarial Nets (GAN)]]<tex>^\star</tex>
*[[Автокодировщик]]
*[[Вариационный автокодировщик]]

==Обработка естественного языка==
*[[Распознавание речи]]
*[[Обработка естественного языка]]
*[[Векторное представление слов]]

=Уменьшение размерности=
*[[Уменьшение размерности]]

=Обучение с подкреплением=
*[[Обучение с подкреплением]]
*[[Методы policy gradient и алгоритм асинхронного актора-критика]]

=Примеры кода=
*[[Обзор библиотек для машинного обучения на Python]]
*[[Примеры кода на Scala]]

=В разработке=
*[[Мета-обучение]]
*[[Оценка качества в задачах классификации и регрессии]]
*[[Задача нахождения объектов на изображении]]<tex>^\star</tex>
*[[Neural Style Transfer]]<tex>^\star</tex>
*[[Долгая краткосрочная память]]
*[[Метод опорных векторов (SVM)]]
*[[Байесовская классификация]]
*[[EM-алгоритм]]
*[[Рекомендательные системы]]
*[[Настройка гиперпараметров]]
*[[Активное обучение]]
*[[Примеры кода на R]]
*[[Примеры кода на Java]]
*[[Регуляризация]]
*[[Обратное распространение ошибки]]
*[[Порождающие модели]]
*[[Ядра]]
*[[Известные наборы данных]]

Автокодировщик

2019-03-17T12:46:15Z

SuperStrongDinosaur: v1

[[File:Autoencoder1.png|450px|thumb|Автокодировщик]]
Автокодировщик (англ. autoencoder) — специальная архитектура искусственных нейронных сетей, позволяющая применять обучение без учителя при использовании метода обратного распространения ошибки. Простейшая архитектура автокодировщика — сеть прямого распространения, без обратных связей, наиболее схожая с перцептроном и содержащая входной слой, промежуточный слой и выходной слой. В отличие от перцептрона, выходной слой автокодировщика должен содержать столько же нейронов, сколько и входной слой.

Автокодировщик состоит из двух частей: энкодера <tex>g</tex> и декодера <tex>f</tex>. Энкодер переводит входной сигнал в его представление (код): <tex>h = g(x)</tex>, а декодер восстанавливает сигнал по его коду: <tex>x = f(h)</tex>.

Автокодировщик, изменяя <tex>f</tex> и <tex>g</tex>, стремится выучить тождественную функцию <tex>x = f(g(x))</tex>, минимизируя какой-то функционал ошибки. <tex>L(x, f(g(x)))</tex>

При этом семейства функций энкодера <tex>g</tex> и декодера <tex>f</tex> как-то ограничены, чтобы автоэнкодер был вынужден отбирать наиболее важные свойства сигнала.

Автокодировщик можно использовать для предобучения, например, когда стоит задача классификации, а размеченных пар слишком мало. Или для понижения размерности в данных для последующей визуализации. Либо когда просто надо научиться различать полезные свойства входного сигнала.

==Описание==

Мы берем входные данные, кодируем их, чтобы идентифицировать скрытое представление объекта. Декодируйте скрытое представление объекта, чтобы воссоздать ввод. Мы рассчитываем потери, сравнивая вход и выход. Чтобы уменьшить ошибку восстановления, мы снова распространяем и обновляем веса.

Для примера возьмем набор данных для продуктов, купленных клиентами
[[File:AutoencoderExampel.png|450px|thumb|]]

*Шаг 1: Возьмем первую строку из данных по клиенту для всех продуктов в качестве входных данных. <tex>1</tex> означает, что клиент купил продукт. <tex>0</tex> означает, что клиент не купил продукт.
*Шаг 2: Закодируем ввод в другой вектор <tex>h</tex> меньшего размера, чем входной. Можно использовать функцию активации сигмоида для <tex>h</tex>, так как она ее область значения от <tex>0</tex> до <tex>1</tex>. <tex>W</tex> - вес, примененный к входу, <tex>b</tex> - член смещения.
<tex>h = f(Wx+b)</tex>
*Шаг 3: Декодируем вектор <tex>h</tex>, чтобы воссоздать ввод. Выход будет того же размера, что и вход
*Шаг 4: Рассчитать ошибку <tex>L</tex>. Ошибка - это разница между входным и выходным вектором. Наша цель - минимизировать ошибку, чтобы выходной вектор был похож на входной вектор.
*Шаг 5: С помощью алгоритма обратного распространения ошибки нужно обновить веса. Скорость обучения определяется тем, насколько обновляются веса.
*Шаг 6: Повторите шаги с <tex>1</tex> по <tex>5</tex> для каждого клиента в наборе данных. Веса обновляются каждый раз (стохастический градиентный спуск)
*Шаг 7: Повторите для большего количества эпох. Эпоха - это когда все строки в наборе данных прошли через нейронную сеть.

==Использование==

*Нелинейное уменьшения размерности. Кодирует ввод в скрытом слое с меньшей размерностью по сравнению с входным измерением. Скрытый слой позже декодируется как выходной. Автоэнкодер уменьшает размерность линейных и нелинейных данных, следовательно, он более мощный, чем PCA.
*Рекомендации пользователям. При этом используются глубокие кодеры, чтобы понять пользовательские предпочтения, чтобы рекомендовать фильмы, книги или предметы
*Извлечения зависимостей в данных: автоэнкодеры пытаются минимизировать ошибку восстановления. В процессе уменьшения ошибки он изучает некоторые важные зависимости, присутствующие во входных данных. Он восстанавливает входные данные из кодированного состояния. Кодирование генерирует новый набор функций, который представляет собой комбинацию оригинальных зависимостей. Кодирование в автоэнкодерах помогает идентифицировать скрытые зависимости, присутствующие во входных данных.
*Распознавание изображений: для распознавания изображений используется сложный автоэнкодер. Можно использовать несколько совмещенных кодировщиков, что помогает изучить различные функции изображения.

==Пример реализации==

Ниже приведена реализация частного случая автокодировщика на языке Python с использованием библиотеки Keras.
Эта реализация работает с датасетом рукописных цифр MNIST.

def create_dense_ae():
# Размерность кодированного представления
encoding_dim = 49

# Энкодер
# Входной плейсхолдер
input_img = Input(shape=(28, 28, 1)) # 28, 28, 1 - размерности строк, столбцов, фильтров одной картинки, без батч-размерности
# Вспомогательный слой решейпинга
flat_img = Flatten()(input_img)
# Кодированное полносвязным слоем представление
encoded = Dense(encoding_dim, activation='relu')(flat_img)

# Декодер
# Раскодированное другим полносвязным слоем изображение
input_encoded = Input(shape=(encoding_dim,))
flat_decoded = Dense(28*28, activation='sigmoid')(input_encoded)
decoded = Reshape((28, 28, 1))(flat_decoded)
# Модели, в конструктор первым аргументом передаются входные слои, а вторым выходные слои
# Другие модели можно так же использовать как и слои
encoder = Model(input_img, encoded, name="encoder")
decoder = Model(input_encoded, decoded, name="decoder")
autoencoder = Model(input_img, decoder(encoder(input_img)), name="autoencoder")
return encoder, decoder, autoencoder

==См. также==
*[[:Variational autoencoder (VAE)|Variational autoencoder (VAE)]]
*[[:Generative Adversarial Nets (GAN)|Generative Adversarial Nets (GAN)]]

== Источники информации ==
*[https://medium.com/datadriveninvestor/deep-learning-autoencoders-db265359943e Deep Learning Autoencoders]
*[https://habr.com/ru/post/331382/ Автоэнкодеры в Keras]
[[Категория: Машинное обучение]]
[[Категория: Порождающие модели]]

Файл:AutoencoderExampel.png

2019-03-17T12:27:17Z

SuperStrongDinosaur:

Файл:Autoencoder1.png

2019-01-18T14:17:45Z

SuperStrongDinosaur: