Викиконспекты - Вклад участника [ru]

Блендинг изображений

2021-01-23T12:21:46Z

Npostnikova: Эксперимент с вертикальными картинками

Копирование элемента одного изображения и его вставка на другое изображение {{---}} один из наиболее используемых методов для создания графического контента. Простая вставка, как правило, бросается в глаза и делает результат похожим на коллаж, во многих случаях этот эффект является нежелательным.
{{Определение
|definition =
'''Блендинг изображений''' (англ. ''image blending'') {{---}} метод, позволяющий вставить часть одного изображения в другое таким образом, чтобы композиция изображений выглядела естественно, без швов на границах вставки. }}
Основная трудность задачи заключается в том, что естественность результата зависит не только от бесшовности наложения, но и от схожести цветов и текстуры вставляемого и фонового изображений.

{|
! Вставляемое изображение
! Фоновое изображение
! Простая вставка
! Желаемый результат
|-
| [[Файл:Diver bl diver.png|180px]]
| [[Файл:Diver bl sea.png|180px]]
| [[Файл:Diver bl2.png|180px]]
| [[Файл:Diver bl3.png|180px]]
|}

==Блендинг Пуассона==
[[Файл:Poisson int1.png|thumb|right|250px|Рисунок $1.1$: Пример перепада яркости при простой вставке<ref name='ZWS20'/>]]
[[Файл:Poisson int2.png|thumb|right|250px|Рисунок $1.2$: Результат применения блендинга Пуассона<ref name='ZWS20'/>]]

Простая вставка одного изображения поверх другого нередко влечет заметный перепад яркости на границе вставки (рисунок $1.1$). Метод Пуассона заключается в сглаживании этого перепада (рисунок $1.2$) с целью сделать дефект менее заметным, используя градиент вставляемого изображения и значения пикселей фонового изображения на границе вставки.

'''Замечание:''' Для RGB изображений задача минимизации решается для каждого цветового канала отдельно.

Давайте обозначим за $S$ изображение, которое служит фоном, а за $I$ {{---}} изображение, вставляемое поверх $S$. Область вставки будем задавать двоичной маской $M$, содержащей единицы в области наложения. Например:
{| class="wikitable" style="background-color:#FFF; text-align:center"
|-
! Фоновое изображение $S$
! Накладываемое изображение $I$
! Маска $M$
|-
| [[Файл:Poisson_cat.jpg|155px]]
| [[Файл:Poisson_cherry.jpg|155px]]
| [[Файл:Poisson_cherry_mask.png|155px]]
|}

=== Идея подхода ===
Пусть замкнутое множество $P \subset \mathbb{R}^2$ {{---}} область, на которой определено изображение $S$, а замкнутое множество $\Omega \subset P$ с границей $\partial\Omega$ и внутренностью $int(\Omega)$ {{---}} область вставки изображения $I$.

Пусть $f_S$ {{---}} скалярная функция, определенная на $P \setminus int(\Omega)$, задает фоновое изображение $S$; $f$ {{---}} неизвестная скалярная функция, определенная на $int(\Omega)$, задает, каким образом должно выглядеть результат блендинга в области вставки.

$v_I$ {{---}} векторное поле, определенное на $\Omega$. В качестве $v_I$ возьмем градиент вставляемого изображения $I$: $v_I = \nabla f_I$.

Нашей задачей является поиск такой функции $f$, чтобы блендинговое изображение выглядело реалистично. Для этого минимизируем разность градиента функции $f$ и векторного поля $v_I$, считая, что $f = f_S$ на границе $\Omega$.
$$
\underset{f}{\mathrm{min}} \underset{\Omega}{\iint} |\nabla f - v_I|^2, \text{где } f|_{\partial \Omega} = f_S|_{\partial \Omega}.
$$
Решение задачи минимизации является единственным решением уравнения Пуассона для граничных условий Дирихле.
$$\nabla^2 f = \nabla^2 f_I \text{ на } \Omega, f|_{\partial \Omega} = f_S|_{\partial \Omega}, \text{где } \nabla^2 \text{{{---}} оператор Лапласа.}$$

=== Дискретный случай ===
Пусть $p$ {{---}} координаты $(x, y)$ пикселя двухмерного изображения. За $Img_p$ обозначим значение пикселя с координатами $p$ изображения $Img$. Пусть $\Omega = \left\{ p\;|\;M_p = 1 \right\}$ {{---}} область, заданная маской $M$. Тогда $\partial \Omega$ {{---}} координаты границы вставляемой области, а $int(\Omega)$ {{---}} внутренность области.

Пусть $N_p$ {{---}} множество соседей $p$ (максимум четыре пикселя, имеющих общую границу с $p$, т.е. пиксели со следующими координатами: $(x + 1, y), (x - 1, y), (x, y + 1), (x, y - 1)$). Для всех пар $(p, q)$ таких, что $q \in N_p$, введем $v_{pq} = I_p - I_q$.

Введем переменные $O_p, p \in \Omega$. Так как мы хотим сделать результат бесшовным, пиксели $O_p, p \in \partial\Omega$, сделаем равными $S_p$. Для $p, q \in int(\Omega),\; q \in N_p$ постараемся найти такое $O$, чтобы разность $O_p$ и $O_q$ была близка к $v_{pq}$. Для этого решим задачу минимизации:

$$
\underset{O_p,\; p \in \Omega}{\mathrm{min}}\; \underset{p, q \in \Omega}{\sum}\; \left(O_p - O_q - v_{pq}\right)^2, \text{где } O_p = S_p, p \in \partial \Omega.
$$

Заметим, что функция, которую мы хотим минимизировать, квадратична относительно переменных $O_p, p \in int(\Omega)$. Для решения задачи минимизации вычислим частные производные по этим переменным и найдем значения переменных, при которых частные производные будут равны нулю.
$$\frac{\partial{\underset{p, q \in \Omega}{\sum}\; \left(O_p - O_q - v_{pq}\right)^2}}{\partial O_p} = \underset{q \in N_p}{\sum} 2 \left(O_p - O_q - v_{pq}\right) - \underset{q \in N_p}{\sum} 2 \left(O_q - O_p - v_{qp}\right) = 2 \underset{q \in N_p}{\sum} 2 \left(O_p - O_q - v_{pq}\right).$$

Приравнивая к нулю, получаем: $|N_p| O_p - \underset{q \in N_p}{\sum} O_q = \underset{q \in N_p}{\sum} v_{pq}$.

Добавим условие $O_p = S_p, p \in \partial \Omega$: $\;|N_p| O_p - \underset{q \in N_p \cap int(\Omega)}{\sum} O_q = \underset{q \in N_p \cap \partial \Omega}{\sum} S_q + \underset{q \in N_p}{\sum} v_{pq}$.

Для решения систем уравнений такого вида могут быть использованы итеративные алгоритмы Gauss-Seidel и V-cycle multigrid<ref name="PGB03">[https://www.cs.jhu.edu/~misha/Fall07/Papers/Perez03.pdf Poisson Image Editing] Patrick Perez, Michel Gangnet, Andrew Blake (2003)</ref>.

Получаем значения пикселей $O_p$, $p \in int(\Omega)$. Тогда результат $B$ блендинга Пуассона будет следующим:
$$
B_p =
\begin{cases}
O_p,\; \text{если } p \in int(\Omega) \\
S_p,\; \text{иначе }
\end{cases}.
$$

Mетод Пуассона сдвигает цвета накладываемого изображения, сохраняя свойства градиента (т.е. если пиксель $I_{p1}$ был меньше $I_{p2}$, то после преобразования $I_{p1}$ не станет больше $I_{p2}$), однако само значение градиета может получиться другим.<ref name='clear_poisson'>https://erkaman.github.io/posts/poisson_blending.html Poisson blending для самых маленьких</ref>

==Нейронный перенос стиля==
{{main|Neural Style Transfer}}
Прежде чем переходить к гармонизации картин, рассмотрим задачу нейронного переноса стиля с изображения $S$ на изображение $I$. Для этого используются выходы скрытых слоёв [[Сверточные нейронные сети | свёрточной нейронной сети]] VGG-19<ref name="SZ14">[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition] Karen Simonyan, Andrew Zisserman (2014)</ref> (конкретные слои указаны ниже в деталях реализации).

Основная идея генерации изображения {{---}} решение оптимизационной задачи $\mathcal{L}(I, S, O) \xrightarrow[O]{} min$, где $O$ {{---}} итоговое изображение, $\mathcal{L}(I, S, O)$ {{---}} [[Функция потерь и эмпирический риск | функция потерь]]. Такую задачу можно решать градиентным спуском в пространстве изображений используя [[обратное распространение ошибки | метод обратного распространения ошибки]].
{{Определение
|definition =
Пусть $F^l\left[I\right] \in \mathcal{R}^{N_l \times M_l}$ {{---}} матрица значений выхода $l$-го слоя сети на изображении $I$. Выход $l$-го слоя сети имеет размерность $N_l \times W_l \times H_l$. Представим его как матрицу $N_l \times M_l$, где $N_l$ {{---}} количество фильтров в $l$-ом слое, $M_l$ {{---}} количество признаков ($M_l = W_l H_l$). Тогда $F^l_{ij}\left[I\right]$ {{---}} $j$-ый признак $i$-го фильтра в $l$-ом слое. Столбец матрицы $F^l\left[I\right]$ размера $N_l$ назовём '''вектором активации'''.}}
{{Определение
|definition =
'''Матрица Грама''' (англ. ''Gram matrix'') {{---}} матрица попарных скалярных произведений.
$$G^l\left[S\right] \in \mathcal{R}^{N_l \times N_l},$$
$$G^l\left[S\right] = F^l\left[S\right]F^l\left[S\right]^T.$$}}

Далее рассмотренны функции потерь, которые мы будем использовать.

===Content loss===

$F^l\left[I\right]$ отражает содержание изображения. Мы хотим чтобы содержание результата было как можно ближе к исходной картинке. Введём для этого такую функцию потерь:
$$\mathcal{L}_{content}(I, O) = \displaystyle\sum_l \frac{\alpha_l}{2 N_l M_l}\displaystyle\sum_{i, j} \left(F^l_{ij}\left[I\right] - F^l_{ij}\left[O\right]\right)^2,$$
где $\alpha_l$ {{---}} вклад $l$-го слоя в функцию потерь.

===Style loss===

$G^l\left[S\right]$ отражает статистику выходов фильтров независимо от их расположения, что, в свою очередь, отражает стиль изображения. Чтобы стиль результата был похож на стилевое изображение, введём следующую функцию потерь:
$$\mathcal{L}_{style}(S, O) = \displaystyle\sum_l \frac{\beta_l}{2N_l^2} \displaystyle\sum_{i, j} \left(G^l_{ij}\left[S\right] - G^l_{ij}\left[O\right]\right)^2,$$
где $\beta_l$ {{---}} вклад $l$-го слоя в функцию потерь.

===Gatys' loss===

Скомбинируем $\mathcal{L}_{content}$ и $\mathcal{L}_{style}$ и получим функцию потерь, которая была использована в алгоритме Гатиса<ref name="GEB16">[https://rn-unison.github.io/articulos/style_transfer.pdf Image Style Transfer Using Convolutional Neural Networks] Leon A. Gatys, Alexander S. Ecker, Matthias Bethge (2016)</ref>:
$$\mathcal{L}_{Gatys}(I, S, O) = \mathcal{L}_{content}(I, O) + w_{style}\mathcal{L}_{style}(S, O).$$
Вес $w_{style}$, векторы $\alpha$ и $\beta$ являются, в некотором смысле, гиперпараметрами алгоритма, которые мы выберем позднее.

===Histogram Loss===

Авторы другой статьи<ref name="WRB17">[https://arxiv.org/pdf/1701.08893.pdf Stable and Controllable Neural Texture Synthesis and Style Transfer Using Histogram Losses] Eric Risser, Pierre Wilmot, Connelly Barnes (2017)</ref> показывают, что результаты, полученные с помощью $\mathcal{L}_{Gatys}$ нестабильны и предложили учитывать ещё одну функцию потерь, основанную на '''сопоставлении гистограмм'''.
{{Определение
|definition =
'''Сопоставление гистограмм''' (англ. ''Histogram matching'') {{---}} метод обработки изображения, после которого гистограмма изображения совпадает с целевой гистограммой<ref name="HistMatch">https://en.wikipedia.org/wiki/Histogram_matching</ref>.}}
Пусть $R = histmatch(S, O)$ {{---}} отображение пикселей такое, что гистограмма $S$ совпадает с гистограммой $R(O)$, тогда Histogram loss будет выглядеть так:
$$\mathcal{L}_{hist}(S, O) = \displaystyle\sum_l \gamma_l \displaystyle\sum_{i, j} \left(F^l_{ij}\left[O\right] - R\left(F^l_{ij}\left[O\right]\right)\right)^2,$$
где $\gamma_l$ {{---}} вклад $l$-го слоя в функцию потерь.

'''Замечание:''' Если в случае остальных функций потерь нетрудно посчитать производную, то здесь могут возникнуть проблемы. Но поскольку $\displaystyle\frac{\partial \mathcal{L}_{hist}}{\partial F^l_{ij}\left[O\right]}$ является нулём почти везде, авторы предлагают при подсчёте производной считать $R\left(F^l_{ij}\left[O\right]\right)$ константой, которая не зависит от $O$.

===Total variation loss===

Также добавим ещё одну функцию потерь, которая удаляет шумы, при этом сохраняя важные детали изображения<ref name="MV15">[https://arxiv.org/pdf/1412.0035.pdf Understanding Deep Image Representations by Inverting Them] Aravindh Mahendran, Andrea Vedaldi (2015)</ref><ref name="JAFF16">[https://arxiv.org/pdf/1603.08155.pdf Perceptual Losses for Real-Time Style Transfer and Super-Resolution] Justin Johnson, Alexandre Alahi, Li Fei-Fei (2016)</ref>:

$$\mathcal{L}_{tv}(O) = \displaystyle\sum_{i, j} \left(O^l_{i, j} - O^l_{i-1, j}\right)^2 + \left(O^l_{i, j} - O^l_{i, j-1}\right)^2.$$

==Глубокая гармонизация картин==

Для того чтобы вставить изображение в картину или рисунок нужно не только сделать бесшовный переход и изменить цвета, но ещё и изменить текстуру вставляемого изображения, например, сымитировать мазки кистью (рисунок $2$). Используем для этого комбинацию подходов из других статей<ref name="GEB16"/><ref name="JAFF16"/><ref name="WRB17"/>.

<div class="oo-ui-panelLayout-scrollable" style="display: block; vertical-align:middle; height: auto; max-width: auto; float: center">[[Файл:LPSB18_Figure_1.png|750px|thumb|center|Рисунок $2$: Пример работы алгоритма ''Deep Image Analogy''<ref name="LYY*17">[https://arxiv.org/pdf/1705.01088.pdf Visual Attribute Transfer through Deep Image Analogy] Jing Liao, Yuan Yao, Lu Yuan, Gang Hua, Sing Bing Kang (2017)</ref> ($3$ картинка) и ''Deep Painterly Harmonization''<ref name="LPSB18"/> ($4$ картинка)]]</div>
Алгоритм состоит из двух проходов. Первый проход делает грубую гармонизацию, а второй {{---}} более тщательную. Отличаются они '''стилевым маппингом''' и функциями потерь<ref name="LPSB18">https://arxiv.org/pdf/1804.03189.pdf Fujun Luan, Sylvain Paris, Eli Shechtman, Kavita Bala (2018)</ref>.

{{Определение
|definition =
'''Стилевым маппингом''' назовём отображение $P : \mathcal{R}^{N_l \times M_l} \rightarrow \mathcal{R}^{N_l \times M_l}$, которое некоторым образом переставляет столбцы матрицы (не обязательно обратимо, то есть столбцы могут теряться и копироваться). Более формально, пусть $p(j)$ {{---}} новая позиция столбца $j$, тогда $P(Q)_{i, p(j)} = Q_{ij}$.}}

Один проход состоит из $3$ частей:
# Входное $I$ и стилевое $S$ изображения подаются на вход нейронной сети VGG-19, так мы получаем $F^l_{ij}\left[I\right]$ и $F^l_{ij}\left[S\right]$.
# Для каждого слоя $l$ некоторым алгоритмом $\pi$ cтроится стилевой маппинг $P_l$, который сопоставляет столбцам из $F_l[I]$ столбцы из $F_l[S]$.
# Изображение $O$ восстанавливается градиентным спуском по пространству изображений с использованием функции потерь $\mathcal{L}$.

'''fun''' $SinglePassHarmonization$(
$I$,// Входное изображение 
$M$,// Маска 
$S$,// Стилевое изображение 
$\pi$,// Алгоритм построения стилевого маппинга 
$\mathcal{L}$// Функция потерь 
):
// Строим матрицы $F[I]$ и $F[S]$ с помощью свёрточной сети VGG-19 
$F[I] \leftarrow ComputeNeuralActivations(I)$
$F[S] \leftarrow ComputeNeuralActivations(S)$
// Строим стилевой маппинг 
$P \leftarrow \pi(F[I], M, F[S])$
// Градиентным спуском ищем изображение $O$, которое минимизирует $\mathcal{L}$ 
$O \leftarrow Reconstruct(I, M, S, P, \mathcal{L})$
'''return''' $O$


===Первый проход===

{{Определение
|definition =
'''Патчем''' (англ. ''patch'') для столбца $j$ будем называть тензор $3 \times 3 \times N_l$, который состоит из соседних векторов активации в тензоре выхода свёрточного слоя, с центром в $(x, y)$, где $j = y W_l + x$.}}

<div class="tright" style="clear:none">[[Файл:LPSB18_Figure_2c.png|250px|thumb|none|Рисунок $3.2$: Результаты после второго прохода<ref name="WRB17"/>]]</div>
<div class="tright" style="clear:none">[[Файл:LPSB18_Figure_2b.png|250px|thumb|none|Рисунок $3.1$: Результаты после первого прохода<ref name="WRB17"/>]]</div>

Первый проход делает грубую гармонизацию, но при этом он хорошо работает с любыми стилями (рисунок $3.1$). Здесь используется алгоритм $IndependentMapping$ для построения стилевого маппинга. Этот алгоритм для каждого столбца $j$ в $F_l[I]$ ищет столбец $p(j)$ в $F_l[S]$, такой что евклидово расстояние между патчем $F_l[I]$ с центром $j$ и патчем $F_l[S]$ с центром $p(j)$ минимально (метод ближайшего соседа).


'''fun''' $IndependentMapping$(
$F[I]$,// Выходы слоёв после входного изображения 
$Mask$,// Маска 
$F[S]$// Выходы слоёв после стилевого изображения 
):
// Для всех слоёв от $1$ до $L$ 
'''for''' $l \in [1 : L]$:
// Для всех столбцов от $1$ до $M_l$ 
'''for''' $j \in [1 : M_l]$:
// Рассматриваем патчи только внутри маски, которую нужно масштабировать в соответсвии с размером слоя $l$ 
'''if''' $j \in Resize(Mask, l)$:
// Берём самый похожий стилевой патч и записываем его в маппинг. 
$P_l(j) \leftarrow NearestNeighborIndex(F[I], j, F[S])$
'''return''' $P$


В первом проходе используется модифицированная функция потерь $\mathcal{L}_{Gatys}$, с тем лишь отличием, что в $\mathcal{L}_{style}$ к $F_l[S]$ применяется стилевой маппинг $P_l$:

$$\mathcal{L}_1(I, S, O, P) = \mathcal{L}_{content}(I, O) + w_{style}\mathcal{L}_{style}(S, O, P).$$

'''Замечание:''' при посчёте градиента $\mathcal{L}_{content}$ используются только пиксели внутри маски<ref>https://github.com/luanfujun/deep-painterly-harmonization/blob/a33a9a70366b6baff1cc0291f857b5895b271fc1/neural_gram.lua#L349</ref>.

===Второй проход===

[[Файл:LPSB18_Figure_5c.png|thumb|right|250px|Рисунок $4.1$: Только первый проход<ref name="WRB17"/>]]
[[Файл:LPSB18_Figure_5d.png|thumb|right|250px|Рисунок $4.2$: Только второй проход<ref name="WRB17"/>]]
[[Файл:LPSB18_Figure_5f.png|thumb|right|250px|Рисунок $4.3$: Результат с $\mathcal{L}_{style}$ вместо $\mathcal{L}_{s1}$<ref name="WRB17"/>]]
[[Файл:LPSB18_Figure_5g.png|thumb|right|250px|Рисунок $4.4$: Оба прохода<ref name="WRB17"/>]]
[[Файл:LPSB18_Figure_5h.png|thumb|right|250px|Рисунок $4.5$: Финальный результат<ref name="WRB17"/>]]

Второй проход делает более качественную гармонизацию после первого прохода (рисунок $3.2$). Здесь мы будем использовать более сложный алгоритм $ConsistentMapping$ построения стилевого маппинга и более сложную функцию потерь. Суть этого алгоритма в том, чтобы найти стилевой мапинг на некотором слое $l_{ref}$ и перенести этот маппинг на остальные слои. Также, мы будем предпочитать маппинги, в которых смежные патчи в $F_l[S]$ остаются смежными после мапинга, чтобы обеспечить пространсвенную согласованность (таким образом мы хотим переносить сложные текстуры более качественно, например, мазки кистью). Если применять второй проход сразу, то результаты получаются хуже (рисунок $4.2$).


'''fun''' $ConsistentMapping$(
$F[I]$,// Выходы слоёв после входного изображения 
$Mask$,// Маска 
$F[S]$// Выходы слоёв после стилевого изображения 
):
// Сначала посчитаем маппинг как в IndependentMapping только для слоя $l_{ref}$ 
'''for''' $j \in [1 : M_{l_{ref}}]$:
'''if''' $j \in Resize(Mask, l_{ref})$:
$P_0(j) \leftarrow NearestNeighborIndex(F[I], j, F[S])$

// Далее обеспечиваем пространсвенную согласованность 
'''for''' $j \in [1 : M_{l_{ref}}]$:
'''if''' $j \in Resize(Mask, l_{ref})$:
$q \leftarrow P_0(j)$
// Инициализируем множество кандидатов на новый маппинг 
$CSet \leftarrow \{q\}$
// Перебираем все смежные патчи 
'''for''' $o \in \left\{N, NE, E, SE, S, SW, W, NW\right\}$:
// Добавляем в кандидаты патч, сосед которого является маппингом для нашего соседа в соответсвующем направлении 
$CSet \leftarrow CSet \cup \left\{P_0(j + o) - o\right\}$
// Среди всех кандидатов выбираем тот, который ближе всего к маппингам наших соседей 
$P_{l_{ref}}(j) \leftarrow \underset{c \in CSet}{\mathrm{argmin}}\displaystyle\sum_o \left\|(F_{l_{ref}}[S]_c - F_{l_{ref}}[S]_{P_0(j + o)}\right\|^2$

// Теперь нужно перенести маппинг для $l_{ref}$ на остальные слои 
'''for''' $l \in [1 : L] \setminus \{l_{ref}\}$:
'''for''' $j \in [1 : M_l]$:
'''if''' $j \in Resize(Mask, l)$:
// Вычисляем позицию $j'$ на слое $l_{ref}$ соответствующую позиции $j$ на слое $l$
$j' \leftarrow ChangeResolution(l, l_{ref}, j)$
// Берём маппинг для позиции $j'$
$q \leftarrow P_{l_{ref}}(j')$
// Переносим позицию $q$ обратно на слой $l$
$P_l(j) \leftarrow ChangeResolution(l_{ref}, l, q)$
'''return''' $P$


При вычислении стилевого маппинга появляется очень много дублирующихся векторов, что даёт не очень хорошие результаты (рисунок $4.3$). Поэтому при вычислении матрицы Грама выкинем повторяющиеся векторы. Назовём функцию потерь с такой модификацией $\mathcal{L}_{s1}$.

$$\mathcal{L}_2(I, S, O, P) = \mathcal{L}_{content}(I, O) + w_{style}\mathcal{L}_{s1}(S, O, P) + w_{hist}\mathcal{L}_{hist}(S, O) + w_{tv}\mathcal{L}_{tv}(O),$$
где $w_{style}, w_{hist}, w_{tv}$ {{---}} веса соответсвующих функций потерь.



===Итоговый алгоритм===

Теперь осталось запустить две стадии:


'''fun''' $Harmonization$(
$I$,// Входное изображение 
$Mask$,// Маска 
$S$// Стилевое изображение 
):
// Грубый проход алгоритма. Каждый слой рассматривается отдельно при построении стилевого маппинга. 
$I' \leftarrow SinglePassHarmonization(I, Mask, S, IndependentMapping, \mathcal{L}_1)$
// Улучшение результата. Стилевой маппинг строится консистентно для всех слоёв. 
$O \leftarrow SinglePassHarmonization(I', Mask, S, ConsistentMapping, \mathcal{L}_2)$
'''return''' $O$


===Постобработка===

[[Файл:LPSB18_Figure_6abc.png|400px|thumb|right|Рисунок $5$: Результат постобработки (без постобработки, после первой стадии, после второй стадии)<ref name="WRB17"/>]]

Описанный алгоритм даёт хорошие результаты в целом, но при ближайшем рассмотрении могут быть артефакты (рисунок $5$). Поэтому сделаем двухступенчатую постобработку (подробное описание есть в оригинальной статье<ref name="LPSB18"/>):
# Переведём изображение в цветовое пространство [https://en.wikipedia.org/wiki/CIELAB_color_space $L*\alpha*\beta$] и применим [https://en.wikipedia.org/wiki/Guided_filter Guided filter] для a и b каналов.
# С помощью алгоритма PatchMatch<ref name="BSFG09">https://www.researchgate.net/profile/Eli_Shechtman/publication/220184392_PatchMatch_A_Randomized_Correspondence_Algorithm_for_Structural_Image_Editing/links/02e7e520897b12bf0f000000.pdf Connelly Barnes, Eli Shechtman, Adam Finkelstein, Dan B Goldman (2009)</ref> и того же Guided filter делаем так, чтобы все патчи выходного изображения присутсвовали в стилевом (чтобы не было новых объектов или структур).

===Детали реализации===

[[Файл:LPSB18_Figure_4.png|400px|thumb|right|Рисунок $6$: Влияние $l_{ref}$ на результат<ref name="WRB17"/>]]

Возьмём $l_{ref}$ = conv4_1 (что будет если использовать другие слои видно на рисунке $6$).
Выберем следующие веса для слоёв:

{| class="wikitable"
|+ Первый проход
|-
! Параметр
! conv1_1
! conv2_1
! conv3_1
! conv4_1
! conv5_1
|-
! $\alpha$
| $0$
| $0$
| $0$
| $1$
| $0$
|-
! $\beta$
| $0$
| $0$
| $1/3$
| $1/3$
| $1/3$
|}

{| class="wikitable"
|+ Второй проход
|-
! Параметр
! conv1_1
! conv2_1
! conv3_1
! conv4_1
! conv5_1
|-
! $\alpha$
| $0$
| $0$
| $0$
| $1$
| $0$
|-
! $\beta$
| $1/4$
| $1/4$
| $1/4$
| $1/4$
| $0$
|-
! $\gamma$
| $1/2$
| $0$
| $0$
| $1/2$
| $0$
|}


Введём гиперпараметр $\tau$ и возьмём $w_{style} = w_{hist} = \tau$, $w_{tv} = \tau\frac{10}{1 + \exp(10^4 * noise(S) - 25)}$, где $noise(S) = \underset{i,j}{\mathrm{med}}\left\{\left(O^l_{i, j} - O^l_{i-1, j}\right)^2 + \left(O^l_{i, j} - O^l_{i, j-1}\right)^2\right\}$<ref>[https://github.com/luanfujun/deep-painterly-harmonization/blob/a33a9a70366b6baff1cc0291f857b5895b271fc1/neural_paint.lua#L470 код функции $noise$.</ref>.

Для того чтобы подбирать $\tau$ авторы статьи использовали классификатор стилей изображений. Они взяли VGG-19, обучили её классифицировать $18$ различных стилей. Эти стили были разделены на $3$ категории с разными $\tau$. Используя $Softmax$ можно интерполировать необходимый $\tau$ по следующей таблице:

{| class="wikitable"
|-
! Категория стиля
! Примеры стилей
! $\tau$
|-
! Слабый
| Барокко, Высокое Возрождение
| $1$
|-
! Средний
| Абстрактное Искусство, Постимпрессионизм
| $5$
|-
! Сильный
| Кубизм, Экспрессионизм
| $10$
|}

На рисунке $4.4$ результат алгоритма без подбора гиперпараметров. Видно, что самолёт ярче, чем остальное изображение. С подбором параметров получается более естественный результат (рисунок $4.5$).

===Примеры===
Примеры взяты с [https://github.com/luanfujun/deep-painterly-harmonization/tree/master/results Github авторов].

{|
! Исходное изображение
! Простая вставка
! Результат
! Постобработка
|-
| [[Файл:5_target.jpg|180px]]
| [[Файл:5_naive.jpg|180px]]
| [[Файл:5_final_res.png|180px]]
| [[Файл:5_final_res2.png|180px]]
|-
| [[Файл:6_target.jpg|180px]]
| [[Файл:6_naive.jpg|180px]]
| [[Файл:6_final_res.png|180px]]
| [[Файл:6_final_res2.png|180px]]
|-
| [[Файл:10_target.jpg|180px]]
| [[Файл:10_naive.jpg|180px]]
| [[Файл:10_final_res.png|180px]]
| [[Файл:10_final_res2.png|180px]]
|}

===Более новые подходы===

* [https://arxiv.org/pdf/2006.00809.pdf Foreground-aware Semantic Representations for Image Harmonization]
* [https://arxiv.org/pdf/2009.09169.pdf BargainNet: Background-Guided Domain Translation for Image Harmonization]

==Глубокий блендинг==



Алгоритм глубокого блендинга состоит из двух этапов. На первом этапе на стилевое изображения $S$ бесшовно накладывается входное изображение $I$, получается подготовительное блендинг-изображение $B$. На втором этапе $B$ модифицируется таким образом, чтобы результат по стилю был похож на $S$.

Будем считать, что на вход подаются изображения, прошедшие предварительную обработку:
* Используемая для вставки часть $I$ вырезана с помощью маски.
* $M$ и $I$ выровнены относительно $S$.
* Размеры матриц, задающих $M, S, I$, совпадают.

'''Примеры входных данных:'''
{| class="wikitable" style="background-color:#FFF; text-align:center"
! '''Стилевое изображение $S$'''<ref name='ZWS20'/>
| [[Файл:Deep bl s1.png|150px]]
| [[Файл:Deep bl s2.png|150px]]
| [[Файл:Deep bl s3.png|150px]]
|-
! '''Накладываемое изображение $I$'''<ref name='ZWS20'/>
| [[Файл:Deep bl i1.png|150px]]
| [[Файл:Deep bl i2.png|150px]]
| [[Файл:Deep bl i3.png|150px]]
|}

{{Определение
|definition =
'''Простой вставкой''' (англ. ''copy and paste'') $CAP(M, S, I)$ будем назвать изображение, полученное наложением части изображения $I$, заданной маской $M$, на изображение $S$.
$CAP(M, S, I) = I \odot M + S \odot (1 - M)$, где $\odot$ {{---}} покомпонентное умножение. }}

{{Определение
|definition =
'''Дискретный оператор Лапласа''' (фильтр Лапласа) $\mathbf{D}^2$ {{---}} аналог непрерывного оператора Лапласа $\nabla^2$, который позволяет выделять контуры изображения (рисунки $7.1$ и $7.2$).
$$\mathbf{D}^2=\begin{bmatrix}0 & 1 & 0\\1 & -4 & 1\\0 & 1 & 0\end{bmatrix}.$$ }}
{| class="wikitable" style="float:right; clear:right;"
!Рисунок $7.1$: Исходное изображение<ref>https://en.wikipedia.org/wiki/Lenna#/media/File:Lenna_(test_image).png</ref>
!Рисунок $7.2$: Применение фильтра Лапласа
|-
| [[Файл:Lenna.png|220px]]
| [[Файл:Lenna_Laplacian_Neg.png|220px]]
|}

Для сохранения контуров изображений $S$ и $I$ в области вставки воспользуемся идеей из [[Блендинг изображений#Блендинг Пуассона|метода Пуассона]] и введём следующую функцию потерь<ref name='ZWS20'/>:
$$\mathcal{L}_{grad}(S, I, M, O) = \displaystyle\frac{1}{2HW}\displaystyle\sum_{m=1}^H \displaystyle\sum_{n=1}^W \left[ \mathbf{D}^2 B - \left(\mathbf{D}^2 S + \mathbf{D}^2 I\right) \right]^2_{mn},$$
где $H, W$ {{---}} высота и ширина изображений. $B = CAP(M, S, O)$ {{---}} блендинговое изображение, оптимизируемое относительно $O$.

Рассмотрим область $\overline{\Omega} = \{\;p \;| \;M_p = 0\; \}$. Заметим, что градиент $I$ в $\overline{\Omega}$ равен нулю. Тогда градиенты $S$ и $B$ совпадают, и задача минимизации $\mathcal{L}_{grad}$ решается только в области вставки.

На обоих этапах алгоритм минимизирует взвешенную сумму следующих функций потерь:
* $\mathcal{L}_{content}$ для сохранения содержания накладываемого изображения $I$.
* $\mathcal{L}_{style}$ для переноса стиля изображения $S$ на $I$.
* $\mathcal{L}_{hist}$ для стабилизации переноса стиля.
* $\mathcal{L}_{tv}$ для удаления шумов.
* $\mathcal{L}_{grad}$ для сохранения контуров фона и изображения.


Для подсчета $\mathcal{L}_{style}$ и $\mathcal{L}_{content}$ авторами статьи<ref name='ZWS20'>[https://openaccess.thecvf.com/content_WACV_2020/papers/Zhang_Deep_Image_Blending_WACV_2020_paper.pdf Deep Image Blending] Lingzhi Zhang, Tarmily Wen, Jianbo Shi (2020)</ref> использовалась сеть VGG-19<ref name="SZ14"/>, обученная на ImageNet<ref name="ImageNet">https://image-net.org/papers/imagenet_cvpr09.pdf J. Deng, W. Dong, R. Socher, L.-J. Li, K. Li, and L. FeiFei. Imagenet: A large-scale hierarchical image database</ref>.

=== Первый этап ===
На первом этапе изображение $I$ накладывается на фоновое изображение $S$ таким образом, чтобы были незаметны швы.
Построение начинается с белого шума $Z$, который оптимизируется в области вставки путем минимизации суммарной функции потерь $\mathcal{L}_{total}$, представленной взвешенной суммой всех функций потерь, описанных выше:
$$ \mathcal{L}_{total}(Z) = w_{grad}\mathcal{L}_{grad}(I, S, B) + w_{content}\mathcal{L}_{content}(I, M, Z) + w_{style}\mathcal{L}_{style}(S, B) + w_{tv}\mathcal{L}_{tv}(B) + w_{hist}\mathcal{L}_{hist}(S, B).$$
Для решения задачи минимизации авторы статьи<ref name='ZWS20' /> используют алгоритм L-BFGS<ref name="LBFGS">https://en.wikipedia.org/wiki/Limited-memory_BFGS Limited-memory BFGS - Wikipedia</ref>.

Отметим, что $\mathcal{L}_{content}$ зависит от маски и отвечает за сохранение содержания $I$ в области вставки.

Отличительной чертой этого этапа является использование функции потерь $\mathcal{L}_{grad}$, приближающей градиент результата к градиенту $I$ в области наложения, за счет чего достигается бесшовность.

В результате получается подготовительное блендинг-изображение $B$.


'''fun''' $SeamlessBlending$(
$I$, // Входное изображение 
$M$, // Маска 
$S$ // Стилевое изображение 
):
// Инициализируем первое приближение белым шумом 
$Z \leftarrow RandomNoise() $
$B \leftarrow CAP(M, S, Z)$
// Определим суммарную функцию потерь с весами слагаемых $w$
$\mathcal{L}_{total}(Z) \leftarrow w_{grad}\mathcal{L}_{grad}(I, S, B) + w_{content}\mathcal{L}_{content}(I, M, Z) + w_{style}\mathcal{L}_{style}(S, B) + w_{tv}\mathcal{L}_{tv}(B) + w_{hist}\mathcal{L}_{hist}(S, B)$
// С помощью алгоритма L-BFGS ищем изображение $Z$, которое минимизирует $\mathcal{L}_{total}$ 
$Z \leftarrow Reconstruct(\mathcal{L}_{total}, Z)$
'''return''' $CAP(M, S, Z)$


=== Второй этап ===

Второй этап алгоритма представляет собой модификацию полученного на первом этапе блендинг-изображения $B$ таким образом, чтобы стиль изображения был наиболее близок к стилю $S$.

В отличие от предыдущего этапа, функция потерь не включает в себя $\mathcal{L}_{grad}$:
$$\mathcal{L}_{total}(O) = w_{content}\mathcal{L}_{content}(B, O) + w_{style}\mathcal{L}_{style}(S, O) + w_{tv}\mathcal{L}_{tv}(O) + w_{hist}\mathcal{L}_{hist}(S, O).$$

Минимизация происходит относительно результата алгоритма $O$, который инициализируется изображением $B$.


'''fun''' $StyleRefinement$(
$B$, // Подготовительное блендинг-изображение, результат первого этапа 
$M$, // Маска 
$S$ // Стилевое изображение 
):
$O \leftarrow B$
// Определим суммарную функцию потерь с весами слагаемых $w$
$\mathcal{L}_{total}(O) \leftarrow w_{cont}\mathcal{L}_{content}(B, O) + w_{style}\mathcal{L}_{style}(S, O) + w_{tv}\mathcal{L}_{tv}(O) + w_{hist}\mathcal{L}_{hist}(S, O)$
// С помощью алгоритма L-BFGS ищем изображение $O$, которое минимизирует $\mathcal{L}_{total}$ 
$O \leftarrow Reconstruct(\mathcal{L}_{total}, O)$
'''return''' $O$


Примеры с [https://github.com/owenzlz/DeepImageBlending/tree/master/results Github авторов]:

{|
! После первого этапа
! После обоих этапов
|-
| [[Файл:1_first_pass.png|300px]]
| [[Файл:1_second_pass.png|300px]]
|-
| [[Файл:3_first_pass.png|300px]]
| [[Файл:3_second_pass.png|300px]]
|-
| [[Файл:5_first_pass.png|300px]]
| [[Файл:5_second_pass.png|300px]]
|}

===Детали реализации===
В статье использовались следующие значения коэффициентов:

{| class="wikitable"
|+ Веса функций потерь
|-
! Этап
! $w_{grad}$
! $w_{content}$
! $w_{style}$
! $w_{hist}$
! $w_{tv}$
|-
! $1$
| $10^5$
| $1$
| $10^5$
| $1$
| $10^{-6}$
|-
! $2$
| $0$
| $1$
| $10^7$
| $1$
| $10^{-6}$
|}

{| class="wikitable"
|+ Коэффициенты $\alpha$ и $\beta$
|-
! Параметр
! conv1_2
! conv2_2
! conv3_3
! conv4_3
|-
! $\alpha$
| $0$
| $1$
| $0$
| $0$
|-
! $\beta$
| $1/4$
| $1/4$
| $1/4$
| $1/4$
|}

На обоих этапах максимальное количество итераций алгоритма L-BFGS {{---}} $1000$.

=== Примеры ===
Примеры с [https://github.com/owenzlz/DeepImageBlending/tree/master/results Github авторов]:

[[Файл:МЛ блендинг пример.png|800px]]

==См. также==
* [[Neural_Style_Transfer|Neural Style Transfer]]
* [[Сверточные_нейронные_сети | Свёрточная нейронная сеть]]

==Источники информации==
* [https://en.wikipedia.org/wiki/Histogram_matching Histogram matching]
* Patrick Perez, Michel Gangnet, Andrew Blake (2003), [https://www.cs.jhu.edu/~misha/Fall07/Papers/Perez03.pdf Poisson Image Editing].

* Leon A. Gatys, Alexander S. Ecker, Matthias Bethge (2016), [https://rn-unison.github.io/articulos/style_transfer.pdf Image Style Transfer Using Convolutional Neural Networks]




* Fujun Luan, Sylvain Paris, Eli Shechtman, Kavita Bala (2018), [https://arxiv.org/pdf/1804.03189.pdf Deep Painterly Harmonization]
* Lingzhi Zhang, Tarmily Wen, Jianbo Shi (2020), [https://openaccess.thecvf.com/content_WACV_2020/papers/Zhang_Deep_Image_Blending_WACV_2020_paper.pdf Deep Image Blending]

==Примечания==

[[Категория: Машинное обучение]]
[[Категория: Нейронные сети]]
[[Категория: Сверточные нейронные сети]]

Блендинг изображений

2021-01-23T11:49:37Z

Npostnikova: Чертовы вылезающие картиночки

Копирование элемента одного изображения и его вставка на другое изображение {{---}} один из наиболее используемых методов для создания графического контента. Простая вставка, как правило, бросается в глаза и делает результат похожим на коллаж, во многих случаях этот эффект является нежелательным.
{{Определение
|definition =
'''Блендинг изображений''' (англ. ''image blending'') {{---}} метод, позволяющий вставить часть одного изображения в другое таким образом, чтобы композиция изображений выглядела естественно, без швов на границах вставки. }}
Основная трудность задачи заключается в том, что естественность результата зависит не только от бесшовности наложения, но и от схожести цветов и текстуры вставляемого и фонового изображений.

{|
! Вставляемое изображение
! Фоновое изображение
! Простая вставка
! Желаемый результат
|-
| [[Файл:Diver bl diver.png|180px]]
| [[Файл:Diver bl sea.png|180px]]
| [[Файл:Diver bl2.png|180px]]
| [[Файл:Diver bl3.png|180px]]
|}

==Блендинг Пуассона==
[[Файл:Poisson int1.png|thumb|right|300px|Рисунок $1.1$: Пример перепада яркости при простой вставке<ref name='ZWS20'/>]]
[[Файл:Poisson int2.png|thumb|right|300px|Рисунок $1.2$: Результат применения блендинга Пуассона<ref name='ZWS20'/>]]

Простая вставка одного изображения поверх другого нередко влечет заметный перепад яркости на границе вставки (рисунок $1.1$). Метод Пуассона заключается в сглаживании этого перепада (рисунок $1.2$) с целью сделать дефект менее заметным, используя градиент вставляемого изображения и значения пикселей фонового изображения на границе вставки.

'''Замечание:''' Для RGB изображений задача минимизации решается для каждого цветового канала отдельно.

Давайте обозначим за $S$ изображение, которое служит фоном, а за $I$ {{---}} изображение, вставляемое поверх $S$. Область вставки будем задавать двоичной маской $M$, содержащей единицы в области наложения. Например:
{| class="wikitable" style="background-color:#FFF; text-align:center"
|-
! Фоновое изображение $S$
! Накладываемое изображение $I$
! Маска $M$
|-
| [[Файл:Poisson_cat.jpg|200px]]
| [[Файл:Poisson_cherry.jpg|200px]]
| [[Файл:Poisson_cherry_mask.png|200px]]
|}

=== Идея подхода ===
Пусть замкнутое множество $P \subset \mathbb{R}^2$ {{---}} область, на которой определено изображение $S$, а замкнутое множество $\Omega \subset P$ с границей $\partial\Omega$ и внутренностью $int(\Omega)$ {{---}} область вставки изображения $I$.

Пусть $f_S$ {{---}} скалярная функция, определенная на $P \setminus int(\Omega)$, задает фоновое изображение $S$; $f$ {{---}} неизвестная скалярная функция, определенная на $int(\Omega)$, задает, каким образом должно выглядеть результат блендинга в области вставки.

$v_I$ {{---}} векторное поле, определенное на $\Omega$. В качестве $v_I$ возьмем градиент вставляемого изображения $I$: $v_I = \nabla f_I$.

Нашей задачей является поиск такой функции $f$, чтобы блендинговое изображение выглядело реалистично. Для этого минимизируем разность градиента функции $f$ и векторного поля $v_I$, считая, что $f = f_S$ на границе $\Omega$.
$$
\underset{f}{\mathrm{min}} \underset{\Omega}{\iint} |\nabla f - v_I|^2, \text{где } f|_{\partial \Omega} = f_S|_{\partial \Omega}.
$$
Решение задачи минимизации является единственным решением уравнения Пуассона для граничных условий Дирихле.
$$\nabla^2 f = \nabla^2 f_I \text{ на } \Omega, f|_{\partial \Omega} = f_S|_{\partial \Omega}, \text{где } \nabla^2 \text{{{---}} оператор Лапласа.}$$

=== Дискретный случай ===
Пусть $p$ {{---}} координаты $(x, y)$ пикселя двухмерного изображения. За $Img_p$ обозначим значение пикселя с координатами $p$ изображения $Img$. Пусть $\Omega = \left\{ p\;|\;M_p = 1 \right\}$ {{---}} область, заданная маской $M$. Тогда $\partial \Omega$ {{---}} координаты границы вставляемой области, а $int(\Omega)$ {{---}} внутренность области.

Пусть $N_p$ {{---}} множество соседей $p$ (максимум четыре пикселя, имеющих общую границу с $p$, т.е. пиксели со следующими координатами: $(x + 1, y), (x - 1, y), (x, y + 1), (x, y - 1)$). Для всех пар $(p, q)$ таких, что $q \in N_p$, введем $v_{pq} = I_p - I_q$.

Введем переменные $O_p, p \in \Omega$. Так как мы хотим сделать результат бесшовным, пиксели $O_p, p \in \partial\Omega$, сделаем равными $S_p$. Для $p, q \in int(\Omega),\; q \in N_p$ постараемся найти такое $O$, чтобы разность $O_p$ и $O_q$ была близка к $v_{pq}$. Для этого решим задачу минимизации:

$$
\underset{O_p,\; p \in \Omega}{\mathrm{min}}\; \underset{p, q \in \Omega}{\sum}\; \left(O_p - O_q - v_{pq}\right)^2, \text{где } O_p = S_p, p \in \partial \Omega.
$$

Заметим, что функция, которую мы хотим минимизировать, квадратична относительно переменных $O_p, p \in int(\Omega)$. Для решения задачи минимизации вычислим частные производные по этим переменным и найдем значения переменных, при которых частные производные будут равны нулю.
$$\frac{\partial{\underset{p, q \in \Omega}{\sum}\; \left(O_p - O_q - v_{pq}\right)^2}}{\partial O_p} = \underset{q \in N_p}{\sum} 2 \left(O_p - O_q - v_{pq}\right) - \underset{q \in N_p}{\sum} 2 \left(O_q - O_p - v_{qp}\right) = 2 \underset{q \in N_p}{\sum} 2 \left(O_p - O_q - v_{pq}\right).$$

Приравнивая к нулю, получаем: $|N_p| O_p - \underset{q \in N_p}{\sum} O_q = \underset{q \in N_p}{\sum} v_{pq}$.

Добавим условие $O_p = S_p, p \in \partial \Omega$: $\;|N_p| O_p - \underset{q \in N_p \cap int(\Omega)}{\sum} O_q = \underset{q \in N_p \cap \partial \Omega}{\sum} S_q + \underset{q \in N_p}{\sum} v_{pq}$.

Для решения систем уравнений такого вида могут быть использованы итеративные алгоритмы Gauss-Seidel и V-cycle multigrid<ref name="PGB03">[https://www.cs.jhu.edu/~misha/Fall07/Papers/Perez03.pdf Poisson Image Editing] Patrick Perez, Michel Gangnet, Andrew Blake (2003)</ref>.

Получаем значения пикселей $O_p$, $p \in int(\Omega)$. Тогда результат $B$ блендинга Пуассона будет следующим:
$$
B_p =
\begin{cases}
O_p,\; \text{если } p \in int(\Omega) \\
S_p,\; \text{иначе }
\end{cases}.
$$

Mетод Пуассона сдвигает цвета накладываемого изображения, сохраняя свойства градиента (т.е. если пиксель $I_{p1}$ был меньше $I_{p2}$, то после преобразования $I_{p1}$ не станет больше $I_{p2}$), однако само значение градиета может получиться другим.<ref name='clear_poisson'>https://erkaman.github.io/posts/poisson_blending.html Poisson blending для самых маленьких</ref>

==Нейронный перенос стиля==
{{main|Neural Style Transfer}}
Прежде чем переходить к гармонизации картин, рассмотрим задачу нейронного переноса стиля с изображения $S$ на изображение $I$. Для этого используются выходы скрытых слоёв [[Сверточные нейронные сети | свёрточной нейронной сети]] VGG-19<ref name="SZ14">[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition] Karen Simonyan, Andrew Zisserman (2014)</ref> (конкретные слои указаны ниже в деталях реализации).

Основная идея генерации изображения {{---}} решение оптимизационной задачи $\mathcal{L}(I, S, O) \xrightarrow[O]{} min$, где $O$ {{---}} итоговое изображение, $\mathcal{L}(I, S, O)$ {{---}} [[Функция потерь и эмпирический риск | функция потерь]]. Такую задачу можно решать градиентным спуском в пространстве изображений используя [[обратное распространение ошибки | метод обратного распространения ошибки]].
{{Определение
|definition =
Пусть $F^l\left[I\right] \in \mathcal{R}^{N_l \times M_l}$ {{---}} матрица значений выхода $l$-го слоя сети на изображении $I$. Выход $l$-го слоя сети имеет размерность $N_l \times W_l \times H_l$. Представим его как матрицу $N_l \times M_l$, где $N_l$ {{---}} количество фильтров в $l$-ом слое, $M_l$ {{---}} количество признаков ($M_l = W_l H_l$). Тогда $F^l_{ij}\left[I\right]$ {{---}} $j$-ый признак $i$-го фильтра в $l$-ом слое. Столбец матрицы $F^l\left[I\right]$ размера $N_l$ назовём '''вектором активации'''.}}
{{Определение
|definition =
'''Матрица Грама''' (англ. ''Gram matrix'') {{---}} матрица попарных скалярных произведений.
$$G^l\left[S\right] \in \mathcal{R}^{N_l \times N_l},$$
$$G^l\left[S\right] = F^l\left[S\right]F^l\left[S\right]^T.$$}}

Далее рассмотренны функции потерь, которые мы будем использовать.

===Content loss===

$F^l\left[I\right]$ отражает содержание изображения. Мы хотим чтобы содержание результата было как можно ближе к исходной картинке. Введём для этого такую функцию потерь:
$$\mathcal{L}_{content}(I, O) = \displaystyle\sum_l \frac{\alpha_l}{2 N_l M_l}\displaystyle\sum_{i, j} \left(F^l_{ij}\left[I\right] - F^l_{ij}\left[O\right]\right)^2,$$
где $\alpha_l$ {{---}} вклад $l$-го слоя в функцию потерь.

===Style loss===

$G^l\left[S\right]$ отражает статистику выходов фильтров независимо от их расположения, что, в свою очередь, отражает стиль изображения. Чтобы стиль результата был похож на стилевое изображение, введём следующую функцию потерь:
$$\mathcal{L}_{style}(S, O) = \displaystyle\sum_l \frac{\beta_l}{2N_l^2} \displaystyle\sum_{i, j} \left(G^l_{ij}\left[S\right] - G^l_{ij}\left[O\right]\right)^2,$$
где $\beta_l$ {{---}} вклад $l$-го слоя в функцию потерь.

===Gatys' loss===

Скомбинируем $\mathcal{L}_{content}$ и $\mathcal{L}_{style}$ и получим функцию потерь, которая была использована в алгоритме Гатиса<ref name="GEB16">[https://rn-unison.github.io/articulos/style_transfer.pdf Image Style Transfer Using Convolutional Neural Networks] Leon A. Gatys, Alexander S. Ecker, Matthias Bethge (2016)</ref>:
$$\mathcal{L}_{Gatys}(I, S, O) = \mathcal{L}_{content}(I, O) + w_{style}\mathcal{L}_{style}(S, O).$$
Вес $w_{style}$, векторы $\alpha$ и $\beta$ являются, в некотором смысле, гиперпараметрами алгоритма, которые мы выберем позднее.

===Histogram Loss===

Авторы другой статьи<ref name="WRB17">[https://arxiv.org/pdf/1701.08893.pdf Stable and Controllable Neural Texture Synthesis and Style Transfer Using Histogram Losses] Eric Risser, Pierre Wilmot, Connelly Barnes (2017)</ref> показывают, что результаты, полученные с помощью $\mathcal{L}_{Gatys}$ нестабильны и предложили учитывать ещё одну функцию потерь, основанную на '''сопоставлении гистограмм'''.
{{Определение
|definition =
'''Сопоставление гистограмм''' (англ. ''Histogram matching'') {{---}} метод обработки изображения, после которого гистограмма изображения совпадает с целевой гистограммой<ref name="HistMatch">https://en.wikipedia.org/wiki/Histogram_matching</ref>.}}
Пусть $R = histmatch(S, O)$ {{---}} отображение пикселей такое, что гистограмма $S$ совпадает с гистограммой $R(O)$, тогда Histogram loss будет выглядеть так:
$$\mathcal{L}_{hist}(S, O) = \displaystyle\sum_l \gamma_l \displaystyle\sum_{i, j} \left(F^l_{ij}\left[O\right] - R\left(F^l_{ij}\left[O\right]\right)\right)^2,$$
где $\gamma_l$ {{---}} вклад $l$-го слоя в функцию потерь.

'''Замечание:''' Если в случае остальных функций потерь нетрудно посчитать производную, то здесь могут возникнуть проблемы. Но поскольку $\displaystyle\frac{\partial \mathcal{L}_{hist}}{\partial F^l_{ij}\left[O\right]}$ является нулём почти везде, авторы предлагают при подсчёте производной считать $R\left(F^l_{ij}\left[O\right]\right)$ константой, которая не зависит от $O$.

===Total variation loss===

Также добавим ещё одну функцию потерь, которая удаляет шумы, при этом сохраняя важные детали изображения<ref name="MV15">[https://arxiv.org/pdf/1412.0035.pdf Understanding Deep Image Representations by Inverting Them] Aravindh Mahendran, Andrea Vedaldi (2015)</ref><ref name="JAFF16">[https://arxiv.org/pdf/1603.08155.pdf Perceptual Losses for Real-Time Style Transfer and Super-Resolution] Justin Johnson, Alexandre Alahi, Li Fei-Fei (2016)</ref>:

$$\mathcal{L}_{tv}(O) = \displaystyle\sum_{i, j} \left(O^l_{i, j} - O^l_{i-1, j}\right)^2 + \left(O^l_{i, j} - O^l_{i, j-1}\right)^2.$$

==Глубокая гармонизация картин==

Для того чтобы вставить изображение в картину или рисунок нужно не только сделать бесшовный переход и изменить цвета, но ещё и изменить текстуру вставляемого изображения, например, сымитировать мазки кистью (рисунок $2$). Используем для этого комбинацию подходов из других статей<ref name="GEB16"/><ref name="JAFF16"/><ref name="WRB17"/>.

<div class="oo-ui-panelLayout-scrollable" style="display: block; vertical-align:middle; height: auto; max-width: auto; float: center">[[Файл:LPSB18_Figure_1.png|750px|thumb|center|Рисунок $2$: Пример работы алгоритма ''Deep Image Analogy''<ref name="LYY*17">[https://arxiv.org/pdf/1705.01088.pdf Visual Attribute Transfer through Deep Image Analogy] Jing Liao, Yuan Yao, Lu Yuan, Gang Hua, Sing Bing Kang (2017)</ref> ($3$ картинка) и ''Deep Painterly Harmonization''<ref name="LPSB18"/> ($4$ картинка)]]</div>
Алгоритм состоит из двух проходов. Первый проход делает грубую гармонизацию, а второй {{---}} более тщательную. Отличаются они '''стилевым маппингом''' и функциями потерь<ref name="LPSB18">https://arxiv.org/pdf/1804.03189.pdf Fujun Luan, Sylvain Paris, Eli Shechtman, Kavita Bala (2018)</ref>.

{{Определение
|definition =
'''Стилевым маппингом''' назовём отображение $P : \mathcal{R}^{N_l \times M_l} \rightarrow \mathcal{R}^{N_l \times M_l}$, которое некоторым образом переставляет столбцы матрицы (не обязательно обратимо, то есть столбцы могут теряться и копироваться). Более формально, пусть $p(j)$ {{---}} новая позиция столбца $j$, тогда $P(Q)_{i, p(j)} = Q_{ij}$.}}

Один проход состоит из $3$ частей:
# Входное $I$ и стилевое $S$ изображения подаются на вход нейронной сети VGG-19, так мы получаем $F^l_{ij}\left[I\right]$ и $F^l_{ij}\left[S\right]$.
# Для каждого слоя $l$ некоторым алгоритмом $\pi$ cтроится стилевой маппинг $P_l$, который сопоставляет столбцам из $F_l[I]$ столбцы из $F_l[S]$.
# Изображение $O$ восстанавливается градиентным спуском по пространству изображений с использованием функции потерь $\mathcal{L}$.

'''fun''' $SinglePassHarmonization$(
$I$,// Входное изображение 
$M$,// Маска 
$S$,// Стилевое изображение 
$\pi$,// Алгоритм построения стилевого маппинга 
$\mathcal{L}$// Функция потерь 
):
// Строим матрицы $F[I]$ и $F[S]$ с помощью свёрточной сети VGG-19 
$F[I] \leftarrow ComputeNeuralActivations(I)$
$F[S] \leftarrow ComputeNeuralActivations(S)$
// Строим стилевой маппинг 
$P \leftarrow \pi(F[I], M, F[S])$
// Градиентным спуском ищем изображение $O$, которое минимизирует $\mathcal{L}$ 
$O \leftarrow Reconstruct(I, M, S, P, \mathcal{L})$
'''return''' $O$


===Первый проход===

{{Определение
|definition =
'''Патчем''' (англ. ''patch'') для столбца $j$ будем называть тензор $3 \times 3 \times N_l$, который состоит из соседних векторов активации в тензоре выхода свёрточного слоя, с центром в $(x, y)$, где $j = y W_l + x$.}}

<div class="tright" style="clear:none">[[Файл:LPSB18_Figure_2c.png|250px|thumb|none|Рисунок $3.2$: Результаты после второго прохода<ref name="WRB17"/>]]</div>
<div class="tright" style="clear:none">[[Файл:LPSB18_Figure_2b.png|250px|thumb|none|Рисунок $3.1$: Результаты после первого прохода<ref name="WRB17"/>]]</div>

Первый проход делает грубую гармонизацию, но при этом он хорошо работает с любыми стилями (рисунок $3.1$). Здесь используется алгоритм $IndependentMapping$ для построения стилевого маппинга. Этот алгоритм для каждого столбца $j$ в $F_l[I]$ ищет столбец $p(j)$ в $F_l[S]$, такой что евклидово расстояние между патчем $F_l[I]$ с центром $j$ и патчем $F_l[S]$ с центром $p(j)$ минимально (метод ближайшего соседа).


'''fun''' $IndependentMapping$(
$F[I]$,// Выходы слоёв после входного изображения 
$Mask$,// Маска 
$F[S]$// Выходы слоёв после стилевого изображения 
):
// Для всех слоёв от $1$ до $L$ 
'''for''' $l \in [1 : L]$:
// Для всех столбцов от $1$ до $M_l$ 
'''for''' $j \in [1 : M_l]$:
// Рассматриваем патчи только внутри маски, которую нужно масштабировать в соответсвии с размером слоя $l$ 
'''if''' $j \in Resize(Mask, l)$:
// Берём самый похожий стилевой патч и записываем его в маппинг. 
$P_l(j) \leftarrow NearestNeighborIndex(F[I], j, F[S])$
'''return''' $P$


В первом проходе используется модифицированная функция потерь $\mathcal{L}_{Gatys}$, с тем лишь отличием, что в $\mathcal{L}_{style}$ к $F_l[S]$ применяется стилевой маппинг $P_l$:

$$\mathcal{L}_1(I, S, O, P) = \mathcal{L}_{content}(I, O) + w_{style}\mathcal{L}_{style}(S, O, P).$$

'''Замечание:''' при посчёте градиента $\mathcal{L}_{content}$ используются только пиксели внутри маски<ref>https://github.com/luanfujun/deep-painterly-harmonization/blob/a33a9a70366b6baff1cc0291f857b5895b271fc1/neural_gram.lua#L349</ref>.

===Второй проход===

[[Файл:LPSB18_Figure_5c.png|thumb|right|250px|Рисунок $4.1$: Только первый проход<ref name="WRB17"/>]]
[[Файл:LPSB18_Figure_5d.png|thumb|right|250px|Рисунок $4.2$: Только второй проход<ref name="WRB17"/>]]
[[Файл:LPSB18_Figure_5f.png|thumb|right|250px|Рисунок $4.3$: Результат с $\mathcal{L}_{style}$ вместо $\mathcal{L}_{s1}$<ref name="WRB17"/>]]
[[Файл:LPSB18_Figure_5g.png|thumb|right|250px|Рисунок $4.4$: Оба прохода<ref name="WRB17"/>]]
[[Файл:LPSB18_Figure_5h.png|thumb|right|250px|Рисунок $4.5$: Финальный результат<ref name="WRB17"/>]]

Второй проход делает более качественную гармонизацию после первого прохода (рисунок $3.2$). Здесь мы будем использовать более сложный алгоритм $ConsistentMapping$ построения стилевого маппинга и более сложную функцию потерь. Суть этого алгоритма в том, чтобы найти стилевой мапинг на некотором слое $l_{ref}$ и перенести этот маппинг на остальные слои. Также, мы будем предпочитать маппинги, в которых смежные патчи в $F_l[S]$ остаются смежными после мапинга, чтобы обеспечить пространсвенную согласованность (таким образом мы хотим переносить сложные текстуры более качественно, например, мазки кистью). Если применять второй проход сразу, то результаты получаются хуже (рисунок $4.2$).


'''fun''' $ConsistentMapping$(
$F[I]$,// Выходы слоёв после входного изображения 
$Mask$,// Маска 
$F[S]$// Выходы слоёв после стилевого изображения 
):
// Сначала посчитаем маппинг как в IndependentMapping только для слоя $l_{ref}$ 
'''for''' $j \in [1 : M_{l_{ref}}]$:
'''if''' $j \in Resize(Mask, l_{ref})$:
$P_0(j) \leftarrow NearestNeighborIndex(F[I], j, F[S])$

// Далее обеспечиваем пространсвенную согласованность 
'''for''' $j \in [1 : M_{l_{ref}}]$:
'''if''' $j \in Resize(Mask, l_{ref})$:
$q \leftarrow P_0(j)$
// Инициализируем множество кандидатов на новый маппинг 
$CSet \leftarrow \{q\}$
// Перебираем все смежные патчи 
'''for''' $o \in \left\{N, NE, E, SE, S, SW, W, NW\right\}$:
// Добавляем в кандидаты патч, сосед которого является маппингом для нашего соседа в соответсвующем направлении 
$CSet \leftarrow CSet \cup \left\{P_0(j + o) - o\right\}$
// Среди всех кандидатов выбираем тот, который ближе всего к маппингам наших соседей 
$P_{l_{ref}}(j) \leftarrow \underset{c \in CSet}{\mathrm{argmin}}\displaystyle\sum_o \left\|(F_{l_{ref}}[S]_c - F_{l_{ref}}[S]_{P_0(j + o)}\right\|^2$

// Теперь нужно перенести маппинг для $l_{ref}$ на остальные слои 
'''for''' $l \in [1 : L] \setminus \{l_{ref}\}$:
'''for''' $j \in [1 : M_l]$:
'''if''' $j \in Resize(Mask, l)$:
// Вычисляем позицию $j'$ на слое $l_{ref}$ соответствующую позиции $j$ на слое $l$
$j' \leftarrow ChangeResolution(l, l_{ref}, j)$
// Берём маппинг для позиции $j'$
$q \leftarrow P_{l_{ref}}(j')$
// Переносим позицию $q$ обратно на слой $l$
$P_l(j) \leftarrow ChangeResolution(l_{ref}, l, q)$
'''return''' $P$


При вычислении стилевого маппинга появляется очень много дублирующихся векторов, что даёт не очень хорошие результаты (рисунок $4.3$). Поэтому при вычислении матрицы Грама выкинем повторяющиеся векторы. Назовём функцию потерь с такой модификацией $\mathcal{L}_{s1}$.

$$\mathcal{L}_2(I, S, O, P) = \mathcal{L}_{content}(I, O) + w_{style}\mathcal{L}_{s1}(S, O, P) + w_{hist}\mathcal{L}_{hist}(S, O) + w_{tv}\mathcal{L}_{tv}(O),$$
где $w_{style}, w_{hist}, w_{tv}$ {{---}} веса соответсвующих функций потерь.



===Итоговый алгоритм===

Теперь осталось запустить две стадии:


'''fun''' $Harmonization$(
$I$,// Входное изображение 
$Mask$,// Маска 
$S$// Стилевое изображение 
):
// Грубый проход алгоритма. Каждый слой рассматривается отдельно при построении стилевого маппинга. 
$I' \leftarrow SinglePassHarmonization(I, Mask, S, IndependentMapping, \mathcal{L}_1)$
// Улучшение результата. Стилевой маппинг строится консистентно для всех слоёв. 
$O \leftarrow SinglePassHarmonization(I', Mask, S, ConsistentMapping, \mathcal{L}_2)$
'''return''' $O$


===Постобработка===

[[Файл:LPSB18_Figure_6abc.png|400px|thumb|right|Рисунок $5$: Результат постобработки (без постобработки, после первой стадии, после второй стадии)<ref name="WRB17"/>]]

Описанный алгоритм даёт хорошие результаты в целом, но при ближайшем рассмотрении могут быть артефакты (рисунок $5$). Поэтому сделаем двухступенчатую постобработку (подробное описание есть в оригинальной статье<ref name="LPSB18"/>):
# Переведём изображение в цветовое пространство [https://en.wikipedia.org/wiki/CIELAB_color_space $L*\alpha*\beta$] и применим [https://en.wikipedia.org/wiki/Guided_filter Guided filter] для a и b каналов.
# С помощью алгоритма PatchMatch<ref name="BSFG09">https://www.researchgate.net/profile/Eli_Shechtman/publication/220184392_PatchMatch_A_Randomized_Correspondence_Algorithm_for_Structural_Image_Editing/links/02e7e520897b12bf0f000000.pdf Connelly Barnes, Eli Shechtman, Adam Finkelstein, Dan B Goldman (2009)</ref> и того же Guided filter делаем так, чтобы все патчи выходного изображения присутсвовали в стилевом (чтобы не было новых объектов или структур).

===Детали реализации===

[[Файл:LPSB18_Figure_4.png|400px|thumb|right|Рисунок $6$: Влияние $l_{ref}$ на результат<ref name="WRB17"/>]]

Возьмём $l_{ref}$ = conv4_1 (что будет если использовать другие слои видно на рисунке $6$).
Выберем следующие веса для слоёв:

{| class="wikitable"
|+ Первый проход
|-
! Параметр
! conv1_1
! conv2_1
! conv3_1
! conv4_1
! conv5_1
|-
! $\alpha$
| $0$
| $0$
| $0$
| $1$
| $0$
|-
! $\beta$
| $0$
| $0$
| $1/3$
| $1/3$
| $1/3$
|}

{| class="wikitable"
|+ Второй проход
|-
! Параметр
! conv1_1
! conv2_1
! conv3_1
! conv4_1
! conv5_1
|-
! $\alpha$
| $0$
| $0$
| $0$
| $1$
| $0$
|-
! $\beta$
| $1/4$
| $1/4$
| $1/4$
| $1/4$
| $0$
|-
! $\gamma$
| $1/2$
| $0$
| $0$
| $1/2$
| $0$
|}


Введём гиперпараметр $\tau$ и возьмём $w_{style} = w_{hist} = \tau$, $w_{tv} = \tau\frac{10}{1 + \exp(10^4 * noise(S) - 25)}$, где $noise(S) = \underset{i,j}{\mathrm{med}}\left\{\left(O^l_{i, j} - O^l_{i-1, j}\right)^2 + \left(O^l_{i, j} - O^l_{i, j-1}\right)^2\right\}$<ref>[https://github.com/luanfujun/deep-painterly-harmonization/blob/a33a9a70366b6baff1cc0291f857b5895b271fc1/neural_paint.lua#L470 код функции $noise$.</ref>.

Для того чтобы подбирать $\tau$ авторы статьи использовали классификатор стилей изображений. Они взяли VGG-19, обучили её классифицировать $18$ различных стилей. Эти стили были разделены на $3$ категории с разными $\tau$. Используя $Softmax$ можно интерполировать необходимый $\tau$ по следующей таблице:

{| class="wikitable"
|-
! Категория стиля
! Примеры стилей
! $\tau$
|-
! Слабый
| Барокко, Высокое Возрождение
| $1$
|-
! Средний
| Абстрактное Искусство, Постимпрессионизм
| $5$
|-
! Сильный
| Кубизм, Экспрессионизм
| $10$
|}

На рисунке $4.4$ результат алгоритма без подбора гиперпараметров. Видно, что самолёт ярче, чем остальное изображение. С подбором параметров получается более естественный результат (рисунок $4.5$).

===Примеры===
Примеры взяты с [https://github.com/luanfujun/deep-painterly-harmonization/tree/master/results Github авторов].

{|
! Исходное изображение
! Простая вставка
! Результат
! Постобработка
|-
| [[Файл:5_target.jpg|180px]]
| [[Файл:5_naive.jpg|180px]]
| [[Файл:5_final_res.png|180px]]
| [[Файл:5_final_res2.png|180px]]
|-
| [[Файл:6_target.jpg|180px]]
| [[Файл:6_naive.jpg|180px]]
| [[Файл:6_final_res.png|180px]]
| [[Файл:6_final_res2.png|180px]]
|-
| [[Файл:10_target.jpg|180px]]
| [[Файл:10_naive.jpg|180px]]
| [[Файл:10_final_res.png|180px]]
| [[Файл:10_final_res2.png|180px]]
|}

===Более новые подходы===

* [https://arxiv.org/pdf/2006.00809.pdf Foreground-aware Semantic Representations for Image Harmonization]
* [https://arxiv.org/pdf/2009.09169.pdf BargainNet: Background-Guided Domain Translation for Image Harmonization]

==Глубокий блендинг==



Алгоритм глубокого блендинга состоит из двух этапов. На первом этапе на стилевое изображения $S$ бесшовно накладывается входное изображение $I$, получается подготовительное блендинг-изображение $B$. На втором этапе $B$ модифицируется таким образом, чтобы результат по стилю был похож на $S$.

Будем считать, что на вход подаются изображения, прошедшие предварительную обработку:
* Используемая для вставки часть $I$ вырезана с помощью маски.
* $M$ и $I$ выровнены относительно $S$.
* Размеры матриц, задающих $M, S, I$, совпадают.

'''Примеры входных данных:'''
{| class="wikitable" style="background-color:#FFF; text-align:center"
! '''Стилевое изображение $S$'''<ref name='ZWS20'/>
| [[Файл:Deep bl s1.png|150px]]
| [[Файл:Deep bl s2.png|150px]]
| [[Файл:Deep bl s3.png|150px]]
|-
! '''Накладываемое изображение $I$'''<ref name='ZWS20'/>
| [[Файл:Deep bl i1.png|150px]]
| [[Файл:Deep bl i2.png|150px]]
| [[Файл:Deep bl i3.png|150px]]
|}

{{Определение
|definition =
'''Простой вставкой''' (англ. ''copy and paste'') $CAP(M, S, I)$ будем назвать изображение, полученное наложением части изображения $I$, заданной маской $M$, на изображение $S$.
$CAP(M, S, I) = I \odot M + S \odot (1 - M)$, где $\odot$ {{---}} покомпонентное умножение. }}

{{Определение
|definition =
'''Дискретный оператор Лапласа''' (фильтр Лапласа) $\mathbf{D}^2$ {{---}} аналог непрерывного оператора Лапласа $\nabla^2$, который позволяет выделять контуры изображения (рисунки $7.1$ и $7.2$).
$$\mathbf{D}^2=\begin{bmatrix}0 & 1 & 0\\1 & -4 & 1\\0 & 1 & 0\end{bmatrix}.$$ }}
{| class="wikitable" style="float:right; clear:right;"
!Рисунок $7.1$: Исходное изображение<ref>https://en.wikipedia.org/wiki/Lenna#/media/File:Lenna_(test_image).png</ref>
!Рисунок $7.2$: Применение фильтра Лапласа
|-
| [[Файл:Lenna.png|220px]]
| [[Файл:Lenna_Laplacian_Neg.png|220px]]
|}

Для сохранения контуров изображений $S$ и $I$ в области вставки воспользуемся идеей из [[Блендинг изображений#Блендинг Пуассона|метода Пуассона]] и введём следующую функцию потерь<ref name='ZWS20'/>:
$$\mathcal{L}_{grad}(S, I, M, O) = \displaystyle\frac{1}{2HW}\displaystyle\sum_{m=1}^H \displaystyle\sum_{n=1}^W \left[ \mathbf{D}^2 B - \left(\mathbf{D}^2 S + \mathbf{D}^2 I\right) \right]^2_{mn},$$
где $H, W$ {{---}} высота и ширина изображений. $B = CAP(M, S, O)$ {{---}} блендинговое изображение, оптимизируемое относительно $O$.

Рассмотрим область $\overline{\Omega} = \{\;p \;| \;M_p = 0\; \}$. Заметим, что градиент $I$ в $\overline{\Omega}$ равен нулю. Тогда градиенты $S$ и $B$ совпадают, и задача минимизации $\mathcal{L}_{grad}$ решается только в области вставки.

На обоих этапах алгоритм минимизирует взвешенную сумму следующих функций потерь:
* $\mathcal{L}_{content}$ для сохранения содержания накладываемого изображения $I$.
* $\mathcal{L}_{style}$ для переноса стиля изображения $S$ на $I$.
* $\mathcal{L}_{hist}$ для стабилизации переноса стиля.
* $\mathcal{L}_{tv}$ для удаления шумов.
* $\mathcal{L}_{grad}$ для сохранения контуров фона и изображения.


Для подсчета $\mathcal{L}_{style}$ и $\mathcal{L}_{content}$ авторами статьи<ref name='ZWS20'>[https://openaccess.thecvf.com/content_WACV_2020/papers/Zhang_Deep_Image_Blending_WACV_2020_paper.pdf Deep Image Blending] Lingzhi Zhang, Tarmily Wen, Jianbo Shi (2020)</ref> использовалась сеть VGG-19<ref name="SZ14"/>, обученная на ImageNet<ref name="ImageNet">https://image-net.org/papers/imagenet_cvpr09.pdf J. Deng, W. Dong, R. Socher, L.-J. Li, K. Li, and L. FeiFei. Imagenet: A large-scale hierarchical image database</ref>.

=== Первый этап ===
На первом этапе изображение $I$ накладывается на фоновое изображение $S$ таким образом, чтобы были незаметны швы.
Построение начинается с белого шума $Z$, который оптимизируется в области вставки путем минимизации суммарной функции потерь $\mathcal{L}_{total}$, представленной взвешенной суммой всех функций потерь, описанных выше:
$$ \mathcal{L}_{total}(Z) = w_{grad}\mathcal{L}_{grad}(I, S, B) + w_{content}\mathcal{L}_{content}(I, M, Z) + w_{style}\mathcal{L}_{style}(S, B) + w_{tv}\mathcal{L}_{tv}(B) + w_{hist}\mathcal{L}_{hist}(S, B).$$
Для решения задачи минимизации авторы статьи<ref name='ZWS20' /> используют алгоритм L-BFGS<ref name="LBFGS">https://en.wikipedia.org/wiki/Limited-memory_BFGS Limited-memory BFGS - Wikipedia</ref>.

Отметим, что $\mathcal{L}_{content}$ зависит от маски и отвечает за сохранение содержания $I$ в области вставки.

Отличительной чертой этого этапа является использование функции потерь $\mathcal{L}_{grad}$, приближающей градиент результата к градиенту $I$ в области наложения, за счет чего достигается бесшовность.

В результате получается подготовительное блендинг-изображение $B$.


'''fun''' $SeamlessBlending$(
$I$, // Входное изображение 
$M$, // Маска 
$S$ // Стилевое изображение 
):
// Инициализируем первое приближение белым шумом 
$Z \leftarrow RandomNoise() $
$B \leftarrow CAP(M, S, Z)$
// Определим суммарную функцию потерь с весами слагаемых $w$
$\mathcal{L}_{total}(Z) \leftarrow w_{grad}\mathcal{L}_{grad}(I, S, B) + w_{content}\mathcal{L}_{content}(I, M, Z) + w_{style}\mathcal{L}_{style}(S, B) + w_{tv}\mathcal{L}_{tv}(B) + w_{hist}\mathcal{L}_{hist}(S, B)$
// С помощью алгоритма L-BFGS ищем изображение $Z$, которое минимизирует $\mathcal{L}_{total}$ 
$Z \leftarrow Reconstruct(\mathcal{L}_{total}, Z)$
'''return''' $CAP(M, S, Z)$


=== Второй этап ===

Второй этап алгоритма представляет собой модификацию полученного на первом этапе блендинг-изображения $B$ таким образом, чтобы стиль изображения был наиболее близок к стилю $S$.

В отличие от предыдущего этапа, функция потерь не включает в себя $\mathcal{L}_{grad}$:
$$\mathcal{L}_{total}(O) = w_{content}\mathcal{L}_{content}(B, O) + w_{style}\mathcal{L}_{style}(S, O) + w_{tv}\mathcal{L}_{tv}(O) + w_{hist}\mathcal{L}_{hist}(S, O).$$

Минимизация происходит относительно результата алгоритма $O$, который инициализируется изображением $B$.


'''fun''' $StyleRefinement$(
$B$, // Подготовительное блендинг-изображение, результат первого этапа 
$M$, // Маска 
$S$ // Стилевое изображение 
):
$O \leftarrow B$
// Определим суммарную функцию потерь с весами слагаемых $w$
$\mathcal{L}_{total}(O) \leftarrow w_{cont}\mathcal{L}_{content}(B, O) + w_{style}\mathcal{L}_{style}(S, O) + w_{tv}\mathcal{L}_{tv}(O) + w_{hist}\mathcal{L}_{hist}(S, O)$
// С помощью алгоритма L-BFGS ищем изображение $O$, которое минимизирует $\mathcal{L}_{total}$ 
$O \leftarrow Reconstruct(\mathcal{L}_{total}, O)$
'''return''' $O$


Примеры с [https://github.com/owenzlz/DeepImageBlending/tree/master/results Github авторов]:

{|
! После первого этапа
! После обоих этапов
|-
| [[Файл:1_first_pass.png|300px]]
| [[Файл:1_second_pass.png|300px]]
|-
| [[Файл:3_first_pass.png|300px]]
| [[Файл:3_second_pass.png|300px]]
|-
| [[Файл:5_first_pass.png|300px]]
| [[Файл:5_second_pass.png|300px]]
|}

===Детали реализации===
В статье использовались следующие значения коэффициентов:

{| class="wikitable"
|+ Веса функций потерь
|-
! Этап
! $w_{grad}$
! $w_{content}$
! $w_{style}$
! $w_{hist}$
! $w_{tv}$
|-
! $1$
| $10^5$
| $1$
| $10^5$
| $1$
| $10^{-6}$
|-
! $2$
| $0$
| $1$
| $10^7$
| $1$
| $10^{-6}$
|}

{| class="wikitable"
|+ Коэффициенты $\alpha$ и $\beta$
|-
! Параметр
! conv1_2
! conv2_2
! conv3_3
! conv4_3
|-
! $\alpha$
| $0$
| $1$
| $0$
| $0$
|-
! $\beta$
| $1/4$
| $1/4$
| $1/4$
| $1/4$
|}

На обоих этапах максимальное количество итераций алгоритма L-BFGS {{---}} $1000$.

=== Примеры ===
Примеры с [https://github.com/owenzlz/DeepImageBlending/tree/master/results Github авторов]:

[[Файл:МЛ блендинг пример.png|800px]]

==См. также==
* [[Neural_Style_Transfer|Neural Style Transfer]]
* [[Сверточные_нейронные_сети | Свёрточная нейронная сеть]]

==Источники информации==
* [https://en.wikipedia.org/wiki/Histogram_matching Histogram matching]
* Patrick Perez, Michel Gangnet, Andrew Blake (2003), [https://www.cs.jhu.edu/~misha/Fall07/Papers/Perez03.pdf Poisson Image Editing].

* Leon A. Gatys, Alexander S. Ecker, Matthias Bethge (2016), [https://rn-unison.github.io/articulos/style_transfer.pdf Image Style Transfer Using Convolutional Neural Networks]




* Fujun Luan, Sylvain Paris, Eli Shechtman, Kavita Bala (2018), [https://arxiv.org/pdf/1804.03189.pdf Deep Painterly Harmonization]
* Lingzhi Zhang, Tarmily Wen, Jianbo Shi (2020), [https://openaccess.thecvf.com/content_WACV_2020/papers/Zhang_Deep_Image_Blending_WACV_2020_paper.pdf Deep Image Blending]

==Примечания==

[[Категория: Машинное обучение]]
[[Категория: Нейронные сети]]
[[Категория: Сверточные нейронные сети]]

Блендинг изображений

2021-01-23T11:34:33Z

Npostnikova: /* Глубокая гармонизация картин */

Копирование элемента одного изображения и его вставка на другое изображение {{---}} один из наиболее используемых методов для создания графического контента. Простая вставка, как правило, бросается в глаза и делает результат похожим на коллаж, во многих случаях этот эффект является нежелательным.
{{Определение
|definition =
'''Блендинг изображений''' (англ. ''image blending'') {{---}} метод, позволяющий вставить часть одного изображения в другое таким образом, чтобы композиция изображений выглядела естественно, без швов на границах вставки. }}
Основная трудность задачи заключается в том, что естественность результата зависит не только от бесшовности наложения, но и от схожести цветов и текстуры вставляемого и фонового изображений.

{|
! Вставляемое изображение
! Фоновое изображение
! Простая вставка
! Желаемый результат
|-
| [[Файл:Diver bl diver.png|200px]]
| [[Файл:Diver bl sea.png|200px]]
| [[Файл:Diver bl2.png|200px]]
| [[Файл:Diver bl3.png|200px]]
|}

==Блендинг Пуассона==
[[Файл:Poisson int1.png|thumb|right|300px|Рисунок $1.1$: Пример перепада яркости при простой вставке<ref name='ZWS20'/>]]
[[Файл:Poisson int2.png|thumb|right|300px|Рисунок $1.2$: Результат применения блендинга Пуассона<ref name='ZWS20'/>]]

Простая вставка одного изображения поверх другого нередко влечет заметный перепад яркости на границе вставки (рисунок $1.1$). Метод Пуассона заключается в сглаживании этого перепада (рисунок $1.2$) с целью сделать дефект менее заметным, используя градиент вставляемого изображения и значения пикселей фонового изображения на границе вставки.

'''Замечание:''' Для RGB изображений задача минимизации решается для каждого цветового канала отдельно.

Давайте обозначим за $S$ изображение, которое служит фоном, а за $I$ {{---}} изображение, вставляемое поверх $S$. Область вставки будем задавать двоичной маской $M$, содержащей единицы в области наложения. Например:
{| class="wikitable" style="background-color:#FFF; text-align:center"
|-
! Фоновое изображение $S$
! Накладываемое изображение $I$
! Маска $M$
|-
| [[Файл:Poisson_cat.jpg|200px]]
| [[Файл:Poisson_cherry.jpg|200px]]
| [[Файл:Poisson_cherry_mask.png|200px]]
|}

=== Идея подхода ===
Пусть замкнутое множество $P \subset \mathbb{R}^2$ {{---}} область, на которой определено изображение $S$, а замкнутое множество $\Omega \subset P$ с границей $\partial\Omega$ и внутренностью $int(\Omega)$ {{---}} область вставки изображения $I$.

Пусть $f_S$ {{---}} скалярная функция, определенная на $P \setminus int(\Omega)$, задает фоновое изображение $S$; $f$ {{---}} неизвестная скалярная функция, определенная на $int(\Omega)$, задает, каким образом должно выглядеть результат блендинга в области вставки.

$v_I$ {{---}} векторное поле, определенное на $\Omega$. В качестве $v_I$ возьмем градиент вставляемого изображения $I$: $v_I = \nabla f_I$.

Нашей задачей является поиск такой функции $f$, чтобы блендинговое изображение выглядело реалистично. Для этого минимизируем разность градиента функции $f$ и векторного поля $v_I$, считая, что $f = f_S$ на границе $\Omega$.
$$
\underset{f}{\mathrm{min}} \underset{\Omega}{\iint} |\nabla f - v_I|^2, \text{где } f|_{\partial \Omega} = f_S|_{\partial \Omega}.
$$
Решение задачи минимизации является единственным решением уравнения Пуассона для граничных условий Дирихле.
$$\nabla^2 f = \nabla^2 f_I \text{ на } \Omega, f|_{\partial \Omega} = f_S|_{\partial \Omega}, \text{где } \nabla^2 \text{{{---}} оператор Лапласа.}$$

=== Дискретный случай ===
Пусть $p$ {{---}} координаты $(x, y)$ пикселя двухмерного изображения. За $Img_p$ обозначим значение пикселя с координатами $p$ изображения $Img$. Пусть $\Omega = \left\{ p\;|\;M_p = 1 \right\}$ {{---}} область, заданная маской $M$. Тогда $\partial \Omega$ {{---}} координаты границы вставляемой области, а $int(\Omega)$ {{---}} внутренность области.

Пусть $N_p$ {{---}} множество соседей $p$ (максимум четыре пикселя, имеющих общую границу с $p$, т.е. пиксели со следующими координатами: $(x + 1, y), (x - 1, y), (x, y + 1), (x, y - 1)$). Для всех пар $(p, q)$ таких, что $q \in N_p$, введем $v_{pq} = I_p - I_q$.

Введем переменные $O_p, p \in \Omega$. Так как мы хотим сделать результат бесшовным, пиксели $O_p, p \in \partial\Omega$, сделаем равными $S_p$. Для $p, q \in int(\Omega),\; q \in N_p$ постараемся найти такое $O$, чтобы разность $O_p$ и $O_q$ была близка к $v_{pq}$. Для этого решим задачу минимизации:

$$
\underset{O_p,\; p \in \Omega}{\mathrm{min}}\; \underset{p, q \in \Omega}{\sum}\; \left(O_p - O_q - v_{pq}\right)^2, \text{где } O_p = S_p, p \in \partial \Omega.
$$

Заметим, что функция, которую мы хотим минимизировать, квадратична относительно переменных $O_p, p \in int(\Omega)$. Для решения задачи минимизации вычислим частные производные по этим переменным и найдем значения переменных, при которых частные производные будут равны нулю.
$$\frac{\partial{\underset{p, q \in \Omega}{\sum}\; \left(O_p - O_q - v_{pq}\right)^2}}{\partial O_p} = \underset{q \in N_p}{\sum} 2 \left(O_p - O_q - v_{pq}\right) - \underset{q \in N_p}{\sum} 2 \left(O_q - O_p - v_{qp}\right) = 2 \underset{q \in N_p}{\sum} 2 \left(O_p - O_q - v_{pq}\right).$$

Приравнивая к нулю, получаем: $|N_p| O_p - \underset{q \in N_p}{\sum} O_q = \underset{q \in N_p}{\sum} v_{pq}$.

Добавим условие $O_p = S_p, p \in \partial \Omega$: $\;|N_p| O_p - \underset{q \in N_p \cap int(\Omega)}{\sum} O_q = \underset{q \in N_p \cap \partial \Omega}{\sum} S_q + \underset{q \in N_p}{\sum} v_{pq}$.

Для решения систем уравнений такого вида могут быть использованы итеративные алгоритмы Gauss-Seidel и V-cycle multigrid<ref name="PGB03">[https://www.cs.jhu.edu/~misha/Fall07/Papers/Perez03.pdf Poisson Image Editing] Patrick Perez, Michel Gangnet, Andrew Blake (2003)</ref>.

Получаем значения пикселей $O_p$, $p \in int(\Omega)$. Тогда результат $B$ блендинга Пуассона будет следующим:
$$
B_p =
\begin{cases}
O_p,\; \text{если } p \in int(\Omega) \\
S_p,\; \text{иначе }
\end{cases}.
$$

Mетод Пуассона сдвигает цвета накладываемого изображения, сохраняя свойства градиента (т.е. если пиксель $I_{p1}$ был меньше $I_{p2}$, то после преобразования $I_{p1}$ не станет больше $I_{p2}$), однако само значение градиета может получиться другим.<ref name='clear_poisson'>https://erkaman.github.io/posts/poisson_blending.html Poisson blending для самых маленьких</ref>

==Нейронный перенос стиля==
{{main|Neural Style Transfer}}
Прежде чем переходить к гармонизации картин, рассмотрим задачу нейронного переноса стиля с изображения $S$ на изображение $I$. Для этого используются выходы скрытых слоёв [[Сверточные нейронные сети | свёрточной нейронной сети]] VGG-19<ref name="SZ14">[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition] Karen Simonyan, Andrew Zisserman (2014)</ref> (конкретные слои указаны ниже в деталях реализации).

Основная идея генерации изображения {{---}} решение оптимизационной задачи $\mathcal{L}(I, S, O) \xrightarrow[O]{} min$, где $O$ {{---}} итоговое изображение, $\mathcal{L}(I, S, O)$ {{---}} [[Функция потерь и эмпирический риск | функция потерь]]. Такую задачу можно решать градиентным спуском в пространстве изображений используя [[обратное распространение ошибки | метод обратного распространения ошибки]].
{{Определение
|definition =
Пусть $F^l\left[I\right] \in \mathcal{R}^{N_l \times M_l}$ {{---}} матрица значений выхода $l$-го слоя сети на изображении $I$. Выход $l$-го слоя сети имеет размерность $N_l \times W_l \times H_l$. Представим его как матрицу $N_l \times M_l$, где $N_l$ {{---}} количество фильтров в $l$-ом слое, $M_l$ {{---}} количество признаков ($M_l = W_l H_l$). Тогда $F^l_{ij}\left[I\right]$ {{---}} $j$-ый признак $i$-го фильтра в $l$-ом слое. Столбец матрицы $F^l\left[I\right]$ размера $N_l$ назовём '''вектором активации'''.}}
{{Определение
|definition =
'''Матрица Грама''' (англ. ''Gram matrix'') {{---}} матрица попарных скалярных произведений.
$$G^l\left[S\right] \in \mathcal{R}^{N_l \times N_l},$$
$$G^l\left[S\right] = F^l\left[S\right]F^l\left[S\right]^T.$$}}

Далее рассмотренны функции потерь, которые мы будем использовать.

===Content loss===

$F^l\left[I\right]$ отражает содержание изображения. Мы хотим чтобы содержание результата было как можно ближе к исходной картинке. Введём для этого такую функцию потерь:
$$\mathcal{L}_{content}(I, O) = \displaystyle\sum_l \frac{\alpha_l}{2 N_l M_l}\displaystyle\sum_{i, j} \left(F^l_{ij}\left[I\right] - F^l_{ij}\left[O\right]\right)^2,$$
где $\alpha_l$ {{---}} вклад $l$-го слоя в функцию потерь.

===Style loss===

$G^l\left[S\right]$ отражает статистику выходов фильтров независимо от их расположения, что, в свою очередь, отражает стиль изображения. Чтобы стиль результата был похож на стилевое изображение, введём следующую функцию потерь:
$$\mathcal{L}_{style}(S, O) = \displaystyle\sum_l \frac{\beta_l}{2N_l^2} \displaystyle\sum_{i, j} \left(G^l_{ij}\left[S\right] - G^l_{ij}\left[O\right]\right)^2,$$
где $\beta_l$ {{---}} вклад $l$-го слоя в функцию потерь.

===Gatys' loss===

Скомбинируем $\mathcal{L}_{content}$ и $\mathcal{L}_{style}$ и получим функцию потерь, которая была использована в алгоритме Гатиса<ref name="GEB16">[https://rn-unison.github.io/articulos/style_transfer.pdf Image Style Transfer Using Convolutional Neural Networks] Leon A. Gatys, Alexander S. Ecker, Matthias Bethge (2016)</ref>:
$$\mathcal{L}_{Gatys}(I, S, O) = \mathcal{L}_{content}(I, O) + w_{style}\mathcal{L}_{style}(S, O).$$
Вес $w_{style}$, векторы $\alpha$ и $\beta$ являются, в некотором смысле, гиперпараметрами алгоритма, которые мы выберем позднее.

===Histogram Loss===

Авторы другой статьи<ref name="WRB17">[https://arxiv.org/pdf/1701.08893.pdf Stable and Controllable Neural Texture Synthesis and Style Transfer Using Histogram Losses] Eric Risser, Pierre Wilmot, Connelly Barnes (2017)</ref> показывают, что результаты, полученные с помощью $\mathcal{L}_{Gatys}$ нестабильны и предложили учитывать ещё одну функцию потерь, основанную на '''сопоставлении гистограмм'''.
{{Определение
|definition =
'''Сопоставление гистограмм''' (англ. ''Histogram matching'') {{---}} метод обработки изображения, после которого гистограмма изображения совпадает с целевой гистограммой<ref name="HistMatch">https://en.wikipedia.org/wiki/Histogram_matching</ref>.}}
Пусть $R = histmatch(S, O)$ {{---}} отображение пикселей такое, что гистограмма $S$ совпадает с гистограммой $R(O)$, тогда Histogram loss будет выглядеть так:
$$\mathcal{L}_{hist}(S, O) = \displaystyle\sum_l \gamma_l \displaystyle\sum_{i, j} \left(F^l_{ij}\left[O\right] - R\left(F^l_{ij}\left[O\right]\right)\right)^2,$$
где $\gamma_l$ {{---}} вклад $l$-го слоя в функцию потерь.

'''Замечание:''' Если в случае остальных функций потерь нетрудно посчитать производную, то здесь могут возникнуть проблемы. Но поскольку $\displaystyle\frac{\partial \mathcal{L}_{hist}}{\partial F^l_{ij}\left[O\right]}$ является нулём почти везде, авторы предлагают при подсчёте производной считать $R\left(F^l_{ij}\left[O\right]\right)$ константой, которая не зависит от $O$.

===Total variation loss===

Также добавим ещё одну функцию потерь, которая удаляет шумы, при этом сохраняя важные детали изображения<ref name="MV15">[https://arxiv.org/pdf/1412.0035.pdf Understanding Deep Image Representations by Inverting Them] Aravindh Mahendran, Andrea Vedaldi (2015)</ref><ref name="JAFF16">[https://arxiv.org/pdf/1603.08155.pdf Perceptual Losses for Real-Time Style Transfer and Super-Resolution] Justin Johnson, Alexandre Alahi, Li Fei-Fei (2016)</ref>:

$$\mathcal{L}_{tv}(O) = \displaystyle\sum_{i, j} \left(O^l_{i, j} - O^l_{i-1, j}\right)^2 + \left(O^l_{i, j} - O^l_{i, j-1}\right)^2.$$

==Глубокая гармонизация картин==

Для того чтобы вставить изображение в картину или рисунок нужно не только сделать бесшовный переход и изменить цвета, но ещё и изменить текстуру вставляемого изображения, например, сымитировать мазки кистью (рисунок $2$). Используем для этого комбинацию подходов из других статей<ref name="GEB16"/><ref name="JAFF16"/><ref name="WRB17"/>.

<div class="oo-ui-panelLayout-scrollable" style="display: block; vertical-align:middle; height: auto; max-width: auto; float: center">[[Файл:LPSB18_Figure_1.png|750px|thumb|center|Рисунок $2$: Пример работы алгоритма ''Deep Image Analogy''<ref name="LYY*17">[https://arxiv.org/pdf/1705.01088.pdf Visual Attribute Transfer through Deep Image Analogy] Jing Liao, Yuan Yao, Lu Yuan, Gang Hua, Sing Bing Kang (2017)</ref> ($3$ картинка) и ''Deep Painterly Harmonization''<ref name="LPSB18"/> ($4$ картинка)]]</div>
Алгоритм состоит из двух проходов. Первый проход делает грубую гармонизацию, а второй {{---}} более тщательную. Отличаются они '''стилевым маппингом''' и функциями потерь<ref name="LPSB18">https://arxiv.org/pdf/1804.03189.pdf Fujun Luan, Sylvain Paris, Eli Shechtman, Kavita Bala (2018)</ref>.

{{Определение
|definition =
'''Стилевым маппингом''' назовём отображение $P : \mathcal{R}^{N_l \times M_l} \rightarrow \mathcal{R}^{N_l \times M_l}$, которое некоторым образом переставляет столбцы матрицы (не обязательно обратимо, то есть столбцы могут теряться и копироваться). Более формально, пусть $p(j)$ {{---}} новая позиция столбца $j$, тогда $P(Q)_{i, p(j)} = Q_{ij}$.}}

Один проход состоит из $3$ частей:
# Входное $I$ и стилевое $S$ изображения подаются на вход нейронной сети VGG-19, так мы получаем $F^l_{ij}\left[I\right]$ и $F^l_{ij}\left[S\right]$.
# Для каждого слоя $l$ некоторым алгоритмом $\pi$ cтроится стилевой маппинг $P_l$, который сопоставляет столбцам из $F_l[I]$ столбцы из $F_l[S]$.
# Изображение $O$ восстанавливается градиентным спуском по пространству изображений с использованием функции потерь $\mathcal{L}$.

'''fun''' $SinglePassHarmonization$(
$I$,// Входное изображение 
$M$,// Маска 
$S$,// Стилевое изображение 
$\pi$,// Алгоритм построения стилевого маппинга 
$\mathcal{L}$// Функция потерь 
):
// Строим матрицы $F[I]$ и $F[S]$ с помощью свёрточной сети VGG-19 
$F[I] \leftarrow ComputeNeuralActivations(I)$
$F[S] \leftarrow ComputeNeuralActivations(S)$
// Строим стилевой маппинг 
$P \leftarrow \pi(F[I], M, F[S])$
// Градиентным спуском ищем изображение $O$, которое минимизирует $\mathcal{L}$ 
$O \leftarrow Reconstruct(I, M, S, P, \mathcal{L})$
'''return''' $O$


===Первый проход===

{{Определение
|definition =
'''Патчем''' (англ. ''patch'') для столбца $j$ будем называть тензор $3 \times 3 \times N_l$, который состоит из соседних векторов активации в тензоре выхода свёрточного слоя, с центром в $(x, y)$, где $j = y W_l + x$.}}

<div class="tright" style="clear:none">[[Файл:LPSB18_Figure_2c.png|250px|thumb|none|Рисунок $3.2$: Результаты после второго прохода<ref name="WRB17"/>]]</div>
<div class="tright" style="clear:none">[[Файл:LPSB18_Figure_2b.png|250px|thumb|none|Рисунок $3.1$: Результаты после первого прохода<ref name="WRB17"/>]]</div>

Первый проход делает грубую гармонизацию, но при этом он хорошо работает с любыми стилями (рисунок $3.1$). Здесь используется алгоритм $IndependentMapping$ для построения стилевого маппинга. Этот алгоритм для каждого столбца $j$ в $F_l[I]$ ищет столбец $p(j)$ в $F_l[S]$, такой что евклидово расстояние между патчем $F_l[I]$ с центром $j$ и патчем $F_l[S]$ с центром $p(j)$ минимально (метод ближайшего соседа).


'''fun''' $IndependentMapping$(
$F[I]$,// Выходы слоёв после входного изображения 
$Mask$,// Маска 
$F[S]$// Выходы слоёв после стилевого изображения 
):
// Для всех слоёв от $1$ до $L$ 
'''for''' $l \in [1 : L]$:
// Для всех столбцов от $1$ до $M_l$ 
'''for''' $j \in [1 : M_l]$:
// Рассматриваем патчи только внутри маски, которую нужно масштабировать в соответсвии с размером слоя $l$ 
'''if''' $j \in Resize(Mask, l)$:
// Берём самый похожий стилевой патч и записываем его в маппинг. 
$P_l(j) \leftarrow NearestNeighborIndex(F[I], j, F[S])$
'''return''' $P$


В первом проходе используется модифицированная функция потерь $\mathcal{L}_{Gatys}$, с тем лишь отличием, что в $\mathcal{L}_{style}$ к $F_l[S]$ применяется стилевой маппинг $P_l$:

$$\mathcal{L}_1(I, S, O, P) = \mathcal{L}_{content}(I, O) + w_{style}\mathcal{L}_{style}(S, O, P).$$

'''Замечание:''' при посчёте градиента $\mathcal{L}_{content}$ используются только пиксели внутри маски<ref>https://github.com/luanfujun/deep-painterly-harmonization/blob/a33a9a70366b6baff1cc0291f857b5895b271fc1/neural_gram.lua#L349</ref>.

===Второй проход===

[[Файл:LPSB18_Figure_5c.png|thumb|right|250px|Рисунок $4.1$: Только первый проход<ref name="WRB17"/>]]
[[Файл:LPSB18_Figure_5d.png|thumb|right|250px|Рисунок $4.2$: Только второй проход<ref name="WRB17"/>]]
[[Файл:LPSB18_Figure_5f.png|thumb|right|250px|Рисунок $4.3$: Результат с $\mathcal{L}_{style}$ вместо $\mathcal{L}_{s1}$<ref name="WRB17"/>]]
[[Файл:LPSB18_Figure_5g.png|thumb|right|250px|Рисунок $4.4$: Оба прохода<ref name="WRB17"/>]]
[[Файл:LPSB18_Figure_5h.png|thumb|right|250px|Рисунок $4.5$: Финальный результат<ref name="WRB17"/>]]

Второй проход делает более качественную гармонизацию после первого прохода (рисунок $3.2$). Здесь мы будем использовать более сложный алгоритм $ConsistentMapping$ построения стилевого маппинга и более сложную функцию потерь. Суть этого алгоритма в том, чтобы найти стилевой мапинг на некотором слое $l_{ref}$ и перенести этот маппинг на остальные слои. Также, мы будем предпочитать маппинги, в которых смежные патчи в $F_l[S]$ остаются смежными после мапинга, чтобы обеспечить пространсвенную согласованность (таким образом мы хотим переносить сложные текстуры более качественно, например, мазки кистью). Если применять второй проход сразу, то результаты получаются хуже (рисунок $4.2$).


'''fun''' $ConsistentMapping$(
$F[I]$,// Выходы слоёв после входного изображения 
$Mask$,// Маска 
$F[S]$// Выходы слоёв после стилевого изображения 
):
// Сначала посчитаем маппинг как в IndependentMapping только для слоя $l_{ref}$ 
'''for''' $j \in [1 : M_{l_{ref}}]$:
'''if''' $j \in Resize(Mask, l_{ref})$:
$P_0(j) \leftarrow NearestNeighborIndex(F[I], j, F[S])$

// Далее обеспечиваем пространсвенную согласованность 
'''for''' $j \in [1 : M_{l_{ref}}]$:
'''if''' $j \in Resize(Mask, l_{ref})$:
$q \leftarrow P_0(j)$
// Инициализируем множество кандидатов на новый маппинг 
$CSet \leftarrow \{q\}$
// Перебираем все смежные патчи 
'''for''' $o \in \left\{N, NE, E, SE, S, SW, W, NW\right\}$:
// Добавляем в кандидаты патч, сосед которого является маппингом для нашего соседа в соответсвующем направлении 
$CSet \leftarrow CSet \cup \left\{P_0(j + o) - o\right\}$
// Среди всех кандидатов выбираем тот, который ближе всего к маппингам наших соседей 
$P_{l_{ref}}(j) \leftarrow \underset{c \in CSet}{\mathrm{argmin}}\displaystyle\sum_o \left\|(F_{l_{ref}}[S]_c - F_{l_{ref}}[S]_{P_0(j + o)}\right\|^2$

// Теперь нужно перенести маппинг для $l_{ref}$ на остальные слои 
'''for''' $l \in [1 : L] \setminus \{l_{ref}\}$:
'''for''' $j \in [1 : M_l]$:
'''if''' $j \in Resize(Mask, l)$:
// Вычисляем позицию $j'$ на слое $l_{ref}$ соответствующую позиции $j$ на слое $l$
$j' \leftarrow ChangeResolution(l, l_{ref}, j)$
// Берём маппинг для позиции $j'$
$q \leftarrow P_{l_{ref}}(j')$
// Переносим позицию $q$ обратно на слой $l$
$P_l(j) \leftarrow ChangeResolution(l_{ref}, l, q)$
'''return''' $P$


При вычислении стилевого маппинга появляется очень много дублирующихся векторов, что даёт не очень хорошие результаты (рисунок $4.3$). Поэтому при вычислении матрицы Грама выкинем повторяющиеся векторы. Назовём функцию потерь с такой модификацией $\mathcal{L}_{s1}$.

$$\mathcal{L}_2(I, S, O, P) = \mathcal{L}_{content}(I, O) + w_{style}\mathcal{L}_{s1}(S, O, P) + w_{hist}\mathcal{L}_{hist}(S, O) + w_{tv}\mathcal{L}_{tv}(O),$$
где $w_{style}, w_{hist}, w_{tv}$ {{---}} веса соответсвующих функций потерь.



===Итоговый алгоритм===

Теперь осталось запустить две стадии:


'''fun''' $Harmonization$(
$I$,// Входное изображение 
$Mask$,// Маска 
$S$// Стилевое изображение 
):
// Грубый проход алгоритма. Каждый слой рассматривается отдельно при построении стилевого маппинга. 
$I' \leftarrow SinglePassHarmonization(I, Mask, S, IndependentMapping, \mathcal{L}_1)$
// Улучшение результата. Стилевой маппинг строится консистентно для всех слоёв. 
$O \leftarrow SinglePassHarmonization(I', Mask, S, ConsistentMapping, \mathcal{L}_2)$
'''return''' $O$


===Постобработка===

[[Файл:LPSB18_Figure_6abc.png|400px|thumb|right|Рисунок $5$: Результат постобработки (без постобработки, после первой стадии, после второй стадии)<ref name="WRB17"/>]]

Описанный алгоритм даёт хорошие результаты в целом, но при ближайшем рассмотрении могут быть артефакты (рисунок $5$). Поэтому сделаем двухступенчатую постобработку (подробное описание есть в оригинальной статье<ref name="LPSB18"/>):
# Переведём изображение в цветовое пространство [https://en.wikipedia.org/wiki/CIELAB_color_space $L*\alpha*\beta$] и применим [https://en.wikipedia.org/wiki/Guided_filter Guided filter] для a и b каналов.
# С помощью алгоритма PatchMatch<ref name="BSFG09">https://www.researchgate.net/profile/Eli_Shechtman/publication/220184392_PatchMatch_A_Randomized_Correspondence_Algorithm_for_Structural_Image_Editing/links/02e7e520897b12bf0f000000.pdf Connelly Barnes, Eli Shechtman, Adam Finkelstein, Dan B Goldman (2009)</ref> и того же Guided filter делаем так, чтобы все патчи выходного изображения присутсвовали в стилевом (чтобы не было новых объектов или структур).

===Детали реализации===

[[Файл:LPSB18_Figure_4.png|400px|thumb|right|Рисунок $6$: Влияние $l_{ref}$ на результат<ref name="WRB17"/>]]

Возьмём $l_{ref}$ = conv4_1 (что будет если использовать другие слои видно на рисунке $6$).
Выберем следующие веса для слоёв:

{| class="wikitable"
|+ Первый проход
|-
! Параметр
! conv1_1
! conv2_1
! conv3_1
! conv4_1
! conv5_1
|-
! $\alpha$
| $0$
| $0$
| $0$
| $1$
| $0$
|-
! $\beta$
| $0$
| $0$
| $1/3$
| $1/3$
| $1/3$
|}

{| class="wikitable"
|+ Второй проход
|-
! Параметр
! conv1_1
! conv2_1
! conv3_1
! conv4_1
! conv5_1
|-
! $\alpha$
| $0$
| $0$
| $0$
| $1$
| $0$
|-
! $\beta$
| $1/4$
| $1/4$
| $1/4$
| $1/4$
| $0$
|-
! $\gamma$
| $1/2$
| $0$
| $0$
| $1/2$
| $0$
|}


Введём гиперпараметр $\tau$ и возьмём $w_{style} = w_{hist} = \tau$, $w_{tv} = \tau\frac{10}{1 + \exp(10^4 * noise(S) - 25)}$, где $noise(S) = \underset{i,j}{\mathrm{med}}\left\{\left(O^l_{i, j} - O^l_{i-1, j}\right)^2 + \left(O^l_{i, j} - O^l_{i, j-1}\right)^2\right\}$<ref>[https://github.com/luanfujun/deep-painterly-harmonization/blob/a33a9a70366b6baff1cc0291f857b5895b271fc1/neural_paint.lua#L470 код функции $noise$.</ref>.

Для того чтобы подбирать $\tau$ авторы статьи использовали классификатор стилей изображений. Они взяли VGG-19, обучили её классифицировать $18$ различных стилей. Эти стили были разделены на $3$ категории с разными $\tau$. Используя $Softmax$ можно интерполировать необходимый $\tau$ по следующей таблице:

{| class="wikitable"
|-
! Категория стиля
! Примеры стилей
! $\tau$
|-
! Слабый
| Барокко, Высокое Возрождение
| $1$
|-
! Средний
| Абстрактное Искусство, Постимпрессионизм
| $5$
|-
! Сильный
| Кубизм, Экспрессионизм
| $10$
|}

На рисунке $4.4$ результат алгоритма без подбора гиперпараметров. Видно, что самолёт ярче, чем остальное изображение. С подбором параметров получается более естественный результат (рисунок $4.5$).

===Примеры===
Примеры взяты с [https://github.com/luanfujun/deep-painterly-harmonization/tree/master/results Github авторов].

{|
! Исходное изображение
! Простая вставка
! Результат
! Постобработка
|-
| [[Файл:5_target.jpg|200px]]
| [[Файл:5_naive.jpg|200px]]
| [[Файл:5_final_res.png|200px]]
| [[Файл:5_final_res2.png|200px]]
|-
| [[Файл:6_target.jpg|200px]]
| [[Файл:6_naive.jpg|200px]]
| [[Файл:6_final_res.png|200px]]
| [[Файл:6_final_res2.png|200px]]
|-
| [[Файл:10_target.jpg|200px]]
| [[Файл:10_naive.jpg|200px]]
| [[Файл:10_final_res.png|200px]]
| [[Файл:10_final_res2.png|200px]]
|}

===Более новые подходы===

* [https://arxiv.org/pdf/2006.00809.pdf Foreground-aware Semantic Representations for Image Harmonization]
* [https://arxiv.org/pdf/2009.09169.pdf BargainNet: Background-Guided Domain Translation for Image Harmonization]

==Глубокий блендинг==



Алгоритм глубокого блендинга состоит из двух этапов. На первом этапе на стилевое изображения $S$ бесшовно накладывается входное изображение $I$, получается подготовительное блендинг-изображение $B$. На втором этапе $B$ модифицируется таким образом, чтобы результат по стилю был похож на $S$.

Будем считать, что на вход подаются изображения, прошедшие предварительную обработку:
* Используемая для вставки часть $I$ вырезана с помощью маски.
* $M$ и $I$ выровнены относительно $S$.
* Размеры матриц, задающих $M, S, I$, совпадают.

'''Примеры входных данных:'''
{| class="wikitable" style="background-color:#FFF; text-align:center"
! '''Стилевое изображение $S$'''<ref name='ZWS20'/>
| [[Файл:Deep bl s1.png|150px]]
| [[Файл:Deep bl s2.png|150px]]
| [[Файл:Deep bl s3.png|150px]]
|-
! '''Накладываемое изображение $I$'''<ref name='ZWS20'/>
| [[Файл:Deep bl i1.png|150px]]
| [[Файл:Deep bl i2.png|150px]]
| [[Файл:Deep bl i3.png|150px]]
|}

{{Определение
|definition =
'''Простой вставкой''' (англ. ''copy and paste'') $CAP(M, S, I)$ будем назвать изображение, полученное наложением части изображения $I$, заданной маской $M$, на изображение $S$.
$CAP(M, S, I) = I \odot M + S \odot (1 - M)$, где $\odot$ {{---}} покомпонентное умножение. }}

{{Определение
|definition =
'''Дискретный оператор Лапласа''' (фильтр Лапласа) $\mathbf{D}^2$ {{---}} аналог непрерывного оператора Лапласа $\nabla^2$, который позволяет выделять контуры изображения (рисунки $7.1$ и $7.2$).
$$\mathbf{D}^2=\begin{bmatrix}0 & 1 & 0\\1 & -4 & 1\\0 & 1 & 0\end{bmatrix}.$$ }}
{| class="wikitable" style="float:right; clear:right;"
!Рисунок $7.1$: Исходное изображение<ref>https://en.wikipedia.org/wiki/Lenna#/media/File:Lenna_(test_image).png</ref>
!Рисунок $7.2$: Применение фильтра Лапласа
|-
| [[Файл:Lenna.png|220px]]
| [[Файл:Lenna_Laplacian_Neg.png|220px]]
|}

Для сохранения контуров изображений $S$ и $I$ в области вставки воспользуемся идеей из [[Блендинг изображений#Блендинг Пуассона|метода Пуассона]] и введём следующую функцию потерь<ref name='ZWS20'/>:
$$\mathcal{L}_{grad}(S, I, M, O) = \displaystyle\frac{1}{2HW}\displaystyle\sum_{m=1}^H \displaystyle\sum_{n=1}^W \left[ \mathbf{D}^2 B - \left(\mathbf{D}^2 S + \mathbf{D}^2 I\right) \right]^2_{mn},$$
где $H, W$ {{---}} высота и ширина изображений. $B = CAP(M, S, O)$ {{---}} блендинговое изображение, оптимизируемое относительно $O$.

Рассмотрим область $\overline{\Omega} = \{\;p \;| \;M_p = 0\; \}$. Заметим, что градиент $I$ в $\overline{\Omega}$ равен нулю. Тогда градиенты $S$ и $B$ совпадают, и задача минимизации $\mathcal{L}_{grad}$ решается только в области вставки.

На обоих этапах алгоритм минимизирует взвешенную сумму следующих функций потерь:
* $\mathcal{L}_{content}$ для сохранения содержания накладываемого изображения $I$.
* $\mathcal{L}_{style}$ для переноса стиля изображения $S$ на $I$.
* $\mathcal{L}_{hist}$ для стабилизации переноса стиля.
* $\mathcal{L}_{tv}$ для удаления шумов.
* $\mathcal{L}_{grad}$ для сохранения контуров фона и изображения.


Для подсчета $\mathcal{L}_{style}$ и $\mathcal{L}_{content}$ авторами статьи<ref name='ZWS20'>[https://openaccess.thecvf.com/content_WACV_2020/papers/Zhang_Deep_Image_Blending_WACV_2020_paper.pdf Deep Image Blending] Lingzhi Zhang, Tarmily Wen, Jianbo Shi (2020)</ref> использовалась сеть VGG-19<ref name="SZ14"/>, обученная на ImageNet<ref name="ImageNet">https://image-net.org/papers/imagenet_cvpr09.pdf J. Deng, W. Dong, R. Socher, L.-J. Li, K. Li, and L. FeiFei. Imagenet: A large-scale hierarchical image database</ref>.

=== Первый этап ===
На первом этапе изображение $I$ накладывается на фоновое изображение $S$ таким образом, чтобы были незаметны швы.
Построение начинается с белого шума $Z$, который оптимизируется в области вставки путем минимизации суммарной функции потерь $\mathcal{L}_{total}$, представленной взвешенной суммой всех функций потерь, описанных выше:
$$ \mathcal{L}_{total}(Z) = w_{grad}\mathcal{L}_{grad}(I, S, B) + w_{content}\mathcal{L}_{content}(I, M, Z) + w_{style}\mathcal{L}_{style}(S, B) + w_{tv}\mathcal{L}_{tv}(B) + w_{hist}\mathcal{L}_{hist}(S, B).$$
Для решения задачи минимизации авторы статьи<ref name='ZWS20' /> используют алгоритм L-BFGS<ref name="LBFGS">https://en.wikipedia.org/wiki/Limited-memory_BFGS Limited-memory BFGS - Wikipedia</ref>.

Отметим, что $\mathcal{L}_{content}$ зависит от маски и отвечает за сохранение содержания $I$ в области вставки.

Отличительной чертой этого этапа является использование функции потерь $\mathcal{L}_{grad}$, приближающей градиент результата к градиенту $I$ в области наложения, за счет чего достигается бесшовность.

В результате получается подготовительное блендинг-изображение $B$.


'''fun''' $SeamlessBlending$(
$I$, // Входное изображение 
$M$, // Маска 
$S$ // Стилевое изображение 
):
// Инициализируем первое приближение белым шумом 
$Z \leftarrow RandomNoise() $
$B \leftarrow CAP(M, S, Z)$
// Определим суммарную функцию потерь с весами слагаемых $w$
$\mathcal{L}_{total}(Z) \leftarrow w_{grad}\mathcal{L}_{grad}(I, S, B) + w_{content}\mathcal{L}_{content}(I, M, Z) + w_{style}\mathcal{L}_{style}(S, B) + w_{tv}\mathcal{L}_{tv}(B) + w_{hist}\mathcal{L}_{hist}(S, B)$
// С помощью алгоритма L-BFGS ищем изображение $Z$, которое минимизирует $\mathcal{L}_{total}$ 
$Z \leftarrow Reconstruct(\mathcal{L}_{total}, Z)$
'''return''' $CAP(M, S, Z)$


=== Второй этап ===

Второй этап алгоритма представляет собой модификацию полученного на первом этапе блендинг-изображения $B$ таким образом, чтобы стиль изображения был наиболее близок к стилю $S$.

В отличие от предыдущего этапа, функция потерь не включает в себя $\mathcal{L}_{grad}$:
$$\mathcal{L}_{total}(O) = w_{content}\mathcal{L}_{content}(B, O) + w_{style}\mathcal{L}_{style}(S, O) + w_{tv}\mathcal{L}_{tv}(O) + w_{hist}\mathcal{L}_{hist}(S, O).$$

Минимизация происходит относительно результата алгоритма $O$, который инициализируется изображением $B$.


'''fun''' $StyleRefinement$(
$B$, // Подготовительное блендинг-изображение, результат первого этапа 
$M$, // Маска 
$S$ // Стилевое изображение 
):
$O \leftarrow B$
// Определим суммарную функцию потерь с весами слагаемых $w$
$\mathcal{L}_{total}(O) \leftarrow w_{cont}\mathcal{L}_{content}(B, O) + w_{style}\mathcal{L}_{style}(S, O) + w_{tv}\mathcal{L}_{tv}(O) + w_{hist}\mathcal{L}_{hist}(S, O)$
// С помощью алгоритма L-BFGS ищем изображение $O$, которое минимизирует $\mathcal{L}_{total}$ 
$O \leftarrow Reconstruct(\mathcal{L}_{total}, O)$
'''return''' $O$


Примеры с [https://github.com/owenzlz/DeepImageBlending/tree/master/results Github авторов]:

{|
! После первого этапа
! После обоих этапов
|-
| [[Файл:1_first_pass.png|300px]]
| [[Файл:1_second_pass.png|300px]]
|-
| [[Файл:3_first_pass.png|300px]]
| [[Файл:3_second_pass.png|300px]]
|-
| [[Файл:5_first_pass.png|300px]]
| [[Файл:5_second_pass.png|300px]]
|}

===Детали реализации===
В статье использовались следующие значения коэффициентов:

{| class="wikitable"
|+ Веса функций потерь
|-
! Этап
! $w_{grad}$
! $w_{content}$
! $w_{style}$
! $w_{hist}$
! $w_{tv}$
|-
! $1$
| $10^5$
| $1$
| $10^5$
| $1$
| $10^{-6}$
|-
! $2$
| $0$
| $1$
| $10^7$
| $1$
| $10^{-6}$
|}

{| class="wikitable"
|+ Коэффициенты $\alpha$ и $\beta$
|-
! Параметр
! conv1_2
! conv2_2
! conv3_3
! conv4_3
|-
! $\alpha$
| $0$
| $1$
| $0$
| $0$
|-
! $\beta$
| $1/4$
| $1/4$
| $1/4$
| $1/4$
|}

На обоих этапах максимальное количество итераций алгоритма L-BFGS {{---}} $1000$.

=== Примеры ===
Примеры с [https://github.com/owenzlz/DeepImageBlending/tree/master/results Github авторов]:

[[Файл:МЛ блендинг пример.png|1000px]]

==См. также==
* [[Neural_Style_Transfer|Neural Style Transfer]]
* [[Сверточные_нейронные_сети | Свёрточная нейронная сеть]]

==Источники информации==
* [https://en.wikipedia.org/wiki/Histogram_matching Histogram matching]
* Patrick Perez, Michel Gangnet, Andrew Blake (2003), [https://www.cs.jhu.edu/~misha/Fall07/Papers/Perez03.pdf Poisson Image Editing].

* Leon A. Gatys, Alexander S. Ecker, Matthias Bethge (2016), [https://rn-unison.github.io/articulos/style_transfer.pdf Image Style Transfer Using Convolutional Neural Networks]




* Fujun Luan, Sylvain Paris, Eli Shechtman, Kavita Bala (2018), [https://arxiv.org/pdf/1804.03189.pdf Deep Painterly Harmonization]
* Lingzhi Zhang, Tarmily Wen, Jianbo Shi (2020), [https://openaccess.thecvf.com/content_WACV_2020/papers/Zhang_Deep_Image_Blending_WACV_2020_paper.pdf Deep Image Blending]

==Примечания==

[[Категория: Машинное обучение]]
[[Категория: Нейронные сети]]
[[Категория: Сверточные нейронные сети]]

Блендинг изображений

2021-01-23T11:00:38Z

Npostnikova: Рис сделать рисунком

Копирование элемента одного изображения и его вставка на другое изображение {{---}} один из наиболее используемых методов для создания графического контента. Простая вставка, как правило, бросается в глаза и делает результат похожим на коллаж, во многих случаях этот эффект является нежелательным.
{{Определение
|definition =
'''Блендинг изображений''' (англ. ''image blending'') {{---}} метод, позволяющий вставить часть одного изображения в другое таким образом, чтобы композиция изображений выглядела естественно, без швов на границах вставки. }}
Основная трудность задачи заключается в том, что естественность результата зависит не только от бесшовности наложения, но и от схожести цветов и текстуры вставляемого и фонового изображений.

{|
! Вставляемое изображение
! Фоновое изображение
! Простая вставка
! Желаемый результат
|-
| [[Файл:Diver bl diver.png|200px]]
| [[Файл:Diver bl sea.png|200px]]
| [[Файл:Diver bl2.png|200px]]
| [[Файл:Diver bl3.png|200px]]
|}

==Блендинг Пуассона==
[[Файл:Poisson int1.png|thumb|right|300px|Рисунок $1.1$: Пример перепада яркости при простой вставке<ref name='ZWS20'/>]]
[[Файл:Poisson int2.png|thumb|right|300px|Рисунок $1.2$: Результат применения блендинга Пуассона<ref name='ZWS20'/>]]

Простая вставка одного изображения поверх другого нередко влечет заметный перепад яркости на границе вставки (рисунок $1.1$). Метод Пуассона заключается в сглаживании этого перепада (рисунок $1.2$) с целью сделать дефект менее заметным, используя градиент вставляемого изображения и значения пикселей фонового изображения на границе вставки.

'''Замечание:''' Для RGB изображений задача минимизации решается для каждого цветового канала отдельно.

Давайте обозначим за $S$ изображение, которое служит фоном, а за $I$ {{---}} изображение, вставляемое поверх $S$. Область вставки будем задавать двоичной маской $M$, содержащей единицы в области наложения. Например:
{| class="wikitable" style="background-color:#FFF; text-align:center"
|-
! Фоновое изображение $S$
! Накладываемое изображение $I$
! Маска $M$
|-
| [[Файл:Poisson_cat.jpg|200px]]
| [[Файл:Poisson_cherry.jpg|200px]]
| [[Файл:Poisson_cherry_mask.png|200px]]
|}

=== Идея подхода ===
Пусть замкнутое множество $P \subset \mathbb{R}^2$ {{---}} область, на которой определено изображение $S$, а замкнутое множество $\Omega \subset P$ с границей $\partial\Omega$ и внутренностью $int(\Omega)$ {{---}} область вставки изображения $I$.

Пусть $f_S$ {{---}} скалярная функция, определенная на $P \setminus int(\Omega)$, задает фоновое изображение $S$; $f$ {{---}} неизвестная скалярная функция, определенная на $int(\Omega)$, задает, каким образом должно выглядеть результат блендинга в области вставки.

$v_I$ {{---}} векторное поле, определенное на $\Omega$. В качестве $v_I$ возьмем градиент вставляемого изображения $I$: $v_I = \nabla f_I$.

Нашей задачей является поиск такой функции $f$, чтобы блендинговое изображение выглядело реалистично. Для этого минимизируем разность градиента функции $f$ и векторного поля $v_I$, считая, что $f = f_S$ на границе $\Omega$.
$$
\underset{f}{\mathrm{min}} \underset{\Omega}{\iint} |\nabla f - v_I|^2, \text{где } f|_{\partial \Omega} = f_S|_{\partial \Omega}.
$$
Решение задачи минимизации является единственным решением уравнения Пуассона для граничных условий Дирихле.
$$\nabla^2 f = \nabla^2 f_I \text{ на } \Omega, f|_{\partial \Omega} = f_S|_{\partial \Omega}, \text{где } \nabla^2 \text{{{---}} оператор Лапласа.}$$

=== Дискретный случай ===
Пусть $p$ {{---}} координаты $(x, y)$ пикселя двухмерного изображения. За $Img_p$ обозначим значение пикселя с координатами $p$ изображения $Img$. Пусть $\Omega = \left\{ p\;|\;M_p = 1 \right\}$ {{---}} область, заданная маской $M$. Тогда $\partial \Omega$ {{---}} координаты границы вставляемой области, а $int(\Omega)$ {{---}} внутренность области.

Пусть $N_p$ {{---}} множество соседей $p$ (максимум четыре пикселя, имеющих общую границу с $p$, т.е. пиксели со следующими координатами: $(x + 1, y), (x - 1, y), (x, y + 1), (x, y - 1)$). Для всех пар $(p, q)$ таких, что $q \in N_p$, введем $v_{pq} = I_p - I_q$.

Введем переменные $O_p, p \in \Omega$. Так как мы хотим сделать результат бесшовным, пиксели $O_p, p \in \partial\Omega$, сделаем равными $S_p$. Для $p, q \in int(\Omega),\; q \in N_p$ постараемся найти такое $O$, чтобы разность $O_p$ и $O_q$ была близка к $v_{pq}$. Для этого решим задачу минимизации:

$$
\underset{O_p,\; p \in \Omega}{\mathrm{min}}\; \underset{p, q \in \Omega}{\sum}\; \left(O_p - O_q - v_{pq}\right)^2, \text{где } O_p = S_p, p \in \partial \Omega.
$$

Заметим, что функция, которую мы хотим минимизировать, квадратична относительно переменных $O_p, p \in int(\Omega)$. Для решения задачи минимизации вычислим частные производные по этим переменным и найдем значения переменных, при которых частные производные будут равны нулю.
$$\frac{\partial{\underset{p, q \in \Omega}{\sum}\; \left(O_p - O_q - v_{pq}\right)^2}}{\partial O_p} = \underset{q \in N_p}{\sum} 2 \left(O_p - O_q - v_{pq}\right) - \underset{q \in N_p}{\sum} 2 \left(O_q - O_p - v_{qp}\right) = 2 \underset{q \in N_p}{\sum} 2 \left(O_p - O_q - v_{pq}\right).$$

Приравнивая к нулю, получаем: $|N_p| O_p - \underset{q \in N_p}{\sum} O_q = \underset{q \in N_p}{\sum} v_{pq}$.

Добавим условие $O_p = S_p, p \in \partial \Omega$: $\;|N_p| O_p - \underset{q \in N_p \cap int(\Omega)}{\sum} O_q = \underset{q \in N_p \cap \partial \Omega}{\sum} S_q + \underset{q \in N_p}{\sum} v_{pq}$.

Для решения систем уравнений такого вида могут быть использованы итеративные алгоритмы Gauss-Seidel и V-cycle multigrid<ref name="PGB03">[https://www.cs.jhu.edu/~misha/Fall07/Papers/Perez03.pdf Poisson Image Editing] Patrick Perez, Michel Gangnet, Andrew Blake (2003)</ref>.

Получаем значения пикселей $O_p$, $p \in int(\Omega)$. Тогда результат $B$ блендинга Пуассона будет следующим:
$$
B_p =
\begin{cases}
O_p,\; \text{если } p \in int(\Omega) \\
S_p,\; \text{иначе }
\end{cases}.
$$

Mетод Пуассона сдвигает цвета накладываемого изображения, сохраняя свойства градиента (т.е. если пиксель $I_{p1}$ был меньше $I_{p2}$, то после преобразования $I_{p1}$ не станет больше $I_{p2}$), однако само значение градиета может получиться другим.<ref name='clear_poisson'>https://erkaman.github.io/posts/poisson_blending.html Poisson blending для самых маленьких</ref>

==Нейронный перенос стиля==
{{main|Neural Style Transfer}}
Прежде чем переходить к гармонизации картин, рассмотрим задачу нейронного переноса стиля с изображения $S$ на изображение $I$. Для этого используются выходы скрытых слоёв [[Сверточные нейронные сети | свёрточной нейронной сети]] VGG-19<ref name="SZ14">[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition] Karen Simonyan, Andrew Zisserman (2014)</ref> (конкретные слои указаны ниже в деталях реализации).

Основная идея генерации изображения {{---}} решение оптимизационной задачи $\mathcal{L}(I, S, O) \xrightarrow[O]{} min$, где $O$ {{---}} итоговое изображение, $\mathcal{L}(I, S, O)$ {{---}} [[Функция потерь и эмпирический риск | функция потерь]]. Такую задачу можно решать градиентным спуском в пространстве изображений используя [[обратное распространение ошибки | метод обратного распространения ошибки]].
{{Определение
|definition =
Пусть $F^l\left[I\right] \in \mathcal{R}^{N_l \times M_l}$ {{---}} матрица значений выхода $l$-го слоя сети на изображении $I$. Выход $l$-го слоя сети имеет размерность $N_l \times W_l \times H_l$. Представим его как матрицу $N_l \times M_l$, где $N_l$ {{---}} количество фильтров в $l$-ом слое, $M_l$ {{---}} количество признаков ($M_l = W_l H_l$). Тогда $F^l_{ij}\left[I\right]$ {{---}} $j$-ый признак $i$-го фильтра в $l$-ом слое. Столбец матрицы $F^l\left[I\right]$ размера $N_l$ назовём '''вектором активации'''.}}
{{Определение
|definition =
'''Матрица Грама''' (англ. ''Gram matrix'') {{---}} матрица попарных скалярных произведений.
$$G^l\left[S\right] \in \mathcal{R}^{N_l \times N_l},$$
$$G^l\left[S\right] = F^l\left[S\right]F^l\left[S\right]^T.$$}}

Далее рассмотренны функции потерь, которые мы будем использовать.

===Content loss===

$F^l\left[I\right]$ отражает содержание изображения. Мы хотим чтобы содержание результата было как можно ближе к исходной картинке. Введём для этого такую функцию потерь:
$$\mathcal{L}_{content}(I, O) = \displaystyle\sum_l \frac{\alpha_l}{2 N_l M_l}\displaystyle\sum_{i, j} \left(F^l_{ij}\left[I\right] - F^l_{ij}\left[O\right]\right)^2,$$
где $\alpha_l$ {{---}} вклад $l$-го слоя в функцию потерь.

===Style loss===

$G^l\left[S\right]$ отражает статистику выходов фильтров независимо от их расположения, что, в свою очередь, отражает стиль изображения. Чтобы стиль результата был похож на стилевое изображение, введём следующую функцию потерь:
$$\mathcal{L}_{style}(S, O) = \displaystyle\sum_l \frac{\beta_l}{2N_l^2} \displaystyle\sum_{i, j} \left(G^l_{ij}\left[S\right] - G^l_{ij}\left[O\right]\right)^2,$$
где $\beta_l$ {{---}} вклад $l$-го слоя в функцию потерь.

===Gatys' loss===

Скомбинируем $\mathcal{L}_{content}$ и $\mathcal{L}_{style}$ и получим функцию потерь, которая была использована в алгоритме Гатиса<ref name="GEB16">[https://rn-unison.github.io/articulos/style_transfer.pdf Image Style Transfer Using Convolutional Neural Networks] Leon A. Gatys, Alexander S. Ecker, Matthias Bethge (2016)</ref>:
$$\mathcal{L}_{Gatys}(I, S, O) = \mathcal{L}_{content}(I, O) + w_{style}\mathcal{L}_{style}(S, O).$$
Вес $w_{style}$, векторы $\alpha$ и $\beta$ являются, в некотором смысле, гиперпараметрами алгоритма, которые мы выберем позднее.

===Histogram Loss===

Авторы другой статьи<ref name="WRB17">[https://arxiv.org/pdf/1701.08893.pdf Stable and Controllable Neural Texture Synthesis and Style Transfer Using Histogram Losses] Eric Risser, Pierre Wilmot, Connelly Barnes (2017)</ref> показывают, что результаты, полученные с помощью $\mathcal{L}_{Gatys}$ нестабильны и предложили учитывать ещё одну функцию потерь, основанную на '''сопоставлении гистограмм'''.
{{Определение
|definition =
'''Сопоставление гистограмм''' (англ. ''Histogram matching'') {{---}} метод обработки изображения, после которого гистограмма изображения совпадает с целевой гистограммой<ref name="HistMatch">https://en.wikipedia.org/wiki/Histogram_matching</ref>.}}
Пусть $R = histmatch(S, O)$ {{---}} отображение пикселей такое, что гистограмма $S$ совпадает с гистограммой $R(O)$, тогда Histogram loss будет выглядеть так:
$$\mathcal{L}_{hist}(S, O) = \displaystyle\sum_l \gamma_l \displaystyle\sum_{i, j} \left(F^l_{ij}\left[O\right] - R\left(F^l_{ij}\left[O\right]\right)\right)^2,$$
где $\gamma_l$ {{---}} вклад $l$-го слоя в функцию потерь.

'''Замечание:''' Если в случае остальных функций потерь нетрудно посчитать производную, то здесь могут возникнуть проблемы. Но поскольку $\displaystyle\frac{\partial \mathcal{L}_{hist}}{\partial F^l_{ij}\left[O\right]}$ является нулём почти везде, авторы предлагают при подсчёте производной считать $R\left(F^l_{ij}\left[O\right]\right)$ константой, которая не зависит от $O$.

===Total variation loss===

Также добавим ещё одну функцию потерь, которая удаляет шумы, при этом сохраняя важные детали изображения<ref name="MV15">[https://arxiv.org/pdf/1412.0035.pdf Understanding Deep Image Representations by Inverting Them] Aravindh Mahendran, Andrea Vedaldi (2015)</ref><ref name="JAFF16">[https://arxiv.org/pdf/1603.08155.pdf Perceptual Losses for Real-Time Style Transfer and Super-Resolution] Justin Johnson, Alexandre Alahi, Li Fei-Fei (2016)</ref>:

$$\mathcal{L}_{tv}(O) = \displaystyle\sum_{i, j} \left(O^l_{i, j} - O^l_{i-1, j}\right)^2 + \left(O^l_{i, j} - O^l_{i, j-1}\right)^2.$$

==Глубокая гармонизация картин==

Для того чтобы вставить изображение в картину или рисунок нужно не только сделать бесшовный переход и изменить цвета, но ещё и изменить текстуру вставляемого изображения, например, сымитировать мазки кистью (рисунок $2$). Используем для этого комбинацию подходов из других статей<ref name="GEB16"/><ref name="JAFF16"/><ref name="WRB17"/>.

[[Файл:LPSB18_Figure_1.png|1000px|thumb|center|Рисунок $2$: Пример работы алгоритма ''Deep Image Analogy''<ref name="LYY*17">[https://arxiv.org/pdf/1705.01088.pdf Visual Attribute Transfer through Deep Image Analogy] Jing Liao, Yuan Yao, Lu Yuan, Gang Hua, Sing Bing Kang (2017)</ref> ($3$ картинка) и ''Deep Painterly Harmonization''<ref name="LPSB18"/> ($4$ картинка)]]
Алгоритм состоит из двух проходов. Первый проход делает грубую гармонизацию, а второй {{---}} более тщательную. Отличаются они '''стилевым маппингом''' и функциями потерь<ref name="LPSB18">https://arxiv.org/pdf/1804.03189.pdf Fujun Luan, Sylvain Paris, Eli Shechtman, Kavita Bala (2018)</ref>.

{{Определение
|definition =
'''Стилевым маппингом''' назовём отображение $P : \mathcal{R}^{N_l \times M_l} \rightarrow \mathcal{R}^{N_l \times M_l}$, которое некоторым образом переставляет столбцы матрицы (не обязательно обратимо, то есть столбцы могут теряться и копироваться). Более формально, пусть $p(j)$ {{---}} новая позиция столбца $j$, тогда $P(Q)_{i, p(j)} = Q_{ij}$.}}

Один проход состоит из $3$ частей:
# Входное $I$ и стилевое $S$ изображения подаются на вход нейронной сети VGG-19, так мы получаем $F^l_{ij}\left[I\right]$ и $F^l_{ij}\left[S\right]$.
# Для каждого слоя $l$ некоторым алгоритмом $\pi$ cтроится стилевой маппинг $P_l$, который сопоставляет столбцам из $F_l[I]$ столбцы из $F_l[S]$.
# Изображение $O$ восстанавливается градиентным спуском по пространству изображений с использованием функции потерь $\mathcal{L}$.

'''fun''' $SinglePassHarmonization$(
$I$,// Входное изображение 
$M$,// Маска 
$S$,// Стилевое изображение 
$\pi$,// Алгоритм построения стилевого маппинга 
$\mathcal{L}$// Функция потерь 
):
// Строим матрицы $F[I]$ и $F[S]$ с помощью свёрточной сети VGG-19 
$F[I] \leftarrow ComputeNeuralActivations(I)$
$F[S] \leftarrow ComputeNeuralActivations(S)$
// Строим стилевой маппинг 
$P \leftarrow \pi(F[I], M, F[S])$
// Градиентным спуском ищем изображение $O$, которое минимизирует $\mathcal{L}$ 
$O \leftarrow Reconstruct(I, M, S, P, \mathcal{L})$
'''return''' $O$


===Первый проход===

{{Определение
|definition =
'''Патчем''' (англ. ''patch'') для столбца $j$ будем называть тензор $3 \times 3 \times N_l$, который состоит из соседних векторов активации в тензоре выхода свёрточного слоя, с центром в $(x, y)$, где $j = y W_l + x$.}}

<div class="tright" style="clear:none">[[Файл:LPSB18_Figure_2c.png|250px|thumb|none|Рисунок $3.2$: Результаты после второго прохода<ref name="WRB17"/>]]</div>
<div class="tright" style="clear:none">[[Файл:LPSB18_Figure_2b.png|250px|thumb|none|Рисунок $3.1$: Результаты после первого прохода<ref name="WRB17"/>]]</div>

Первый проход делает грубую гармонизацию, но при этом он хорошо работает с любыми стилями (рисунок $3.1$). Здесь используется алгоритм $IndependentMapping$ для построения стилевого маппинга. Этот алгоритм для каждого столбца $j$ в $F_l[I]$ ищет столбец $p(j)$ в $F_l[S]$, такой что евклидово расстояние между патчем $F_l[I]$ с центром $j$ и патчем $F_l[S]$ с центром $p(j)$ минимально (метод ближайшего соседа).


'''fun''' $IndependentMapping$(
$F[I]$,// Выходы слоёв после входного изображения 
$Mask$,// Маска 
$F[S]$// Выходы слоёв после стилевого изображения 
):
// Для всех слоёв от $1$ до $L$ 
'''for''' $l \in [1 : L]$:
// Для всех столбцов от $1$ до $M_l$ 
'''for''' $j \in [1 : M_l]$:
// Рассматриваем патчи только внутри маски, которую нужно масштабировать в соответсвии с размером слоя $l$ 
'''if''' $j \in Resize(Mask, l)$:
// Берём самый похожий стилевой патч и записываем его в маппинг. 
$P_l(j) \leftarrow NearestNeighborIndex(F[I], j, F[S])$
'''return''' $P$


В первом проходе используется модифицированная функция потерь $\mathcal{L}_{Gatys}$, с тем лишь отличием, что в $\mathcal{L}_{style}$ к $F_l[S]$ применяется стилевой маппинг $P_l$:

$$\mathcal{L}_1(I, S, O, P) = \mathcal{L}_{content}(I, O) + w_{style}\mathcal{L}_{style}(S, O, P).$$

'''Замечание:''' при посчёте градиента $\mathcal{L}_{content}$ используются только пиксели внутри маски<ref>https://github.com/luanfujun/deep-painterly-harmonization/blob/a33a9a70366b6baff1cc0291f857b5895b271fc1/neural_gram.lua#L349</ref>.

===Второй проход===

[[Файл:LPSB18_Figure_5c.png|thumb|right|250px|Рисунок $4.1$: Только первый проход<ref name="WRB17"/>]]
[[Файл:LPSB18_Figure_5d.png|thumb|right|250px|Рисунок $4.2$: Только второй проход<ref name="WRB17"/>]]
[[Файл:LPSB18_Figure_5f.png|thumb|right|250px|Рисунок $4.3$: Результат с $\mathcal{L}_{style}$ вместо $\mathcal{L}_{s1}$<ref name="WRB17"/>]]
[[Файл:LPSB18_Figure_5g.png|thumb|right|250px|Рисунок $4.4$: Оба прохода<ref name="WRB17"/>]]
[[Файл:LPSB18_Figure_5h.png|thumb|right|250px|Рисунок $4.5$: Финальный результат<ref name="WRB17"/>]]

Второй проход делает более качественную гармонизацию после первого прохода (рисунок $3.2$). Здесь мы будем использовать более сложный алгоритм $ConsistentMapping$ построения стилевого маппинга и более сложную функцию потерь. Суть этого алгоритма в том, чтобы найти стилевой мапинг на некотором слое $l_{ref}$ и перенести этот маппинг на остальные слои. Также, мы будем предпочитать маппинги, в которых смежные патчи в $F_l[S]$ остаются смежными после мапинга, чтобы обеспечить пространсвенную согласованность (таким образом мы хотим переносить сложные текстуры более качественно, например, мазки кистью). Если применять второй проход сразу, то результаты получаются хуже (рисунок $4.2$).


'''fun''' $ConsistentMapping$(
$F[I]$,// Выходы слоёв после входного изображения 
$Mask$,// Маска 
$F[S]$// Выходы слоёв после стилевого изображения 
):
// Сначала посчитаем маппинг как в IndependentMapping только для слоя $l_{ref}$ 
'''for''' $j \in [1 : M_{l_{ref}}]$:
'''if''' $j \in Resize(Mask, l_{ref})$:
$P_0(j) \leftarrow NearestNeighborIndex(F[I], j, F[S])$

// Далее обеспечиваем пространсвенную согласованность 
'''for''' $j \in [1 : M_{l_{ref}}]$:
'''if''' $j \in Resize(Mask, l_{ref})$:
$q \leftarrow P_0(j)$
// Инициализируем множество кандидатов на новый маппинг 
$CSet \leftarrow \{q\}$
// Перебираем все смежные патчи 
'''for''' $o \in \left\{N, NE, E, SE, S, SW, W, NW\right\}$:
// Добавляем в кандидаты патч, сосед которого является маппингом для нашего соседа в соответсвующем направлении 
$CSet \leftarrow CSet \cup \left\{P_0(j + o) - o\right\}$
// Среди всех кандидатов выбираем тот, который ближе всего к маппингам наших соседей 
$P_{l_{ref}}(j) \leftarrow \underset{c \in CSet}{\mathrm{argmin}}\displaystyle\sum_o \left\|(F_{l_{ref}}[S]_c - F_{l_{ref}}[S]_{P_0(j + o)}\right\|^2$

// Теперь нужно перенести маппинг для $l_{ref}$ на остальные слои 
'''for''' $l \in [1 : L] \setminus \{l_{ref}\}$:
'''for''' $j \in [1 : M_l]$:
'''if''' $j \in Resize(Mask, l)$:
// Вычисляем позицию $j'$ на слое $l_{ref}$ соответствующую позиции $j$ на слое $l$
$j' \leftarrow ChangeResolution(l, l_{ref}, j)$
// Берём маппинг для позиции $j'$
$q \leftarrow P_{l_{ref}}(j')$
// Переносим позицию $q$ обратно на слой $l$
$P_l(j) \leftarrow ChangeResolution(l_{ref}, l, q)$
'''return''' $P$


При вычислении стилевого маппинга появляется очень много дублирующихся векторов, что даёт не очень хорошие результаты (рисунок $4.3$). Поэтому при вычислении матрицы Грама выкинем повторяющиеся векторы. Назовём функцию потерь с такой модификацией $\mathcal{L}_{s1}$.

$$\mathcal{L}_2(I, S, O, P) = \mathcal{L}_{content}(I, O) + w_{style}\mathcal{L}_{s1}(S, O, P) + w_{hist}\mathcal{L}_{hist}(S, O) + w_{tv}\mathcal{L}_{tv}(O),$$
где $w_{style}, w_{hist}, w_{tv}$ {{---}} веса соответсвующих функций потерь.



===Итоговый алгоритм===

Теперь осталось запустить две стадии:


'''fun''' $Harmonization$(
$I$,// Входное изображение 
$Mask$,// Маска 
$S$// Стилевое изображение 
):
// Грубый проход алгоритма. Каждый слой рассматривается отдельно при построении стилевого маппинга. 
$I' \leftarrow SinglePassHarmonization(I, Mask, S, IndependentMapping, \mathcal{L}_1)$
// Улучшение результата. Стилевой маппинг строится консистентно для всех слоёв. 
$O \leftarrow SinglePassHarmonization(I', Mask, S, ConsistentMapping, \mathcal{L}_2)$
'''return''' $O$


===Постобработка===

[[Файл:LPSB18_Figure_6abc.png|400px|thumb|right|Рисунок $5$: Результат постобработки (без постобработки, после первой стадии, после второй стадии)<ref name="WRB17"/>]]

Описанный алгоритм даёт хорошие результаты в целом, но при ближайшем рассмотрении могут быть артефакты (рисунок $5$). Поэтому сделаем двухступенчатую постобработку (подробное описание есть в оригинальной статье<ref name="LPSB18"/>):
# Переведём изображение в цветовое пространство [https://en.wikipedia.org/wiki/CIELAB_color_space $L*\alpha*\beta$] и применим [https://en.wikipedia.org/wiki/Guided_filter Guided filter] для a и b каналов.
# С помощью алгоритма PatchMatch<ref name="BSFG09">https://www.researchgate.net/profile/Eli_Shechtman/publication/220184392_PatchMatch_A_Randomized_Correspondence_Algorithm_for_Structural_Image_Editing/links/02e7e520897b12bf0f000000.pdf Connelly Barnes, Eli Shechtman, Adam Finkelstein, Dan B Goldman (2009)</ref> и того же Guided filter делаем так, чтобы все патчи выходного изображения присутсвовали в стилевом (чтобы не было новых объектов или структур).

===Детали реализации===

[[Файл:LPSB18_Figure_4.png|400px|thumb|right|Рисунок $6$: Влияние $l_{ref}$ на результат<ref name="WRB17"/>]]

Возьмём $l_{ref}$ = conv4_1 (что будет если использовать другие слои видно на рисунке $6$).
Выберем следующие веса для слоёв:

{| class="wikitable"
|+ Первый проход
|-
! Параметр
! conv1_1
! conv2_1
! conv3_1
! conv4_1
! conv5_1
|-
! $\alpha$
| $0$
| $0$
| $0$
| $1$
| $0$
|-
! $\beta$
| $0$
| $0$
| $1/3$
| $1/3$
| $1/3$
|}

{| class="wikitable"
|+ Второй проход
|-
! Параметр
! conv1_1
! conv2_1
! conv3_1
! conv4_1
! conv5_1
|-
! $\alpha$
| $0$
| $0$
| $0$
| $1$
| $0$
|-
! $\beta$
| $1/4$
| $1/4$
| $1/4$
| $1/4$
| $0$
|-
! $\gamma$
| $1/2$
| $0$
| $0$
| $1/2$
| $0$
|}


Введём гиперпараметр $\tau$ и возьмём $w_{style} = w_{hist} = \tau$, $w_{tv} = \tau\frac{10}{1 + \exp(10^4 * noise(S) - 25)}$, где $noise(S) = \underset{i,j}{\mathrm{med}}\left\{\left(O^l_{i, j} - O^l_{i-1, j}\right)^2 + \left(O^l_{i, j} - O^l_{i, j-1}\right)^2\right\}$<ref>[https://github.com/luanfujun/deep-painterly-harmonization/blob/a33a9a70366b6baff1cc0291f857b5895b271fc1/neural_paint.lua#L470 код функции $noise$.</ref>.

Для того чтобы подбирать $\tau$ авторы статьи использовали классификатор стилей изображений. Они взяли VGG-19, обучили её классифицировать $18$ различных стилей. Эти стили были разделены на $3$ категории с разными $\tau$. Используя $Softmax$ можно интерполировать необходимый $\tau$ по следующей таблице:

{| class="wikitable"
|-
! Категория стиля
! Примеры стилей
! $\tau$
|-
! Слабый
| Барокко, Высокое Возрождение
| $1$
|-
! Средний
| Абстрактное Искусство, Постимпрессионизм
| $5$
|-
! Сильный
| Кубизм, Экспрессионизм
| $10$
|}

На рисунке $4.4$ результат алгоритма без подбора гиперпараметров. Видно, что самолёт ярче, чем остальное изображение. С подбором параметров получается более естественный результат (рисунок $4.5$).

===Примеры===
Примеры взяты с [https://github.com/luanfujun/deep-painterly-harmonization/tree/master/results Github авторов].

{|
! Исходное изображение
! Простая вставка
! Результат
! Постобработка
|-
| [[Файл:5_target.jpg|200px]]
| [[Файл:5_naive.jpg|200px]]
| [[Файл:5_final_res.png|200px]]
| [[Файл:5_final_res2.png|200px]]
|-
| [[Файл:6_target.jpg|200px]]
| [[Файл:6_naive.jpg|200px]]
| [[Файл:6_final_res.png|200px]]
| [[Файл:6_final_res2.png|200px]]
|-
| [[Файл:10_target.jpg|200px]]
| [[Файл:10_naive.jpg|200px]]
| [[Файл:10_final_res.png|200px]]
| [[Файл:10_final_res2.png|200px]]
|}

===Более новые подходы===

* [https://arxiv.org/pdf/2006.00809.pdf Foreground-aware Semantic Representations for Image Harmonization]
* [https://arxiv.org/pdf/2009.09169.pdf BargainNet: Background-Guided Domain Translation for Image Harmonization]

==Глубокий блендинг==



Алгоритм глубокого блендинга состоит из двух этапов. На первом этапе на стилевое изображения $S$ бесшовно накладывается входное изображение $I$, получается подготовительное блендинг-изображение $B$. На втором этапе $B$ модифицируется таким образом, чтобы результат по стилю был похож на $S$.

Будем считать, что на вход подаются изображения, прошедшие предварительную обработку:
* Используемая для вставки часть $I$ вырезана с помощью маски.
* $M$ и $I$ выровнены относительно $S$.
* Размеры матриц, задающих $M, S, I$, совпадают.

'''Примеры входных данных:'''
{| class="wikitable" style="background-color:#FFF; text-align:center"
! '''Стилевое изображение $S$'''<ref name='ZWS20'/>
| [[Файл:Deep bl s1.png|150px]]
| [[Файл:Deep bl s2.png|150px]]
| [[Файл:Deep bl s3.png|150px]]
|-
! '''Накладываемое изображение $I$'''<ref name='ZWS20'/>
| [[Файл:Deep bl i1.png|150px]]
| [[Файл:Deep bl i2.png|150px]]
| [[Файл:Deep bl i3.png|150px]]
|}

{{Определение
|definition =
'''Простой вставкой''' (англ. ''copy and paste'') $CAP(M, S, I)$ будем назвать изображение, полученное наложением части изображения $I$, заданной маской $M$, на изображение $S$.
$CAP(M, S, I) = I \odot M + S \odot (1 - M)$, где $\odot$ {{---}} покомпонентное умножение. }}

{{Определение
|definition =
'''Дискретный оператор Лапласа''' (фильтр Лапласа) $\mathbf{D}^2$ {{---}} аналог непрерывного оператора Лапласа $\nabla^2$, который позволяет выделять контуры изображения (рисунки $7.1$ и $7.2$).
$$\mathbf{D}^2=\begin{bmatrix}0 & 1 & 0\\1 & -4 & 1\\0 & 1 & 0\end{bmatrix}.$$ }}
{| class="wikitable" style="float:right; clear:right;"
!Рисунок $7.1$: Исходное изображение<ref>https://en.wikipedia.org/wiki/Lenna#/media/File:Lenna_(test_image).png</ref>
!Рисунок $7.2$: Применение фильтра Лапласа
|-
| [[Файл:Lenna.png|220px]]
| [[Файл:Lenna_Laplacian_Neg.png|220px]]
|}

Для сохранения контуров изображений $S$ и $I$ в области вставки воспользуемся идеей из [[Блендинг изображений#Блендинг Пуассона|метода Пуассона]] и введём следующую функцию потерь<ref name='ZWS20'/>:
$$\mathcal{L}_{grad}(S, I, M, O) = \displaystyle\frac{1}{2HW}\displaystyle\sum_{m=1}^H \displaystyle\sum_{n=1}^W \left[ \mathbf{D}^2 B - \left(\mathbf{D}^2 S + \mathbf{D}^2 I\right) \right]^2_{mn},$$
где $H, W$ {{---}} высота и ширина изображений. $B = CAP(M, S, O)$ {{---}} блендинговое изображение, оптимизируемое относительно $O$.

Рассмотрим область $\overline{\Omega} = \{\;p \;| \;M_p = 0\; \}$. Заметим, что градиент $I$ в $\overline{\Omega}$ равен нулю. Тогда градиенты $S$ и $B$ совпадают, и задача минимизации $\mathcal{L}_{grad}$ решается только в области вставки.

На обоих этапах алгоритм минимизирует взвешенную сумму следующих функций потерь:
* $\mathcal{L}_{content}$ для сохранения содержания накладываемого изображения $I$.
* $\mathcal{L}_{style}$ для переноса стиля изображения $S$ на $I$.
* $\mathcal{L}_{hist}$ для стабилизации переноса стиля.
* $\mathcal{L}_{tv}$ для удаления шумов.
* $\mathcal{L}_{grad}$ для сохранения контуров фона и изображения.


Для подсчета $\mathcal{L}_{style}$ и $\mathcal{L}_{content}$ авторами статьи<ref name='ZWS20'>[https://openaccess.thecvf.com/content_WACV_2020/papers/Zhang_Deep_Image_Blending_WACV_2020_paper.pdf Deep Image Blending] Lingzhi Zhang, Tarmily Wen, Jianbo Shi (2020)</ref> использовалась сеть VGG-19<ref name="SZ14"/>, обученная на ImageNet<ref name="ImageNet">https://image-net.org/papers/imagenet_cvpr09.pdf J. Deng, W. Dong, R. Socher, L.-J. Li, K. Li, and L. FeiFei. Imagenet: A large-scale hierarchical image database</ref>.

=== Первый этап ===
На первом этапе изображение $I$ накладывается на фоновое изображение $S$ таким образом, чтобы были незаметны швы.
Построение начинается с белого шума $Z$, который оптимизируется в области вставки путем минимизации суммарной функции потерь $\mathcal{L}_{total}$, представленной взвешенной суммой всех функций потерь, описанных выше:
$$ \mathcal{L}_{total}(Z) = w_{grad}\mathcal{L}_{grad}(I, S, B) + w_{content}\mathcal{L}_{content}(I, M, Z) + w_{style}\mathcal{L}_{style}(S, B) + w_{tv}\mathcal{L}_{tv}(B) + w_{hist}\mathcal{L}_{hist}(S, B).$$
Для решения задачи минимизации авторы статьи<ref name='ZWS20' /> используют алгоритм L-BFGS<ref name="LBFGS">https://en.wikipedia.org/wiki/Limited-memory_BFGS Limited-memory BFGS - Wikipedia</ref>.

Отметим, что $\mathcal{L}_{content}$ зависит от маски и отвечает за сохранение содержания $I$ в области вставки.

Отличительной чертой этого этапа является использование функции потерь $\mathcal{L}_{grad}$, приближающей градиент результата к градиенту $I$ в области наложения, за счет чего достигается бесшовность.

В результате получается подготовительное блендинг-изображение $B$.


'''fun''' $SeamlessBlending$(
$I$, // Входное изображение 
$M$, // Маска 
$S$ // Стилевое изображение 
):
// Инициализируем первое приближение белым шумом 
$Z \leftarrow RandomNoise() $
$B \leftarrow CAP(M, S, Z)$
// Определим суммарную функцию потерь с весами слагаемых $w$
$\mathcal{L}_{total}(Z) \leftarrow w_{grad}\mathcal{L}_{grad}(I, S, B) + w_{content}\mathcal{L}_{content}(I, M, Z) + w_{style}\mathcal{L}_{style}(S, B) + w_{tv}\mathcal{L}_{tv}(B) + w_{hist}\mathcal{L}_{hist}(S, B)$
// С помощью алгоритма L-BFGS ищем изображение $Z$, которое минимизирует $\mathcal{L}_{total}$ 
$Z \leftarrow Reconstruct(\mathcal{L}_{total}, Z)$
'''return''' $CAP(M, S, Z)$


=== Второй этап ===

Второй этап алгоритма представляет собой модификацию полученного на первом этапе блендинг-изображения $B$ таким образом, чтобы стиль изображения был наиболее близок к стилю $S$.

В отличие от предыдущего этапа, функция потерь не включает в себя $\mathcal{L}_{grad}$:
$$\mathcal{L}_{total}(O) = w_{content}\mathcal{L}_{content}(B, O) + w_{style}\mathcal{L}_{style}(S, O) + w_{tv}\mathcal{L}_{tv}(O) + w_{hist}\mathcal{L}_{hist}(S, O).$$

Минимизация происходит относительно результата алгоритма $O$, который инициализируется изображением $B$.


'''fun''' $StyleRefinement$(
$B$, // Подготовительное блендинг-изображение, результат первого этапа 
$M$, // Маска 
$S$ // Стилевое изображение 
):
$O \leftarrow B$
// Определим суммарную функцию потерь с весами слагаемых $w$
$\mathcal{L}_{total}(O) \leftarrow w_{cont}\mathcal{L}_{content}(B, O) + w_{style}\mathcal{L}_{style}(S, O) + w_{tv}\mathcal{L}_{tv}(O) + w_{hist}\mathcal{L}_{hist}(S, O)$
// С помощью алгоритма L-BFGS ищем изображение $O$, которое минимизирует $\mathcal{L}_{total}$ 
$O \leftarrow Reconstruct(\mathcal{L}_{total}, O)$
'''return''' $O$


Примеры с [https://github.com/owenzlz/DeepImageBlending/tree/master/results Github авторов]:

{|
! После первого этапа
! После обоих этапов
|-
| [[Файл:1_first_pass.png|300px]]
| [[Файл:1_second_pass.png|300px]]
|-
| [[Файл:3_first_pass.png|300px]]
| [[Файл:3_second_pass.png|300px]]
|-
| [[Файл:5_first_pass.png|300px]]
| [[Файл:5_second_pass.png|300px]]
|}

===Детали реализации===
В статье использовались следующие значения коэффициентов:

{| class="wikitable"
|+ Веса функций потерь
|-
! Этап
! $w_{grad}$
! $w_{content}$
! $w_{style}$
! $w_{hist}$
! $w_{tv}$
|-
! $1$
| $10^5$
| $1$
| $10^5$
| $1$
| $10^{-6}$
|-
! $2$
| $0$
| $1$
| $10^7$
| $1$
| $10^{-6}$
|}

{| class="wikitable"
|+ Коэффициенты $\alpha$ и $\beta$
|-
! Параметр
! conv1_2
! conv2_2
! conv3_3
! conv4_3
|-
! $\alpha$
| $0$
| $1$
| $0$
| $0$
|-
! $\beta$
| $1/4$
| $1/4$
| $1/4$
| $1/4$
|}

На обоих этапах максимальное количество итераций алгоритма L-BFGS {{---}} $1000$.

=== Примеры ===
Примеры с [https://github.com/owenzlz/DeepImageBlending/tree/master/results Github авторов]:

[[Файл:МЛ блендинг пример.png|1000px]]

==См. также==
* [[Neural_Style_Transfer|Neural Style Transfer]]
* [[Сверточные_нейронные_сети | Свёрточная нейронная сеть]]

==Источники информации==
* [https://en.wikipedia.org/wiki/Histogram_matching Histogram matching]
* Patrick Perez, Michel Gangnet, Andrew Blake (2003), [https://www.cs.jhu.edu/~misha/Fall07/Papers/Perez03.pdf Poisson Image Editing].

* Leon A. Gatys, Alexander S. Ecker, Matthias Bethge (2016), [https://rn-unison.github.io/articulos/style_transfer.pdf Image Style Transfer Using Convolutional Neural Networks]




* Fujun Luan, Sylvain Paris, Eli Shechtman, Kavita Bala (2018), [https://arxiv.org/pdf/1804.03189.pdf Deep Painterly Harmonization]
* Lingzhi Zhang, Tarmily Wen, Jianbo Shi (2020), [https://openaccess.thecvf.com/content_WACV_2020/papers/Zhang_Deep_Image_Blending_WACV_2020_paper.pdf Deep Image Blending]

==Примечания==

[[Категория: Машинное обучение]]
[[Категория: Нейронные сети]]
[[Категория: Сверточные нейронные сети]]

Блендинг изображений

2021-01-22T11:38:25Z

Npostnikova: Картиночки

Копирование элемента одного изображения и его вставка на другое изображение {{---}} один из наиболее используемых методов для создания графического контента. Простая вставка, как правило, бросается в глаза и делает результат похожим на коллаж, во многих случаях этот эффект является нежелательным.
{{Определение
|definition =
'''Блендинг изображений''' (англ. ''image blending'') {{---}} метод, позволяющий вставить часть одного изображения в другое таким образом, чтобы композиция изображений выглядела естественно, без швов на границах вставки. }}
Основная трудность задачи заключается в том, что естественность результата зависит не только от бесшовности наложения, но и от схожести цветов и текстуры вставляемого и фонового изображений.

{|
! Вставляемое изображение
! Фоновое изображение
! Простая вставка
! Желаемый результат
|-
| [[Файл:Diver bl diver.png|200px]]
| [[Файл:Diver bl sea.png|200px]]
| [[Файл:Diver bl2.png|200px]]
| [[Файл:Diver bl3.png|200px]]
|}

==Блендинг Пуассона==
[[Файл:Poisson int1.png|thumb|right|300px|Рис. $1.1$: Пример перепада яркости при простой вставке<ref name='ZWS20'/>]]
[[Файл:Poisson int2.png|thumb|right|300px|Рис. $1.2$: Результат применения блендинга Пуассона<ref name='ZWS20'/>]]

Простая вставка одного изображения поверх другого нередко влечет заметный перепад яркости на границе вставки (рис. $1.1$). Метод Пуассона заключается в сглаживании этого перепада (рис. $1.2$) с целью сделать дефект менее заметным, используя градиент вставляемого изображения и значения пикселей фонового изображения на границе вставки.

'''Замечание:''' Для RGB изображений задача минимизации решается для каждого цветового канала отдельно.

Давайте обозначим за $S$ изображение, которое служит фоном, а за $I$ {{---}} изображение, вставляемое поверх $S$. Область вставки будем задавать двоичной маской $M$, содержащей единицы в области наложения. Например:
{| class="wikitable" style="background-color:#FFF; text-align:center"
|-
! Фоновое изображение $S$
! Накладываемое изображение $I$
! Маска $M$
|-
| [[Файл:Poisson_cat.jpg|200px]]
| [[Файл:Poisson_cherry.jpg|200px]]
| [[Файл:Poisson_cherry_mask.png|200px]]
|}

=== Идея подхода ===
Пусть замкнутое множество $P \subset \mathbb{R}^2$ {{---}} область, на которой определено изображение $S$, а замкнутое множество $\Omega \subset P$ с границей $\partial\Omega$ и внутренностью $int(\Omega)$ {{---}} область вставки изображения $I$.

Пусть $f_S$ {{---}} скалярная функция, определенная на $P \setminus int(\Omega)$, задает фоновое изображение $S$; $f$ {{---}} неизвестная скалярная функция, определенная на $int(\Omega)$, задает, каким образом должно выглядеть результат блендинга в области вставки.

$v_I$ {{---}} векторное поле, определенное на $\Omega$. В качестве $v_I$ возьмем градиент вставляемого изображения $I$: $v_I = \nabla f_I$.

Нашей задачей является поиск такой функции $f$, чтобы блендинговое изображение выглядело реалистично. Для этого минимизируем разность градиента функции $f$ и векторного поля $v_I$, считая, что $f = f_S$ на границе $\Omega$.
$$
\underset{f}{\mathrm{min}} \underset{\Omega}{\iint} |\nabla f - v_I|^2, \text{где } f|_{\partial \Omega} = f_S|_{\partial \Omega}.
$$
Решение задачи минимизации является единственным решением уравнения Пуассона для граничных условий Дирихле.
$$\nabla^2 f = \nabla^2 f_I \text{ на } \Omega, f|_{\partial \Omega} = f_S|_{\partial \Omega}, \text{где } \nabla^2 \text{{{---}} оператор Лапласа.}$$

=== Дискретный случай ===
Пусть $p$ {{---}} координаты $(x, y)$ пикселя двухмерного изображения. За $Img_p$ обозначим значение пикселя с координатами $p$ изображения $Img$. Пусть $\Omega = \left\{ p\;|\;M_p = 1 \right\}$ {{---}} область, заданная маской $M$. Тогда $\partial \Omega$ {{---}} координаты границы вставляемой области, а $int(\Omega)$ {{---}} внутренность области.

Пусть $N_p$ {{---}} множество соседей $p$ (максимум четыре пикселя, имеющих общую границу с $p$, т.е. пиксели со следующими координатами: $(x + 1, y), (x - 1, y), (x, y + 1), (x, y - 1)$). Для всех пар $(p, q)$ таких, что $q \in N_p$, введем $v_{pq} = I_p - I_q$.

Введем переменные $O_p, p \in \Omega$. Так как мы хотим сделать результат бесшовным, пиксели $O_p, p \in \partial\Omega$, сделаем равными $S_p$. Для $p, q \in int(\Omega),\; q \in N_p$ постараемся найти такое $O$, чтобы разность $O_p$ и $O_q$ была близка к $v_{pq}$. Для этого решим задачу минимизации:

$$
\underset{O_p,\; p \in \Omega}{\mathrm{min}}\; \underset{p, q \in \Omega}{\sum}\; \left(O_p - O_q - v_{pq}\right)^2, \text{где } O_p = S_p, p \in \partial \Omega.
$$

Заметим, что функция, которую мы хотим минимизировать, квадратична относительно переменных $O_p, p \in int(\Omega)$. Для решения задачи минимизации вычислим частные производные по этим переменным и найдем значения переменных, при которых частные производные будут равны нулю.
$$\frac{\partial{\underset{p, q \in \Omega}{\sum}\; \left(O_p - O_q - v_{pq}\right)^2}}{\partial O_p} = \underset{q \in N_p}{\sum} 2 \left(O_p - O_q - v_{pq}\right) - \underset{q \in N_p}{\sum} 2 \left(O_q - O_p - v_{qp}\right) = 2 \underset{q \in N_p}{\sum} 2 \left(O_p - O_q - v_{pq}\right).$$

Приравнивая к нулю, получаем: $|N_p| O_p - \underset{q \in N_p}{\sum} O_q = \underset{q \in N_p}{\sum} v_{pq}$.

Добавим условие $O_p = S_p, p \in \partial \Omega$: $\;|N_p| O_p - \underset{q \in N_p \cap int(\Omega)}{\sum} O_q = \underset{q \in N_p \cap \partial \Omega}{\sum} S_q + \underset{q \in N_p}{\sum} v_{pq}$.

Для решения систем уравнений такого вида могут быть использованы итеративные алгоритмы Gauss-Seidel и V-cycle multigrid<ref name="PGB03">[https://www.cs.jhu.edu/~misha/Fall07/Papers/Perez03.pdf Poisson Image Editing] Patrick Perez, Michel Gangnet, Andrew Blake (2003)</ref>.

Получаем значения пикселей $O_p$, $p \in int(\Omega)$. Тогда результат $B$ блендинга Пуассона будет следующим:
$$
B_p =
\begin{cases}
O_p,\; \text{если } p \in int(\Omega) \\
S_p,\; \text{иначе }
\end{cases}.
$$

Mетод Пуассона сдвигает цвета накладываемого изображения, сохраняя свойства градиента (т.е. если пиксель $I_{p1}$ был меньше $I_{p2}$, то после преобразования $I_{p1}$ не станет больше $I_{p2}$), однако само значение градиета может получиться другим.<ref name='clear_poisson'>https://erkaman.github.io/posts/poisson_blending.html Poisson blending для самых маленьких</ref>

==Нейронный перенос стиля==
{{main|Neural Style Transfer}}
Прежде чем переходить к гармонизации картин, рассмотрим задачу нейронного переноса стиля с изображения $S$ на изображение $I$. Для этого используются выходы скрытых слоёв [[Сверточные нейронные сети | свёрточной нейронной сети]] VGG-19<ref name="SZ14">[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition] Karen Simonyan, Andrew Zisserman (2014)</ref> (конкретные слои указаны ниже в деталях реализации).

Основная идея генерации изображения {{---}} решение оптимизационной задачи $\mathcal{L}(I, S, O) \xrightarrow[O]{} min$, где $O$ {{---}} итоговое изображение, $\mathcal{L}(I, S, O)$ {{---}} [[Функция потерь и эмпирический риск | функция потерь]]. Такую задачу можно решать градиентным спуском в пространстве изображений используя [[обратное распространение ошибки | метод обратного распространения ошибки]].
{{Определение
|definition =
Пусть $F^l\left[I\right] \in \mathcal{R}^{N_l \times M_l}$ {{---}} матрица значений выхода $l$-го слоя сети на изображении $I$. Выход $l$-го слоя сети имеет размерность $N_l \times W_l \times H_l$. Представим его как матрицу $N_l \times M_l$, где $N_l$ {{---}} количество фильтров в $l$-ом слое, $M_l$ {{---}} количество признаков ($M_l = W_l H_l$). Тогда $F^l_{ij}\left[I\right]$ {{---}} $j$-ый признак $i$-го фильтра в $l$-ом слое. Столбец матрицы $F^l\left[I\right]$ размера $N_l$ назовём '''вектором активации'''.}}
{{Определение
|definition =
'''Матрица Грама''' (англ. ''Gram matrix'') {{---}} матрица попарных скалярных произведений.
$$G^l\left[S\right] \in \mathcal{R}^{N_l \times N_l},$$
$$G^l\left[S\right] = F^l\left[S\right]F^l\left[S\right]^T.$$}}

Далее рассмотренны функции потерь, которые мы будем использовать.

===Content loss===

$F^l\left[I\right]$ отражает содержание изображения. Мы хотим чтобы содержание результата было как можно ближе к исходной картинке. Введём для этого такую функцию потерь:
$$\mathcal{L}_{content}(I, O) = \displaystyle\sum_l \frac{\alpha_l}{2 N_l M_l}\displaystyle\sum_{i, j} \left(F^l_{ij}\left[I\right] - F^l_{ij}\left[O\right]\right)^2,$$
где $\alpha_l$ {{---}} вклад $l$-го слоя в функцию потерь.

===Style loss===

$G^l\left[S\right]$ отражает статистику выходов фильтров независимо от их расположения, что, в свою очередь, отражает стиль изображения. Чтобы стиль результата был похож на стилевое изображение, введём следующую функцию потерь:
$$\mathcal{L}_{style}(S, O) = \displaystyle\sum_l \frac{\beta_l}{2N_l^2} \displaystyle\sum_{i, j} \left(G^l_{ij}\left[S\right] - G^l_{ij}\left[O\right]\right)^2,$$
где $\beta_l$ {{---}} вклад $l$-го слоя в функцию потерь.

===Gatys' loss===

Скомбинируем $\mathcal{L}_{content}$ и $\mathcal{L}_{style}$ и получим функцию потерь, которая была использована в алгоритме Гатиса<ref name="GEB16">[https://rn-unison.github.io/articulos/style_transfer.pdf Image Style Transfer Using Convolutional Neural Networks] Leon A. Gatys, Alexander S. Ecker, Matthias Bethge (2016)</ref>:
$$\mathcal{L}_{Gatys}(I, S, O) = \mathcal{L}_{content}(I, O) + w_{style}\mathcal{L}_{style}(S, O).$$
Вес $w_{style}$, векторы $\alpha$ и $\beta$ являются, в некотором смысле, гиперпараметрами алгоритма, которые мы выберем позднее.

===Histogram Loss===

Авторы другой статьи<ref name="WRB17">[https://arxiv.org/pdf/1701.08893.pdf Stable and Controllable Neural Texture Synthesis and Style Transfer Using Histogram Losses] Eric Risser, Pierre Wilmot, Connelly Barnes (2017)</ref> показывают, что результаты, полученные с помощью $\mathcal{L}_{Gatys}$ нестабильны и предложили учитывать ещё одну функцию потерь, основанную на '''сопоставлении гистограмм'''.
{{Определение
|definition =
'''Сопоставление гистограмм''' (англ. ''Histogram matching'') {{---}} метод обработки изображения, после которого гистограмма изображения совпадает с целевой гистограммой<ref name="HistMatch">https://en.wikipedia.org/wiki/Histogram_matching</ref>.}}
Пусть $R = histmatch(S, O)$ {{---}} отображение пикселей такое, что гистограмма $S$ совпадает с гистограммой $R(O)$, тогда Histogram loss будет выглядеть так:
$$\mathcal{L}_{hist}(S, O) = \displaystyle\sum_l \gamma_l \displaystyle\sum_{i, j} \left(F^l_{ij}\left[O\right] - R\left(F^l_{ij}\left[O\right]\right)\right)^2,$$
где $\gamma_l$ {{---}} вклад $l$-го слоя в функцию потерь.

'''Замечание:''' Если в случае остальных функций потерь нетрудно посчитать производную, то здесь могут возникнуть проблемы. Но поскольку $\displaystyle\frac{\partial \mathcal{L}_{hist}}{\partial F^l_{ij}\left[O\right]}$ является нулём почти везде, авторы предлагают при подсчёте производной считать $R\left(F^l_{ij}\left[O\right]\right)$ константой, которая не зависит от $O$.

===Total variation loss===

Также добавим ещё одну функцию потерь, которая удаляет шумы, при этом сохраняя важные детали изображения<ref name="MV15">[https://arxiv.org/pdf/1412.0035.pdf Understanding Deep Image Representations by Inverting Them] Aravindh Mahendran, Andrea Vedaldi (2015)</ref><ref name="JAFF16">[https://arxiv.org/pdf/1603.08155.pdf Perceptual Losses for Real-Time Style Transfer and Super-Resolution] Justin Johnson, Alexandre Alahi, Li Fei-Fei (2016)</ref>:

$$\mathcal{L}_{tv}(O) = \displaystyle\sum_{i, j} \left(O^l_{i, j} - O^l_{i-1, j}\right)^2 + \left(O^l_{i, j} - O^l_{i, j-1}\right)^2.$$

==Глубокая гармонизация картин==

Для того чтобы вставить изображение в картину или рисунок нужно не только сделать бесшовный переход и изменить цвета, но ещё и изменить текстуру вставляемого изображения, например, сымитировать мазки кистью (Рис. $2$). Используем для этого комбинацию подходов из других статей<ref name="GEB16"/><ref name="JAFF16"/><ref name="WRB17"/>.

[[Файл:LPSB18_Figure_1.png|1000px|thumb|center|Рис. $2$: Пример работы алгоритма ''Deep Image Analogy''<ref name="LYY*17">[https://arxiv.org/pdf/1705.01088.pdf Visual Attribute Transfer through Deep Image Analogy] Jing Liao, Yuan Yao, Lu Yuan, Gang Hua, Sing Bing Kang (2017)</ref> ($3$ картинка) и ''Deep Painterly Harmonization''<ref name="LPSB18"/> ($4$ картинка)]]
Алгоритм состоит из двух проходов. Первый проход делает грубую гармонизацию, а второй {{---}} более тщательную. Отличаются они '''стилевым маппингом''' и функциями потерь<ref name="LPSB18">https://arxiv.org/pdf/1804.03189.pdf Fujun Luan, Sylvain Paris, Eli Shechtman, Kavita Bala (2018)</ref>.

{{Определение
|definition =
'''Стилевым маппингом''' назовём отображение $P : \mathcal{R}^{N_l \times M_l} \rightarrow \mathcal{R}^{N_l \times M_l}$, которое некоторым образом переставляет столбцы матрицы (не обязательно обратимо, то есть столбцы могут теряться и копироваться). Более формально, пусть $p(j)$ {{---}} новая позиция столбца $j$, тогда $P(Q)_{i, p(j)} = Q_{ij}$.}}

Один проход состоит из $3$ частей:
# Входное $I$ и стилевое $S$ изображения подаются на вход нейронной сети VGG-19, так мы получаем $F^l_{ij}\left[I\right]$ и $F^l_{ij}\left[S\right]$.
# Для каждого слоя $l$ некоторым алгоритмом $\pi$ cтроится стилевой маппинг $P_l$, который сопоставляет столбцам из $F_l[I]$ столбцы из $F_l[S]$.
# Изображение $O$ восстанавливается градиентным спуском по пространству изображений с использованием функции потерь $\mathcal{L}$.

'''fun''' $SinglePassHarmonization$(
$I$,// Входное изображение 
$M$,// Маска 
$S$,// Стилевое изображение 
$\pi$,// Алгоритм построения стилевого маппинга 
$\mathcal{L}$// Функция потерь 
):
// Строим матрицы $F[I]$ и $F[S]$ с помощью свёрточной сети VGG-19 
$F[I] \leftarrow ComputeNeuralActivations(I)$
$F[S] \leftarrow ComputeNeuralActivations(S)$
// Строим стилевой маппинг 
$P \leftarrow \pi(F[I], M, F[S])$
// Градиентным спуском ищем изображение $O$, которое минимизирует $\mathcal{L}$ 
$O \leftarrow Reconstruct(I, M, S, P, \mathcal{L})$
'''return''' $O$


===Первый проход===

{{Определение
|definition =
'''Патчем''' (англ. ''patch'') для столбца $j$ будем называть тензор $3 \times 3 \times N_l$, который состоит из соседних векторов активации в тензоре выхода свёрточного слоя, с центром в $(x, y)$, где $j = y W_l + x$.}}

<div class="tright" style="clear:none">[[Файл:LPSB18_Figure_2c.png|250px|thumb|none|Рис. $3.2$: Результаты после второго прохода<ref name="WRB17"/>]]</div>
<div class="tright" style="clear:none">[[Файл:LPSB18_Figure_2b.png|250px|thumb|none|Рис. $3.1$: Результаты после первого прохода<ref name="WRB17"/>]]</div>

Первый проход делает грубую гармонизацию, но при этом он хорошо работает с любыми стилями (Рис. $3.1$). Здесь используется алгоритм $IndependentMapping$ для построения стилевого маппинга. Этот алгоритм для каждого столбца $j$ в $F_l[I]$ ищет столбец $p(j)$ в $F_l[S]$, такой что евклидово расстояние между патчем $F_l[I]$ с центром $j$ и патчем $F_l[S]$ с центром $p(j)$ минимально (метод ближайшего соседа).


'''fun''' $IndependentMapping$(
$F[I]$,// Выходы слоёв после входного изображения 
$Mask$,// Маска 
$F[S]$// Выходы слоёв после стилевого изображения 
):
// Для всех слоёв от $1$ до $L$ 
'''for''' $l \in [1 : L]$:
// Для всех столбцов от $1$ до $M_l$ 
'''for''' $j \in [1 : M_l]$:
// Рассматриваем патчи только внутри маски, которую нужно масштабировать в соответсвии с размером слоя $l$ 
'''if''' $j \in Resize(Mask, l)$:
// Берём самый похожий стилевой патч и записываем его в маппинг. 
$P_l(j) \leftarrow NearestNeighborIndex(F[I], j, F[S])$
'''return''' $P$


В первом проходе используется модифицированная функция потерь $\mathcal{L}_{Gatys}$, с тем лишь отличием, что в $\mathcal{L}_{style}$ к $F_l[S]$ применяется стилевой маппинг $P_l$:

$$\mathcal{L}_1(I, S, O, P) = \mathcal{L}_{content}(I, O) + w_{style}\mathcal{L}_{style}(S, O, P).$$

'''Замечание:''' при посчёте градиента $\mathcal{L}_{content}$ используются только пиксели внутри маски<ref>https://github.com/luanfujun/deep-painterly-harmonization/blob/a33a9a70366b6baff1cc0291f857b5895b271fc1/neural_gram.lua#L349</ref>.

===Второй проход===

[[Файл:LPSB18_Figure_5c.png|thumb|right|250px|Рис. $4.1$: Только первый проход<ref name="WRB17"/>]]
[[Файл:LPSB18_Figure_5d.png|thumb|right|250px|Рис. $4.2$: Только второй проход<ref name="WRB17"/>]]
[[Файл:LPSB18_Figure_5f.png|thumb|right|250px|Рис. $4.3$: Результат с $\mathcal{L}_{style}$ вместо $\mathcal{L}_{s1}$<ref name="WRB17"/>]]
[[Файл:LPSB18_Figure_5g.png|thumb|right|250px|Рис. $4.4$: Оба прохода<ref name="WRB17"/>]]
[[Файл:LPSB18_Figure_5h.png|thumb|right|250px|Рис. $4.5$: Финальный результат<ref name="WRB17"/>]]

Второй проход делает более качественную гармонизацию после первого прохода (Рис. $3.2$). Здесь мы будем использовать более сложный алгоритм $ConsistentMapping$ построения стилевого маппинга и более сложную функцию потерь. Суть этого алгоритма в том, чтобы найти стилевой мапинг на некотором слое $l_{ref}$ и перенести этот маппинг на остальные слои. Также, мы будем предпочитать маппинги, в которых смежные патчи в $F_l[S]$ остаются смежными после мапинга, чтобы обеспечить пространсвенную согласованность (таким образом мы хотим переносить сложные текстуры более качественно, например, мазки кистью). Если применять второй проход сразу, то результаты получаются хуже (Рис. $4.2$).


'''fun''' $ConsistentMapping$(
$F[I]$,// Выходы слоёв после входного изображения 
$Mask$,// Маска 
$F[S]$// Выходы слоёв после стилевого изображения 
):
// Сначала посчитаем маппинг как в IndependentMapping только для слоя $l_{ref}$ 
'''for''' $j \in [1 : M_{l_{ref}}]$:
'''if''' $j \in Resize(Mask, l_{ref})$:
$P_0(j) \leftarrow NearestNeighborIndex(F[I], j, F[S])$

// Далее обеспечиваем пространсвенную согласованность 
'''for''' $j \in [1 : M_{l_{ref}}]$:
'''if''' $j \in Resize(Mask, l_{ref})$:
$q \leftarrow P_0(j)$
// Инициализируем множество кандидатов на новый маппинг 
$CSet \leftarrow \{q\}$
// Перебираем все смежные патчи 
'''for''' $o \in \left\{N, NE, E, SE, S, SW, W, NW\right\}$:
// Добавляем в кандидаты патч, сосед которого является маппингом для нашего соседа в соответсвующем направлении 
$CSet \leftarrow CSet \cup \left\{P_0(j + o) - o\right\}$
// Среди всех кандидатов выбираем тот, который ближе всего к маппингам наших соседей 
$P_{l_{ref}}(j) \leftarrow \underset{c \in CSet}{\mathrm{argmin}}\displaystyle\sum_o \left\|(F_{l_{ref}}[S]_c - F_{l_{ref}}[S]_{P_0(j + o)}\right\|^2$

// Теперь нужно перенести маппинг для $l_{ref}$ на остальные слои 
'''for''' $l \in [1 : L] \setminus \{l_{ref}\}$:
'''for''' $j \in [1 : M_l]$:
'''if''' $j \in Resize(Mask, l)$:
// Вычисляем позицию $j'$ на слое $l_{ref}$ соответствующую позиции $j$ на слое $l$
$j' \leftarrow ChangeResolution(l, l_{ref}, j)$
// Берём маппинг для позиции $j'$
$q \leftarrow P_{l_{ref}}(j')$
// Переносим позицию $q$ обратно на слой $l$
$P_l(j) \leftarrow ChangeResolution(l_{ref}, l, q)$
'''return''' $P$


При вычислении стилевого маппинга появляется очень много дублирующихся векторов, что даёт не очень хорошие результаты (Рис. $4.3$). Поэтому при вычислении матрицы Грама выкинем повторяющиеся векторы. Назовём функцию потерь с такой модификацией $\mathcal{L}_{s1}$.

$$\mathcal{L}_2(I, S, O, P) = \mathcal{L}_{content}(I, O) + w_{style}\mathcal{L}_{s1}(S, O, P) + w_{hist}\mathcal{L}_{hist}(S, O) + w_{tv}\mathcal{L}_{tv}(O),$$
где $w_{style}, w_{hist}, w_{tv}$ {{---}} веса соответсвующих функций потерь.



===Итоговый алгоритм===

Теперь осталось запустить две стадии:


'''fun''' $Harmonization$(
$I$,// Входное изображение 
$Mask$,// Маска 
$S$// Стилевое изображение 
):
// Грубый проход алгоритма. Каждый слой рассматривается отдельно при построении стилевого маппинга. 
$I' \leftarrow SinglePassHarmonization(I, Mask, S, IndependentMapping, \mathcal{L}_1)$
// Улучшение результата. Стилевой маппинг строится консистентно для всех слоёв. 
$O \leftarrow SinglePassHarmonization(I', Mask, S, ConsistentMapping, \mathcal{L}_2)$
'''return''' $O$


===Постобработка===

[[Файл:LPSB18_Figure_6abc.png|400px|thumb|right|Рис. $5$: Результат постобработки (без постобработки, после первой стадии, после второй стадии)<ref name="WRB17"/>]]

Описанный алгоритм даёт хорошие результаты в целом, но при ближайшем рассмотрении могут быть артефакты (Рис. $5$). Поэтому сделаем двухступенчатую постобработку (подробное описание есть в оригинальной статье<ref name="LPSB18"/>):
# Переведём изображение в цветовое пространство [https://en.wikipedia.org/wiki/CIELAB_color_space $L*\alpha*\beta$] и применим [https://en.wikipedia.org/wiki/Guided_filter Guided filter] для a и b каналов.
# С помощью алгоритма PatchMatch<ref name="BSFG09">https://www.researchgate.net/profile/Eli_Shechtman/publication/220184392_PatchMatch_A_Randomized_Correspondence_Algorithm_for_Structural_Image_Editing/links/02e7e520897b12bf0f000000.pdf Connelly Barnes, Eli Shechtman, Adam Finkelstein, Dan B Goldman (2009)</ref> и того же Guided filter делаем так, чтобы все патчи выходного изображения присутсвовали в стилевом (чтобы не было новых объектов или структур).

===Детали реализации===

[[Файл:LPSB18_Figure_4.png|400px|thumb|right|Рис. $6$: Влияние $l_{ref}$ на результат<ref name="WRB17"/>]]

Возьмём $l_{ref}$ = conv4_1 (что будет если использовать другие слои видно на Рис. $6$).
Выберем следующие веса для слоёв:

{| class="wikitable"
|+ Первый проход
|-
! Параметр
! conv1_1
! conv2_1
! conv3_1
! conv4_1
! conv5_1
|-
! $\alpha$
| $0$
| $0$
| $0$
| $1$
| $0$
|-
! $\beta$
| $0$
| $0$
| $1/3$
| $1/3$
| $1/3$
|}

{| class="wikitable"
|+ Второй проход
|-
! Параметр
! conv1_1
! conv2_1
! conv3_1
! conv4_1
! conv5_1
|-
! $\alpha$
| $0$
| $0$
| $0$
| $1$
| $0$
|-
! $\beta$
| $1/4$
| $1/4$
| $1/4$
| $1/4$
| $0$
|-
! $\gamma$
| $1/2$
| $0$
| $0$
| $1/2$
| $0$
|}


Введём гиперпараметр $\tau$ и возьмём $w_{style} = w_{hist} = \tau$, $w_{tv} = \tau\frac{10}{1 + \exp(10^4 * noise(S) - 25)}$, где $noise(S) = \underset{i,j}{\mathrm{med}}\left\{\left(O^l_{i, j} - O^l_{i-1, j}\right)^2 + \left(O^l_{i, j} - O^l_{i, j-1}\right)^2\right\}$<ref>[https://github.com/luanfujun/deep-painterly-harmonization/blob/a33a9a70366b6baff1cc0291f857b5895b271fc1/neural_paint.lua#L470 код функции $noise$.</ref>.

Для того чтобы подбирать $\tau$ авторы статьи использовали классификатор стилей изображений. Они взяли VGG-19, обучили её классифицировать $18$ различных стилей. Эти стили были разделены на $3$ категории с разными $\tau$. Используя $Softmax$ можно интерполировать необходимый $\tau$ по следующей таблице:

{| class="wikitable"
|-
! Категория стиля
! Примеры стилей
! $\tau$
|-
! Слабый
| Барокко, Высокое Возрождение
| $1$
|-
! Средний
| Абстрактное Искусство, Постимпрессионизм
| $5$
|-
! Сильный
| Кубизм, Экспрессионизм
| $10$
|}

На рисунке $4.4$ результат алгоритма без подбора гиперпараметров. Видно, что самолёт ярче, чем остальное изображение. С подбором параметров получается более естественный результат (Рис. $4.5$).

===Примеры===
Примеры взяты с [https://github.com/luanfujun/deep-painterly-harmonization/tree/master/results гитхаба авторов].

{|
! Исходное изображение
! Простая вставка
! Результат
! Постобработка
|-
| [[Файл:5_target.jpg|200px]]
| [[Файл:5_naive.jpg|200px]]
| [[Файл:5_final_res.png|200px]]
| [[Файл:5_final_res2.png|200px]]
|-
| [[Файл:6_target.jpg|200px]]
| [[Файл:6_naive.jpg|200px]]
| [[Файл:6_final_res.png|200px]]
| [[Файл:6_final_res2.png|200px]]
|-
| [[Файл:10_target.jpg|200px]]
| [[Файл:10_naive.jpg|200px]]
| [[Файл:10_final_res.png|200px]]
| [[Файл:10_final_res2.png|200px]]
|}

==Глубокий блендинг==



Алгоритм глубокого блендинга состоит из двух этапов. На первом этапе на стилевое изображения $S$ бесшовно накладывается входное изображение $I$, получается подготовительное блендинг-изображение $B$. На втором этапе $B$ модифицируется таким образом, чтобы результат по стилю был похож на $S$.

Будем считать, что на вход подаются изображения, прошедшие предварительную обработку:
* Используемая для вставки часть $I$ вырезана с помощью маски.
* $M$ и $I$ выровнены относительно $S$.
* Размеры матриц, задающих $M, S, I$, совпадают.

'''Примеры входных данных:'''
{| class="wikitable" style="background-color:#FFF; text-align:center"
! '''Стилевое изображение $S$'''<ref name='ZWS20'/>
| [[Файл:Deep bl s1.png|150px]]
| [[Файл:Deep bl s2.png|150px]]
| [[Файл:Deep bl s3.png|150px]]
|-
! '''Накладываемое изображение $I$'''<ref name='ZWS20'/>
| [[Файл:Deep bl i1.png|150px]]
| [[Файл:Deep bl i2.png|150px]]
| [[Файл:Deep bl i3.png|150px]]
|}

{{Определение
|definition =
'''Простой вставкой''' (англ. ''copy and paste'') $CAP(M, S, I)$ будем назвать изображение, полученное наложением части изображения $I$, заданной маской $M$, на изображение $S$.
$CAP(M, S, I) = I \odot M + S \odot (1 - M)$, где $\odot$ {{---}} покомпонентное умножение. }}

{{Определение
|definition =
'''Дискретный оператор Лапласа''' (фильтр Лапласа) $\mathbf{D}^2$ {{---}} аналог непрерывного оператора Лапласа $\nabla^2$, который позволяет выделять контуры изображения (Рис. $7.1$ и $7.2$).
$$\mathbf{D}^2=\begin{bmatrix}0 & 1 & 0\\1 & -4 & 1\\0 & 1 & 0\end{bmatrix}.$$ }}
{| class="wikitable" style="float:right; clear:right;"
!Рис. $7.1$: Исходное изображение<ref>https://en.wikipedia.org/wiki/Lenna#/media/File:Lenna_(test_image).png</ref>
!Рис. $7.2$: Применение фильтра Лапласа
|-
| [[Файл:Lenna.png|220px]]
| [[Файл:Lenna_Laplacian_Neg.png|220px]]
|}

Для сохранения контуров изображений $S$ и $I$ в области вставки воспользуемся идеей из [[Блендинг изображений#Блендинг Пуассона|метода Пуассона]] и введём следующую функцию потерь<ref name='ZWS20'/>:
$$\mathcal{L}_{grad}(S, I, M, O) = \displaystyle\frac{1}{2HW}\displaystyle\sum_{m=1}^H \displaystyle\sum_{n=1}^W \left[ \mathbf{D}^2 B - \left(\mathbf{D}^2 S + \mathbf{D}^2 I\right) \right]^2_{mn},$$
где $H, W$ {{---}} высота и ширина изображений. $B = CAP(M, S, O)$ {{---}} блендинговое изображение, оптимизируемое относительно $O$.

Рассмотрим область $\overline{\Omega} = \{\;p \;| \;M_p = 0\; \}$. Заметим, что градиент $I$ в $\overline{\Omega}$ равен нулю. Тогда градиенты $S$ и $B$ совпадают, и задача минимизации $\mathcal{L}_{grad}$ решается только в области вставки.

На обоих этапах алгоритм минимизирует взвешенную сумму следующих функций потерь:
* $\mathcal{L}_{content}$ для сохранения содержания накладываемого изображения $I$.
* $\mathcal{L}_{style}$ для переноса стиля изображения $S$ на $I$.
* $\mathcal{L}_{hist}$ для стабилизации переноса стиля.
* $\mathcal{L}_{tv}$ для удаления шумов.
* $\mathcal{L}_{grad}$ для сохранения контуров фона и изображения.


Для подсчета $\mathcal{L}_{style}$ и $\mathcal{L}_{content}$ авторами статьи<ref name='ZWS20'>[https://openaccess.thecvf.com/content_WACV_2020/papers/Zhang_Deep_Image_Blending_WACV_2020_paper.pdf Deep Image Blending] Lingzhi Zhang, Tarmily Wen, Jianbo Shi (2020)</ref> использовалась сеть VGG-19<ref name="SZ14"/>, обученная на ImageNet<ref name="ImageNet">https://image-net.org/papers/imagenet_cvpr09.pdf J. Deng, W. Dong, R. Socher, L.-J. Li, K. Li, and L. FeiFei. Imagenet: A large-scale hierarchical image database</ref>.

=== Первый этап ===
На первом этапе изображение $I$ накладывается на фоновое изображение $S$ таким образом, чтобы были незаметны швы.
Построение начинается с белого шума $Z$, который оптимизируется в области вставки путем минимизации суммарной функции потерь $\mathcal{L}_{total}$, представленной взвешенной суммой всех функций потерь, описанных выше:
$$ \mathcal{L}_{total}(Z) = w_{grad}\mathcal{L}_{grad}(I, S, B) + w_{content}\mathcal{L}_{content}(I, M, Z) + w_{style}\mathcal{L}_{style}(S, B) + w_{tv}\mathcal{L}_{tv}(B) + w_{hist}\mathcal{L}_{hist}(S, B).$$
Для решения задачи минимизации авторы статьи<ref name='ZWS20' /> используют алгоритм L-BFGS<ref name="LBFGS">https://en.wikipedia.org/wiki/Limited-memory_BFGS Limited-memory BFGS - Wikipedia</ref>.

Отметим, что $\mathcal{L}_{content}$ зависит от маски и отвечает за сохранение содержания $I$ в области вставки.

Отличительной чертой этого этапа является использование функции потерь $\mathcal{L}_{grad}$, приближающей градиент результата к градиенту $I$ в области наложения, за счет чего достигается бесшовность.

В результате получается подготовительное блендинг-изображение $B$.


'''fun''' $SeamlessBlending$(
$I$, // Входное изображение 
$M$, // Маска 
$S$ // Стилевое изображение 
):
// Инициализируем первое приближение белым шумом 
$Z \leftarrow RandomNoise() $
$B \leftarrow CAP(M, S, Z)$
// Определим суммарную функцию потерь с весами слагаемых $w$
$\mathcal{L}_{total}(Z) \leftarrow w_{grad}\mathcal{L}_{grad}(I, S, B) + w_{content}\mathcal{L}_{content}(I, M, Z) + w_{style}\mathcal{L}_{style}(S, B) + w_{tv}\mathcal{L}_{tv}(B) + w_{hist}\mathcal{L}_{hist}(S, B)$
// С помощью алгоритма L-BFGS ищем изображение $Z$, которое минимизирует $\mathcal{L}_{total}$ 
$Z \leftarrow Reconstruct(\mathcal{L}_{total}, Z)$
'''return''' $CAP(M, S, Z)$


=== Второй этап ===

Второй этап алгоритма представляет собой модификацию полученного на первом этапе блендинг-изображения $B$ таким образом, чтобы стиль изображения был наиболее близок к стилю $S$.

В отличие от предыдущего этапа, функция потерь не включает в себя $\mathcal{L}_{grad}$:
$$\mathcal{L}_{total}(O) = w_{content}\mathcal{L}_{content}(B, O) + w_{style}\mathcal{L}_{style}(S, O) + w_{tv}\mathcal{L}_{tv}(O) + w_{hist}\mathcal{L}_{hist}(S, O).$$

Минимизация происходит относительно результата алгоритма $O$, который инициализируется изображением $B$.


'''fun''' $StyleRefinement$(
$B$, // Подготовительное блендинг-изображение, результат первого этапа 
$M$, // Маска 
$S$ // Стилевое изображение 
):
$O \leftarrow B$
// Определим суммарную функцию потерь с весами слагаемых $w$
$\mathcal{L}_{total}(O) \leftarrow w_{cont}\mathcal{L}_{content}(B, O) + w_{style}\mathcal{L}_{style}(S, O) + w_{tv}\mathcal{L}_{tv}(O) + w_{hist}\mathcal{L}_{hist}(S, O)$
// С помощью алгоритма L-BFGS ищем изображение $O$, которое минимизирует $\mathcal{L}_{total}$ 
$O \leftarrow Reconstruct(\mathcal{L}_{total}, O)$
'''return''' $O$


Примеры с [https://github.com/owenzlz/DeepImageBlending/tree/master/results гитхаба авторов]:

{|
! После первого этапа
! После обоих этапов
|-
| [[Файл:1_first_pass.png|300px]]
| [[Файл:1_second_pass.png|300px]]
|-
| [[Файл:3_first_pass.png|300px]]
| [[Файл:3_second_pass.png|300px]]
|-
| [[Файл:5_first_pass.png|300px]]
| [[Файл:5_second_pass.png|300px]]
|}

===Детали реализации===
В статье использовались следующие значения коэффициентов:

{| class="wikitable"
|+ Веса функций потерь
|-
! Этап
! $w_{grad}$
! $w_{content}$
! $w_{style}$
! $w_{hist}$
! $w_{tv}$
|-
! $1$
| $10^5$
| $1$
| $10^5$
| $1$
| $10^{-6}$
|-
! $2$
| $0$
| $1$
| $10^7$
| $1$
| $10^{-6}$
|}

{| class="wikitable"
|+ Коэффициенты $\alpha$ и $\beta$
|-
! Параметр
! conv1_2
! conv2_2
! conv3_3
! conv4_3
|-
! $\alpha$
| $0$
| $1$
| $0$
| $0$
|-
! $\beta$
| $1/4$
| $1/4$
| $1/4$
| $1/4$
|}

На обоих этапах максимальное количество итераций алгоритма L-BFGS {{---}} $1000$.

=== Примеры ===
Примеры с [https://github.com/owenzlz/DeepImageBlending/tree/master/results гитхаба авторов]:

[[Файл:МЛ блендинг пример.png|1000px]]

==См. также==
* [[Neural_Style_Transfer|Neural Style Transfer]]
* [[Сверточные_нейронные_сети | Свёрточная нейронная сеть]]

==Источники информации==
* [https://en.wikipedia.org/wiki/Histogram_matching Histogram matching]
* Patrick Perez, Michel Gangnet, Andrew Blake (2003), [https://www.cs.jhu.edu/~misha/Fall07/Papers/Perez03.pdf Poisson Image Editing].

* Leon A. Gatys, Alexander S. Ecker, Matthias Bethge (2016), [https://rn-unison.github.io/articulos/style_transfer.pdf Image Style Transfer Using Convolutional Neural Networks]




* Fujun Luan, Sylvain Paris, Eli Shechtman, Kavita Bala (2018), [https://arxiv.org/pdf/1804.03189.pdf Deep Painterly Harmonization]
* Lingzhi Zhang, Tarmily Wen, Jianbo Shi (2020), [https://openaccess.thecvf.com/content_WACV_2020/papers/Zhang_Deep_Image_Blending_WACV_2020_paper.pdf Deep Image Blending]

==Примечания==

[[Категория: Машинное обучение]]
[[Категория: Нейронные сети]]
[[Категория: Сверточные нейронные сети]]

Файл:Diver bl diver.png

2021-01-22T11:26:25Z

Npostnikova:

Файл:Diver bl sea.png

2021-01-22T11:25:41Z

Npostnikova:

Файл:Diver bl3.png

2021-01-22T11:19:10Z

Npostnikova:

Файл:Diver bl2.png

2021-01-22T11:18:29Z

Npostnikova:

Файл:Diver bl1.png

2021-01-22T11:18:01Z

Npostnikova:

Модель сущность-связь

2021-01-21T20:11:22Z

Npostnikova: /* Object Definition Language */

== Сущности ==
{{Определение
|definition =
'''Сущностью''' (англ. ''entity'') называют некоторый объект, обладающий именем и атрибутами.}}
{{Определение
|definition =
'''Атрибутом''' (англ. ''attribute'') называют некоторую характеристику объекта, содержащую имя атрибута и домен и обладающую некоторыми свойствами. }}

[[Файл:Student сущность.png|400px|thumb|right|Пример сущности $Student$]]

Домен не указывает конкретный физический тип, однако позволяет указать, какие атрибуты будут иметь одинаковый тип в физической модели. Так, например, атрибуты $FirstName$ и $LastName$ сущности $Student$ будут обладать одним физическим типом.

'''Типы доменов:'''
* Простой {{---}} атомарное значение, например, $id$
* Составной {{---}} состоящий из нескольких значений, например, <code>passport { series: char(4), number: char(6) }</code>

'''Свойства атрибутов:'''

{| class="wikitable" style="background-color:#FFF; text-align:center"
! style="background-color:#F0F8FF;" |Обозначение
! style="background-color:#F0F8FF;" |Свойство
|-
|'''M'''
|Обязательное (англ. ''mandatory'')
|-
|'''O'''
|Необязательное (англ. ''optional'')
|-
|'''PK'''
|Основной ключ (англ. ''primary key'')
|-
|'''Kn'''
|Дополнительный ключ $n$ (англ. ''key'')
|}

'''Замечания:'''
* Так как любой атрибут обладает либо свойством обязательности, либо свойством необязательности, будем считать атрибуты необязательными по умолчанию, не указывая это свойство явно.
* Основной ключ можно выделить, подчеркнув атрибуты, входящие в него, сплошной линией.

== Связи ==

[[Файл:ERM Student Group.png|400px|thumb|right|Пример связи]]
'''Связь''' обозначается линией с двумя концами и обладает следующими характеристиками:
* Имя
* Связываемые сущности и их роли
* Тип связи (задается типами концов)

На примере показано, что студен принадлежит одной группе, а в группе может быть несколько студентов (в том числе нуль).

'''Типы концов:'''
{| class="wikitable" style="background-color:#FFF; text-align:center"
! style="background-color:#F0F8FF;" |Тип
! style="background-color:#F0F8FF;" |Обозначение
|-
|style="padding: 3px" |Один
|[[Файл:Db mandatory.png|50px]]
|-
|style="padding: 3px" | Много
|[[Файл:Db many.png|50px]]
|-
|Обязательный
|[[Файл:Db mandatory.png|50px]]
|-
|style="padding:3px"| Необязательный
|[[Файл:Db optional.png|50px]]
|}

Можно выбрать значение по умолчанию, которое будет обозначаться сплошной линией без символов.

'''Примеры:'''
{| class="wikitable" style="background-color:#FFF; text-align:center"
! style="background-color:#F0F8FF;" |Связь
! style="background-color:#F0F8FF;" |Значение
! style="background-color:#F0F8FF;" |По умолчанию
|-
|style="padding: 2px"|[[Файл:Many to many.png|120px]]
|Многие ко многим
|style="padding: 2px"|Единственность, необязательность
|-
|style="padding: 2px"|[[Файл:One to many.png|120px]]
|Один ко многим
|Единственность, обязательность
|-
|style="padding: 2px"|[[Файл:One to one.png|120px]]
|Один к одному
|Единственность, обязательность
|-
|}

'''Замечание:''' В дальнейшем будем считать, что значениями по умолчанию будет «один» и «необязательный».

== Ассоциации ==
{{Определение
|definition =
'''Ассоциацией''' (англ. ''association'') называется многосторонняя связь, нагруженная произвольными не ключевыми атрибутами.}}

[[Файл:Association contract.png|400px|thumb|right|Графическое обозначение ассоциации]]
'''Замечания:'''
* Ассоциация обозначается прямоугольником с закругленными краями
* Может содержать не ключевые атрибуты
* Имеет произвольное количество концов с произвольными ролями и типами

[[Файл:Db erm contract.png|400px|thumb|left|Пример с ассоциацией]]
Проанализируем пример. Контракт заключается с одним студентом, на одну специальность, которая может быть не указана на момент заключения контракта. У контракта должен быть один или более поручителей. Контракт нагружен информацией о датах, когда контракт был подготовлен (обязательный атрибут) и подписан (опциональный атрибут, поскольку контракт может быть подписан не сразу).

'''Как понять, что использовать: ассоциацию, связь или сущность?'''
* Если нужно два конца и нет нагруженности, используем связь
* Если нужно идентифицировать, используем сущность, поскольку связь не идентифицируется из-за отсутствия ключевых элементов
* Иначе используется ассоциация

===Многосторонние ассоциации===
[[Файл:Association неопределнность нотации.png|thumb|right|350px|Пример неоднозначности интерпретации связей]]
Многостороннюю ассоциацию можно интерпретировать по-разному. Так, например, на рисунке может быть обозначено следующее:
* У каждого контракта есть один поручитель
* Можно быть поручителем у ровно одного контракта

{| class="wikitable" style="background-color:#FFF; text-align:center"
|'''Ограничение по Чену''' (англ. ''Chen-like'', ''Look-across'')
|[[Файл:Chen-like.png|350px]]
|style="padding: 10px;"|Зафиксировав остальные сущности, получаем ограничение на рассматриваемую. У каждого контракта есть поручитель.
|-
|'''Ограничение по Мерис''' (англ. ''Merise-like'', ''Look-here'')
|[[Файл:Merise-like.png|350px]]
|style="padding: 10px;"|Ограничение непосредственно на сущность. Можно быть поручителем у одного контракта.
|}
Также существуют '''обобщенные ограничения''' (англ. ''generic''), позволяющие зафиксировать произвольное подмножество.
[[Файл:Все ограничения.png|600px]]

=== Выразительная мощность ограничений ===
* Для ассоциаций с двумя концами:
** Чен = Мерис = Обобщенные
* Для ассоциаций с тремя концами:
** Чен + Мерис = Обобщенные
* Для ассоциации с четырьмя и более концами:
** Чен + Мерис < Обобщенные

== Слабые сущности ==
{{Определение
|definition =
'''Слабой сущностью''' называется сущность, у которой недостаточно атрибутов для идентификации.}}
Слабая сущность обозначается прямоугольником с двойной границей.
{{Определение
|definition =
'''Идентифицирующей связью''' называется связь, позволяющая слабой сущности получить атрибуты, необходимые для ее идентификации.}}
[[Файл:Weak entity.png|400px|thumb|right|Пример слабой сущности]]
Идентифицирующая связь обозначается двойной сплошной линией.

Например, название учебной группы уникально в рамках одного университета. Если же мы будем рассматривать несколько университетов, для идентификации группы будет недостаточно лишь ее названия. В таком случае можно считать группу слабой сущностью, для идентификации которой необходим университет.

== Альтернативные нотации ==
Выше рассматривалась нотация '''Crow's foot''', предложенная Гордоном Эверестом.
===Нотация Питера Чена===
Модель Сущность-связь была предложена Питером Ченом в 1976 году, им же была предложена следующая графическая нотация:

[[Файл:Нотация Питера Чена.png|600px]]

===UML-нотация===
Для каждой таблицы явно подписывается, что она обозначает (ассоциацию, сущность и т.д.). Ограничения прописываются в виде $i..k$ (например, $1..n$), это позволяет наложить ограничение $2..n$, что было невозможно в Crow's foot.

[[Файл:UML-нотация.png|400px]]

===Object Definition Language===
Позволяет задавать схему базы данных кодом.

Рассмотрим пример. У студента есть идентификатор <code>Id</code>, имя <code>Name</code>, а также ссылка на группу <code>group</code>. Явно указываем, что противоположностью этой ссылки является соответствующее поле класса <code>Group</code>: <code>inverse Group::students</code>.

У группы есть <code>Id</code> и смножество студентов <code>students</code>, учащихся в группе. Указываем, что у студентов ссылка хранится в поле <code>group</code>.

В данном примере выражена связь один ко многим: студент зачислен в одну группу, в каждой группе есть несколько студентов.

'''class''' Student {
int Id;
string Name;
Group group inverse Group::students;
}

'''class''' Group {
int id;
Set<Student> students inverse Student::group;
}

Модель сущность-связь

2021-01-21T19:53:47Z

Npostnikova: /* Ассоциации */

== Сущности ==
{{Определение
|definition =
'''Сущностью''' (англ. ''entity'') называют некоторый объект, обладающий именем и атрибутами.}}
{{Определение
|definition =
'''Атрибутом''' (англ. ''attribute'') называют некоторую характеристику объекта, содержащую имя атрибута и домен и обладающую некоторыми свойствами. }}

[[Файл:Student сущность.png|400px|thumb|right|Пример сущности $Student$]]

Домен не указывает конкретный физический тип, однако позволяет указать, какие атрибуты будут иметь одинаковый тип в физической модели. Так, например, атрибуты $FirstName$ и $LastName$ сущности $Student$ будут обладать одним физическим типом.

'''Типы доменов:'''
* Простой {{---}} атомарное значение, например, $id$
* Составной {{---}} состоящий из нескольких значений, например, <code>passport { series: char(4), number: char(6) }</code>

'''Свойства атрибутов:'''

{| class="wikitable" style="background-color:#FFF; text-align:center"
! style="background-color:#F0F8FF;" |Обозначение
! style="background-color:#F0F8FF;" |Свойство
|-
|'''M'''
|Обязательное (англ. ''mandatory'')
|-
|'''O'''
|Необязательное (англ. ''optional'')
|-
|'''PK'''
|Основной ключ (англ. ''primary key'')
|-
|'''Kn'''
|Дополнительный ключ $n$ (англ. ''key'')
|}

'''Замечания:'''
* Так как любой атрибут обладает либо свойством обязательности, либо свойством необязательности, будем считать атрибуты необязательными по умолчанию, не указывая это свойство явно.
* Основной ключ можно выделить, подчеркнув атрибуты, входящие в него, сплошной линией.

== Связи ==

[[Файл:ERM Student Group.png|400px|thumb|right|Пример связи]]
'''Связь''' обозначается линией с двумя концами и обладает следующими характеристиками:
* Имя
* Связываемые сущности и их роли
* Тип связи (задается типами концов)

На примере показано, что студен принадлежит одной группе, а в группе может быть несколько студентов (в том числе нуль).

'''Типы концов:'''
{| class="wikitable" style="background-color:#FFF; text-align:center"
! style="background-color:#F0F8FF;" |Тип
! style="background-color:#F0F8FF;" |Обозначение
|-
|style="padding: 3px" |Один
|[[Файл:Db mandatory.png|50px]]
|-
|style="padding: 3px" | Много
|[[Файл:Db many.png|50px]]
|-
|Обязательный
|[[Файл:Db mandatory.png|50px]]
|-
|style="padding:3px"| Необязательный
|[[Файл:Db optional.png|50px]]
|}

Можно выбрать значение по умолчанию, которое будет обозначаться сплошной линией без символов.

'''Примеры:'''
{| class="wikitable" style="background-color:#FFF; text-align:center"
! style="background-color:#F0F8FF;" |Связь
! style="background-color:#F0F8FF;" |Значение
! style="background-color:#F0F8FF;" |По умолчанию
|-
|style="padding: 2px"|[[Файл:Many to many.png|120px]]
|Многие ко многим
|style="padding: 2px"|Единственность, необязательность
|-
|style="padding: 2px"|[[Файл:One to many.png|120px]]
|Один ко многим
|Единственность, обязательность
|-
|style="padding: 2px"|[[Файл:One to one.png|120px]]
|Один к одному
|Единственность, обязательность
|-
|}

'''Замечание:''' В дальнейшем будем считать, что значениями по умолчанию будет «один» и «необязательный».

== Ассоциации ==
{{Определение
|definition =
'''Ассоциацией''' (англ. ''association'') называется многосторонняя связь, нагруженная произвольными не ключевыми атрибутами.}}

[[Файл:Association contract.png|400px|thumb|right|Графическое обозначение ассоциации]]
'''Замечания:'''
* Ассоциация обозначается прямоугольником с закругленными краями
* Может содержать не ключевые атрибуты
* Имеет произвольное количество концов с произвольными ролями и типами

[[Файл:Db erm contract.png|400px|thumb|left|Пример с ассоциацией]]
Проанализируем пример. Контракт заключается с одним студентом, на одну специальность, которая может быть не указана на момент заключения контракта. У контракта должен быть один или более поручителей. Контракт нагружен информацией о датах, когда контракт был подготовлен (обязательный атрибут) и подписан (опциональный атрибут, поскольку контракт может быть подписан не сразу).

'''Как понять, что использовать: ассоциацию, связь или сущность?'''
* Если нужно два конца и нет нагруженности, используем связь
* Если нужно идентифицировать, используем сущность, поскольку связь не идентифицируется из-за отсутствия ключевых элементов
* Иначе используется ассоциация

===Многосторонние ассоциации===
[[Файл:Association неопределнность нотации.png|thumb|right|350px|Пример неоднозначности интерпретации связей]]
Многостороннюю ассоциацию можно интерпретировать по-разному. Так, например, на рисунке может быть обозначено следующее:
* У каждого контракта есть один поручитель
* Можно быть поручителем у ровно одного контракта

{| class="wikitable" style="background-color:#FFF; text-align:center"
|'''Ограничение по Чену''' (англ. ''Chen-like'', ''Look-across'')
|[[Файл:Chen-like.png|350px]]
|style="padding: 10px;"|Зафиксировав остальные сущности, получаем ограничение на рассматриваемую. У каждого контракта есть поручитель.
|-
|'''Ограничение по Мерис''' (англ. ''Merise-like'', ''Look-here'')
|[[Файл:Merise-like.png|350px]]
|style="padding: 10px;"|Ограничение непосредственно на сущность. Можно быть поручителем у одного контракта.
|}
Также существуют '''обобщенные ограничения''' (англ. ''generic''), позволяющие зафиксировать произвольное подмножество.
[[Файл:Все ограничения.png|600px]]

=== Выразительная мощность ограничений ===
* Для ассоциаций с двумя концами:
** Чен = Мерис = Обобщенные
* Для ассоциаций с тремя концами:
** Чен + Мерис = Обобщенные
* Для ассоциации с четырьмя и более концами:
** Чен + Мерис < Обобщенные

== Слабые сущности ==
{{Определение
|definition =
'''Слабой сущностью''' называется сущность, у которой недостаточно атрибутов для идентификации.}}
Слабая сущность обозначается прямоугольником с двойной границей.
{{Определение
|definition =
'''Идентифицирующей связью''' называется связь, позволяющая слабой сущности получить атрибуты, необходимые для ее идентификации.}}
[[Файл:Weak entity.png|400px|thumb|right|Пример слабой сущности]]
Идентифицирующая связь обозначается двойной сплошной линией.

Например, название учебной группы уникально в рамках одного университета. Если же мы будем рассматривать несколько университетов, для идентификации группы будет недостаточно лишь ее названия. В таком случае можно считать группу слабой сущностью, для идентификации которой необходим университет.

== Альтернативные нотации ==
Выше рассматривалась нотация '''Crow's foot''', предложенная Гордоном Эверестом.
===Нотация Питера Чена===
Модель Сущность-связь была предложена Питером Ченом в 1976 году, им же была предложена следующая графическая нотация:

[[Файл:Нотация Питера Чена.png|600px]]

===UML-нотация===
Для каждой таблицы явно подписывается, что она обозначает (ассоциацию, сущность и т.д.). Ограничения прописываются в виде $i..k$ (например, $1..n$), это позволяет наложить ограничение $2..n$, что было невозможно в Crow's foot.

[[Файл:UML-нотация.png|400px]]

===Object Definition Language===

'''class''' Student {
int Id;
string Name;
Group group inverse Group::Students;
}

'''class''' Group {
int id;
Set<Student> students inverse Student::group;
}

Физическая модель базы данных

2021-01-21T19:30:39Z

Npostnikova: /* Графическая нотация */

{{Определение
|definition =
'''Физическая модель базы данных''' — это модель данных, которая определяет, каким образом представляются данные, и содержит все детали, необходимые СУБД для создания базы данных.}}
'''Схема реляционной БД:'''
* Основные элементы
** Таблицы
** Ссылки между таблицами
* Дополнительные элементы
** Триггеры
** Представления
** Хранимые процедуры

Рассмотрим основные элементы схемы реляционной БД.

== Таблицы ==
Каждая таблица состоит из строк и столбцов и предназначена для хранения информации об однотипных объектах.
{{Определение
|definition =
'''Запись''' — набор полей, содержащий информацию о конкретном объекте. Записям соответствуют строки таблицы. }}
{{Определение
|definition =
'''Поле''' — значение определенного типа, отражающее конкретную характеристику объекта. Столбец таблицы содержит поля записей, отвечающие за одну характеристику.
}}
Пример таблицы, содержащей информацию о студентах:
{| class="wikitable" style="background-color:#FFF; text-align:center; padding:1000px"
!'''StudentId: int'''
!'''Name: varchar(60)'''
!'''Birth: Date'''
|-
|1
|Иван Иванов
|01.01.1998
|-
|2
|Петр Петров
|02.02.1999
|}

== Ключи ==
{{Определение
|definition =
'''Ключом''' называется набор полей, уникально идентифицирующий запись.}}
Выделяют следующие виды ключей:
* По структуре ключа:
** '''Простые''' (англ. ''simple'') {{---}} состоящие из одного поля,
** '''Составные''' (англ. ''composite'') {{---}} состоящие из нескольких полей.
* По «естественности»:
** '''Естественные''' (англ. ''natural'') {{---}} приходят из реальных данных,
** '''Суррогатные''' (англ. ''surrogate'') {{---}} генерируются СУБД или придумываются специально для идентификации записи. Использование суррогатного ключа может быть обусловлено тем, что естественный ключ является длинным, составным или вовсе отсутствует.
* По «приоритету»:
** '''Основной''' (англ. ''primary'') {{---}} ключ, используемый для того, чтобы ссылаться на таблицу. Использование различных ключей для ссылок считается плохой практикой.
** '''Дополнительные''' (англ. ''secondary'') {{---}} ключи, позволяющие поддерживать уникальность поля или набора полей. Их не следует использовать для ссылок на таблицу.

Так, например, идентификатор студента будет простым суррогатным ключом, а серия и номер паспорта {{---}} составным естественным ключом.

== Ссылки ==

{{Определение
|definition =
'''Внешним ключом''' (или '''ссылкой''', англ. ''foreign key'') называют набор столбцов, соответствующий (как правило, основному) ключу другой или той же самой таблицы.}}
[[Файл:БД_ссылка_Students_Groups.png|400px|thumb|right|Пример ссылки на другую таблицу]]
Типы ссылок:
* '''Простые''' (англ. ''simple'') {{---}} ссылки, состоящие из одного поля,
* '''Составные''' (англ. ''composite'') {{---}} ссылки, состоящие из нескольких полей.

== Графическая нотация ==
[[Файл:ФМ_графическая_нотация.png|400px|thumb|right|Пример графической нотации для таблицы $Students$]]
[[Файл:FK Student Group.png|400px|thumb|right|Пример внешней ссылки]]

Таблицы обозначаются прямоугольниками. В заголовке указывается имя таблицы.

Таблица состоит из трех столбцов со следующим содержанием:
* Имя поля
* Тип поля
* Свойства поля

{| class="wikitable" style="background-color:#FFF; text-align:center"
! style="background-color:#F0F8FF;" |Обозначение
! style="background-color:#F0F8FF;" |Свойство поля
|-
|'''M'''
|Обязательное (англ. ''mandatory'')
|-
|'''O'''
|Необязательное (англ. ''optional'')
|-
|'''PK'''
|Основной ключ (англ. ''primary key'')
|-
|'''Kn'''
|Дополнительный ключ $n$ (англ. ''key'')
|-
|'''FKn'''
|Внешний ключ $n$ (англ. ''foreign key'')
|}

'''Замечания:'''
* Так как любое поле обладает либо свойством обязательности, либо свойством необязательности, будем считать поля необязательными по умолчанию, не указывая это свойство явно.
* Основной ключ можно выделить, подчеркнув поля, входящие в него, сплошной линией.

Внешний ключ обозначается стрелкой, над которой указывается уникальный идентификатор ключа $FKn$. Этим идентификатором также отмечаются поля, выступающие в роли ссылки. Когда имена полей в таблицах различаются, на ссылке можно указать соответствие между полями.

==Литература==
* Дейт К. Введение в системы баз данных (глава 14)
* Уидом Д., Ульман Д. Основы реляционных баз данных (глава 2)

Модель сущность-связь

2021-01-21T19:29:05Z

Npostnikova: /* Сущности */

== Сущности ==
{{Определение
|definition =
'''Сущностью''' (англ. ''entity'') называют некоторый объект, обладающий именем и атрибутами.}}
{{Определение
|definition =
'''Атрибутом''' (англ. ''attribute'') называют некоторую характеристику объекта, содержащую имя атрибута и домен и обладающую некоторыми свойствами. }}

[[Файл:Student сущность.png|400px|thumb|right|Пример сущности $Student$]]

Домен не указывает конкретный физический тип, однако позволяет указать, какие атрибуты будут иметь одинаковый тип в физической модели. Так, например, атрибуты $FirstName$ и $LastName$ сущности $Student$ будут обладать одним физическим типом.

'''Типы доменов:'''
* Простой {{---}} атомарное значение, например, $id$
* Составной {{---}} состоящий из нескольких значений, например, <code>passport { series: char(4), number: char(6) }</code>

'''Свойства атрибутов:'''

{| class="wikitable" style="background-color:#FFF; text-align:center"
! style="background-color:#F0F8FF;" |Обозначение
! style="background-color:#F0F8FF;" |Свойство
|-
|'''M'''
|Обязательное (англ. ''mandatory'')
|-
|'''O'''
|Необязательное (англ. ''optional'')
|-
|'''PK'''
|Основной ключ (англ. ''primary key'')
|-
|'''Kn'''
|Дополнительный ключ $n$ (англ. ''key'')
|}

'''Замечания:'''
* Так как любой атрибут обладает либо свойством обязательности, либо свойством необязательности, будем считать атрибуты необязательными по умолчанию, не указывая это свойство явно.
* Основной ключ можно выделить, подчеркнув атрибуты, входящие в него, сплошной линией.

== Связи ==

[[Файл:ERM Student Group.png|400px|thumb|right|Пример связи]]
'''Связь''' обозначается линией с двумя концами и обладает следующими характеристиками:
* Имя
* Связываемые сущности и их роли
* Тип связи (задается типами концов)

На примере показано, что студен принадлежит одной группе, а в группе может быть несколько студентов (в том числе нуль).

'''Типы концов:'''
{| class="wikitable" style="background-color:#FFF; text-align:center"
! style="background-color:#F0F8FF;" |Тип
! style="background-color:#F0F8FF;" |Обозначение
|-
|style="padding: 3px" |Один
|[[Файл:Db mandatory.png|50px]]
|-
|style="padding: 3px" | Много
|[[Файл:Db many.png|50px]]
|-
|Обязательный
|[[Файл:Db mandatory.png|50px]]
|-
|style="padding:3px"| Необязательный
|[[Файл:Db optional.png|50px]]
|}

Можно выбрать значение по умолчанию, которое будет обозначаться сплошной линией без символов.

'''Примеры:'''
{| class="wikitable" style="background-color:#FFF; text-align:center"
! style="background-color:#F0F8FF;" |Связь
! style="background-color:#F0F8FF;" |Значение
! style="background-color:#F0F8FF;" |По умолчанию
|-
|style="padding: 2px"|[[Файл:Many to many.png|120px]]
|Многие ко многим
|style="padding: 2px"|Единственность, необязательность
|-
|style="padding: 2px"|[[Файл:One to many.png|120px]]
|Один ко многим
|Единственность, обязательность
|-
|style="padding: 2px"|[[Файл:One to one.png|120px]]
|Один к одному
|Единственность, обязательность
|-
|}

'''Замечание:''' В дальнейшем будем считать, что значениями по умолчанию будет «один» и «необязательный».

== Ассоциации ==
{{Определение
|definition =
'''Ассоциацией''' (англ. ''association'') называется многосторонняя связь, нагруженная произвольными не ключевыми атрибутами.}}

[[Файл:Association contract.png|400px|thumb|right|Графическое обозначение ассоциации]]
'''Замечания:'''
* Ассоциация обозначается прямоугольником с закругленными краями
* Может содержать не ключевые атрибуты
* Имеет произвольное количество концов с произвольными ролями и типами

[[Файл:Db erm contract.png|400px|thumb|left|Пример с ассоциацией]]
Проанализируем пример. Контракт заключается с одним студентом, на одну специальность, которая может быть не указана на момент заключения контракта. У контракта должен быть один или более поручителей. Контракт нагружен информацией о датах, когда контракт был подготовлен (обязательный атрибут) и подписан (опциональный атрибут, поскольку контракт может быть подписан не сразу).

'''Как понять, что использовать: ассоциацию, связь или сущность?'''
* Если нужно два конца и нет нагруженности, используем связь
* Если нужно идентифицировать, используем сущность, поскольку связь не идентифицируется из-за отсутствия ключевых элементов
* Иначе используется ассоциация

===Многосторонние ассоциации===
[[Файл:Association неопределнность нотации.png|thumb|right|350px|Пример неоднозначности интерпретации связей]]
Многостороннюю ассоциацию можно интерпретировать по-разному. Так, например, на рисунке может быть обозначено следующее:
* У каждого контракта есть один поручитель
* Можно быть поручителем у ровно одного контракта

{| class="wikitable" style="background-color:#FFF; text-align:center"
|'''Ограничение по Чену''' (англ. ''Chen-like'', ''Look-across'')
|[[Файл:Chen-like.png|350px]]
|style="padding: 10px;"|Зафиксировав остальные сущности, получаем ограничение на рассматриваемую. У каждого контракта есть поручитель.
|-
|'''Ограничение по Мерис''' (англ. ''Merise-like'', ''Look-here'')
|[[Файл:Merise-like.png|350px]]
|style="padding: 10px;"|Ограничение непосредственно на сущность. Можно быть поручителем у одного контракта.
|}
Также существуют '''обобщенные ограничения''' (англ. ''generic''), позволяющие зафиксировать произвольное подмножество.
[[Файл:Все ограничения.png|600px]]

== Слабые сущности ==
{{Определение
|definition =
'''Слабой сущностью''' называется сущность, у которой недостаточно атрибутов для идентификации.}}
Слабая сущность обозначается прямоугольником с двойной границей.
{{Определение
|definition =
'''Идентифицирующей связью''' называется связь, позволяющая слабой сущности получить атрибуты, необходимые для ее идентификации.}}
[[Файл:Weak entity.png|400px|thumb|right|Пример слабой сущности]]
Идентифицирующая связь обозначается двойной сплошной линией.

Например, название учебной группы уникально в рамках одного университета. Если же мы будем рассматривать несколько университетов, для идентификации группы будет недостаточно лишь ее названия. В таком случае можно считать группу слабой сущностью, для идентификации которой необходим университет.

== Альтернативные нотации ==
Выше рассматривалась нотация '''Crow's foot''', предложенная Гордоном Эверестом.
===Нотация Питера Чена===
Модель Сущность-связь была предложена Питером Ченом в 1976 году, им же была предложена следующая графическая нотация:

[[Файл:Нотация Питера Чена.png|600px]]

===UML-нотация===
Для каждой таблицы явно подписывается, что она обозначает (ассоциацию, сущность и т.д.). Ограничения прописываются в виде $i..k$ (например, $1..n$), это позволяет наложить ограничение $2..n$, что было невозможно в Crow's foot.

[[Файл:UML-нотация.png|400px]]

===Object Definition Language===

'''class''' Student {
int Id;
string Name;
Group group inverse Group::Students;
}

'''class''' Group {
int id;
Set<Student> students inverse Student::group;
}

Физическая модель базы данных

2021-01-21T19:23:13Z

Npostnikova:

{{Определение
|definition =
'''Физическая модель базы данных''' — это модель данных, которая определяет, каким образом представляются данные, и содержит все детали, необходимые СУБД для создания базы данных.}}
'''Схема реляционной БД:'''
* Основные элементы
** Таблицы
** Ссылки между таблицами
* Дополнительные элементы
** Триггеры
** Представления
** Хранимые процедуры

Рассмотрим основные элементы схемы реляционной БД.

== Таблицы ==
Каждая таблица состоит из строк и столбцов и предназначена для хранения информации об однотипных объектах.
{{Определение
|definition =
'''Запись''' — набор полей, содержащий информацию о конкретном объекте. Записям соответствуют строки таблицы. }}
{{Определение
|definition =
'''Поле''' — значение определенного типа, отражающее конкретную характеристику объекта. Столбец таблицы содержит поля записей, отвечающие за одну характеристику.
}}
Пример таблицы, содержащей информацию о студентах:
{| class="wikitable" style="background-color:#FFF; text-align:center; padding:1000px"
!'''StudentId: int'''
!'''Name: varchar(60)'''
!'''Birth: Date'''
|-
|1
|Иван Иванов
|01.01.1998
|-
|2
|Петр Петров
|02.02.1999
|}

== Ключи ==
{{Определение
|definition =
'''Ключом''' называется набор полей, уникально идентифицирующий запись.}}
Выделяют следующие виды ключей:
* По структуре ключа:
** '''Простые''' (англ. ''simple'') {{---}} состоящие из одного поля,
** '''Составные''' (англ. ''composite'') {{---}} состоящие из нескольких полей.
* По «естественности»:
** '''Естественные''' (англ. ''natural'') {{---}} приходят из реальных данных,
** '''Суррогатные''' (англ. ''surrogate'') {{---}} генерируются СУБД или придумываются специально для идентификации записи. Использование суррогатного ключа может быть обусловлено тем, что естественный ключ является длинным, составным или вовсе отсутствует.
* По «приоритету»:
** '''Основной''' (англ. ''primary'') {{---}} ключ, используемый для того, чтобы ссылаться на таблицу. Использование различных ключей для ссылок считается плохой практикой.
** '''Дополнительные''' (англ. ''secondary'') {{---}} ключи, позволяющие поддерживать уникальность поля или набора полей. Их не следует использовать для ссылок на таблицу.

Так, например, идентификатор студента будет простым суррогатным ключом, а серия и номер паспорта {{---}} составным естественным ключом.

== Ссылки ==

{{Определение
|definition =
'''Внешним ключом''' (или '''ссылкой''', англ. ''foreign key'') называют набор столбцов, соответствующий (как правило, основному) ключу другой или той же самой таблицы.}}
[[Файл:БД_ссылка_Students_Groups.png|400px|thumb|right|Пример ссылки на другую таблицу]]
Типы ссылок:
* '''Простые''' (англ. ''simple'') {{---}} ссылки, состоящие из одного поля,
* '''Составные''' (англ. ''composite'') {{---}} ссылки, состоящие из нескольких полей.

== Графическая нотация ==
[[Файл:ФМ_графическая_нотация.png|400px|thumb|right|Пример графической нотации для таблицы $Students$]]
[[Файл:FK Student Group.png|400px|thumb|right|Пример внешней ссылки]]

Таблицы обозначаются прямоугольниками. В заголовке указывается имя таблицы.

Таблица состоит из трех столбцов со следующим содержанием:
* Имя поля
* Тип поля
* Свойства поля

{| class="wikitable" style="background-color:#FFF; text-align:center"
! style="background-color:#F0F8FF;" |Обозначение
! style="background-color:#F0F8FF;" |Свойство поля
|-
|'''M'''
|Обязательное (англ. ''mandatory'')
|-
|'''O'''
|Необязательное (англ. ''optional'')
|-
|'''PK'''
|Основной ключ (англ. ''primary key'')
|-
|'''Kn'''
|Дополнительный ключ $n$ (англ. ''key'')
|-
|'''FKn'''
|Внешний ключ $n$ (англ. ''foreign key'')
|}

'''Замечания:'''
* Так как любое поле обладает либо свойством обязательности, либо свойством необязательности, будем считать поля необязательными по умолчанию, не указывая это свойство явно.
* Основной ключ можно выделить, подчеркнув атрибуты, входящие в него, сплошной линией.

Внешний ключ обозначается стрелкой, над которой указывается уникальный идентификатор ключа $FKn$. Этим идентификатором также отмечаются поля, выступающие в роли ссылки. Когда имена полей в таблицах различаются, на ссылке можно указать соответствие между полями.

==Литература==
* Дейт К. Введение в системы баз данных (глава 14)
* Уидом Д., Ульман Д. Основы реляционных баз данных (глава 2)

Физическая модель базы данных

2021-01-21T19:20:06Z

Npostnikova: /* Таблицы */

{{Определение
|definition =
'''Физическая модель базы данных''' — это модель данных, которая определяет, каким образом представляются данные, и содержит все детали, необходимые СУБД для создания базы данных.}}
'''Схема реляционной БД:'''
* Основные элементы
** Таблицы
** Ссылки между таблицами
* Дополнительные элементы
** Триггеры
** Представления
** Хранимые процедуры

== Таблицы ==
Каждая таблица состоит из строк и столбцов и предназначена для хранения информации об однотипных объектах.
{{Определение
|definition =
'''Запись''' — набор полей, содержащий информацию о конкретном объекте. Записям соответствуют строки таблицы. }}
{{Определение
|definition =
'''Поле''' — значение определенного типа, отражающее конкретную характеристику объекта. Столбец таблицы содержит поля записей, отвечающие за одну характеристику.
}}
Пример таблицы, содержащей информацию о студентах:
{| class="wikitable" style="background-color:#FFF; text-align:center; padding:1000px"
!'''StudentId: int'''
!'''Name: varchar(60)'''
!'''Birth: Date'''
|-
|1
|Иван Иванов
|01.01.1998
|-
|2
|Петр Петров
|02.02.1999
|}

== Ключи ==
{{Определение
|definition =
'''Ключом''' называется набор полей, уникально идентифицирующий запись.}}
Выделяют следующие виды ключей:
* По структуре ключа:
** '''Простые''' (англ. ''simple'') {{---}} состоящие из одного поля,
** '''Составные''' (англ. ''composite'') {{---}} состоящие из нескольких полей.
* По «естественности»:
** '''Естественные''' (англ. ''natural'') {{---}} приходят из реальных данных,
** '''Суррогатные''' (англ. ''surrogate'') {{---}} генерируются СУБД или придумываются специально для идентификации записи. Использование суррогатного ключа может быть обусловлено тем, что естественный ключ является длинным, составным или вовсе отсутствует.
* По «приоритету»:
** '''Основной''' (англ. ''primary'') {{---}} ключ, используемый для того, чтобы ссылаться на таблицу. Использование различных ключей для ссылок считается плохой практикой.
** '''Дополнительные''' (англ. ''secondary'') {{---}} ключи, позволяющие поддерживать уникальность поля или набора полей. Их не следует использовать для ссылок на таблицу.

Так, например, идентификатор студента будет простым суррогатным ключом, а серия и номер паспорта {{---}} составным естественным ключом.

== Ссылки ==

{{Определение
|definition =
'''Внешним ключом''' (или '''ссылкой''', англ. ''foreign key'') называют набор столбцов, соответствующий (как правило, основному) ключу другой или той же самой таблицы.}}
[[Файл:БД_ссылка_Students_Groups.png|400px|thumb|right|Пример ссылки на другую таблицу]]
Типы ссылок:
* '''Простые''' (англ. ''simple'') {{---}} ссылки, состоящие из одного поля,
* '''Составные''' (англ. ''composite'') {{---}} ссылки, состоящие из нескольких полей.

== Графическая нотация ==
[[Файл:ФМ_графическая_нотация.png|400px|thumb|right|Пример графической нотации для таблицы $Students$]]
[[Файл:FK Student Group.png|400px|thumb|right|Пример внешней ссылки]]

Таблицы обозначаются прямоугольниками. В заголовке указывается имя таблицы.

Таблица состоит из трех столбцов со следующим содержанием:
* Имя поля
* Тип поля
* Свойства поля

{| class="wikitable" style="background-color:#FFF; text-align:center"
! style="background-color:#F0F8FF;" |Обозначение
! style="background-color:#F0F8FF;" |Свойство поля
|-
|'''M'''
|Обязательное (англ. ''mandatory'')
|-
|'''O'''
|Необязательное (англ. ''optional'')
|-
|'''PK'''
|Основной ключ (англ. ''primary key'')
|-
|'''Kn'''
|Дополнительный ключ $n$ (англ. ''key'')
|-
|'''FKn'''
|Внешний ключ $n$ (англ. ''foreign key'')
|}

'''Замечания:'''
* Так как любое поле обладает либо свойством обязательности, либо свойством необязательности, будем считать поля необязательными по умолчанию, не указывая это свойство явно.
* Основной ключ можно выделить, подчеркнув атрибуты, входящие в него, сплошной линией.

Внешний ключ обозначается стрелкой, над которой указывается уникальный идентификатор ключа $FKn$. Этим идентификатором также отмечаются поля, выступающие в роли ссылки. Когда имена полей в таблицах различаются, на ссылке можно указать соответствие между полями.

==Литература==
* Дейт К. Введение в системы баз данных (глава 14)
* Уидом Д., Ульман Д. Основы реляционных баз данных (глава 2)

Физическая модель базы данных

2021-01-21T19:07:09Z

Npostnikova: /* Графическая нотация */

{{Определение
|definition =
'''Физическая модель базы данных''' — это модель данных, которая определяет, каким образом представляются данные, и содержит все детали, необходимые СУБД для создания базы данных.}}
'''Схема реляционной БД:'''
* Основные элементы
** Таблицы
** Ссылки между таблицами
* Дополнительные элементы
** Триггеры
** Представления
** Хранимые процедуры

== Таблицы ==
Каждая таблица состоит из строк и столбцов и предназначена для хранения информации об однотипных объектах.
{{Определение
|definition =
'''Запись''' (строка таблицы) — набор полей, содержащий информацию о конкретном объекте.}}
{{Определение
|definition =
'''Поле''' (столбец таблицы) — набор значений определенного типа, отвечающий за конкретную характеристику объекта.
}}
Пример таблицы, содержащей информацию о студентах:
{| class="wikitable" style="background-color:#FFF; text-align:center; padding:1000px"
!'''StudentId: int'''
!'''Name: varchar(60)'''
!'''Birth: Date'''
|-
|1
|Иван Иванов
|01.01.1998
|-
|2
|Петр Петров
|02.02.1999
|}

== Ключи ==
{{Определение
|definition =
'''Ключом''' называется набор полей, уникально идентифицирующий запись.}}
Выделяют следующие виды ключей:
* По структуре ключа:
** '''Простые''' (англ. ''simple'') {{---}} состоящие из одного поля,
** '''Составные''' (англ. ''composite'') {{---}} состоящие из нескольких полей.
* По «естественности»:
** '''Естественные''' (англ. ''natural'') {{---}} приходят из реальных данных,
** '''Суррогатные''' (англ. ''surrogate'') {{---}} генерируются СУБД или придумываются специально для идентификации записи. Использование суррогатного ключа может быть обусловлено тем, что естественный ключ является длинным, составным или вовсе отсутствует.
* По «приоритету»:
** '''Основной''' (англ. ''primary'') {{---}} ключ, используемый для того, чтобы ссылаться на таблицу. Использование различных ключей для ссылок считается плохой практикой.
** '''Дополнительные''' (англ. ''secondary'') {{---}} ключи, позволяющие поддерживать уникальность поля или набора полей. Их не следует использовать для ссылок на таблицу.

Так, например, идентификатор студента будет простым суррогатным ключом, а серия и номер паспорта {{---}} составным естественным ключом.

== Ссылки ==

{{Определение
|definition =
'''Внешним ключом''' (или '''ссылкой''', англ. ''foreign key'') называют набор столбцов, соответствующий (как правило, основному) ключу другой или той же самой таблицы.}}
[[Файл:БД_ссылка_Students_Groups.png|400px|thumb|right|Пример ссылки на другую таблицу]]
Типы ссылок:
* '''Простые''' (англ. ''simple'') {{---}} ссылки, состоящие из одного поля,
* '''Составные''' (англ. ''composite'') {{---}} ссылки, состоящие из нескольких полей.

== Графическая нотация ==
[[Файл:ФМ_графическая_нотация.png|400px|thumb|right|Пример графической нотации для таблицы $Students$]]
[[Файл:FK Student Group.png|400px|thumb|right|Пример внешней ссылки]]

Таблицы обозначаются прямоугольниками. В заголовке указывается имя таблицы.

Таблица состоит из трех столбцов со следующим содержанием:
* Имя поля
* Тип поля
* Свойства поля

{| class="wikitable" style="background-color:#FFF; text-align:center"
! style="background-color:#F0F8FF;" |Обозначение
! style="background-color:#F0F8FF;" |Свойство поля
|-
|'''M'''
|Обязательное (англ. ''mandatory'')
|-
|'''O'''
|Необязательное (англ. ''optional'')
|-
|'''PK'''
|Основной ключ (англ. ''primary key'')
|-
|'''Kn'''
|Дополнительный ключ $n$ (англ. ''key'')
|-
|'''FKn'''
|Внешний ключ $n$ (англ. ''foreign key'')
|}

'''Замечания:'''
* Так как любое поле обладает либо свойством обязательности, либо свойством необязательности, будем считать поля необязательными по умолчанию, не указывая это свойство явно.
* Основной ключ можно выделить, подчеркнув атрибуты, входящие в него, сплошной линией.

Внешний ключ обозначается стрелкой, над которой указывается уникальный идентификатор ключа $FKn$. Этим идентификатором также отмечаются поля, выступающие в роли ссылки. Когда имена полей в таблицах различаются, на ссылке можно указать соответствие между полями.

==Литература==
* Дейт К. Введение в системы баз данных (глава 14)
* Уидом Д., Ульман Д. Основы реляционных баз данных (глава 2)

Модель сущность-связь

2021-01-21T18:55:56Z

Npostnikova: Изменение размера картинок

== Сущности ==
{{Определение
|definition =
'''Сущностью''' (англ. ''entity'') называют некоторый объект, обладающий именем и атрибутами.}}
{{Определение
|definition =
'''Атрибутом''' (англ. ''attribute'') называют некоторую характеристику объекта, содержащую имя атрибута и домен и обладающую некоторыми свойствами. }}

[[Файл:Student сущность.png|400px|thumb|right|Пример сущности $Student$]]

Домен не указывает конкретный физический тип, однако позволяет указать, какие атрибуты будут иметь одинаковый тип в физической модели. Так, например, атрибуты $FirstName$ и $LastName$ сущности $Student$ будут обладать одним физическим типом.

'''Типы доменов:'''
* Простой {{---}} атомарное значение, например, $id$
* Составной {{---}} состоящий из нескольких значений, например, <code>passport { series: char(4), number: char(6) }</code>

'''Свойства атрибутов:'''

{| class="wikitable" style="background-color:#FFF; text-align:center"
! style="background-color:#F0F8FF;" |Обозначение
! style="background-color:#F0F8FF;" |Свойство
|-
|'''M'''
|Обязательное (англ. ''mandatory'')
|-
|'''O'''
|Необязательное (англ. ''optional'')
|-
|'''PK'''
|Основной ключ (англ. ''primary key'')
|-
|'''Kn'''
|Дополнительный ключ $n$ (англ. ''key'')
|}

== Связи ==

[[Файл:ERM Student Group.png|400px|thumb|right|Пример связи]]
'''Связь''' обозначается линией с двумя концами и обладает следующими характеристиками:
* Имя
* Связываемые сущности и их роли
* Тип связи (задается типами концов)

На примере показано, что студен принадлежит одной группе, а в группе может быть несколько студентов (в том числе нуль).

'''Типы концов:'''
{| class="wikitable" style="background-color:#FFF; text-align:center"
! style="background-color:#F0F8FF;" |Тип
! style="background-color:#F0F8FF;" |Обозначение
|-
|style="padding: 3px" |Один
|[[Файл:Db mandatory.png|50px]]
|-
|style="padding: 3px" | Много
|[[Файл:Db many.png|50px]]
|-
|Обязательный
|[[Файл:Db mandatory.png|50px]]
|-
|style="padding:3px"| Необязательный
|[[Файл:Db optional.png|50px]]
|}

Можно выбрать значение по умолчанию, которое будет обозначаться сплошной линией без символов.

'''Примеры:'''
{| class="wikitable" style="background-color:#FFF; text-align:center"
! style="background-color:#F0F8FF;" |Связь
! style="background-color:#F0F8FF;" |Значение
! style="background-color:#F0F8FF;" |По умолчанию
|-
|style="padding: 2px"|[[Файл:Many to many.png|120px]]
|Многие ко многим
|style="padding: 2px"|Единственность, необязательность
|-
|style="padding: 2px"|[[Файл:One to many.png|120px]]
|Один ко многим
|Единственность, обязательность
|-
|style="padding: 2px"|[[Файл:One to one.png|120px]]
|Один к одному
|Единственность, обязательность
|-
|}

'''Замечание:''' В дальнейшем будем считать, что значениями по умолчанию будет «один» и «необязательный».

== Ассоциации ==
{{Определение
|definition =
'''Ассоциацией''' (англ. ''association'') называется многосторонняя связь, нагруженная произвольными не ключевыми атрибутами.}}

[[Файл:Association contract.png|400px|thumb|right|Графическое обозначение ассоциации]]
'''Замечания:'''
* Ассоциация обозначается прямоугольником с закругленными краями
* Может содержать не ключевые атрибуты
* Имеет произвольное количество концов с произвольными ролями и типами

[[Файл:Db erm contract.png|400px|thumb|left|Пример с ассоциацией]]
Проанализируем пример. Контракт заключается с одним студентом, на одну специальность, которая может быть не указана на момент заключения контракта. У контракта должен быть один или более поручителей. Контракт нагружен информацией о датах, когда контракт был подготовлен (обязательный атрибут) и подписан (опциональный атрибут, поскольку контракт может быть подписан не сразу).

'''Как понять, что использовать: ассоциацию, связь или сущность?'''
* Если нужно два конца и нет нагруженности, используем связь
* Если нужно идентифицировать, используем сущность, поскольку связь не идентифицируется из-за отсутствия ключевых элементов
* Иначе используется ассоциация

===Многосторонние ассоциации===
[[Файл:Association неопределнность нотации.png|thumb|right|350px|Пример неоднозначности интерпретации связей]]
Многостороннюю ассоциацию можно интерпретировать по-разному. Так, например, на рисунке может быть обозначено следующее:
* У каждого контракта есть один поручитель
* Можно быть поручителем у ровно одного контракта

{| class="wikitable" style="background-color:#FFF; text-align:center"
|'''Ограничение по Чену''' (англ. ''Chen-like'', ''Look-across'')
|[[Файл:Chen-like.png|350px]]
|style="padding: 10px;"|Зафиксировав остальные сущности, получаем ограничение на рассматриваемую. У каждого контракта есть поручитель.
|-
|'''Ограничение по Мерис''' (англ. ''Merise-like'', ''Look-here'')
|[[Файл:Merise-like.png|350px]]
|style="padding: 10px;"|Ограничение непосредственно на сущность. Можно быть поручителем у одного контракта.
|}
Также существуют '''обобщенные ограничения''' (англ. ''generic''), позволяющие зафиксировать произвольное подмножество.
[[Файл:Все ограничения.png|600px]]

== Слабые сущности ==
{{Определение
|definition =
'''Слабой сущностью''' называется сущность, у которой недостаточно атрибутов для идентификации.}}
Слабая сущность обозначается прямоугольником с двойной границей.
{{Определение
|definition =
'''Идентифицирующей связью''' называется связь, позволяющая слабой сущности получить атрибуты, необходимые для ее идентификации.}}
[[Файл:Weak entity.png|400px|thumb|right|Пример слабой сущности]]
Идентифицирующая связь обозначается двойной сплошной линией.

Например, название учебной группы уникально в рамках одного университета. Если же мы будем рассматривать несколько университетов, для идентификации группы будет недостаточно лишь ее названия. В таком случае можно считать группу слабой сущностью, для идентификации которой необходим университет.

== Альтернативные нотации ==
Выше рассматривалась нотация '''Crow's foot''', предложенная Гордоном Эверестом.
===Нотация Питера Чена===
Модель Сущность-связь была предложена Питером Ченом в 1976 году, им же была предложена следующая графическая нотация:

[[Файл:Нотация Питера Чена.png|600px]]

===UML-нотация===
Для каждой таблицы явно подписывается, что она обозначает (ассоциацию, сущность и т.д.). Ограничения прописываются в виде $i..k$ (например, $1..n$), это позволяет наложить ограничение $2..n$, что было невозможно в Crow's foot.

[[Файл:UML-нотация.png|400px]]

===Object Definition Language===

'''class''' Student {
int Id;
string Name;
Group group inverse Group::Students;
}

'''class''' Group {
int id;
Set<Student> students inverse Student::group;
}

Файл:Db one.png

2021-01-21T18:46:50Z

Npostnikova: Npostnikova загрузил новую версию Файл:Db one.png

ERM конец связи, один

Файл:Db many.png

2021-01-21T18:45:29Z

Npostnikova: Npostnikova загрузил новую версию Файл:Db many.png

ERM конец связи, многие

Файл:Db optional.png

2021-01-21T18:45:07Z

Npostnikova: Npostnikova загрузил новую версию Файл:Db optional.png

ERM конец связи, optional

Файл:Db optional.png

2021-01-21T18:44:32Z

Npostnikova: Npostnikova загрузил новую версию Файл:Db optional.png

ERM конец связи, optional

Файл:Db many.png

2021-01-21T18:44:13Z

Npostnikova: Npostnikova загрузил новую версию Файл:Db many.png

ERM конец связи, многие

Файл:Db one.png

2021-01-21T18:29:39Z

Npostnikova: Npostnikova загрузил новую версию Файл:Db one.png

ERM конец связи, один

Модель сущность-связь

2021-01-21T18:08:37Z

Npostnikova: /* Слабые сущности */

== Сущности ==
{{Определение
|definition =
'''Сущностью''' (англ. ''entity'') называют некоторый объект, обладающий именем и атрибутами.}}
{{Определение
|definition =
'''Атрибутом''' (англ. ''attribute'') называют некоторую характеристику объекта, содержащую имя атрибута и домен и обладающую некоторыми свойствами. }}

[[Файл:Student сущность.png|400px|thumb|right|Пример сущности $Student$]]

Домен не указывает конкретный физический тип, однако позволяет указать, какие атрибуты будут иметь одинаковый тип в физической модели. Так, например, атрибуты $FirstName$ и $LastName$ сущности $Student$ будут обладать одним физическим типом.

'''Типы доменов:'''
* Простой {{---}} атомарное значение, например, $id$
* Составной {{---}} состоящий из нескольких значений, например, <code>passport { series: char(4), number: char(6) }</code>

'''Свойства атрибутов:'''

{| class="wikitable" style="background-color:#FFF; text-align:center"
! style="background-color:#F0F8FF;" |Обозначение
! style="background-color:#F0F8FF;" |Свойство
|-
|'''M'''
|Обязательное (англ. ''mandatory'')
|-
|'''O'''
|Необязательное (англ. ''optional'')
|-
|'''PK'''
|Основной ключ (англ. ''primary key'')
|-
|'''Kn'''
|Дополнительный ключ $n$ (англ. ''key'')
|}

== Связи ==

[[Файл:ERM Student Group.png|400px|thumb|right|Пример связи]]
'''Связь''' обозначается линией с двумя концами и обладает следующими характеристиками:
* Имя
* Связываемые сущности и их роли
* Тип связи (задается типами концов)

На примере показано, что студен принадлежит одной группе, а в группе может быть несколько студентов (в том числе нуль).

'''Типы концов:'''
{| class="wikitable" style="background-color:#FFF; text-align:center"
! style="background-color:#F0F8FF;" |Тип
! style="background-color:#F0F8FF;" |Обозначение
|-
|style="padding: 10px" |Один
|[[Файл:Db one.png|100px]]
|-
|style="padding: 10px" | Много
|[[Файл:Db many.png|100px]]
|-
|Обязательный
|[[Файл:Db mandatory.png|100px]]
|-
|style="padding:20px"| Необязательный
|[[Файл:Db optional.png|100px]]
|}

Можно выбрать значение по умолчанию, которое будет обозначаться сплошной линией без символов.

'''Примеры:'''
{| class="wikitable" style="background-color:#FFF; text-align:center"
! style="background-color:#F0F8FF;" |Связь
! style="background-color:#F0F8FF;" |Значение
! style="background-color:#F0F8FF;" |По умолчанию
|-
|[[Файл:Many to many.png|200px]]
|Многие ко многим
|style="padding: 10px"|Единственность, необязательность
|-
|[[Файл:One to many.png|200px]]
|Один ко многим
|Единственность, обязательность
|-
|[[Файл:One to one.png|200px]]
|Один к одному
|Единственность, обязательность
|-
|}

== Ассоциации ==
{{Определение
|definition =
'''Ассоциацией''' (англ. ''association'') называется многосторонняя связь, нагруженная произвольными не ключевыми атрибутами.}}

[[Файл:Association contract.png|400px|thumb|right|Графическое обозначение ассоциации]]
'''Замечания:'''
* Ассоциация обозначается прямоугольником с закругленными краями
* Может содержать не ключевые атрибуты
* Имеет произвольное количество концов с произвольными ролями и типами

[[Файл:Db erm contract.png|400px|thumb|left|Пример с ассоциацией]]
Проанализируем пример. Контракт заключается с одним студентом, на одну специальность, которая может быть не указана на момент заключения контракта. У контракта должен быть один или более поручителей. Контракт нагружен информацией о датах, когда контракт был подготовлен (обязательный атрибут) и подписан (опциональный атрибут, поскольку контракт может быть подписан не сразу).

'''Как понять, что использовать: ассоциацию, связь или сущность?'''
* Если нужно два конца и нет нагруженности, используем связь
* Если нужно идентифицировать, используем сущность, поскольку связь не идентифицируется из-за отсутствия ключевых элементов
* Иначе используется ассоциация

===Многосторонние ассоциации===
[[Файл:Association неопределнность нотации.png|thumb|right|350px|Пример неоднозначности интерпретации связей]]
Многостороннюю ассоциацию можно интерпретировать по-разному. Так, например, на рисунке может быть обозначено следующее:
* У каждого контракта есть один поручитель
* Можно быть поручителем у ровно одного контракта

{| class="wikitable" style="background-color:#FFF; text-align:center"
|'''Ограничение по Чену''' (англ. ''Chen-like'', ''Look-across'')
|[[Файл:Chen-like.png|350px]]
|style="padding: 10px;"|Зафиксировав остальные сущности, получаем ограничение на рассматриваемую. У каждого контракта есть поручитель.
|-
|'''Ограничение по Мерис''' (англ. ''Merise-like'', ''Look-here'')
|[[Файл:Merise-like.png|350px]]
|style="padding: 10px;"|Ограничение непосредственно на сущность. Можно быть поручителем у одного контракта.
|}
Также существуют '''обобщенные ограничения''' (англ. ''generic''), позволяющие зафиксировать произвольное подмножество.
[[Файл:Все ограничения.png|600px]]

== Слабые сущности ==
{{Определение
|definition =
'''Слабой сущностью''' называется сущность, у которой недостаточно атрибутов для идентификации.}}
Слабая сущность обозначается прямоугольником с двойной границей.
{{Определение
|definition =
'''Идентифицирующей связью''' называется связь, позволяющая слабой сущности получить атрибуты, необходимые для ее идентификации.}}
[[Файл:Weak entity.png|400px|thumb|right|Пример слабой сущности]]
Идентифицирующая связь обозначается двойной сплошной линией.

Например, название учебной группы уникально в рамках одного университета. Если же мы будем рассматривать несколько университетов, для идентификации группы будет недостаточно лишь ее названия. В таком случае можно считать группу слабой сущностью, для идентификации которой необходим университет.

== Альтернативные нотации ==
Выше рассматривалась нотация '''Crow's foot''', предложенная Гордоном Эверестом.
===Нотация Питера Чена===
Модель Сущность-связь была предложена Питером Ченом в 1976 году, им же была предложена следующая графическая нотация:

[[Файл:Нотация Питера Чена.png|600px]]

===UML-нотация===
Для каждой таблицы явно подписывается, что она обозначает (ассоциацию, сущность и т.д.). Ограничения прописываются в виде $i..k$ (например, $1..n$), это позволяет наложить ограничение $2..n$, что было невозможно в Crow's foot.

[[Файл:UML-нотация.png|400px]]

===Object Definition Language===

'''class''' Student {
int Id;
string Name;
Group group inverse Group::Students;
}

'''class''' Group {
int id;
Set<Student> students inverse Student::group;
}

Физическая модель базы данных

2021-01-21T18:07:19Z

Npostnikova: /* Графическая нотация */

{{Определение
|definition =
'''Физическая модель базы данных''' — это модель данных, которая определяет, каким образом представляются данные, и содержит все детали, необходимые СУБД для создания базы данных.}}
'''Схема реляционной БД:'''
* Основные элементы
** Таблицы
** Ссылки между таблицами
* Дополнительные элементы
** Триггеры
** Представления
** Хранимые процедуры

== Таблицы ==
Каждая таблица состоит из строк и столбцов и предназначена для хранения информации об однотипных объектах.
{{Определение
|definition =
'''Запись''' (строка таблицы) — набор полей, содержащий информацию о конкретном объекте.}}
{{Определение
|definition =
'''Поле''' (столбец таблицы) — набор значений определенного типа, отвечающий за конкретную характеристику объекта.
}}
Пример таблицы, содержащей информацию о студентах:
{| class="wikitable" style="background-color:#FFF; text-align:center; padding:1000px"
!'''StudentId: int'''
!'''Name: varchar(60)'''
!'''Birth: Date'''
|-
|1
|Иван Иванов
|01.01.1998
|-
|2
|Петр Петров
|02.02.1999
|}

== Ключи ==
{{Определение
|definition =
'''Ключом''' называется набор полей, уникально идентифицирующий запись.}}
Выделяют следующие виды ключей:
* По структуре ключа:
** '''Простые''' (англ. ''simple'') {{---}} состоящие из одного поля,
** '''Составные''' (англ. ''composite'') {{---}} состоящие из нескольких полей.
* По «естественности»:
** '''Естественные''' (англ. ''natural'') {{---}} приходят из реальных данных,
** '''Суррогатные''' (англ. ''surrogate'') {{---}} генерируются СУБД или придумываются специально для идентификации записи. Использование суррогатного ключа может быть обусловлено тем, что естественный ключ является длинным, составным или вовсе отсутствует.
* По «приоритету»:
** '''Основной''' (англ. ''primary'') {{---}} ключ, используемый для того, чтобы ссылаться на таблицу. Использование различных ключей для ссылок считается плохой практикой.
** '''Дополнительные''' (англ. ''secondary'') {{---}} ключи, позволяющие поддерживать уникальность поля или набора полей. Их не следует использовать для ссылок на таблицу.

Так, например, идентификатор студента будет простым суррогатным ключом, а серия и номер паспорта {{---}} составным естественным ключом.

== Ссылки ==

{{Определение
|definition =
'''Внешним ключом''' (или '''ссылкой''', англ. ''foreign key'') называют набор столбцов, соответствующий (как правило, основному) ключу другой или той же самой таблицы.}}
[[Файл:БД_ссылка_Students_Groups.png|400px|thumb|right|Пример ссылки на другую таблицу]]
Типы ссылок:
* '''Простые''' (англ. ''simple'') {{---}} ссылки, состоящие из одного поля,
* '''Составные''' (англ. ''composite'') {{---}} ссылки, состоящие из нескольких полей.

== Графическая нотация ==
[[Файл:ФМ_графическая_нотация.png|400px|thumb|right|Пример графической нотации для таблицы $Students$]]
[[Файл:FK Student Group.png|400px|thumb|right|Пример внешней ссылки]]

Таблицы обозначаются прямоугольниками. В заголовке указывается имя таблицы.

Таблица состоит из трех столбцов со следующим содержанием:
* Имя поля
* Тип поля
* Свойства поля

{| class="wikitable" style="background-color:#FFF; text-align:center"
! style="background-color:#F0F8FF;" |Обозначение
! style="background-color:#F0F8FF;" |Свойство поля
|-
|'''M'''
|Обязательное (англ. ''mandatory'')
|-
|'''O'''
|Необязательное (англ. ''optional'')
|-
|'''PK'''
|Основной ключ (англ. ''primary key'')
|-
|'''Kn'''
|Дополнительный ключ $n$ (англ. ''key'')
|-
|'''FKn'''
|Внешний ключ $n$ (англ. ''foreign key'')
|}

'''Замечания:'''
* Так как любое поле обладает либо свойством обязательности, либо свойством необязательности, будем считать поля необязательными по умолчанию, не указывая это свойство явно.
* Основной ключ можно выделить, подчеркнув атрибуты, входящие в него, сплошной линией.

Внешний ключ обозначается стрелкой, над которой указывается уникальный идентификатор ключа $FKn$. Этим идентификатором также отмечаются поля, выступающие в роли ссылки.

==Литература==
* Дейт К. Введение в системы баз данных (глава 14)
* Уидом Д., Ульман Д. Основы реляционных баз данных (глава 2)

Блендинг изображений

2021-01-19T18:23:51Z

Npostnikova: Предисловие

Копирование элемента одного изображения и его вставка на другое изображение {{---}} один из наиболее используемых методов для создания графического контента. Простая вставка, как правило, бросается в глаза и делает результат похожим на коллаж, во многих случаях этот эффект является нежелательным.
{{Определение
|definition =
'''Блендинг изображений''' (англ. ''image blending'') {{---}} метод, позволяющий вставить часть одного изображения в другое таким образом, чтобы композиция изображений выглядела естественно, без швов на границах вставки. }}
Основная трудность задачи заключается в том, что естественность результата зависит не только от бесшовности наложения, но и от схожести цветов и текстуры вставляемого и фонового изображений.

==Блендинг Пуассона==
[[Файл:Poisson int1.png|thumb|right|300px|Рис. $1.1$. Пример перепада яркости при простой вставке]]
[[Файл:Poisson int2.png|thumb|right|300px|Рис. $1.2$. Результат применения блендинга Пуассона]]

Простая вставка одного изображения поверх другого нередко влечет заметный перепад яркости на границе вставки (рис. $1.1$). Метод Пуассона заключается в сглаживании этого перепада (рис. $1.2$) с целью сделать дефект менее заметным, используя градиент вставляемого изображения и значения пикселей фонового изображения на границе вставки.

'''Замечание:''' Для RGB изображений задача минимизации решается для каждого цветового канала отдельно.

Давайте обозначим за $S$ изображение, которое служит фоном, а за $I$ {{---}} изображение, вставляемое поверх $S$. Область вставки будем задавать двоичной маской $M$, содержащей единицы в области наложения. Например:
{| class="wikitable" style="background-color:#FFF; text-align:center"
|-
! Фоновое изображение $S$
! Накладываемое изображение $I$
! Маска $M$
|-
| [[Файл:Poisson_cat.jpg|200px]]
| [[Файл:Poisson_cherry.jpg|200px]]
| [[Файл:Poisson_cherry_mask.png|200px]]
|}

=== Идея подхода ===
Пусть замкнутое множество $P \subset \mathbb{R}^2$ {{---}} область, на которой определено изображение $S$, а замкнутое множество $\Omega \subset P$ с границей $\partial\Omega$ и внутренностью $int(\Omega)$ {{---}} область вставки изображения $I$.

Пусть $f_S$ {{---}} скалярная функция, определенная на $P \setminus int(\Omega)$, задает фоновое изображение $S$; $f$ {{---}} неизвестная скалярная функция, определенная на $int(\Omega)$, задает, каким образом должно выглядеть результат блендинга в области вставки.

$v_I$ {{---}} векторное поле, определенное на $\Omega$. В качестве $v_I$ возьмем градиент вставляемого изображения $I$: $v_I = \nabla f_I$.

Нашей задачей является поиск такой функции $f$, чтобы блендинговое изображение выглядело реалистично. Для этого минимизируем разность градиента функции $f$ и векторного поля $v_I$, считая, что $f = f_S$ на границе $\Omega$.
$$
\underset{f}{\mathrm{min}} \underset{\Omega}{\iint} |\nabla f - v_I|^2, \text{где } f|_{\partial \Omega} = f_S|_{\partial \Omega}.
$$
Решение задачи минимизации является единственным решением уравнения Пуассона для граничных условий Дирихле.
$$\nabla^2 f = \nabla^2 f_I \text{ на } \Omega, f|_{\partial \Omega} = f_S|_{\partial \Omega}, \text{где } \nabla^2 \text{{{---}} оператор Лапласа.}$$

=== Дискретный случай ===
Пусть $p$ {{---}} координаты $(x, y)$ пикселя двухмерного изображения. За $Img_p$ обозначим значение пикселя с координатами $p$ изображения $Img$. Пусть $\Omega = \left\{ p\;|\;M_p = 1 \right\}$ {{---}} область, заданная маской $M$. Тогда $\partial \Omega$ {{---}} координаты границы вставляемой области, а $int(\Omega)$ {{---}} внутренность области.

Пусть $N_p$ {{---}} множество соседей $p$ (максимум четыре пикселя, имеющих общую границу с $p$, т.е. пиксели со следующими координатами: $(x + 1, y), (x - 1, y), (x, y + 1), (x, y - 1)$). Для всех пар $(p, q)$ таких, что $q \in N_p$, введем $v_{pq} = I_p - I_q$.

Введем переменные $O_p, p \in \Omega$. Так как мы хотим сделать результат бесшовным, пиксели $O_p, p \in \partial\Omega$, сделаем равными $S_p$. Для $p, q \in int(\Omega),\; q \in N_p$ постараемся найти такое $O$, чтобы разность $O_p$ и $O_q$ была близка к $v_{pq}$. Для этого решим задачу минимизации:

$$
\underset{O_p,\; p \in \Omega}{\mathrm{min}}\; \underset{p, q \in \Omega}{\sum}\; \left(O_p - O_q - v_{pq}\right)^2, \text{где } O_p = S_p, p \in \partial \Omega.
$$

Заметим, что функция, которую мы хотим минимизировать, квадратична относительно переменных $O_p, p \in int(\Omega)$. Для решения задачи минимизации вычислим частные производные по этим переменным и найдем значения переменных, при которых частные производные будут равны нулю.
$$\frac{\partial{\underset{p, q \in \Omega}{\sum}\; \left(O_p - O_q - v_{pq}\right)^2}}{\partial O_p} = \underset{q \in N_p}{\sum} 2 \left(O_p - O_q - v_{pq}\right) - \underset{q \in N_p}{\sum} 2 \left(O_q - O_p - v_{qp}\right) = 2 \underset{q \in N_p}{\sum} 2 \left(O_p - O_q - v_{pq}\right).$$

Приравнивая к нулю, получаем: $|N_p| O_p - \underset{q \in N_p}{\sum} O_q = \underset{q \in N_p}{\sum} v_{pq}$.

Добавим условие $O_p = S_p, p \in \partial \Omega$: $\;|N_p| O_p - \underset{q \in N_p \cap int(\Omega)}{\sum} O_q = \underset{q \in N_p \cap \partial \Omega}{\sum} S_q + \underset{q \in N_p}{\sum} v_{pq}$.

Для решения систем уравнений такого вида могут быть использованы итеративные алгоритмы Gauss-Seidel и V-cycle multigrid<ref name="PGB03">[https://www.cs.jhu.edu/~misha/Fall07/Papers/Perez03.pdf Poisson Image Editing] Patrick Perez, Michel Gangnet, Andrew Blake (2003)</ref>.

Получаем значения пикселей $O_p$, $p \in int(\Omega)$. Тогда результат $B$ блендинга Пуассона будет следующим:
$$
B_p =
\begin{cases}
O_p,\; \text{если } p \in int(\Omega) \\
S_p,\; \text{иначе }
\end{cases}.
$$

Mетод Пуассона сдвигает цвета накладываемого изображения, сохраняя свойства градиента (т.е. если пиксель $I_{p1}$ был меньше $I_{p2}$, то после преобразования $I_{p1}$ не станет больше $I_{p2}$), однако само значение градиета может получиться другим.<ref name='clear_poisson'>https://erkaman.github.io/posts/poisson_blending.html Poisson blending для самых маленьких</ref>

==Нейронный перенос стиля==
{{main|Neural Style Transfer}}
Прежде чем переходить к гармонизации картин, рассмотрим задачу нейронного переноса стиля с изображения $S$ на изображение $I$. Для этого используются выходы скрытых слоёв [[Сверточные нейронные сети | свёрточной нейронной сети]] VGG-19<ref name="SZ14">[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition] Karen Simonyan, Andrew Zisserman (2014)</ref> (конкретные слои будут указаны ниже).

Основная идея генерации изображения {{---}} решение оптимизационной задачи $\mathcal{L}(I, S, O) \xrightarrow[O]{} min$, где $O$ {{---}} итоговое изображение, $\mathcal{L}(I, S, O)$ {{---}} [[Функция потерь и эмпирический риск | функция потерь]]. Такую задачу можно решать градиентным спуском в пространстве изображений используя [[обратное распространение ошибки | метод обратного распространения ошибки]].
{{Определение
|definition =
Пусть $F^l\left[I\right] \in \mathcal{R}^{N_l \times M_l}$ {{---}} матрица значений выхода $l$-го слоя сети на изображении $I$. Выход $l$-го слоя сети имеет размерность $N_l \times W_l \times H_l$. Представим его как матрицу $N_l \times M_l$, где $N_l$ {{---}} количество фильтров в $l$-ом слое, $M_l$ {{---}} количество признаков ($M_l = W_l H_l$). Тогда $F^l_{ij}\left[I\right]$ {{---}} $j$-ый признак $i$-го фильтра в $l$-ом слое. Столбец матрицы $F^l\left[I\right]$ размера $N_l$ назовём '''вектором активации'''.}}
{{Определение
|definition =
'''Матрица Грама''' (англ. ''Gram matrix'') {{---}} матрица попарных скалярных произведений.
$$G^l\left[S\right] \in \mathcal{R}^{N_l \times N_l},$$
$$G^l\left[S\right] = F^l\left[S\right]F^l\left[S\right]^T.$$}}

Далее рассмотренны функции потерь, которые мы будем использовать.

===Content loss===

$F^l\left[I\right]$ отражает содержание изображения. Мы хотим чтобы содержание результата было как можно ближе к исходной картинке. Введём для этого такую функцию потерь:
$$\mathcal{L}_{content}(I, O) = \displaystyle\sum_l \frac{\alpha_l}{2 N_l M_l}\displaystyle\sum_{i, j} \left(F^l_{ij}\left[I\right] - F^l_{ij}\left[O\right]\right)^2,$$
где $\alpha_l$ {{---}} вклад $l$-го слоя в функцию потерь.

===Style loss===

$G^l\left[S\right]$ отражает статистику выходов фильтров независимо от их расположения, что, в свою очередь, отражает стиль изображения. Чтобы стиль результата был похож на стилевое изображение, введём следующую функцию потерь:
$$\mathcal{L}_{style}(S, O) = \displaystyle\sum_l \frac{\beta_l}{2N_l^2} \displaystyle\sum_{i, j} \left(G^l_{ij}\left[S\right] - G^l_{ij}\left[O\right]\right)^2,$$
где $\beta_l$ {{---}} вклад $l$-го слоя в функцию потерь.

===Gatys' loss===

Скомбинируем $\mathcal{L}_{content}$ и $\mathcal{L}_{style}$ и получим функцию потерь, которая была использована в алгоритме Гатиса<ref name="GEB16">[https://rn-unison.github.io/articulos/style_transfer.pdf Image Style Transfer Using Convolutional Neural Networks] Leon A. Gatys, Alexander S. Ecker, Matthias Bethge (2016)</ref>:
$$\mathcal{L}_{Gatys}(I, S, O) = \mathcal{L}_{content}(I, O) + w_{style}\mathcal{L}_{style}(S, O).$$
Вес $w_{style}$, векторы $\alpha$ и $\beta$ являются, в некотором смысле, гиперпараметрами алгоритма, которые мы выберем позднее.

===Histogram Loss===

Авторы другой статьи<ref name="WRB17">[https://arxiv.org/pdf/1701.08893.pdf Stable and Controllable Neural Texture Synthesis and Style Transfer Using Histogram Losses] Eric Risser, Pierre Wilmot, Connelly Barnes (2017)</ref> показывают, что результаты, полученные с помощью $\mathcal{L}_{Gatys}$ нестабильны и предложили учитывать ещё одну функцию потерь, основанную на '''сопоставлении гистограмм'''.
{{Определение
|definition =
'''Сопоставление гистограмм''' (англ. ''Histogram matching'') {{---}} метод обработки изображения, после которого гистограмма изображения совпадает с целевой гистограммой<ref name="HistMatch">https://en.wikipedia.org/wiki/Histogram_matching</ref>.}}
Пусть $R = histmatch(S, O)$ {{---}} отображение пикселей такое, что гистограмма $S$ совпадает с гистограммой $R(O)$, тогда Histogram loss будет выглядеть так:
$$\mathcal{L}_{hist}(S, O) = \displaystyle\sum_l \gamma_l \displaystyle\sum_{i, j} \left(F^l_{ij}\left[O\right] - R\left(F^l_{ij}\left[O\right]\right)\right)^2,$$
где $\gamma_l$ {{---}} вклад $l$-го слоя в функцию потерь.

'''Замечание:''' Если в случае остальных функций потерь нетрудно посчитать производную, то здесь могут возникнуть проблемы. Но поскольку $\displaystyle\frac{\partial \mathcal{L}_{hist}}{\partial F^l_{ij}\left[O\right]}$ является нулём почти везде, авторы предлагают при подсчёте производной считать $R\left(F^l_{ij}\left[O\right]\right)$ константой, которая не зависит от $O$.

===Total variation loss===

Также добавим ещё одну функцию потерь, которая удаляет шумы, при этом сохраняя важные детали изображения<ref name="MV15">[https://arxiv.org/pdf/1412.0035.pdf Understanding Deep Image Representations by Inverting Them] Aravindh Mahendran, Andrea Vedaldi (2015)</ref><ref name="JAFF16">[https://arxiv.org/pdf/1603.08155.pdf Perceptual Losses for Real-Time Style Transfer and Super-Resolution] Justin Johnson, Alexandre Alahi, Li Fei-Fei (2016)</ref>:

$$\mathcal{L}_{tv}(O) = \displaystyle\sum_{i, j} \left(O^l_{i, j} - O^l_{i-1, j}\right)^2 + \left(O^l_{i, j} - O^l_{i, j-1}\right)^2.$$

==Глубокая гармонизация картин==

Для того чтобы вставить изображение в картину или рисунок нужно не только сделать бесшовный переход и изменить цвета, но ещё и изменить текстуру вставляемого изображения, например, сымитировать мазки кистью. Используем для этого комбинацию подходов из других статей<ref name="GEB16"/><ref name="JAFF16"/><ref name="WRB17"/>.

[[Файл:LPSB18_Figure_1.png|1000px|thumb|center|Пример работы алгоритма ''Deep Image Analogy''<ref name="LYY*17">[https://arxiv.org/pdf/1705.01088.pdf Visual Attribute Transfer through Deep Image Analogy] Jing Liao, Yuan Yao, Lu Yuan, Gang Hua, Sing Bing Kang (2017)</ref> ($3$ картинка) и ''Deep Painterly Harmonization''<ref name="LPSB18"/> ($4$ картинка)]]
Алгоритм состоит из двух проходов. Первый проход делает грубую гармонизацию, а второй {{---}} более тщательную. Отличаются они '''стилевым маппингом''' и функциями потерь<ref name="LPSB18">https://arxiv.org/pdf/1804.03189.pdf Fujun Luan, Sylvain Paris, Eli Shechtman, Kavita Bala (2018)</ref>.

{{Определение
|definition =
'''Стилевым маппингом''' назовём отображение $P : \mathcal{R}^{N_l \times M_l} \rightarrow \mathcal{R}^{N_l \times M_l}$, которое некоторым образом переставляет столбцы матрицы (не обязательно обратимо, то есть столбцы могут теряться и копироваться). Более формально, пусть $p(j)$ {{---}} новая позиция столбца $j$, тогда $P(Q)_{i, p(j)} = Q_{ij}$.}}

Один проход состоит из $3$ частей:
# Входное $I$ и стилевое $S$ изображения подаются на вход нейронной сети VGG-19, так мы получаем $F^l_{ij}\left[I\right]$ и $F^l_{ij}\left[S\right]$.
# Для каждого слоя $l$ некоторым алгоритмом $\pi$ cтроится стилевой маппинг $P_l$, который сопоставляет столбцам из $F_l[I]$ столбцы из $F_l[S]$.
# Изображение $O$ восстанавливается градиентным спуском по пространству изображений с использованием функции потерь $\mathcal{L}$.

'''fun''' $SinglePassHarmonization$(
$I$,// Входное изображение 
$M$,// Маска 
$S$,// Стилевое изображение 
$\pi$,// Алгоритм построения стилевого маппинга 
$\mathcal{L}$// Функция потерь 
):
// Строим матрицы $F[I]$ и $F[S]$ с помощью свёрточной сети VGG-19 
$F[I] \leftarrow ComputeNeuralActivations(I)$
$F[S] \leftarrow ComputeNeuralActivations(S)$
// Строим стилевой маппинг 
$P \leftarrow \pi(F[I], M, F[S])$
// Градиентным спуском ищем изображение $O$, которое минимизирует $\mathcal{L}$ 
$O \leftarrow Reconstruct(I, M, S, P, \mathcal{L})$
'''return''' $O$


===Первый проход===

{{Определение
|definition =
'''Патчем''' (англ. ''patch'') для столбца $j$ будем называть тензор $3 \times 3 \times N_l$, который состоит из соседних векторов активации в тензоре выхода свёрточного слоя, с центром в $(x, y)$, где $j = y W_l + x$.}}



<div class="tright" style="clear:none">[[Файл:LPSB18_Figure_2c.png|250px|thumb|none|Результаты после второго прохода]]</div>
<div class="tright" style="clear:none">[[Файл:LPSB18_Figure_2b.png|250px|thumb|none|Результаты после первого прохода]]</div>

Первый проход делает грубую гармонизацию, но при этом он хорошо работает с любыми стилями. Здесь используется алгоритм $IndependentMapping$ для построения стилевого маппинга. Этот алгоритм для каждого столбца $j$ в $F_l[I]$ ищет столбец $p(j)$ в $F_l[S]$, такой что евклидово расстояние между патчем $F_l[I]$ с центром $j$ и патчем $F_l[S]$ с центром $p(j)$ минимально (метод ближайшего соседа).


'''fun''' $IndependentMapping$(
$F[I]$,// Выходы слоёв после входного изображения 
$Mask$,// Маска 
$F[S]$// Выходы слоёв после стилевого изображения 
):
// Для всех слоёв от $1$ до $L$ 
'''for''' $l \in [1 : L]$:
// Для всех столбцов от $1$ до $M_l$ 
'''for''' $j \in [1 : M_l]$:
// Рассматриваем патчи только внутри маски, которую нужно масштабировать в соответсвии с размером слоя $l$ 
'''if''' $j \in Resize(Mask, l)$:
// Берём самый похожий стилевой патч и записываем его в маппинг. 
$P_l(j) \leftarrow NearestNeighborIndex(F[I], j, F[S])$
'''return''' $P$


В первом проходе используется модифицированная функция потерь $\mathcal{L}_{Gatys}$, с тем лишь отличием, что в $\mathcal{L}_{style}$ к $F_l[S]$ применяется стилевой маппинг $P_l$:

$$\mathcal{L}_1(I, S, O, P) = \mathcal{L}_{content}(I, O) + w_{style}\mathcal{L}_{style}(S, O, P).$$

'''Замечание:''' при посчёте градиента $\mathcal{L}_{content}$ используются только пиксели внутри маски<ref>https://github.com/luanfujun/deep-painterly-harmonization/blob/a33a9a70366b6baff1cc0291f857b5895b271fc1/neural_gram.lua#L349</ref>.

===Второй проход===



Второй проход делает более качественную гармонизацию после первого прохода. Здесь мы будем использовать более сложный алгоритм $ConsistentMapping$ построения стилевого маппинга и более сложную функцию потерь. Суть этого алгоритма в том, чтобы найти стилевой мапинг на некотором слое $l_{ref}$ и перенести этот маппинг на остальные слои. Также, мы будем предпочитать маппинги, в которых смежные патчи в $F_l[S]$ остаются смежными после мапинга, чтобы обеспечить пространсвенную согласованность (таким образом мы хотим переносить сложные текстуры более качественно, например, мазки кистью).


'''fun''' $ConsistentMapping$(
$F[I]$,// Выходы слоёв после входного изображения 
$Mask$,// Маска 
$F[S]$// Выходы слоёв после стилевого изображения 
):
// Сначала посчитаем маппинг как в IndependentMapping только для слоя $l_{ref}$ 
'''for''' $j \in [1 : M_{l_{ref}}]$:
'''if''' $j \in Resize(Mask, l_{ref})$:
$P_0(j) \leftarrow NearestNeighborIndex(F[I], j, F[S])$

// Далее обеспечиваем пространсвенную согласованность 
'''for''' $j \in [1 : M_{l_{ref}}]$:
'''if''' $j \in Resize(Mask, l_{ref})$:
$q \leftarrow P_0(j)$
// Инициализируем множество кандидатов на новый маппинг 
$CSet \leftarrow \{q\}$
// Перебираем все смежные патчи 
'''for''' $o \in \left\{N, NE, E, SE, S, SW, W, NW\right\}$:
// Добавляем в кандидаты патч, сосед которого является маппингом для нашего соседа в соответсвующем направлении 
$CSet \leftarrow CSet \cup \left\{P_0(j + o) - o\right\}$
// Среди всех кандидатов выбираем тот, который ближе всего к маппингам наших соседей 
$P_{l_{ref}}(j) \leftarrow \underset{c \in CSet}{\mathrm{argmin}}\displaystyle\sum_o \left\|(F_{l_{ref}}[S]_c - F_{l_{ref}}[S]_{P_0(j + o)}\right\|^2$

// Теперь нужно перенести маппинг для $l_{ref}$ на остальные слои 
'''for''' $l \in [1 : L] \setminus \{l_{ref}\}$:
'''for''' $j \in [1 : M_l]$:
'''if''' $j \in Resize(Mask, l)$:
// Вычисляем позицию $j'$ на слое $l_{ref}$ соответствующую позиции $j$ на слое $l$
$j' \leftarrow ChangeResolution(l, l_{ref}, j)$
// Берём маппинг для позиции $j'$
$q \leftarrow P_{l_{ref}}(j')$
// Переносим позицию $q$ обратно на слой $l$
$P_l(j) \leftarrow ChangeResolution(l_{ref}, l, q)$
'''return''' $P$


При вычислении стилевого маппинга появляется очень много дублирующихся векторов, что даёт не очень хорошие результаты. Поэтому при вычислении матрицы Грама выкинем повторяющиеся векторы. Назовём функцию потерь с такой модификацией $\mathcal{L}_{s1}$.

$$\mathcal{L}_2(I, S, O, P) = \mathcal{L}_{content}(I, O) + w_{style}\mathcal{L}_{s1}(S, O, P) + w_{hist}\mathcal{L}_{hist}(S, O) + w_{tv}\mathcal{L}_{tv}(O),$$
где $w_{style}, w_{hist}, w_{tv}$ {{---}} веса соответсвующих функций потерь.

{| class="wikitable" style="background-color:#FFF; text-align:center"
|-
! Только второй проход
! Только первый проход
! Результат с $\mathcal{L}_{style}$ вместо $\mathcal{L}_{s1}$
|-
| [[Файл:LPSB18_Figure_5c.png|250px]]
| [[Файл:LPSB18_Figure_5d.png|250px]]
| [[Файл:LPSB18_Figure_5f.png|250px]]
|}

===Итоговый алгоритм===

Теперь осталось запустить две стадии:


'''fun''' $Harmonization$(
$I$,// Входное изображение 
$Mask$,// Маска 
$S$// Стилевое изображение 
):
// Грубый проход алгоритма. Каждый слой рассматривается отдельно при построении стилевого маппинга. 
$I' \leftarrow SinglePassHarmonization(I, Mask, S, IndependentMapping, \mathcal{L}_1)$
// Улучшение результата. Стилевой маппинг строится консистентно для всех слоёв. 
$O \leftarrow SinglePassHarmonization(I', Mask, S, ConsistentMapping, \mathcal{L}_2)$
'''return''' $O$


===Постобработка===

[[Файл:LPSB18_Figure_6abc.png|400px|thumb|right|Результат постобработки (без постобработки, после первой стадии, после второй стадии)]]

Описанный алгоритм даёт хорошие результаты в целом, но при ближайшем рассмотрении могут быть артефакты. Поэтому сделаем двухступенчатую постобработку (подробное описание есть в оригинальной статье<ref name="LPSB18"/>):
# Переведём изображение в цветовое пространство [https://en.wikipedia.org/wiki/CIELAB_color_space CIELAB] и применим [https://en.wikipedia.org/wiki/Guided_filter Guided filter] для a и b каналов.
# С помощью алгоритма PatchMatch<ref name="BSFG09">https://www.researchgate.net/profile/Eli_Shechtman/publication/220184392_PatchMatch_A_Randomized_Correspondence_Algorithm_for_Structural_Image_Editing/links/02e7e520897b12bf0f000000.pdf Connelly Barnes, Eli Shechtman, Adam Finkelstein, Dan B Goldman (2009)</ref> и того же Guided filter делаем так, чтобы все патчи выходного изображения присутсвовали в стилевом (чтобы не было новых объектов или структур).

===Подбор гиперпараметров===

[[Файл:LPSB18_Figure_4.png|400px|thumb|right|Влияние $l_{ref}$ на результат]]

Возьмём $l_{ref}$ = conv4_1.
Выберем следующие веса для слоёв:

{| class="wikitable"
|+ Первый проход
|-
! Параметр
! conv1_1
! conv2_1
! conv3_1
! conv4_1
! conv5_1
|-
! $\alpha$
| $0$
| $0$
| $0$
| $1$
| $0$
|-
! $\beta$
| $0$
| $0$
| $1/3$
| $1/3$
| $1/3$
|}

{| class="wikitable"
|+ Второй проход
|-
! Параметр
! conv1_1
! conv2_1
! conv3_1
! conv4_1
! conv5_1
|-
! $\alpha$
| $0$
| $0$
| $0$
| $1$
| $0$
|-
! $\beta$
| $1/4$
| $1/4$
| $1/4$
| $1/4$
| $0$
|-
! $\gamma$
| $1/2$
| $0$
| $0$
| $1/2$
| $0$
|}

Введём гиперпараметр $\tau$ и возьмём $w_{style} = w_{hist} = \tau$, $w_{tv} = \tau\frac{10}{1 + \exp(10^4 * noise(S) - 25)}$, где $noise(S) = \underset{i,j}{\mathrm{med}}\left\{\left(O^l_{i, j} - O^l_{i-1, j}\right)^2 + \left(O^l_{i, j} - O^l_{i, j-1}\right)^2\right\}$<ref>[https://github.com/luanfujun/deep-painterly-harmonization/blob/a33a9a70366b6baff1cc0291f857b5895b271fc1/neural_paint.lua#L470 код функции $noise$.</ref>.

Для того чтобы подбирать $\tau$ авторы статьи использовали классификатор стилей изображений. Они взяли VGG-19, обучили её классифицировать $18$ различных стилей. Эти стили были разделены на $3$ категории с разными $\tau$. Используя $Softmax$ можно интерполировать необходимый $\tau$ по следующей таблице:

{| class="wikitable"
|-
! Категория стиля
! Примеры стилей
! $\tau$
|-
! Слабый
| Барокко, Высокое Возрождение
| $1$
|-
! Средний
| Абстрактное Искусство, Постимпрессионизм
| $5$
|-
! Сильный
| Кубизм, Экспрессионизм
| $10$
|}

===Примеры===

{|
! Исходное изображение
! Простая вставка
! Результат
! Постобработка
|-
| [[Файл:5_target.jpg|200px]]
| [[Файл:5_naive.jpg|200px]]
| [[Файл:5_final_res.png|200px]]
| [[Файл:5_final_res2.png|200px]]
|-
| [[Файл:6_target.jpg|200px]]
| [[Файл:6_naive.jpg|200px]]
| [[Файл:6_final_res.png|200px]]
| [[Файл:6_final_res2.png|200px]]
|-
| [[Файл:10_target.jpg|200px]]
| [[Файл:10_naive.jpg|200px]]
| [[Файл:10_final_res.png|200px]]
| [[Файл:10_final_res2.png|200px]]
|}

==Глубокий блендинг==



Алгоритм глубокого блендинга состоит из двух этапов. На первом этапе на стилевое изображения $S$ бесшовно накладывается входное изображение $I$, получается подготовительное блендинг-изображение $B$. На втором этапе $B$ модифицируется таким образом, чтобы результат по стилю был похож на $S$.

Будем считать, что на вход подаются изображения, прошедшие предварительную обработку:
* Используемая для вставки часть $I$ вырезана с помощью маски.
* $M$ и $I$ выровнены относительно $S$.
* Размеры матриц, задающих $M, S, I$, совпадают.

'''Примеры входных данных:'''
{| class="wikitable" style="background-color:#FFF; text-align:center"
! '''Стилевое изображение $S$'''
| [[Файл:Deep bl s1.png|150px]]
| [[Файл:Deep bl s2.png|150px]]
| [[Файл:Deep bl s3.png|150px]]
|-
! '''Накладываемое изображение $I$'''
| [[Файл:Deep bl i1.png|150px]]
| [[Файл:Deep bl i2.png|150px]]
| [[Файл:Deep bl i3.png|150px]]
|}

{{Определение
|definition =
'''Простой вставкой''' (англ. ''copy and paste'') $CAP(M, S, I)$ будем назвать изображение, полученное наложением части изображения $I$, заданной маской $M$, на изображение $S$.
$CAP(M, S, I) = I \odot M + S \odot (1 - M)$, где $\odot$ {{---}} покомпонентное умножение. }}

{{Определение
|definition =
'''Дискретный оператор Лапласа''' (фильтр Лапласа) $\mathbf{D}^2$ {{---}} аналог непрерывного оператора Лапласа $\nabla^2$, который позволяет выделять контуры изображения.
$$\mathbf{D}^2=\begin{bmatrix}0 & 1 & 0\\1 & -4 & 1\\0 & 1 & 0\end{bmatrix}.$$ }}
{| class="wikitable" style="float:right; clear:right;"
!Исходное изображение
!Применение фильтра Лапласа
|-
| [[Файл:Lenna.png|200px]]
| [[Файл:Lenna_Laplacian_Neg.png|200px]]
|}

Для сохранения контуров изображений $S$ и $I$ в области вставки воспользуемся идеей из [[Блендинг изображений#Блендинг Пуассона|метода Пуассона]] и введём следующую функцию потерь<ref name='ZWS20'/>:
$$\mathcal{L}_{grad}(S, I, M, O) = \displaystyle\frac{1}{2HW}\displaystyle\sum_{m=1}^H \displaystyle\sum_{n=1}^W \left[ \mathbf{D}^2 B - \left(\mathbf{D}^2 S + \mathbf{D}^2 I\right) \right]^2_{mn},$$
где $H, W$ {{---}} высота и ширина изображений. $B = CAP(M, S, O)$ {{---}} блендинговое изображение, оптимизируемое относительно $O$.

Рассмотрим область $\overline{\Omega} = \{\;p \;| \;M_p = 0\; \}$. Заметим, что градиент $I$ в $\overline{\Omega}$ равен нулю. Тогда градиенты $S$ и $B$ совпадают, и задача минимизации $\mathcal{L}_{grad}$ решается только в области вставки.

На обоих этапах алгоритм минимизирует взвешенную сумму следующих функций потерь:
* $\mathcal{L}_{content}$ для сохранения содержания накладываемого изображения $I$.
* $\mathcal{L}_{style}$ для переноса стиля изображения $S$ на $I$.
* $\mathcal{L}_{hist}$ для стабилизации переноса стиля.
* $\mathcal{L}_{tv}$ для удаления шумов.
* $\mathcal{L}_{grad}$ для сохранения контуров фона и изображения.


Для подсчета $\mathcal{L}_{style}$ и $\mathcal{L}_{content}$ авторами статьи<ref name='ZWS20'>[https://openaccess.thecvf.com/content_WACV_2020/papers/Zhang_Deep_Image_Blending_WACV_2020_paper.pdf Deep Image Blending] Lingzhi Zhang, Tarmily Wen, Jianbo Shi (2020)</ref> использовалась сеть VGG-19<ref name="SZ14"/>, обученная на ImageNet<ref name="ImageNet">https://image-net.org/papers/imagenet_cvpr09.pdf J. Deng, W. Dong, R. Socher, L.-J. Li, K. Li, and L. FeiFei. Imagenet: A large-scale hierarchical image database</ref>.

=== Первый этап ===
На первом этапе изображение $I$ накладывается на фоновое изображение $S$ таким образом, чтобы были незаметны швы.
Построение начинается с белого шума $Z$, который оптимизируется в области вставки путем минимизации суммарной функции потерь $\mathcal{L}_{total}$, представленной взвешенной суммой всех функций потерь, описанных выше:
$$ \mathcal{L}_{total}(Z) = w_{grad}\mathcal{L}_{grad}(I, S, B) + w_{content}\mathcal{L}_{content}(I, M, Z) + w_{style}\mathcal{L}_{style}(S, B) + w_{tv}\mathcal{L}_{tv}(B) + w_{hist}\mathcal{L}_{hist}(S, B).$$
Для решения задачи минимизации авторы статьи<ref name='ZWS20' /> используют алгоритм L-BFGS<ref name="LBFGS">https://en.wikipedia.org/wiki/Limited-memory_BFGS Limited-memory BFGS - Wikipedia</ref>.

Отметим, что $\mathcal{L}_{content}$ зависит от маски и отвечает за сохранение содержания $I$ в области вставки.

Отличительной чертой этого этапа является использование функции потерь $\mathcal{L}_{grad}$, приближающей градиент результата к градиенту $I$ в области наложения, за счет чего достигается бесшовность.

В результате получается подготовительное блендинг-изображение $B$.


'''fun''' $SeamlessBlending$(
$I$, // Входное изображение 
$M$, // Маска 
$S$ // Стилевое изображение 
):
// Инициализируем первое приближение белым шумом 
$Z \leftarrow RandomNoise() $
$B \leftarrow CAP(M, S, Z)$
// Определим суммарную функцию потерь с весами слагаемых $w$
$\mathcal{L}_{total}(Z) \leftarrow w_{grad}\mathcal{L}_{grad}(I, S, B) + w_{content}\mathcal{L}_{content}(I, M, Z) + w_{style}\mathcal{L}_{style}(S, B) + w_{tv}\mathcal{L}_{tv}(B) + w_{hist}\mathcal{L}_{hist}(S, B)$
// С помощью алгоритма L-BFGS ищем изображение $Z$, которое минимизирует $\mathcal{L}_{total}$ 
$Z \leftarrow Reconstruct(\mathcal{L}_{total}, Z)$
'''return''' $CAP(M, S, Z)$


=== Второй этап ===

Второй этап алгоритма представляет собой модификацию полученного на первом этапе блендинг-изображения $B$ таким образом, чтобы стиль изображения был наиболее близок к стилю $S$.

В отличие от предыдущего этапа, функция потерь не включает в себя $\mathcal{L}_{grad}$:
$$\mathcal{L}_{total}(O) = w_{content}\mathcal{L}_{content}(B, O) + w_{style}\mathcal{L}_{style}(S, O) + w_{tv}\mathcal{L}_{tv}(O) + w_{hist}\mathcal{L}_{hist}(S, O).$$

Минимизация происходит относительно результата алгоритма $O$, который инициализируется изображением $B$.


'''fun''' $StyleRefinement$(
$B$, // Подготовительное блендинг-изображение, результат первого этапа 
$M$, // Маска 
$S$ // Стилевое изображение 
):
$O \leftarrow B$
// Определим суммарную функцию потерь с весами слагаемых $w$
$\mathcal{L}_{total}(O) \leftarrow w_{cont}\mathcal{L}_{content}(B, O) + w_{style}\mathcal{L}_{style}(S, O) + w_{tv}\mathcal{L}_{tv}(O) + w_{hist}\mathcal{L}_{hist}(S, O)$
// С помощью алгоритма L-BFGS ищем изображение $O$, которое минимизирует $\mathcal{L}_{total}$ 
$O \leftarrow Reconstruct(\mathcal{L}_{total}, O)$
'''return''' $O$


{|
! После первого этапа
! После обоих этапов
|-
| [[Файл:1_first_pass.png|300px]]
| [[Файл:1_second_pass.png|300px]]
|-
| [[Файл:3_first_pass.png|300px]]
| [[Файл:3_second_pass.png|300px]]
|-
| [[Файл:5_first_pass.png|300px]]
| [[Файл:5_second_pass.png|300px]]
|}

===Детали реализации===

{| class="wikitable"
|+ Веса функций потерь
|-
! Этап
! $w_{grad}$
! $w_{content}$
! $w_{style}$
! $w_{hist}$
! $w_{tv}$
|-
! $1$
| $10^5$
| $1$
| $10^5$
| $1$
| $10^{-6}$
|-
! $2$
| $0$
| $1$
| $10^7$
| $1$
| $10^{-6}$
|}

Для подсчета $\mathcal{L}_{style}$ используются слои conv1_2, conv2_2, conv3_3, conv4_3 $VGG$, для $\mathcal{L}_{content}$ {{---}} conv2_2.

На обоих этапах максимальное количество итераций алгоритма L-BFGS {{---}} $1000$.

=== Примеры ===
[[Файл:МЛ блендинг пример.png|1000px]]

==См. также==
* [[Neural_Style_Transfer|Neural Style Transfer]]
* [[Сверточные_нейронные_сети | Свёрточная нейронная сеть]]

==Примечания==

[[Категория: Машинное обучение]]
[[Категория: Нейронные сети]]
[[Категория: Сверточные нейронные сети]]

Блендинг изображений

2021-01-19T17:32:43Z

Npostnikova: Сделала пример поменьше (200px)

{{Определение
|definition =
'''Блендинг изображений''' (англ. ''image blending'') {{---}} метод, позволяющий вставить часть одного изображения в другое таким образом, чтобы композиция изображений выглядела естественно, без швов на границах вставки и соответсвующими цветами и текстурами. }}

==Блендинг Пуассона==
[[Файл:Poisson int1.png|thumb|right|300px|Рис. $1.1$. Пример перепада яркости при простой вставке]]
[[Файл:Poisson int2.png|thumb|right|300px|Рис. $1.2$. Результат применения блендинга Пуассона]]

Простая вставка одного изображения поверх другого нередко влечет заметный перепад яркости на границе вставки (рис. $1.1$). Метод Пуассона заключается в сглаживании этого перепада (рис. $1.2$) с целью сделать дефект менее заметным, используя градиент вставляемого изображения и значения пикселей фонового изображения на границе вставки.

'''Замечание:''' Для RGB изображений задача минимизации решается для каждого цветового канала отдельно.

Давайте обозначим за $S$ изображение, которое служит фоном, а за $I$ {{---}} изображение, вставляемое поверх $S$. Область вставки будем задавать двоичной маской $M$, содержащей единицы в области наложения. Например:
{| class="wikitable" style="background-color:#FFF; text-align:center"
|-
! Фоновое изображение $S$
! Накладываемое изображение $I$
! Маска $M$
|-
| [[Файл:Poisson_cat.jpg|200px]]
| [[Файл:Poisson_cherry.jpg|200px]]
| [[Файл:Poisson_cherry_mask.png|200px]]
|}

=== Идея подхода ===
Пусть замкнутое множество $P \subset \mathbb{R}^2$ {{---}} область, на которой определено изображение $S$, а замкнутое множество $\Omega \subset P$ с границей $\partial\Omega$ и внутренностью $int(\Omega)$ {{---}} область вставки изображения $I$.

Пусть $f_S$ {{---}} скалярная функция, определенная на $P \setminus int(\Omega)$, задает фоновое изображение $S$; $f$ {{---}} неизвестная скалярная функция, определенная на $int(\Omega)$, задает, каким образом должно выглядеть результат блендинга в области вставки.

$v_I$ {{---}} векторное поле, определенное на $\Omega$. В качестве $v_I$ возьмем градиент вставляемого изображения $I$: $v_I = \nabla f_I$.

Нашей задачей является поиск такой функции $f$, чтобы блендинговое изображение выглядело реалистично. Для этого минимизируем разность градиента функции $f$ и векторного поля $v_I$, считая, что $f = f_S$ на границе $\Omega$.
$$
\underset{f}{\mathrm{min}} \underset{\Omega}{\iint} |\nabla f - v_I|^2, \text{где } f|_{\partial \Omega} = f_S|_{\partial \Omega}.
$$
Решение задачи минимизации является единственным решением уравнения Пуассона для граничных условий Дирихле.
$$\nabla^2 f = \nabla^2 f_I \text{ на } \Omega, f|_{\partial \Omega} = f_S|_{\partial \Omega}, \text{где } \nabla^2 \text{{{---}} оператор Лапласа.}$$

=== Дискретный случай ===
Пусть $p$ {{---}} координаты $(x, y)$ пикселя двухмерного изображения. За $Img_p$ обозначим значение пикселя с координатами $p$ изображения $Img$. Пусть $\Omega = \left\{ p\;|\;M_p = 1 \right\}$ {{---}} область, заданная маской $M$. Тогда $\partial \Omega$ {{---}} координаты границы вставляемой области, а $int(\Omega)$ {{---}} внутренность области.

Пусть $N_p$ {{---}} множество соседей $p$ (максимум четыре пикселя, имеющих общую границу с $p$, т.е. пиксели со следующими координатами: $(x + 1, y), (x - 1, y), (x, y + 1), (x, y - 1)$). Для всех пар $(p, q)$ таких, что $q \in N_p$, введем $v_{pq} = I_p - I_q$.

Введем переменные $O_p, p \in \Omega$. Так как мы хотим сделать результат бесшовным, пиксели $O_p, p \in \partial\Omega$, сделаем равными $S_p$. Для $p, q \in int(\Omega),\; q \in N_p$ постараемся найти такое $O$, чтобы разность $O_p$ и $O_q$ была близка к $v_{pq}$. Для этого решим задачу минимизации:

$$
\underset{O_p,\; p \in \Omega}{\mathrm{min}}\; \underset{p, q \in \Omega}{\sum}\; \left(O_p - O_q - v_{pq}\right)^2, \text{где } O_p = S_p, p \in \partial \Omega.
$$

Заметим, что функция, которую мы хотим минимизировать, квадратична относительно переменных $O_p, p \in int(\Omega)$. Для решения задачи минимизации вычислим частные производные по этим переменным и найдем значения переменных, при которых частные производные будут равны нулю.
$$\frac{\partial{\underset{p, q \in \Omega}{\sum}\; \left(O_p - O_q - v_{pq}\right)^2}}{\partial O_p} = \underset{q \in N_p}{\sum} 2 \left(O_p - O_q - v_{pq}\right) - \underset{q \in N_p}{\sum} 2 \left(O_q - O_p - v_{qp}\right) = 2 \underset{q \in N_p}{\sum} 2 \left(O_p - O_q - v_{pq}\right).$$

Приравнивая к нулю, получаем: $|N_p| O_p - \underset{q \in N_p}{\sum} O_q = \underset{q \in N_p}{\sum} v_{pq}$.

Добавим условие $O_p = S_p, p \in \partial \Omega$: $\;|N_p| O_p - \underset{q \in N_p \cap int(\Omega)}{\sum} O_q = \underset{q \in N_p \cap \partial \Omega}{\sum} S_q + \underset{q \in N_p}{\sum} v_{pq}$.

Для решения систем уравнений такого вида могут быть использованы итеративные алгоритмы Gauss-Seidel и V-cycle multigrid<ref name="PGB03">[https://www.cs.jhu.edu/~misha/Fall07/Papers/Perez03.pdf Poisson Image Editing] Patrick Perez, Michel Gangnet, Andrew Blake (2003)</ref>.

Получаем значения пикселей $O_p$, $p \in int(\Omega)$. Тогда результат $B$ блендинга Пуассона будет следующим:
$$
B_p =
\begin{cases}
O_p,\; \text{если } p \in int(\Omega) \\
S_p,\; \text{иначе }
\end{cases}.
$$

Mетод Пуассона сдвигает цвета накладываемого изображения, сохраняя свойства градиента (т.е. если пиксель $I_{p1}$ был меньше $I_{p2}$, то после преобразования $I_{p1}$ не станет больше $I_{p2}$), однако само значение градиета может получиться другим.<ref name='clear_poisson'>https://erkaman.github.io/posts/poisson_blending.html Poisson blending для самых маленьких</ref>

==Нейронный перенос стиля==
{{main|Neural Style Transfer}}
Прежде чем переходить к гармонизации картин, рассмотрим задачу нейронного переноса стиля с изображения $S$ на изображение $I$. Для этого используются выходы скрытых слоёв [[Сверточные нейронные сети | свёрточной нейронной сети]] VGG-19<ref name="SZ14">[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition] Karen Simonyan, Andrew Zisserman (2014)</ref> (конкретные слои будут указаны ниже).

Основная идея генерации изображения {{---}} решение оптимизационной задачи $\mathcal{L}(I, S, O) \xrightarrow[O]{} min$, где $O$ {{---}} итоговое изображение, $\mathcal{L}(I, S, O)$ {{---}} [[Функция потерь и эмпирический риск | функция потерь]]. Такую задачу можно решать градиентным спуском в пространстве изображений используя [[обратное распространение ошибки | метод обратного распространения ошибки]].
{{Определение
|definition =
Пусть $F^l\left[I\right] \in \mathcal{R}^{N_l \times M_l}$ {{---}} матрица значений выхода $l$-го слоя сети на изображении $I$. Выход $l$-го слоя сети имеет размерность $N_l \times W_l \times H_l$. Представим его как матрицу $N_l \times M_l$, где $N_l$ {{---}} количество фильтров в $l$-ом слое, $M_l$ {{---}} количество признаков ($M_l = W_l H_l$). Тогда $F^l_{ij}\left[I\right]$ {{---}} $j$-ый признак $i$-го фильтра в $l$-ом слое. Столбец матрицы $F^l\left[I\right]$ размера $N_l$ назовём '''вектором активации'''.}}
{{Определение
|definition =
'''Матрица Грама''' (англ. ''Gram matrix'') {{---}} матрица попарных скалярных произведений.
$$G^l\left[S\right] \in \mathcal{R}^{N_l \times N_l},$$
$$G^l\left[S\right] = F^l\left[S\right]F^l\left[S\right]^T.$$}}

Далее рассмотренны функции потерь, которые мы будем использовать.

===Content loss===

$F^l\left[I\right]$ отражает содержание изображения. Мы хотим чтобы содержание результата было как можно ближе к исходной картинке. Введём для этого такую функцию потерь:
$$\mathcal{L}_{content}(I, O) = \displaystyle\sum_l \frac{\alpha_l}{2 N_l M_l}\displaystyle\sum_{i, j} \left(F^l_{ij}\left[I\right] - F^l_{ij}\left[O\right]\right)^2,$$
где $\alpha_l$ {{---}} вклад $l$-го слоя в функцию потерь.

===Style loss===

$G^l\left[S\right]$ отражает статистику выходов фильтров независимо от их расположения, что, в свою очередь, отражает стиль изображения. Чтобы стиль результата был похож на стилевое изображение, введём следующую функцию потерь:
$$\mathcal{L}_{style}(S, O) = \displaystyle\sum_l \frac{\beta_l}{2N_l^2} \displaystyle\sum_{i, j} \left(G^l_{ij}\left[S\right] - G^l_{ij}\left[O\right]\right)^2,$$
где $\beta_l$ {{---}} вклад $l$-го слоя в функцию потерь.

===Gatys' loss===

Скомбинируем $\mathcal{L}_{content}$ и $\mathcal{L}_{style}$ и получим функцию потерь, которая была использована в алгоритме Гатиса<ref name="GEB16">[https://rn-unison.github.io/articulos/style_transfer.pdf Image Style Transfer Using Convolutional Neural Networks] Leon A. Gatys, Alexander S. Ecker, Matthias Bethge (2016)</ref>:
$$\mathcal{L}_{Gatys}(I, S, O) = \mathcal{L}_{content}(I, O) + w_{style}\mathcal{L}_{style}(S, O).$$
Вес $w_{style}$, векторы $\alpha$ и $\beta$ являются, в некотором смысле, гиперпараметрами алгоритма, которые мы выберем позднее.

===Histogram Loss===

Авторы другой статьи<ref name="WRB17">[https://arxiv.org/pdf/1701.08893.pdf Stable and Controllable Neural Texture Synthesis and Style Transfer Using Histogram Losses] Eric Risser, Pierre Wilmot, Connelly Barnes (2017)</ref> показывают, что результаты, полученные с помощью $\mathcal{L}_{Gatys}$ нестабильны и предложили учитывать ещё одну функцию потерь, основанную на '''сопоставлении гистограмм'''.
{{Определение
|definition =
'''Сопоставление гистограмм''' (англ. ''Histogram matching'') {{---}} метод обработки изображения, после которого гистограмма изображения совпадает с целевой гистограммой<ref name="HistMatch">https://en.wikipedia.org/wiki/Histogram_matching</ref>.}}
Пусть $R = histmatch(S, O)$ {{---}} отображение пикселей такое, что гистограмма $S$ совпадает с гистограммой $R(O)$, тогда Histogram loss будет выглядеть так:
$$\mathcal{L}_{hist}(S, O) = \displaystyle\sum_l \gamma_l \displaystyle\sum_{i, j} \left(F^l_{ij}\left[O\right] - R\left(F^l_{ij}\left[O\right]\right)\right)^2,$$
где $\gamma_l$ {{---}} вклад $l$-го слоя в функцию потерь.

'''Замечание:''' Если в случае остальных функций потерь нетрудно посчитать производную, то здесь могут возникнуть проблемы. Но поскольку $\displaystyle\frac{\partial \mathcal{L}_{hist}}{\partial F^l_{ij}\left[O\right]}$ является нулём почти везде, авторы предлагают при подсчёте производной считать $R\left(F^l_{ij}\left[O\right]\right)$ константой, которая не зависит от $O$.

===Total variation loss===

Также добавим ещё одну функцию потерь, которая удаляет шумы, при этом сохраняя важные детали изображения<ref name="MV15">[https://arxiv.org/pdf/1412.0035.pdf Understanding Deep Image Representations by Inverting Them] Aravindh Mahendran, Andrea Vedaldi (2015)</ref><ref name="JAFF16">[https://arxiv.org/pdf/1603.08155.pdf Perceptual Losses for Real-Time Style Transfer and Super-Resolution] Justin Johnson, Alexandre Alahi, Li Fei-Fei (2016)</ref>:

$$\mathcal{L}_{tv}(O) = \displaystyle\sum_{i, j} \left(O^l_{i, j} - O^l_{i-1, j}\right)^2 + \left(O^l_{i, j} - O^l_{i, j-1}\right)^2.$$

==Глубокая гармонизация картин==

Для того чтобы вставить изображение в картину или рисунок нужно не только сделать бесшовный переход и изменить цвета, но ещё и изменить текстуру вставляемого изображения, например, сымитировать мазки кистью. Используем для этого комбинацию подходов из других статей<ref name="GEB16"/><ref name="JAFF16"/><ref name="WRB17"/>.

[[Файл:LPSB18_Figure_1.png|1000px|thumb|center|Пример работы алгоритма ''Deep Image Analogy''<ref name="LYY*17">[https://arxiv.org/pdf/1705.01088.pdf Visual Attribute Transfer through Deep Image Analogy] Jing Liao, Yuan Yao, Lu Yuan, Gang Hua, Sing Bing Kang (2017)</ref> ($3$ картинка) и ''Deep Painterly Harmonization''<ref name="LPSB18"/> ($4$ картинка)]]
Алгоритм состоит из двух проходов. Первый проход делает грубую гармонизацию, а второй {{---}} более тщательную. Отличаются они '''стилевым маппингом''' и функциями потерь<ref name="LPSB18">https://arxiv.org/pdf/1804.03189.pdf Fujun Luan, Sylvain Paris, Eli Shechtman, Kavita Bala (2018)</ref>.

{{Определение
|definition =
'''Стилевым маппингом''' назовём отображение $P : \mathcal{R}^{N_l \times M_l} \rightarrow \mathcal{R}^{N_l \times M_l}$, которое некоторым образом переставляет столбцы матрицы (не обязательно обратимо, то есть столбцы могут теряться и копироваться). Более формально, пусть $p(j)$ {{---}} новая позиция столбца $j$, тогда $P(Q)_{i, p(j)} = Q_{ij}$.}}

Один проход состоит из $3$ частей:
# Входное $I$ и стилевое $S$ изображения подаются на вход нейронной сети VGG-19, так мы получаем $F^l_{ij}\left[I\right]$ и $F^l_{ij}\left[S\right]$.
# Для каждого слоя $l$ некоторым алгоритмом $\pi$ cтроится стилевой маппинг $P_l$, который сопоставляет столбцам из $F_l[I]$ столбцы из $F_l[S]$.
# Изображение $O$ восстанавливается градиентным спуском по пространству изображений с использованием функции потерь $\mathcal{L}$.

'''fun''' $SinglePassHarmonization$(
$I$,// Входное изображение 
$M$,// Маска 
$S$,// Стилевое изображение 
$\pi$,// Алгоритм построения стилевого маппинга 
$\mathcal{L}$// Функция потерь 
):
// Строим матрицы $F[I]$ и $F[S]$ с помощью свёрточной сети VGG-19 
$F[I] \leftarrow ComputeNeuralActivations(I)$
$F[S] \leftarrow ComputeNeuralActivations(S)$
// Строим стилевой маппинг 
$P \leftarrow \pi(F[I], M, F[S])$
// Градиентным спуском ищем изображение $O$, которое минимизирует $\mathcal{L}$ 
$O \leftarrow Reconstruct(I, M, S, P, \mathcal{L})$
'''return''' $O$


===Первый проход===

{{Определение
|definition =
'''Патчем''' (англ. ''patch'') для столбца $j$ будем называть тензор $3 \times 3 \times N_l$, который состоит из соседних векторов активации в тензоре выхода свёрточного слоя, с центром в $(x, y)$, где $j = y W_l + x$.}}



<div class="tright" style="clear:none">[[Файл:LPSB18_Figure_2c.png|250px|thumb|none|Результаты после второго прохода]]</div>
<div class="tright" style="clear:none">[[Файл:LPSB18_Figure_2b.png|250px|thumb|none|Результаты после первого прохода]]</div>

Первый проход делает грубую гармонизацию, но при этом он хорошо работает с любыми стилями. Здесь используется алгоритм $IndependentMapping$ для построения стилевого маппинга. Этот алгоритм для каждого столбца $j$ в $F_l[I]$ ищет столбец $p(j)$ в $F_l[S]$, такой что евклидово расстояние между патчем $F_l[I]$ с центром $j$ и патчем $F_l[S]$ с центром $p(j)$ минимально (метод ближайшего соседа).


'''fun''' $IndependentMapping$(
$F[I]$,// Выходы слоёв после входного изображения 
$Mask$,// Маска 
$F[S]$// Выходы слоёв после стилевого изображения 
):
// Для всех слоёв от $1$ до $L$ 
'''for''' $l \in [1 : L]$:
// Для всех столбцов от $1$ до $M_l$ 
'''for''' $j \in [1 : M_l]$:
// Рассматриваем патчи только внутри маски, которую нужно масштабировать в соответсвии с размером слоя $l$ 
'''if''' $j \in Resize(Mask, l)$:
// Берём самый похожий стилевой патч и записываем его в маппинг. 
$P_l(j) \leftarrow NearestNeighborIndex(F[I], j, F[S])$
'''return''' $P$


В первом проходе используется модифицированная функция потерь $\mathcal{L}_{Gatys}$, с тем лишь отличием, что в $\mathcal{L}_{style}$ к $F_l[S]$ применяется стилевой маппинг $P_l$:

$$\mathcal{L}_1(I, S, O, P) = \mathcal{L}_{content}(I, O) + w_{style}\mathcal{L}_{style}(S, O, P).$$

'''Замечание:''' при посчёте градиента $\mathcal{L}_{content}$ используются только пиксели внутри маски<ref>https://github.com/luanfujun/deep-painterly-harmonization/blob/a33a9a70366b6baff1cc0291f857b5895b271fc1/neural_gram.lua#L349</ref>.

===Второй проход===



Второй проход делает более качественную гармонизацию после первого прохода. Здесь мы будем использовать более сложный алгоритм $ConsistentMapping$ построения стилевого маппинга и более сложную функцию потерь. Суть этого алгоритма в том, чтобы найти стилевой мапинг на некотором слое $l_{ref}$ и перенести этот маппинг на остальные слои. Также, мы будем предпочитать маппинги, в которых смежные патчи в $F_l[S]$ остаются смежными после мапинга, чтобы обеспечить пространсвенную согласованность (таким образом мы хотим переносить сложные текстуры более качественно, например, мазки кистью).


'''fun''' $ConsistentMapping$(
$F[I]$,// Выходы слоёв после входного изображения 
$Mask$,// Маска 
$F[S]$// Выходы слоёв после стилевого изображения 
):
// Сначала посчитаем маппинг как в IndependentMapping только для слоя $l_{ref}$ 
'''for''' $j \in [1 : M_{l_{ref}}]$:
'''if''' $j \in Resize(Mask, l_{ref})$:
$P_0(j) \leftarrow NearestNeighborIndex(F[I], j, F[S])$

// Далее обеспечиваем пространсвенную согласованность 
'''for''' $j \in [1 : M_{l_{ref}}]$:
'''if''' $j \in Resize(Mask, l_{ref})$:
$q \leftarrow P_0(j)$
// Инициализируем множество кандидатов на новый маппинг 
$CSet \leftarrow \{q\}$
// Перебираем все смежные патчи 
'''for''' $o \in \left\{N, NE, E, SE, S, SW, W, NW\right\}$:
// Добавляем в кандидаты патч, сосед которого является маппингом для нашего соседа в соответсвующем направлении 
$CSet \leftarrow CSet \cup \left\{P_0(j + o) - o\right\}$
// Среди всех кандидатов выбираем тот, который ближе всего к маппингам наших соседей 
$P_{l_{ref}}(j) \leftarrow \underset{c \in CSet}{\mathrm{argmin}}\displaystyle\sum_o \left\|(F_{l_{ref}}[S]_c - F_{l_{ref}}[S]_{P_0(j + o)}\right\|^2$

// Теперь нужно перенести маппинг для $l_{ref}$ на остальные слои 
'''for''' $l \in [1 : L] \setminus \{l_{ref}\}$:
'''for''' $j \in [1 : M_l]$:
'''if''' $j \in Resize(Mask, l)$:
// Вычисляем позицию $j'$ на слое $l_{ref}$ соответствующую позиции $j$ на слое $l$
$j' \leftarrow ChangeResolution(l, l_{ref}, j)$
// Берём маппинг для позиции $j'$
$q \leftarrow P_{l_{ref}}(j')$
// Переносим позицию $q$ обратно на слой $l$
$P_l(j) \leftarrow ChangeResolution(l_{ref}, l, q)$
'''return''' $P$


При вычислении стилевого маппинга появляется очень много дублирующихся векторов, что даёт не очень хорошие результаты. Поэтому при вычислении матрицы Грама выкинем повторяющиеся векторы. Назовём функцию потерь с такой модификацией $\mathcal{L}_{s1}$.

$$\mathcal{L}_2(I, S, O, P) = \mathcal{L}_{content}(I, O) + w_{style}\mathcal{L}_{s1}(S, O, P) + w_{hist}\mathcal{L}_{hist}(S, O) + w_{tv}\mathcal{L}_{tv}(O),$$
где $w_{style}, w_{hist}, w_{tv}$ {{---}} веса соответсвующих функций потерь.

{| class="wikitable" style="background-color:#FFF; text-align:center"
|-
! Только второй проход
! Только первый проход
! Результат с $\mathcal{L}_{style}$ вместо $\mathcal{L}_{s1}$
|-
| [[Файл:LPSB18_Figure_5c.png|250px]]
| [[Файл:LPSB18_Figure_5d.png|250px]]
| [[Файл:LPSB18_Figure_5f.png|250px]]
|}

===Итоговый алгоритм===

Теперь осталось запустить две стадии:


'''fun''' $Harmonization$(
$I$,// Входное изображение 
$Mask$,// Маска 
$S$// Стилевое изображение 
):
// Грубый проход алгоритма. Каждый слой рассматривается отдельно при построении стилевого маппинга. 
$I' \leftarrow SinglePassHarmonization(I, Mask, S, IndependentMapping, \mathcal{L}_1)$
// Улучшение результата. Стилевой маппинг строится консистентно для всех слоёв. 
$O \leftarrow SinglePassHarmonization(I', Mask, S, ConsistentMapping, \mathcal{L}_2)$
'''return''' $O$


===Постобработка===

[[Файл:LPSB18_Figure_6abc.png|400px|thumb|right|Результат постобработки (без постобработки, после первой стадии, после второй стадии)]]

Описанный алгоритм даёт хорошие результаты в целом, но при ближайшем рассмотрении могут быть артефакты. Поэтому сделаем двухступенчатую постобработку (подробное описание есть в оригинальной статье<ref name="LPSB18"/>):
# Переведём изображение в цветовое пространство [https://en.wikipedia.org/wiki/CIELAB_color_space CIELAB] и применим [https://en.wikipedia.org/wiki/Guided_filter Guided filter] для a и b каналов.
# С помощью алгоритма PatchMatch<ref name="BSFG09">https://www.researchgate.net/profile/Eli_Shechtman/publication/220184392_PatchMatch_A_Randomized_Correspondence_Algorithm_for_Structural_Image_Editing/links/02e7e520897b12bf0f000000.pdf Connelly Barnes, Eli Shechtman, Adam Finkelstein, Dan B Goldman (2009)</ref> и того же Guided filter делаем так, чтобы все патчи выходного изображения присутсвовали в стилевом (чтобы не было новых объектов или структур).

===Подбор гиперпараметров===

[[Файл:LPSB18_Figure_4.png|400px|thumb|right|Влияние $l_{ref}$ на результат]]

Возьмём $l_{ref}$ = conv4_1.
Выберем следующие веса для слоёв:

{| class="wikitable"
|+ Первый проход
|-
! Параметр
! conv1_1
! conv2_1
! conv3_1
! conv4_1
! conv5_1
|-
! $\alpha$
| $0$
| $0$
| $0$
| $1$
| $0$
|-
! $\beta$
| $0$
| $0$
| $1/3$
| $1/3$
| $1/3$
|}

{| class="wikitable"
|+ Второй проход
|-
! Параметр
! conv1_1
! conv2_1
! conv3_1
! conv4_1
! conv5_1
|-
! $\alpha$
| $0$
| $0$
| $0$
| $1$
| $0$
|-
! $\beta$
| $1/4$
| $1/4$
| $1/4$
| $1/4$
| $0$
|-
! $\gamma$
| $1/2$
| $0$
| $0$
| $1/2$
| $0$
|}

Введём гиперпараметр $\tau$ и возьмём $w_{style} = w_{hist} = \tau$, $w_{tv} = \tau\frac{10}{1 + \exp(10^4 * noise(S) - 25)}$, где $noise(S) = \underset{i,j}{\mathrm{med}}\left\{\left(O^l_{i, j} - O^l_{i-1, j}\right)^2 + \left(O^l_{i, j} - O^l_{i, j-1}\right)^2\right\}$<ref>[https://github.com/luanfujun/deep-painterly-harmonization/blob/a33a9a70366b6baff1cc0291f857b5895b271fc1/neural_paint.lua#L470 код функции $noise$.</ref>.

Для того чтобы подбирать $\tau$ авторы статьи использовали классификатор стилей изображений. Они взяли VGG-19, обучили её классифицировать $18$ различных стилей. Эти стили были разделены на $3$ категории с разными $\tau$. Используя $Softmax$ можно интерполировать необходимый $\tau$ по следующей таблице:

{| class="wikitable"
|-
! Категория стиля
! Примеры стилей
! $\tau$
|-
! Слабый
| Барокко, Высокое Возрождение
| $1$
|-
! Средний
| Абстрактное Искусство, Постимпрессионизм
| $5$
|-
! Сильный
| Кубизм, Экспрессионизм
| $10$
|}

===Примеры===

{|
! Исходное изображение
! Простая вставка
! Результат
! Постобработка
|-
| [[Файл:5_target.jpg|200px]]
| [[Файл:5_naive.jpg|200px]]
| [[Файл:5_final_res.png|200px]]
| [[Файл:5_final_res2.png|200px]]
|-
| [[Файл:6_target.jpg|200px]]
| [[Файл:6_naive.jpg|200px]]
| [[Файл:6_final_res.png|200px]]
| [[Файл:6_final_res2.png|200px]]
|-
| [[Файл:10_target.jpg|200px]]
| [[Файл:10_naive.jpg|200px]]
| [[Файл:10_final_res.png|200px]]
| [[Файл:10_final_res2.png|200px]]
|}

==Глубокий блендинг==



Алгоритм глубокого блендинга состоит из двух этапов. На первом этапе на стилевое изображения $S$ бесшовно накладывается входное изображение $I$, получается подготовительное блендинг-изображение $B$. На втором этапе $B$ модифицируется таким образом, чтобы результат по стилю был похож на $S$.

Будем считать, что на вход подаются изображения, прошедшие предварительную обработку:
* Используемая для вставки часть $I$ вырезана с помощью маски.
* $M$ и $I$ выровнены относительно $S$.
* Размеры матриц, задающих $M, S, I$, совпадают.

'''Примеры входных данных:'''
{| class="wikitable" style="background-color:#FFF; text-align:center"
! '''Стилевое изображение $S$'''
| [[Файл:Deep bl s1.png|150px]]
| [[Файл:Deep bl s2.png|150px]]
| [[Файл:Deep bl s3.png|150px]]
|-
! '''Накладываемое изображение $I$'''
| [[Файл:Deep bl i1.png|150px]]
| [[Файл:Deep bl i2.png|150px]]
| [[Файл:Deep bl i3.png|150px]]
|}

{{Определение
|definition =
'''Простой вставкой''' (англ. ''copy and paste'') $CAP(M, S, I)$ будем назвать изображение, полученное наложением части изображения $I$, заданной маской $M$, на изображение $S$.
$CAP(M, S, I) = I \odot M + S \odot (1 - M)$, где $\odot$ {{---}} покомпонентное умножение. }}

{{Определение
|definition =
'''Дискретный оператор Лапласа''' (фильтр Лапласа) $\mathbf{D}^2$ {{---}} аналог непрерывного оператора Лапласа $\nabla^2$, который позволяет выделять контуры изображения.
$$\mathbf{D}^2=\begin{bmatrix}0 & 1 & 0\\1 & -4 & 1\\0 & 1 & 0\end{bmatrix}.$$ }}
{| class="wikitable" style="float:right; clear:right;"
!Исходное изображение
!Применение фильтра Лапласа
|-
| [[Файл:Lenna.png|200px]]
| [[Файл:Lenna_Laplacian_Neg.png|200px]]
|}

Для сохранения контуров изображений $S$ и $I$ в области вставки воспользуемся идеей из [[Блендинг изображений#Блендинг Пуассона|метода Пуассона]] и введём следующую функцию потерь<ref name='ZWS20'/>:
$$\mathcal{L}_{grad}(S, I, M, O) = \displaystyle\frac{1}{2HW}\displaystyle\sum_{m=1}^H \displaystyle\sum_{n=1}^W \left[ \mathbf{D}^2 B - \left(\mathbf{D}^2 S + \mathbf{D}^2 I\right) \right]^2_{mn},$$
где $H, W$ {{---}} высота и ширина изображений. $B = CAP(M, S, O)$ {{---}} блендинговое изображение, оптимизируемое относительно $O$.

Рассмотрим область $\overline{\Omega} = \{\;p \;| \;M_p = 0\; \}$. Заметим, что градиент $I$ в $\overline{\Omega}$ равен нулю. Тогда градиенты $S$ и $B$ совпадают, и задача минимизации $\mathcal{L}_{grad}$ решается только в области вставки.

На обоих этапах алгоритм минимизирует взвешенную сумму следующих функций потерь:
* $\mathcal{L}_{content}$ для сохранения содержания накладываемого изображения $I$.
* $\mathcal{L}_{style}$ для переноса стиля изображения $S$ на $I$.
* $\mathcal{L}_{hist}$ для стабилизации переноса стиля.
* $\mathcal{L}_{tv}$ для удаления шумов.
* $\mathcal{L}_{grad}$ для сохранения контуров фона и изображения.


Для подсчета $\mathcal{L}_{style}$ и $\mathcal{L}_{content}$ авторами статьи<ref name='ZWS20'>[https://openaccess.thecvf.com/content_WACV_2020/papers/Zhang_Deep_Image_Blending_WACV_2020_paper.pdf Deep Image Blending] Lingzhi Zhang, Tarmily Wen, Jianbo Shi (2020)</ref> использовалась сеть VGG-19<ref name="SZ14"/>, обученная на ImageNet<ref name="ImageNet">https://image-net.org/papers/imagenet_cvpr09.pdf J. Deng, W. Dong, R. Socher, L.-J. Li, K. Li, and L. FeiFei. Imagenet: A large-scale hierarchical image database</ref>.

=== Первый этап ===
На первом этапе изображение $I$ накладывается на фоновое изображение $S$ таким образом, чтобы были незаметны швы.
Построение начинается с белого шума $Z$, который оптимизируется в области вставки путем минимизации суммарной функции потерь $\mathcal{L}_{total}$, представленной взвешенной суммой всех функций потерь, описанных выше:
$$ \mathcal{L}_{total}(Z) = w_{grad}\mathcal{L}_{grad}(I, S, B) + w_{content}\mathcal{L}_{content}(I, M, Z) + w_{style}\mathcal{L}_{style}(S, B) + w_{tv}\mathcal{L}_{tv}(B) + w_{hist}\mathcal{L}_{hist}(S, B).$$
Для решения задачи минимизации авторы статьи<ref name='ZWS20' /> используют алгоритм L-BFGS<ref name="LBFGS">https://en.wikipedia.org/wiki/Limited-memory_BFGS Limited-memory BFGS - Wikipedia</ref>.

Отметим, что $\mathcal{L}_{content}$ зависит от маски и отвечает за сохранение содержания $I$ в области вставки.

Отличительной чертой этого этапа является использование функции потерь $\mathcal{L}_{grad}$, приближающей градиент результата к градиенту $I$ в области наложения, за счет чего достигается бесшовность.

В результате получается подготовительное блендинг-изображение $B$.


'''fun''' $SeamlessBlending$(
$I$, // Входное изображение 
$M$, // Маска 
$S$ // Стилевое изображение 
):
// Инициализируем первое приближение белым шумом 
$Z \leftarrow RandomNoise() $
$B \leftarrow CAP(M, S, Z)$
// Определим суммарную функцию потерь с весами слагаемых $w$
$\mathcal{L}_{total}(Z) \leftarrow w_{grad}\mathcal{L}_{grad}(I, S, B) + w_{content}\mathcal{L}_{content}(I, M, Z) + w_{style}\mathcal{L}_{style}(S, B) + w_{tv}\mathcal{L}_{tv}(B) + w_{hist}\mathcal{L}_{hist}(S, B)$
// С помощью алгоритма L-BFGS ищем изображение $Z$, которое минимизирует $\mathcal{L}_{total}$ 
$Z \leftarrow Reconstruct(\mathcal{L}_{total}, Z)$
'''return''' $CAP(M, S, Z)$


=== Второй этап ===

Второй этап алгоритма представляет собой модификацию полученного на первом этапе блендинг-изображения $B$ таким образом, чтобы стиль изображения был наиболее близок к стилю $S$.

В отличие от предыдущего этапа, функция потерь не включает в себя $\mathcal{L}_{grad}$:
$$\mathcal{L}_{total}(O) = w_{content}\mathcal{L}_{content}(B, O) + w_{style}\mathcal{L}_{style}(S, O) + w_{tv}\mathcal{L}_{tv}(O) + w_{hist}\mathcal{L}_{hist}(S, O).$$

Минимизация происходит относительно результата алгоритма $O$, который инициализируется изображением $B$.


'''fun''' $StyleRefinement$(
$B$, // Подготовительное блендинг-изображение, результат первого этапа 
$M$, // Маска 
$S$ // Стилевое изображение 
):
$O \leftarrow B$
// Определим суммарную функцию потерь с весами слагаемых $w$
$\mathcal{L}_{total}(O) \leftarrow w_{cont}\mathcal{L}_{content}(B, O) + w_{style}\mathcal{L}_{style}(S, O) + w_{tv}\mathcal{L}_{tv}(O) + w_{hist}\mathcal{L}_{hist}(S, O)$
// С помощью алгоритма L-BFGS ищем изображение $O$, которое минимизирует $\mathcal{L}_{total}$ 
$O \leftarrow Reconstruct(\mathcal{L}_{total}, O)$
'''return''' $O$


{|
! После первого этапа
! После обоих этапов
|-
| [[Файл:1_first_pass.png|300px]]
| [[Файл:1_second_pass.png|300px]]
|-
| [[Файл:3_first_pass.png|300px]]
| [[Файл:3_second_pass.png|300px]]
|-
| [[Файл:5_first_pass.png|300px]]
| [[Файл:5_second_pass.png|300px]]
|}

===Детали реализации===

{| class="wikitable"
|+ Веса функций потерь
|-
! Этап
! $w_{grad}$
! $w_{content}$
! $w_{style}$
! $w_{hist}$
! $w_{tv}$
|-
! $1$
| $10^5$
| $1$
| $10^5$
| $1$
| $10^{-6}$
|-
! $2$
| $0$
| $1$
| $10^7$
| $1$
| $10^{-6}$
|}

Для подсчета $\mathcal{L}_{style}$ используются слои conv1_2, conv2_2, conv3_3, conv4_3 $VGG$, для $\mathcal{L}_{content}$ {{---}} conv2_2.

На обоих этапах максимальное количество итераций алгоритма L-BFGS {{---}} $1000$.

=== Примеры ===
[[Файл:МЛ блендинг пример.png|1000px]]

==См. также==
* [[Neural_Style_Transfer|Neural Style Transfer]]
* [[Сверточные_нейронные_сети | Свёрточная нейронная сеть]]

==Примечания==

[[Категория: Машинное обучение]]
[[Категория: Нейронные сети]]
[[Категория: Сверточные нейронные сети]]

Блендинг изображений

2021-01-19T17:23:42Z

Npostnikova: /* Первый этап */

{{Определение
|definition =
'''Блендинг изображений''' (англ. ''image blending'') {{---}} метод, позволяющий вставить часть одного изображения в другое таким образом, чтобы композиция изображений выглядела естественно, без швов на границах вставки и соответсвующими цветами и текстурами. }}

==Блендинг Пуассона==
[[Файл:Poisson int1.png|thumb|right|300px|Рис. $1.1$. Пример перепада яркости при простой вставке]]
[[Файл:Poisson int2.png|thumb|right|300px|Рис. $1.2$. Результат применения блендинга Пуассона]]

Простая вставка одного изображения поверх другого нередко влечет заметный перепад яркости на границе вставки (рис. $1.1$). Метод Пуассона заключается в сглаживании этого перепада (рис. $1.2$) с целью сделать дефект менее заметным, используя градиент вставляемого изображения и значения пикселей фонового изображения на границе вставки.

'''Замечание:''' Для RGB изображений задача минимизации решается для каждого цветового канала отдельно.

Давайте обозначим за $S$ изображение, которое служит фоном, а за $I$ {{---}} изображение, вставляемое поверх $S$. Область вставки будем задавать двоичной маской $M$, содержащей единицы в области наложения. Например:
{| class="wikitable" style="background-color:#FFF; text-align:center"
|-
! Фоновое изображение $S$
! Накладываемое изображение $I$
! Маска $M$
|-
| [[Файл:Poisson_cat.jpg|200px]]
| [[Файл:Poisson_cherry.jpg|200px]]
| [[Файл:Poisson_cherry_mask.png|200px]]
|}

=== Идея подхода ===
Пусть замкнутое множество $P \subset \mathbb{R}^2$ {{---}} область, на которой определено изображение $S$, а замкнутое множество $\Omega \subset P$ с границей $\partial\Omega$ и внутренностью $int(\Omega)$ {{---}} область вставки изображения $I$.

Пусть $f_S$ {{---}} скалярная функция, определенная на $P \setminus int(\Omega)$, задает фоновое изображение $S$; $f$ {{---}} неизвестная скалярная функция, определенная на $int(\Omega)$, задает, каким образом должно выглядеть результат блендинга в области вставки.

$v_I$ {{---}} векторное поле, определенное на $\Omega$. В качестве $v_I$ возьмем градиент вставляемого изображения $I$: $v_I = \nabla f_I$.

Нашей задачей является поиск такой функции $f$, чтобы блендинговое изображение выглядело реалистично. Для этого минимизируем разность градиента функции $f$ и векторного поля $v_I$, считая, что $f = f_S$ на границе $\Omega$.
$$
\underset{f}{\mathrm{min}} \underset{\Omega}{\iint} |\nabla f - v_I|^2, \text{где } f|_{\partial \Omega} = f_S|_{\partial \Omega}.
$$
Решение задачи минимизации является единственным решением уравнения Пуассона для граничных условий Дирихле.
$$\nabla^2 f = \nabla^2 f_I \text{ на } \Omega, f|_{\partial \Omega} = f_S|_{\partial \Omega}, \text{где } \nabla^2 \text{{{---}} оператор Лапласа.}$$

=== Дискретный случай ===
Пусть $p$ {{---}} координаты $(x, y)$ пикселя двухмерного изображения. За $Img_p$ обозначим значение пикселя с координатами $p$ изображения $Img$. Пусть $\Omega = \left\{ p\;|\;M_p = 1 \right\}$ {{---}} область, заданная маской $M$. Тогда $\partial \Omega$ {{---}} координаты границы вставляемой области, а $int(\Omega)$ {{---}} внутренность области.

Пусть $N_p$ {{---}} множество соседей $p$ (максимум четыре пикселя, имеющих общую границу с $p$, т.е. пиксели со следующими координатами: $(x + 1, y), (x - 1, y), (x, y + 1), (x, y - 1)$). Для всех пар $(p, q)$ таких, что $q \in N_p$, введем $v_{pq} = I_p - I_q$.

Введем переменные $O_p, p \in \Omega$. Так как мы хотим сделать результат бесшовным, пиксели $O_p, p \in \partial\Omega$, сделаем равными $S_p$. Для $p, q \in int(\Omega),\; q \in N_p$ постараемся найти такое $O$, чтобы разность $O_p$ и $O_q$ была близка к $v_{pq}$. Для этого решим задачу минимизации:

$$
\underset{O_p,\; p \in \Omega}{\mathrm{min}}\; \underset{p, q \in \Omega}{\sum}\; \left(O_p - O_q - v_{pq}\right)^2, \text{где } O_p = S_p, p \in \partial \Omega.
$$

Заметим, что функция, которую мы хотим минимизировать, квадратична относительно переменных $O_p, p \in int(\Omega)$. Для решения задачи минимизации вычислим частные производные по этим переменным и найдем значения переменных, при которых частные производные будут равны нулю.
$$\frac{\partial{\underset{p, q \in \Omega}{\sum}\; \left(O_p - O_q - v_{pq}\right)^2}}{\partial O_p} = \underset{q \in N_p}{\sum} 2 \left(O_p - O_q - v_{pq}\right) - \underset{q \in N_p}{\sum} 2 \left(O_q - O_p - v_{qp}\right) = 2 \underset{q \in N_p}{\sum} 2 \left(O_p - O_q - v_{pq}\right).$$

Приравнивая к нулю, получаем: $|N_p| O_p - \underset{q \in N_p}{\sum} O_q = \underset{q \in N_p}{\sum} v_{pq}$.

Добавим условие $O_p = S_p, p \in \partial \Omega$: $\;|N_p| O_p - \underset{q \in N_p \cap int(\Omega)}{\sum} O_q = \underset{q \in N_p \cap \partial \Omega}{\sum} S_q + \underset{q \in N_p}{\sum} v_{pq}$.

Для решения систем уравнений такого вида могут быть использованы итеративные алгоритмы Gauss-Seidel и V-cycle multigrid<ref name="PGB03">[https://www.cs.jhu.edu/~misha/Fall07/Papers/Perez03.pdf Poisson Image Editing] Patrick Perez, Michel Gangnet, Andrew Blake (2003)</ref>.

Получаем значения пикселей $O_p$, $p \in int(\Omega)$. Тогда результат $B$ блендинга Пуассона будет следующим:
$$
B_p =
\begin{cases}
O_p,\; \text{если } p \in int(\Omega) \\
S_p,\; \text{иначе }
\end{cases}.
$$

Mетод Пуассона сдвигает цвета накладываемого изображения, сохраняя свойства градиента (т.е. если пиксель $I_{p1}$ был меньше $I_{p2}$, то после преобразования $I_{p1}$ не станет больше $I_{p2}$), однако само значение градиета может получиться другим.<ref name='clear_poisson'>https://erkaman.github.io/posts/poisson_blending.html Poisson blending для самых маленьких</ref>

==Нейронный перенос стиля==
{{main|Neural Style Transfer}}
Прежде чем переходить к гармонизации картин, рассмотрим задачу нейронного переноса стиля с изображения $S$ на изображение $I$. Для этого используются выходы скрытых слоёв [[Сверточные нейронные сети | свёрточной нейронной сети]] VGG-19<ref name="SZ14">[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition] Karen Simonyan, Andrew Zisserman (2014)</ref> (конкретные слои будут указаны ниже).

Основная идея генерации изображения {{---}} решение оптимизационной задачи $\mathcal{L}(I, S, O) \xrightarrow[O]{} min$, где $O$ {{---}} итоговое изображение, $\mathcal{L}(I, S, O)$ {{---}} [[Функция потерь и эмпирический риск | функция потерь]]. Такую задачу можно решать градиентным спуском в пространстве изображений используя [[обратное распространение ошибки | метод обратного распространения ошибки]].
{{Определение
|definition =
Пусть $F^l\left[I\right] \in \mathcal{R}^{N_l \times M_l}$ {{---}} матрица значений выхода $l$-го слоя сети на изображении $I$. Выход $l$-го слоя сети имеет размерность $N_l \times W_l \times H_l$. Представим его как матрицу $N_l \times M_l$, где $N_l$ {{---}} количество фильтров в $l$-ом слое, $M_l$ {{---}} количество признаков ($M_l = W_l H_l$). Тогда $F^l_{ij}\left[I\right]$ {{---}} $j$-ый признак $i$-го фильтра в $l$-ом слое. Столбец матрицы $F^l\left[I\right]$ размера $N_l$ назовём '''вектором активации'''.}}
{{Определение
|definition =
'''Матрица Грама''' (англ. ''Gram matrix'') {{---}} матрица попарных скалярных произведений.
$$G^l\left[S\right] \in \mathcal{R}^{N_l \times N_l},$$
$$G^l\left[S\right] = F^l\left[S\right]F^l\left[S\right]^T.$$}}

Далее рассмотренны функции потерь, которые мы будем использовать.

===Content loss===

$F^l\left[I\right]$ отражает содержание изображения. Мы хотим чтобы содержание результата было как можно ближе к исходной картинке. Введём для этого такую функцию потерь:
$$\mathcal{L}_{content}(I, O) = \displaystyle\sum_l \frac{\alpha_l}{2 N_l M_l}\displaystyle\sum_{i, j} \left(F^l_{ij}\left[I\right] - F^l_{ij}\left[O\right]\right)^2,$$
где $\alpha_l$ {{---}} вклад $l$-го слоя в функцию потерь.

===Style loss===

$G^l\left[S\right]$ отражает статистику выходов фильтров независимо от их расположения, что, в свою очередь, отражает стиль изображения. Чтобы стиль результата был похож на стилевое изображение, введём следующую функцию потерь:
$$\mathcal{L}_{style}(S, O) = \displaystyle\sum_l \frac{\beta_l}{2N_l^2} \displaystyle\sum_{i, j} \left(G^l_{ij}\left[S\right] - G^l_{ij}\left[O\right]\right)^2,$$
где $\beta_l$ {{---}} вклад $l$-го слоя в функцию потерь.

===Gatys' loss===

Скомбинируем $\mathcal{L}_{content}$ и $\mathcal{L}_{style}$ и получим функцию потерь, которая была использована в алгоритме Гатиса<ref name="GEB16">[https://rn-unison.github.io/articulos/style_transfer.pdf Image Style Transfer Using Convolutional Neural Networks] Leon A. Gatys, Alexander S. Ecker, Matthias Bethge (2016)</ref>:
$$\mathcal{L}_{Gatys}(I, S, O) = \mathcal{L}_{content}(I, O) + w_{style}\mathcal{L}_{style}(S, O).$$
Вес $w_{style}$, векторы $\alpha$ и $\beta$ являются, в некотором смысле, гиперпараметрами алгоритма, которые мы выберем позднее.

===Histogram Loss===

Авторы другой статьи<ref name="WRB17">[https://arxiv.org/pdf/1701.08893.pdf Stable and Controllable Neural Texture Synthesis and Style Transfer Using Histogram Losses] Eric Risser, Pierre Wilmot, Connelly Barnes (2017)</ref> показывают, что результаты, полученные с помощью $\mathcal{L}_{Gatys}$ нестабильны и предложили учитывать ещё одну функцию потерь, основанную на '''сопоставлении гистограмм'''.
{{Определение
|definition =
'''Сопоставление гистограмм''' (англ. ''Histogram matching'') {{---}} метод обработки изображения, после которого гистограмма изображения совпадает с целевой гистограммой<ref name="HistMatch">https://en.wikipedia.org/wiki/Histogram_matching</ref>.}}
Пусть $R = histmatch(S, O)$ {{---}} отображение пикселей такое, что гистограмма $S$ совпадает с гистограммой $R(O)$, тогда Histogram loss будет выглядеть так:
$$\mathcal{L}_{hist}(S, O) = \displaystyle\sum_l \gamma_l \displaystyle\sum_{i, j} \left(F^l_{ij}\left[O\right] - R\left(F^l_{ij}\left[O\right]\right)\right)^2,$$
где $\gamma_l$ {{---}} вклад $l$-го слоя в функцию потерь.

'''Замечание:''' Если в случае остальных функций потерь нетрудно посчитать производную, то здесь могут возникнуть проблемы. Но поскольку $\displaystyle\frac{\partial \mathcal{L}_{hist}}{\partial F^l_{ij}\left[O\right]}$ является нулём почти везде, авторы предлагают при подсчёте производной считать $R\left(F^l_{ij}\left[O\right]\right)$ константой, которая не зависит от $O$.

===Total variation loss===

Также добавим ещё одну функцию потерь, которая удаляет шумы, при этом сохраняя важные детали изображения<ref name="MV15">[https://arxiv.org/pdf/1412.0035.pdf Understanding Deep Image Representations by Inverting Them] Aravindh Mahendran, Andrea Vedaldi (2015)</ref><ref name="JAFF16">[https://arxiv.org/pdf/1603.08155.pdf Perceptual Losses for Real-Time Style Transfer and Super-Resolution] Justin Johnson, Alexandre Alahi, Li Fei-Fei (2016)</ref>:

$$\mathcal{L}_{tv}(O) = \displaystyle\sum_{i, j} \left(O^l_{i, j} - O^l_{i-1, j}\right)^2 + \left(O^l_{i, j} - O^l_{i, j-1}\right)^2.$$

==Глубокая гармонизация картин==

Для того чтобы вставить изображение в картину или рисунок нужно не только сделать бесшовный переход и изменить цвета, но ещё и изменить текстуру вставляемого изображения, например, сымитировать мазки кистью. Используем для этого комбинацию подходов из других статей<ref name="GEB16"/><ref name="JAFF16"/><ref name="WRB17"/>.

[[Файл:LPSB18_Figure_1.png|1000px|thumb|center|Пример работы алгоритма ''Deep Image Analogy''<ref name="LYY*17">[https://arxiv.org/pdf/1705.01088.pdf Visual Attribute Transfer through Deep Image Analogy] Jing Liao, Yuan Yao, Lu Yuan, Gang Hua, Sing Bing Kang (2017)</ref> ($3$ картинка) и ''Deep Painterly Harmonization''<ref name="LPSB18"/> ($4$ картинка)]]
Алгоритм состоит из двух проходов. Первый проход делает грубую гармонизацию, а второй {{---}} более тщательную. Отличаются они '''стилевым маппингом''' и функциями потерь<ref name="LPSB18">https://arxiv.org/pdf/1804.03189.pdf Fujun Luan, Sylvain Paris, Eli Shechtman, Kavita Bala (2018)</ref>.

{{Определение
|definition =
'''Стилевым маппингом''' назовём отображение $P : \mathcal{R}^{N_l \times M_l} \rightarrow \mathcal{R}^{N_l \times M_l}$, которое некоторым образом переставляет столбцы матрицы (не обязательно обратимо, то есть столбцы могут теряться и копироваться). Более формально, пусть $p(j)$ {{---}} новая позиция столбца $j$, тогда $P(Q)_{i, p(j)} = Q_{ij}$.}}

Один проход состоит из $3$ частей:
# Входное $I$ и стилевое $S$ изображения подаются на вход нейронной сети VGG-19, так мы получаем $F^l_{ij}\left[I\right]$ и $F^l_{ij}\left[S\right]$.
# Для каждого слоя $l$ некоторым алгоритмом $\pi$ cтроится стилевой маппинг $P_l$, который сопоставляет столбцам из $F_l[I]$ столбцы из $F_l[S]$.
# Изображение $O$ восстанавливается градиентным спуском по пространству изображений с использованием функции потерь $\mathcal{L}$.

'''fun''' $SinglePassHarmonization$(
$I$,// Входное изображение 
$M$,// Маска 
$S$,// Стилевое изображение 
$\pi$,// Алгоритм построения стилевого маппинга 
$\mathcal{L}$// Функция потерь 
):
// Строим матрицы $F[I]$ и $F[S]$ с помощью свёрточной сети VGG-19 
$F[I] \leftarrow ComputeNeuralActivations(I)$
$F[S] \leftarrow ComputeNeuralActivations(S)$
// Строим стилевой маппинг 
$P \leftarrow \pi(F[I], M, F[S])$
// Градиентным спуском ищем изображение $O$, которое минимизирует $\mathcal{L}$ 
$O \leftarrow Reconstruct(I, M, S, P, \mathcal{L})$
'''return''' $O$


===Первый проход===

{{Определение
|definition =
'''Патчем''' (англ. ''patch'') для столбца $j$ будем называть тензор $3 \times 3 \times N_l$, который состоит из соседних векторов активации в тензоре выхода свёрточного слоя, с центром в $(x, y)$, где $j = y W_l + x$.}}



<div class="tright" style="clear:none">[[Файл:LPSB18_Figure_2c.png|250px|thumb|none|Результаты после второго прохода]]</div>
<div class="tright" style="clear:none">[[Файл:LPSB18_Figure_2b.png|250px|thumb|none|Результаты после первого прохода]]</div>

Первый проход делает грубую гармонизацию, но при этом он хорошо работает с любыми стилями. Здесь используется алгоритм $IndependentMapping$ для построения стилевого маппинга. Этот алгоритм для каждого столбца $j$ в $F_l[I]$ ищет столбец $p(j)$ в $F_l[S]$, такой что евклидово расстояние между патчем $F_l[I]$ с центром $j$ и патчем $F_l[S]$ с центром $p(j)$ минимально (метод ближайшего соседа).


'''fun''' $IndependentMapping$(
$F[I]$,// Выходы слоёв после входного изображения 
$Mask$,// Маска 
$F[S]$// Выходы слоёв после стилевого изображения 
):
// Для всех слоёв от $1$ до $L$ 
'''for''' $l \in [1 : L]$:
// Для всех столбцов от $1$ до $M_l$ 
'''for''' $j \in [1 : M_l]$:
// Рассматриваем патчи только внутри маски, которую нужно масштабировать в соответсвии с размером слоя $l$ 
'''if''' $j \in Resize(Mask, l)$:
// Берём самый похожий стилевой патч и записываем его в маппинг. 
$P_l(j) \leftarrow NearestNeighborIndex(F[I], j, F[S])$
'''return''' $P$


В первом проходе используется модифицированная функция потерь $\mathcal{L}_{Gatys}$, с тем лишь отличием, что в $\mathcal{L}_{style}$ к $F_l[S]$ применяется стилевой маппинг $P_l$:

$$\mathcal{L}_1(I, S, O, P) = \mathcal{L}_{content}(I, O) + w_{style}\mathcal{L}_{style}(S, O, P).$$

'''Замечание:''' при посчёте градиента $\mathcal{L}_{content}$ используются только пиксели внутри маски<ref>https://github.com/luanfujun/deep-painterly-harmonization/blob/a33a9a70366b6baff1cc0291f857b5895b271fc1/neural_gram.lua#L349</ref>.

===Второй проход===



Второй проход делает более качественную гармонизацию после первого прохода. Здесь мы будем использовать более сложный алгоритм $ConsistentMapping$ построения стилевого маппинга и более сложную функцию потерь. Суть этого алгоритма в том, чтобы найти стилевой мапинг на некотором слое $l_{ref}$ и перенести этот маппинг на остальные слои. Также, мы будем предпочитать маппинги, в которых смежные патчи в $F_l[S]$ остаются смежными после мапинга, чтобы обеспечить пространсвенную согласованность (таким образом мы хотим переносить сложные текстуры более качественно, например, мазки кистью).


'''fun''' $ConsistentMapping$(
$F[I]$,// Выходы слоёв после входного изображения 
$Mask$,// Маска 
$F[S]$// Выходы слоёв после стилевого изображения 
):
// Сначала посчитаем маппинг как в IndependentMapping только для слоя $l_{ref}$ 
'''for''' $j \in [1 : M_{l_{ref}}]$:
'''if''' $j \in Resize(Mask, l_{ref})$:
$P_0(j) \leftarrow NearestNeighborIndex(F[I], j, F[S])$

// Далее обеспечиваем пространсвенную согласованность 
'''for''' $j \in [1 : M_{l_{ref}}]$:
'''if''' $j \in Resize(Mask, l_{ref})$:
$q \leftarrow P_0(j)$
// Инициализируем множество кандидатов на новый маппинг 
$CSet \leftarrow \{q\}$
// Перебираем все смежные патчи 
'''for''' $o \in \left\{N, NE, E, SE, S, SW, W, NW\right\}$:
// Добавляем в кандидаты патч, сосед которого является маппингом для нашего соседа в соответсвующем направлении 
$CSet \leftarrow CSet \cup \left\{P_0(j + o) - o\right\}$
// Среди всех кандидатов выбираем тот, который ближе всего к маппингам наших соседей 
$P_{l_{ref}}(j) \leftarrow \underset{c \in CSet}{\mathrm{argmin}}\displaystyle\sum_o \left\|(F_{l_{ref}}[S]_c - F_{l_{ref}}[S]_{P_0(j + o)}\right\|^2$

// Теперь нужно перенести маппинг для $l_{ref}$ на остальные слои 
'''for''' $l \in [1 : L] \setminus \{l_{ref}\}$:
'''for''' $j \in [1 : M_l]$:
'''if''' $j \in Resize(Mask, l)$:
// Вычисляем позицию $j'$ на слое $l_{ref}$ соответствующую позиции $j$ на слое $l$
$j' \leftarrow ChangeResolution(l, l_{ref}, j)$
// Берём маппинг для позиции $j'$
$q \leftarrow P_{l_{ref}}(j')$
// Переносим позицию $q$ обратно на слой $l$
$P_l(j) \leftarrow ChangeResolution(l_{ref}, l, q)$
'''return''' $P$


При вычислении стилевого маппинга появляется очень много дублирующихся векторов, что даёт не очень хорошие результаты. Поэтому при вычислении матрицы Грама выкинем повторяющиеся векторы. Назовём функцию потерь с такой модификацией $\mathcal{L}_{s1}$.

$$\mathcal{L}_2(I, S, O, P) = \mathcal{L}_{content}(I, O) + w_{style}\mathcal{L}_{s1}(S, O, P) + w_{hist}\mathcal{L}_{hist}(S, O) + w_{tv}\mathcal{L}_{tv}(O),$$
где $w_{style}, w_{hist}, w_{tv}$ {{---}} веса соответсвующих функций потерь.

{| class="wikitable" style="background-color:#FFF; text-align:center"
|-
! Только второй проход
! Только первый проход
! Результат с $\mathcal{L}_{style}$ вместо $\mathcal{L}_{s1}$
|-
| [[Файл:LPSB18_Figure_5c.png|250px]]
| [[Файл:LPSB18_Figure_5d.png|250px]]
| [[Файл:LPSB18_Figure_5f.png|250px]]
|}

===Итоговый алгоритм===

Теперь осталось запустить две стадии:


'''fun''' $Harmonization$(
$I$,// Входное изображение 
$Mask$,// Маска 
$S$// Стилевое изображение 
):
// Грубый проход алгоритма. Каждый слой рассматривается отдельно при построении стилевого маппинга. 
$I' \leftarrow SinglePassHarmonization(I, Mask, S, IndependentMapping, \mathcal{L}_1)$
// Улучшение результата. Стилевой маппинг строится консистентно для всех слоёв. 
$O \leftarrow SinglePassHarmonization(I', Mask, S, ConsistentMapping, \mathcal{L}_2)$
'''return''' $O$


===Постобработка===

[[Файл:LPSB18_Figure_6abc.png|400px|thumb|right|Результат постобработки (без постобработки, после первой стадии, после второй стадии)]]

Описанный алгоритм даёт хорошие результаты в целом, но при ближайшем рассмотрении могут быть артефакты. Поэтому сделаем двухступенчатую постобработку (подробное описание есть в оригинальной статье<ref name="LPSB18"/>):
# Переведём изображение в цветовое пространство [https://en.wikipedia.org/wiki/CIELAB_color_space CIELAB] и применим [https://en.wikipedia.org/wiki/Guided_filter Guided filter] для a и b каналов.
# С помощью алгоритма PatchMatch<ref name="BSFG09">https://www.researchgate.net/profile/Eli_Shechtman/publication/220184392_PatchMatch_A_Randomized_Correspondence_Algorithm_for_Structural_Image_Editing/links/02e7e520897b12bf0f000000.pdf Connelly Barnes, Eli Shechtman, Adam Finkelstein, Dan B Goldman (2009)</ref> и того же Guided filter делаем так, чтобы все патчи выходного изображения присутсвовали в стилевом (чтобы не было новых объектов или структур).

===Подбор гиперпараметров===

[[Файл:LPSB18_Figure_4.png|400px|thumb|right|Влияние $l_{ref}$ на результат]]

Возьмём $l_{ref}$ = conv4_1.
Выберем следующие веса для слоёв:

{| class="wikitable"
|+ Первый проход
|-
! Параметр
! conv1_1
! conv2_1
! conv3_1
! conv4_1
! conv5_1
|-
! $\alpha$
| $0$
| $0$
| $0$
| $1$
| $0$
|-
! $\beta$
| $0$
| $0$
| $1/3$
| $1/3$
| $1/3$
|}

{| class="wikitable"
|+ Второй проход
|-
! Параметр
! conv1_1
! conv2_1
! conv3_1
! conv4_1
! conv5_1
|-
! $\alpha$
| $0$
| $0$
| $0$
| $1$
| $0$
|-
! $\beta$
| $1/4$
| $1/4$
| $1/4$
| $1/4$
| $0$
|-
! $\gamma$
| $1/2$
| $0$
| $0$
| $1/2$
| $0$
|}

Введём гиперпараметр $\tau$ и возьмём $w_{style} = w_{hist} = \tau$, $w_{tv} = \tau\frac{10}{1 + \exp(10^4 * noise(S) - 25)}$, где $noise(S) = \underset{i,j}{\mathrm{med}}\left\{\left(O^l_{i, j} - O^l_{i-1, j}\right)^2 + \left(O^l_{i, j} - O^l_{i, j-1}\right)^2\right\}$<ref>[https://github.com/luanfujun/deep-painterly-harmonization/blob/a33a9a70366b6baff1cc0291f857b5895b271fc1/neural_paint.lua#L470 код функции $noise$.</ref>.

Для того чтобы подбирать $\tau$ авторы статьи использовали классификатор стилей изображений. Они взяли VGG-19, обучили её классифицировать $18$ различных стилей. Эти стили были разделены на $3$ категории с разными $\tau$. Используя $Softmax$ можно интерполировать необходимый $\tau$ по следующей таблице:

{| class="wikitable"
|-
! Категория стиля
! Примеры стилей
! $\tau$
|-
! Слабый
| Барокко, Высокое Возрождение
| $1$
|-
! Средний
| Абстрактное Искусство, Постимпрессионизм
| $5$
|-
! Сильный
| Кубизм, Экспрессионизм
| $10$
|}

===Примеры===

{|
! Исходное изображение
! Простая вставка
! Результат
! Постобработка
|-
| [[Файл:5_target.jpg|300px]]
| [[Файл:5_naive.jpg|300px]]
| [[Файл:5_final_res.png|300px]]
| [[Файл:5_final_res2.png|300px]]
|-
| [[Файл:6_target.jpg|300px]]
| [[Файл:6_naive.jpg|300px]]
| [[Файл:6_final_res.png|300px]]
| [[Файл:6_final_res2.png|300px]]
|-
| [[Файл:10_target.jpg|300px]]
| [[Файл:10_naive.jpg|300px]]
| [[Файл:10_final_res.png|300px]]
| [[Файл:10_final_res2.png|300px]]
|}

==Глубокий блендинг==



Алгоритм глубокого блендинга состоит из двух этапов. На первом этапе на стилевое изображения $S$ бесшовно накладывается входное изображение $I$, получается подготовительное блендинг-изображение $B$. На втором этапе $B$ модифицируется таким образом, чтобы результат по стилю был похож на $S$.

Будем считать, что на вход подаются изображения, прошедшие предварительную обработку:
* Используемая для вставки часть $I$ вырезана с помощью маски.
* $M$ и $I$ выровнены относительно $S$.
* Размеры матриц, задающих $M, S, I$, совпадают.

'''Примеры входных данных:'''
{| class="wikitable" style="background-color:#FFF; text-align:center"
! '''Стилевое изображение $S$'''
| [[Файл:Deep bl s1.png|150px]]
| [[Файл:Deep bl s2.png|150px]]
| [[Файл:Deep bl s3.png|150px]]
|-
! '''Накладываемое изображение $I$'''
| [[Файл:Deep bl i1.png|150px]]
| [[Файл:Deep bl i2.png|150px]]
| [[Файл:Deep bl i3.png|150px]]
|}

{{Определение
|definition =
'''Простой вставкой''' (англ. ''copy and paste'') $CAP(M, S, I)$ будем назвать изображение, полученное наложением части изображения $I$, заданной маской $M$, на изображение $S$.
$CAP(M, S, I) = I \odot M + S \odot (1 - M)$, где $\odot$ {{---}} покомпонентное умножение. }}

{{Определение
|definition =
'''Дискретный оператор Лапласа''' (фильтр Лапласа) $\mathbf{D}^2$ {{---}} аналог непрерывного оператора Лапласа $\nabla^2$, который позволяет выделять контуры изображения.
$$\mathbf{D}^2=\begin{bmatrix}0 & 1 & 0\\1 & -4 & 1\\0 & 1 & 0\end{bmatrix}.$$ }}
{| class="wikitable" style="float:right; clear:right;"
!Исходное изображение
!Применение фильтра Лапласа
|-
| [[Файл:Lenna.png|200px]]
| [[Файл:Lenna_Laplacian_Neg.png|200px]]
|}

Для сохранения контуров изображений $S$ и $I$ в области вставки воспользуемся идеей из [[Блендинг изображений#Блендинг Пуассона|метода Пуассона]] и введём следующую функцию потерь<ref name='ZWS20'/>:
$$\mathcal{L}_{grad}(S, I, M, O) = \displaystyle\frac{1}{2HW}\displaystyle\sum_{m=1}^H \displaystyle\sum_{n=1}^W \left[ \mathbf{D}^2 B - \left(\mathbf{D}^2 S + \mathbf{D}^2 I\right) \right]^2_{mn},$$
где $H, W$ {{---}} высота и ширина изображений. $B = CAP(M, S, O)$ {{---}} блендинговое изображение, оптимизируемое относительно $O$.

Рассмотрим область $\overline{\Omega} = \{\;p \;| \;M_p = 0\; \}$. Заметим, что градиент $I$ в $\overline{\Omega}$ равен нулю. Тогда градиенты $S$ и $B$ совпадают, и задача минимизации $\mathcal{L}_{grad}$ решается только в области вставки.

На обоих этапах алгоритм минимизирует взвешенную сумму следующих функций потерь:
* $\mathcal{L}_{content}$ для сохранения содержания накладываемого изображения $I$.
* $\mathcal{L}_{style}$ для переноса стиля изображения $S$ на $I$.
* $\mathcal{L}_{hist}$ для стабилизации переноса стиля.
* $\mathcal{L}_{tv}$ для удаления шумов.
* $\mathcal{L}_{grad}$ для сохранения контуров фона и изображения.


Для подсчета $\mathcal{L}_{style}$ и $\mathcal{L}_{content}$ авторами статьи<ref name='ZWS20'>[https://openaccess.thecvf.com/content_WACV_2020/papers/Zhang_Deep_Image_Blending_WACV_2020_paper.pdf Deep Image Blending] Lingzhi Zhang, Tarmily Wen, Jianbo Shi (2020)</ref> использовалась сеть VGG-19<ref name="SZ14"/>, обученная на ImageNet<ref name="ImageNet">https://image-net.org/papers/imagenet_cvpr09.pdf J. Deng, W. Dong, R. Socher, L.-J. Li, K. Li, and L. FeiFei. Imagenet: A large-scale hierarchical image database</ref>.

=== Первый этап ===
На первом этапе изображение $I$ накладывается на фоновое изображение $S$ таким образом, чтобы были незаметны швы.
Построение начинается с белого шума $Z$, который оптимизируется в области вставки путем минимизации суммарной функции потерь $\mathcal{L}_{total}$, представленной взвешенной суммой всех функций потерь, описанных выше:
$$ \mathcal{L}_{total}(Z) = w_{grad}\mathcal{L}_{grad}(I, S, B) + w_{content}\mathcal{L}_{content}(I, M, Z) + w_{style}\mathcal{L}_{style}(S, B) + w_{tv}\mathcal{L}_{tv}(B) + w_{hist}\mathcal{L}_{hist}(S, B).$$
Для решения задачи минимизации авторы статьи<ref name='ZWS20' /> используют алгоритм L-BFGS<ref name="LBFGS">https://en.wikipedia.org/wiki/Limited-memory_BFGS Limited-memory BFGS - Wikipedia</ref>.

Отметим, что $\mathcal{L}_{content}$ зависит от маски и отвечает за сохранение содержания $I$ в области вставки.

Отличительной чертой этого этапа является использование функции потерь $\mathcal{L}_{grad}$, приближающей градиент результата к градиенту $I$ в области наложения, за счет чего достигается бесшовность.

В результате получается подготовительное блендинг-изображение $B$.


'''fun''' $SeamlessBlending$(
$I$, // Входное изображение 
$M$, // Маска 
$S$ // Стилевое изображение 
):
// Инициализируем первое приближение белым шумом 
$Z \leftarrow RandomNoise() $
$B \leftarrow CAP(M, S, Z)$
// Определим суммарную функцию потерь с весами слагаемых $w$
$\mathcal{L}_{total}(Z) \leftarrow w_{grad}\mathcal{L}_{grad}(I, S, B) + w_{content}\mathcal{L}_{content}(I, M, Z) + w_{style}\mathcal{L}_{style}(S, B) + w_{tv}\mathcal{L}_{tv}(B) + w_{hist}\mathcal{L}_{hist}(S, B)$
// С помощью алгоритма L-BFGS ищем изображение $Z$, которое минимизирует $\mathcal{L}_{total}$ 
$Z \leftarrow Reconstruct(\mathcal{L}_{total}, Z)$
'''return''' $CAP(M, S, Z)$


=== Второй этап ===

Второй этап алгоритма представляет собой модификацию полученного на первом этапе блендинг-изображения $B$ таким образом, чтобы стиль изображения был наиболее близок к стилю $S$.

В отличие от предыдущего этапа, функция потерь не включает в себя $\mathcal{L}_{grad}$:
$$\mathcal{L}_{total}(O) = w_{content}\mathcal{L}_{content}(B, O) + w_{style}\mathcal{L}_{style}(S, O) + w_{tv}\mathcal{L}_{tv}(O) + w_{hist}\mathcal{L}_{hist}(S, O).$$

Минимизация происходит относительно результата алгоритма $O$, который инициализируется изображением $B$.


'''fun''' $StyleRefinement$(
$B$, // Подготовительное блендинг-изображение, результат первого этапа 
$M$, // Маска 
$S$ // Стилевое изображение 
):
$O \leftarrow B$
// Определим суммарную функцию потерь с весами слагаемых $w$
$\mathcal{L}_{total}(O) \leftarrow w_{cont}\mathcal{L}_{content}(B, O) + w_{style}\mathcal{L}_{style}(S, O) + w_{tv}\mathcal{L}_{tv}(O) + w_{hist}\mathcal{L}_{hist}(S, O)$
// С помощью алгоритма L-BFGS ищем изображение $O$, которое минимизирует $\mathcal{L}_{total}$ 
$O \leftarrow Reconstruct(\mathcal{L}_{total}, O)$
'''return''' $O$


{|
! После первого этапа
! После обоих этапов
|-
| [[Файл:1_first_pass.png|300px]]
| [[Файл:1_second_pass.png|300px]]
|-
| [[Файл:3_first_pass.png|300px]]
| [[Файл:3_second_pass.png|300px]]
|-
| [[Файл:5_first_pass.png|300px]]
| [[Файл:5_second_pass.png|300px]]
|}

===Детали реализации===

{| class="wikitable"
|+ Веса функций потерь
|-
! Этап
! $w_{grad}$
! $w_{content}$
! $w_{style}$
! $w_{hist}$
! $w_{tv}$
|-
! $1$
| $10^5$
| $1$
| $10^5$
| $1$
| $10^{-6}$
|-
! $2$
| $0$
| $1$
| $10^7$
| $1$
| $10^{-6}$
|}

Для подсчета $\mathcal{L}_{style}$ используются слои conv1_2, conv2_2, conv3_3, conv4_3 $VGG$, для $\mathcal{L}_{content}$ {{---}} conv2_2.

На обоих этапах максимальное количество итераций алгоритма L-BFGS {{---}} $1000$.

=== Примеры ===
[[Файл:МЛ блендинг пример.png|1000px]]

==См. также==
* [[Neural_Style_Transfer|Neural Style Transfer]]
* [[Сверточные_нейронные_сети | Свёрточная нейронная сеть]]

==Примечания==

[[Категория: Машинное обучение]]
[[Категория: Нейронные сети]]
[[Категория: Сверточные нейронные сети]]

Блендинг изображений

2021-01-19T17:22:29Z

Npostnikova: L-BFGS ref

{{Определение
|definition =
'''Блендинг изображений''' (англ. ''image blending'') {{---}} метод, позволяющий вставить часть одного изображения в другое таким образом, чтобы композиция изображений выглядела естественно, без швов на границах вставки и соответсвующими цветами и текстурами. }}

==Блендинг Пуассона==
[[Файл:Poisson int1.png|thumb|right|300px|Рис. $1.1$. Пример перепада яркости при простой вставке]]
[[Файл:Poisson int2.png|thumb|right|300px|Рис. $1.2$. Результат применения блендинга Пуассона]]

Простая вставка одного изображения поверх другого нередко влечет заметный перепад яркости на границе вставки (рис. $1.1$). Метод Пуассона заключается в сглаживании этого перепада (рис. $1.2$) с целью сделать дефект менее заметным, используя градиент вставляемого изображения и значения пикселей фонового изображения на границе вставки.

'''Замечание:''' Для RGB изображений задача минимизации решается для каждого цветового канала отдельно.

Давайте обозначим за $S$ изображение, которое служит фоном, а за $I$ {{---}} изображение, вставляемое поверх $S$. Область вставки будем задавать двоичной маской $M$, содержащей единицы в области наложения. Например:
{| class="wikitable" style="background-color:#FFF; text-align:center"
|-
! Фоновое изображение $S$
! Накладываемое изображение $I$
! Маска $M$
|-
| [[Файл:Poisson_cat.jpg|200px]]
| [[Файл:Poisson_cherry.jpg|200px]]
| [[Файл:Poisson_cherry_mask.png|200px]]
|}

=== Идея подхода ===
Пусть замкнутое множество $P \subset \mathbb{R}^2$ {{---}} область, на которой определено изображение $S$, а замкнутое множество $\Omega \subset P$ с границей $\partial\Omega$ и внутренностью $int(\Omega)$ {{---}} область вставки изображения $I$.

Пусть $f_S$ {{---}} скалярная функция, определенная на $P \setminus int(\Omega)$, задает фоновое изображение $S$; $f$ {{---}} неизвестная скалярная функция, определенная на $int(\Omega)$, задает, каким образом должно выглядеть результат блендинга в области вставки.

$v_I$ {{---}} векторное поле, определенное на $\Omega$. В качестве $v_I$ возьмем градиент вставляемого изображения $I$: $v_I = \nabla f_I$.

Нашей задачей является поиск такой функции $f$, чтобы блендинговое изображение выглядело реалистично. Для этого минимизируем разность градиента функции $f$ и векторного поля $v_I$, считая, что $f = f_S$ на границе $\Omega$.
$$
\underset{f}{\mathrm{min}} \underset{\Omega}{\iint} |\nabla f - v_I|^2, \text{где } f|_{\partial \Omega} = f_S|_{\partial \Omega}.
$$
Решение задачи минимизации является единственным решением уравнения Пуассона для граничных условий Дирихле.
$$\nabla^2 f = \nabla^2 f_I \text{ на } \Omega, f|_{\partial \Omega} = f_S|_{\partial \Omega}, \text{где } \nabla^2 \text{{{---}} оператор Лапласа.}$$

=== Дискретный случай ===
Пусть $p$ {{---}} координаты $(x, y)$ пикселя двухмерного изображения. За $Img_p$ обозначим значение пикселя с координатами $p$ изображения $Img$. Пусть $\Omega = \left\{ p\;|\;M_p = 1 \right\}$ {{---}} область, заданная маской $M$. Тогда $\partial \Omega$ {{---}} координаты границы вставляемой области, а $int(\Omega)$ {{---}} внутренность области.

Пусть $N_p$ {{---}} множество соседей $p$ (максимум четыре пикселя, имеющих общую границу с $p$, т.е. пиксели со следующими координатами: $(x + 1, y), (x - 1, y), (x, y + 1), (x, y - 1)$). Для всех пар $(p, q)$ таких, что $q \in N_p$, введем $v_{pq} = I_p - I_q$.

Введем переменные $O_p, p \in \Omega$. Так как мы хотим сделать результат бесшовным, пиксели $O_p, p \in \partial\Omega$, сделаем равными $S_p$. Для $p, q \in int(\Omega),\; q \in N_p$ постараемся найти такое $O$, чтобы разность $O_p$ и $O_q$ была близка к $v_{pq}$. Для этого решим задачу минимизации:

$$
\underset{O_p,\; p \in \Omega}{\mathrm{min}}\; \underset{p, q \in \Omega}{\sum}\; \left(O_p - O_q - v_{pq}\right)^2, \text{где } O_p = S_p, p \in \partial \Omega.
$$

Заметим, что функция, которую мы хотим минимизировать, квадратична относительно переменных $O_p, p \in int(\Omega)$. Для решения задачи минимизации вычислим частные производные по этим переменным и найдем значения переменных, при которых частные производные будут равны нулю.
$$\frac{\partial{\underset{p, q \in \Omega}{\sum}\; \left(O_p - O_q - v_{pq}\right)^2}}{\partial O_p} = \underset{q \in N_p}{\sum} 2 \left(O_p - O_q - v_{pq}\right) - \underset{q \in N_p}{\sum} 2 \left(O_q - O_p - v_{qp}\right) = 2 \underset{q \in N_p}{\sum} 2 \left(O_p - O_q - v_{pq}\right).$$

Приравнивая к нулю, получаем: $|N_p| O_p - \underset{q \in N_p}{\sum} O_q = \underset{q \in N_p}{\sum} v_{pq}$.

Добавим условие $O_p = S_p, p \in \partial \Omega$: $\;|N_p| O_p - \underset{q \in N_p \cap int(\Omega)}{\sum} O_q = \underset{q \in N_p \cap \partial \Omega}{\sum} S_q + \underset{q \in N_p}{\sum} v_{pq}$.

Для решения систем уравнений такого вида могут быть использованы итеративные алгоритмы Gauss-Seidel и V-cycle multigrid<ref name="PGB03">[https://www.cs.jhu.edu/~misha/Fall07/Papers/Perez03.pdf Poisson Image Editing] Patrick Perez, Michel Gangnet, Andrew Blake (2003)</ref>.

Получаем значения пикселей $O_p$, $p \in int(\Omega)$. Тогда результат $B$ блендинга Пуассона будет следующим:
$$
B_p =
\begin{cases}
O_p,\; \text{если } p \in int(\Omega) \\
S_p,\; \text{иначе }
\end{cases}.
$$

Mетод Пуассона сдвигает цвета накладываемого изображения, сохраняя свойства градиента (т.е. если пиксель $I_{p1}$ был меньше $I_{p2}$, то после преобразования $I_{p1}$ не станет больше $I_{p2}$), однако само значение градиета может получиться другим.<ref name='clear_poisson'>https://erkaman.github.io/posts/poisson_blending.html Poisson blending для самых маленьких</ref>

==Нейронный перенос стиля==
{{main|Neural Style Transfer}}
Прежде чем переходить к гармонизации картин, рассмотрим задачу нейронного переноса стиля с изображения $S$ на изображение $I$. Для этого используются выходы скрытых слоёв [[Сверточные нейронные сети | свёрточной нейронной сети]] VGG-19<ref name="SZ14">[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition] Karen Simonyan, Andrew Zisserman (2014)</ref> (конкретные слои будут указаны ниже).

Основная идея генерации изображения {{---}} решение оптимизационной задачи $\mathcal{L}(I, S, O) \xrightarrow[O]{} min$, где $O$ {{---}} итоговое изображение, $\mathcal{L}(I, S, O)$ {{---}} [[Функция потерь и эмпирический риск | функция потерь]]. Такую задачу можно решать градиентным спуском в пространстве изображений используя [[обратное распространение ошибки | метод обратного распространения ошибки]].
{{Определение
|definition =
Пусть $F^l\left[I\right] \in \mathcal{R}^{N_l \times M_l}$ {{---}} матрица значений выхода $l$-го слоя сети на изображении $I$. Выход $l$-го слоя сети имеет размерность $N_l \times W_l \times H_l$. Представим его как матрицу $N_l \times M_l$, где $N_l$ {{---}} количество фильтров в $l$-ом слое, $M_l$ {{---}} количество признаков ($M_l = W_l H_l$). Тогда $F^l_{ij}\left[I\right]$ {{---}} $j$-ый признак $i$-го фильтра в $l$-ом слое. Столбец матрицы $F^l\left[I\right]$ размера $N_l$ назовём '''вектором активации'''.}}
{{Определение
|definition =
'''Матрица Грама''' (англ. ''Gram matrix'') {{---}} матрица попарных скалярных произведений.
$$G^l\left[S\right] \in \mathcal{R}^{N_l \times N_l},$$
$$G^l\left[S\right] = F^l\left[S\right]F^l\left[S\right]^T.$$}}

Далее рассмотренны функции потерь, которые мы будем использовать.

===Content loss===

$F^l\left[I\right]$ отражает содержание изображения. Мы хотим чтобы содержание результата было как можно ближе к исходной картинке. Введём для этого такую функцию потерь:
$$\mathcal{L}_{content}(I, O) = \displaystyle\sum_l \frac{\alpha_l}{2 N_l M_l}\displaystyle\sum_{i, j} \left(F^l_{ij}\left[I\right] - F^l_{ij}\left[O\right]\right)^2,$$
где $\alpha_l$ {{---}} вклад $l$-го слоя в функцию потерь.

===Style loss===

$G^l\left[S\right]$ отражает статистику выходов фильтров независимо от их расположения, что, в свою очередь, отражает стиль изображения. Чтобы стиль результата был похож на стилевое изображение, введём следующую функцию потерь:
$$\mathcal{L}_{style}(S, O) = \displaystyle\sum_l \frac{\beta_l}{2N_l^2} \displaystyle\sum_{i, j} \left(G^l_{ij}\left[S\right] - G^l_{ij}\left[O\right]\right)^2,$$
где $\beta_l$ {{---}} вклад $l$-го слоя в функцию потерь.

===Gatys' loss===

Скомбинируем $\mathcal{L}_{content}$ и $\mathcal{L}_{style}$ и получим функцию потерь, которая была использована в алгоритме Гатиса<ref name="GEB16">[https://rn-unison.github.io/articulos/style_transfer.pdf Image Style Transfer Using Convolutional Neural Networks] Leon A. Gatys, Alexander S. Ecker, Matthias Bethge (2016)</ref>:
$$\mathcal{L}_{Gatys}(I, S, O) = \mathcal{L}_{content}(I, O) + w_{style}\mathcal{L}_{style}(S, O).$$
Вес $w_{style}$, векторы $\alpha$ и $\beta$ являются, в некотором смысле, гиперпараметрами алгоритма, которые мы выберем позднее.

===Histogram Loss===

Авторы другой статьи<ref name="WRB17">[https://arxiv.org/pdf/1701.08893.pdf Stable and Controllable Neural Texture Synthesis and Style Transfer Using Histogram Losses] Eric Risser, Pierre Wilmot, Connelly Barnes (2017)</ref> показывают, что результаты, полученные с помощью $\mathcal{L}_{Gatys}$ нестабильны и предложили учитывать ещё одну функцию потерь, основанную на '''сопоставлении гистограмм'''.
{{Определение
|definition =
'''Сопоставление гистограмм''' (англ. ''Histogram matching'') {{---}} метод обработки изображения, после которого гистограмма изображения совпадает с целевой гистограммой<ref name="HistMatch">https://en.wikipedia.org/wiki/Histogram_matching</ref>.}}
Пусть $R = histmatch(S, O)$ {{---}} отображение пикселей такое, что гистограмма $S$ совпадает с гистограммой $R(O)$, тогда Histogram loss будет выглядеть так:
$$\mathcal{L}_{hist}(S, O) = \displaystyle\sum_l \gamma_l \displaystyle\sum_{i, j} \left(F^l_{ij}\left[O\right] - R\left(F^l_{ij}\left[O\right]\right)\right)^2,$$
где $\gamma_l$ {{---}} вклад $l$-го слоя в функцию потерь.

'''Замечание:''' Если в случае остальных функций потерь нетрудно посчитать производную, то здесь могут возникнуть проблемы. Но поскольку $\displaystyle\frac{\partial \mathcal{L}_{hist}}{\partial F^l_{ij}\left[O\right]}$ является нулём почти везде, авторы предлагают при подсчёте производной считать $R\left(F^l_{ij}\left[O\right]\right)$ константой, которая не зависит от $O$.

===Total variation loss===

Также добавим ещё одну функцию потерь, которая удаляет шумы, при этом сохраняя важные детали изображения<ref name="MV15">[https://arxiv.org/pdf/1412.0035.pdf Understanding Deep Image Representations by Inverting Them] Aravindh Mahendran, Andrea Vedaldi (2015)</ref><ref name="JAFF16">[https://arxiv.org/pdf/1603.08155.pdf Perceptual Losses for Real-Time Style Transfer and Super-Resolution] Justin Johnson, Alexandre Alahi, Li Fei-Fei (2016)</ref>:

$$\mathcal{L}_{tv}(O) = \displaystyle\sum_{i, j} \left(O^l_{i, j} - O^l_{i-1, j}\right)^2 + \left(O^l_{i, j} - O^l_{i, j-1}\right)^2.$$

==Глубокая гармонизация картин==

Для того чтобы вставить изображение в картину или рисунок нужно не только сделать бесшовный переход и изменить цвета, но ещё и изменить текстуру вставляемого изображения, например, сымитировать мазки кистью. Используем для этого комбинацию подходов из других статей<ref name="GEB16"/><ref name="JAFF16"/><ref name="WRB17"/>.

[[Файл:LPSB18_Figure_1.png|1000px|thumb|center|Пример работы алгоритма ''Deep Image Analogy''<ref name="LYY*17">[https://arxiv.org/pdf/1705.01088.pdf Visual Attribute Transfer through Deep Image Analogy] Jing Liao, Yuan Yao, Lu Yuan, Gang Hua, Sing Bing Kang (2017)</ref> ($3$ картинка) и ''Deep Painterly Harmonization''<ref name="LPSB18"/> ($4$ картинка)]]
Алгоритм состоит из двух проходов. Первый проход делает грубую гармонизацию, а второй {{---}} более тщательную. Отличаются они '''стилевым маппингом''' и функциями потерь<ref name="LPSB18">https://arxiv.org/pdf/1804.03189.pdf Fujun Luan, Sylvain Paris, Eli Shechtman, Kavita Bala (2018)</ref>.

{{Определение
|definition =
'''Стилевым маппингом''' назовём отображение $P : \mathcal{R}^{N_l \times M_l} \rightarrow \mathcal{R}^{N_l \times M_l}$, которое некоторым образом переставляет столбцы матрицы (не обязательно обратимо, то есть столбцы могут теряться и копироваться). Более формально, пусть $p(j)$ {{---}} новая позиция столбца $j$, тогда $P(Q)_{i, p(j)} = Q_{ij}$.}}

Один проход состоит из $3$ частей:
# Входное $I$ и стилевое $S$ изображения подаются на вход нейронной сети VGG-19, так мы получаем $F^l_{ij}\left[I\right]$ и $F^l_{ij}\left[S\right]$.
# Для каждого слоя $l$ некоторым алгоритмом $\pi$ cтроится стилевой маппинг $P_l$, который сопоставляет столбцам из $F_l[I]$ столбцы из $F_l[S]$.
# Изображение $O$ восстанавливается градиентным спуском по пространству изображений с использованием функции потерь $\mathcal{L}$.

'''fun''' $SinglePassHarmonization$(
$I$,// Входное изображение 
$M$,// Маска 
$S$,// Стилевое изображение 
$\pi$,// Алгоритм построения стилевого маппинга 
$\mathcal{L}$// Функция потерь 
):
// Строим матрицы $F[I]$ и $F[S]$ с помощью свёрточной сети VGG-19 
$F[I] \leftarrow ComputeNeuralActivations(I)$
$F[S] \leftarrow ComputeNeuralActivations(S)$
// Строим стилевой маппинг 
$P \leftarrow \pi(F[I], M, F[S])$
// Градиентным спуском ищем изображение $O$, которое минимизирует $\mathcal{L}$ 
$O \leftarrow Reconstruct(I, M, S, P, \mathcal{L})$
'''return''' $O$


===Первый проход===

{{Определение
|definition =
'''Патчем''' (англ. ''patch'') для столбца $j$ будем называть тензор $3 \times 3 \times N_l$, который состоит из соседних векторов активации в тензоре выхода свёрточного слоя, с центром в $(x, y)$, где $j = y W_l + x$.}}



<div class="tright" style="clear:none">[[Файл:LPSB18_Figure_2c.png|250px|thumb|none|Результаты после второго прохода]]</div>
<div class="tright" style="clear:none">[[Файл:LPSB18_Figure_2b.png|250px|thumb|none|Результаты после первого прохода]]</div>

Первый проход делает грубую гармонизацию, но при этом он хорошо работает с любыми стилями. Здесь используется алгоритм $IndependentMapping$ для построения стилевого маппинга. Этот алгоритм для каждого столбца $j$ в $F_l[I]$ ищет столбец $p(j)$ в $F_l[S]$, такой что евклидово расстояние между патчем $F_l[I]$ с центром $j$ и патчем $F_l[S]$ с центром $p(j)$ минимально (метод ближайшего соседа).


'''fun''' $IndependentMapping$(
$F[I]$,// Выходы слоёв после входного изображения 
$Mask$,// Маска 
$F[S]$// Выходы слоёв после стилевого изображения 
):
// Для всех слоёв от $1$ до $L$ 
'''for''' $l \in [1 : L]$:
// Для всех столбцов от $1$ до $M_l$ 
'''for''' $j \in [1 : M_l]$:
// Рассматриваем патчи только внутри маски, которую нужно масштабировать в соответсвии с размером слоя $l$ 
'''if''' $j \in Resize(Mask, l)$:
// Берём самый похожий стилевой патч и записываем его в маппинг. 
$P_l(j) \leftarrow NearestNeighborIndex(F[I], j, F[S])$
'''return''' $P$


В первом проходе используется модифицированная функция потерь $\mathcal{L}_{Gatys}$, с тем лишь отличием, что в $\mathcal{L}_{style}$ к $F_l[S]$ применяется стилевой маппинг $P_l$:

$$\mathcal{L}_1(I, S, O, P) = \mathcal{L}_{content}(I, O) + w_{style}\mathcal{L}_{style}(S, O, P).$$

'''Замечание:''' при посчёте градиента $\mathcal{L}_{content}$ используются только пиксели внутри маски<ref>https://github.com/luanfujun/deep-painterly-harmonization/blob/a33a9a70366b6baff1cc0291f857b5895b271fc1/neural_gram.lua#L349</ref>.

===Второй проход===



Второй проход делает более качественную гармонизацию после первого прохода. Здесь мы будем использовать более сложный алгоритм $ConsistentMapping$ построения стилевого маппинга и более сложную функцию потерь. Суть этого алгоритма в том, чтобы найти стилевой мапинг на некотором слое $l_{ref}$ и перенести этот маппинг на остальные слои. Также, мы будем предпочитать маппинги, в которых смежные патчи в $F_l[S]$ остаются смежными после мапинга, чтобы обеспечить пространсвенную согласованность (таким образом мы хотим переносить сложные текстуры более качественно, например, мазки кистью).


'''fun''' $ConsistentMapping$(
$F[I]$,// Выходы слоёв после входного изображения 
$Mask$,// Маска 
$F[S]$// Выходы слоёв после стилевого изображения 
):
// Сначала посчитаем маппинг как в IndependentMapping только для слоя $l_{ref}$ 
'''for''' $j \in [1 : M_{l_{ref}}]$:
'''if''' $j \in Resize(Mask, l_{ref})$:
$P_0(j) \leftarrow NearestNeighborIndex(F[I], j, F[S])$

// Далее обеспечиваем пространсвенную согласованность 
'''for''' $j \in [1 : M_{l_{ref}}]$:
'''if''' $j \in Resize(Mask, l_{ref})$:
$q \leftarrow P_0(j)$
// Инициализируем множество кандидатов на новый маппинг 
$CSet \leftarrow \{q\}$
// Перебираем все смежные патчи 
'''for''' $o \in \left\{N, NE, E, SE, S, SW, W, NW\right\}$:
// Добавляем в кандидаты патч, сосед которого является маппингом для нашего соседа в соответсвующем направлении 
$CSet \leftarrow CSet \cup \left\{P_0(j + o) - o\right\}$
// Среди всех кандидатов выбираем тот, который ближе всего к маппингам наших соседей 
$P_{l_{ref}}(j) \leftarrow \underset{c \in CSet}{\mathrm{argmin}}\displaystyle\sum_o \left\|(F_{l_{ref}}[S]_c - F_{l_{ref}}[S]_{P_0(j + o)}\right\|^2$

// Теперь нужно перенести маппинг для $l_{ref}$ на остальные слои 
'''for''' $l \in [1 : L] \setminus \{l_{ref}\}$:
'''for''' $j \in [1 : M_l]$:
'''if''' $j \in Resize(Mask, l)$:
// Вычисляем позицию $j'$ на слое $l_{ref}$ соответствующую позиции $j$ на слое $l$
$j' \leftarrow ChangeResolution(l, l_{ref}, j)$
// Берём маппинг для позиции $j'$
$q \leftarrow P_{l_{ref}}(j')$
// Переносим позицию $q$ обратно на слой $l$
$P_l(j) \leftarrow ChangeResolution(l_{ref}, l, q)$
'''return''' $P$


При вычислении стилевого маппинга появляется очень много дублирующихся векторов, что даёт не очень хорошие результаты. Поэтому при вычислении матрицы Грама выкинем повторяющиеся векторы. Назовём функцию потерь с такой модификацией $\mathcal{L}_{s1}$.

$$\mathcal{L}_2(I, S, O, P) = \mathcal{L}_{content}(I, O) + w_{style}\mathcal{L}_{s1}(S, O, P) + w_{hist}\mathcal{L}_{hist}(S, O) + w_{tv}\mathcal{L}_{tv}(O),$$
где $w_{style}, w_{hist}, w_{tv}$ {{---}} веса соответсвующих функций потерь.

{| class="wikitable" style="background-color:#FFF; text-align:center"
|-
! Только второй проход
! Только первый проход
! Результат с $\mathcal{L}_{style}$ вместо $\mathcal{L}_{s1}$
|-
| [[Файл:LPSB18_Figure_5c.png|250px]]
| [[Файл:LPSB18_Figure_5d.png|250px]]
| [[Файл:LPSB18_Figure_5f.png|250px]]
|}

===Итоговый алгоритм===

Теперь осталось запустить две стадии:


'''fun''' $Harmonization$(
$I$,// Входное изображение 
$Mask$,// Маска 
$S$// Стилевое изображение 
):
// Грубый проход алгоритма. Каждый слой рассматривается отдельно при построении стилевого маппинга. 
$I' \leftarrow SinglePassHarmonization(I, Mask, S, IndependentMapping, \mathcal{L}_1)$
// Улучшение результата. Стилевой маппинг строится консистентно для всех слоёв. 
$O \leftarrow SinglePassHarmonization(I', Mask, S, ConsistentMapping, \mathcal{L}_2)$
'''return''' $O$


===Постобработка===

[[Файл:LPSB18_Figure_6abc.png|400px|thumb|right|Результат постобработки (без постобработки, после первой стадии, после второй стадии)]]

Описанный алгоритм даёт хорошие результаты в целом, но при ближайшем рассмотрении могут быть артефакты. Поэтому сделаем двухступенчатую постобработку (подробное описание есть в оригинальной статье<ref name="LPSB18"/>):
# Переведём изображение в цветовое пространство [https://en.wikipedia.org/wiki/CIELAB_color_space CIELAB] и применим [https://en.wikipedia.org/wiki/Guided_filter Guided filter] для a и b каналов.
# С помощью алгоритма PatchMatch<ref name="BSFG09">https://www.researchgate.net/profile/Eli_Shechtman/publication/220184392_PatchMatch_A_Randomized_Correspondence_Algorithm_for_Structural_Image_Editing/links/02e7e520897b12bf0f000000.pdf Connelly Barnes, Eli Shechtman, Adam Finkelstein, Dan B Goldman (2009)</ref> и того же Guided filter делаем так, чтобы все патчи выходного изображения присутсвовали в стилевом (чтобы не было новых объектов или структур).

===Подбор гиперпараметров===

[[Файл:LPSB18_Figure_4.png|400px|thumb|right|Влияние $l_{ref}$ на результат]]

Возьмём $l_{ref}$ = conv4_1.
Выберем следующие веса для слоёв:

{| class="wikitable"
|+ Первый проход
|-
! Параметр
! conv1_1
! conv2_1
! conv3_1
! conv4_1
! conv5_1
|-
! $\alpha$
| $0$
| $0$
| $0$
| $1$
| $0$
|-
! $\beta$
| $0$
| $0$
| $1/3$
| $1/3$
| $1/3$
|}

{| class="wikitable"
|+ Второй проход
|-
! Параметр
! conv1_1
! conv2_1
! conv3_1
! conv4_1
! conv5_1
|-
! $\alpha$
| $0$
| $0$
| $0$
| $1$
| $0$
|-
! $\beta$
| $1/4$
| $1/4$
| $1/4$
| $1/4$
| $0$
|-
! $\gamma$
| $1/2$
| $0$
| $0$
| $1/2$
| $0$
|}

Введём гиперпараметр $\tau$ и возьмём $w_{style} = w_{hist} = \tau$, $w_{tv} = \tau\frac{10}{1 + \exp(10^4 * noise(S) - 25)}$, где $noise(S) = \underset{i,j}{\mathrm{med}}\left\{\left(O^l_{i, j} - O^l_{i-1, j}\right)^2 + \left(O^l_{i, j} - O^l_{i, j-1}\right)^2\right\}$<ref>[https://github.com/luanfujun/deep-painterly-harmonization/blob/a33a9a70366b6baff1cc0291f857b5895b271fc1/neural_paint.lua#L470 код функции $noise$.</ref>.

Для того чтобы подбирать $\tau$ авторы статьи использовали классификатор стилей изображений. Они взяли VGG-19, обучили её классифицировать $18$ различных стилей. Эти стили были разделены на $3$ категории с разными $\tau$. Используя $Softmax$ можно интерполировать необходимый $\tau$ по следующей таблице:

{| class="wikitable"
|-
! Категория стиля
! Примеры стилей
! $\tau$
|-
! Слабый
| Барокко, Высокое Возрождение
| $1$
|-
! Средний
| Абстрактное Искусство, Постимпрессионизм
| $5$
|-
! Сильный
| Кубизм, Экспрессионизм
| $10$
|}

===Примеры===

{|
! Исходное изображение
! Простая вставка
! Результат
! Постобработка
|-
| [[Файл:5_target.jpg|300px]]
| [[Файл:5_naive.jpg|300px]]
| [[Файл:5_final_res.png|300px]]
| [[Файл:5_final_res2.png|300px]]
|-
| [[Файл:6_target.jpg|300px]]
| [[Файл:6_naive.jpg|300px]]
| [[Файл:6_final_res.png|300px]]
| [[Файл:6_final_res2.png|300px]]
|-
| [[Файл:10_target.jpg|300px]]
| [[Файл:10_naive.jpg|300px]]
| [[Файл:10_final_res.png|300px]]
| [[Файл:10_final_res2.png|300px]]
|}

==Глубокий блендинг==



Алгоритм глубокого блендинга состоит из двух этапов. На первом этапе на стилевое изображения $S$ бесшовно накладывается входное изображение $I$, получается подготовительное блендинг-изображение $B$. На втором этапе $B$ модифицируется таким образом, чтобы результат по стилю был похож на $S$.

Будем считать, что на вход подаются изображения, прошедшие предварительную обработку:
* Используемая для вставки часть $I$ вырезана с помощью маски.
* $M$ и $I$ выровнены относительно $S$.
* Размеры матриц, задающих $M, S, I$, совпадают.

'''Примеры входных данных:'''
{| class="wikitable" style="background-color:#FFF; text-align:center"
! '''Стилевое изображение $S$'''
| [[Файл:Deep bl s1.png|150px]]
| [[Файл:Deep bl s2.png|150px]]
| [[Файл:Deep bl s3.png|150px]]
|-
! '''Накладываемое изображение $I$'''
| [[Файл:Deep bl i1.png|150px]]
| [[Файл:Deep bl i2.png|150px]]
| [[Файл:Deep bl i3.png|150px]]
|}

{{Определение
|definition =
'''Простой вставкой''' (англ. ''copy and paste'') $CAP(M, S, I)$ будем назвать изображение, полученное наложением части изображения $I$, заданной маской $M$, на изображение $S$.
$CAP(M, S, I) = I \odot M + S \odot (1 - M)$, где $\odot$ {{---}} покомпонентное умножение. }}

{{Определение
|definition =
'''Дискретный оператор Лапласа''' (фильтр Лапласа) $\mathbf{D}^2$ {{---}} аналог непрерывного оператора Лапласа $\nabla^2$, который позволяет выделять контуры изображения.
$$\mathbf{D}^2=\begin{bmatrix}0 & 1 & 0\\1 & -4 & 1\\0 & 1 & 0\end{bmatrix}.$$ }}
{| class="wikitable" style="float:right; clear:right;"
!Исходное изображение
!Применение фильтра Лапласа
|-
| [[Файл:Lenna.png|200px]]
| [[Файл:Lenna_Laplacian_Neg.png|200px]]
|}

Для сохранения контуров изображений $S$ и $I$ в области вставки воспользуемся идеей из [[Блендинг изображений#Блендинг Пуассона|метода Пуассона]] и введём следующую функцию потерь<ref name='ZWS20'/>:
$$\mathcal{L}_{grad}(S, I, M, O) = \displaystyle\frac{1}{2HW}\displaystyle\sum_{m=1}^H \displaystyle\sum_{n=1}^W \left[ \mathbf{D}^2 B - \left(\mathbf{D}^2 S + \mathbf{D}^2 I\right) \right]^2_{mn},$$
где $H, W$ {{---}} высота и ширина изображений. $B = CAP(M, S, O)$ {{---}} блендинговое изображение, оптимизируемое относительно $O$.

Рассмотрим область $\overline{\Omega} = \{\;p \;| \;M_p = 0\; \}$. Заметим, что градиент $I$ в $\overline{\Omega}$ равен нулю. Тогда градиенты $S$ и $B$ совпадают, и задача минимизации $\mathcal{L}_{grad}$ решается только в области вставки.

На обоих этапах алгоритм минимизирует взвешенную сумму следующих функций потерь:
* $\mathcal{L}_{content}$ для сохранения содержания накладываемого изображения $I$.
* $\mathcal{L}_{style}$ для переноса стиля изображения $S$ на $I$.
* $\mathcal{L}_{hist}$ для стабилизации переноса стиля.
* $\mathcal{L}_{tv}$ для удаления шумов.
* $\mathcal{L}_{grad}$ для сохранения контуров фона и изображения.


Для подсчета $\mathcal{L}_{style}$ и $\mathcal{L}_{content}$ авторами статьи<ref name='ZWS20'>[https://openaccess.thecvf.com/content_WACV_2020/papers/Zhang_Deep_Image_Blending_WACV_2020_paper.pdf Deep Image Blending] Lingzhi Zhang, Tarmily Wen, Jianbo Shi (2020)</ref> использовалась сеть VGG-19<ref name="SZ14"/>, обученная на ImageNet<ref name="ImageNet">https://image-net.org/papers/imagenet_cvpr09.pdf J. Deng, W. Dong, R. Socher, L.-J. Li, K. Li, and L. FeiFei. Imagenet: A large-scale hierarchical image database</ref>.

=== Первый этап ===
На первом этапе изображение $I$ накладывается на фоновое изображение $S$ таким образом, чтобы были незаметны швы.
Построение начинается с белого шума $Z$, который оптимизируется в области вставки путем минимизации суммарной функции потерь $\mathcal{L}_{total}$, представленной взвешенной суммой всех функций потерь, описанных выше:
$$ \mathcal{L}_{total}(Z) = w_{grad}\mathcal{L}_{grad}(I, S, B) + w_{content}\mathcal{L}_{content}(I, M, Z) + w_{style}\mathcal{L}_{style}(S, B) + w_{tv}\mathcal{L}_{tv}(B) + w_{hist}\mathcal{L}_{hist}(S, B).$$
Для решения задачи минимизации авторы статьи<ref name='ZWS20' /> используют алгоритм L-BFGS<ref name="LBFGS">[https://en.wikipedia.org/wiki/Limited-memory_BFGS Limited-memory BFGS - Wikipedia</ref>.

Отметим, что $\mathcal{L}_{content}$ зависит от маски и отвечает за сохранение содержания $I$ в области вставки.

Отличительной чертой этого этапа является использование функции потерь $\mathcal{L}_{grad}$, приближающей градиент результата к градиенту $I$ в области наложения, за счет чего достигается бесшовность.

В результате получается подготовительное блендинг-изображение $B$.


'''fun''' $SeamlessBlending$(
$I$, // Входное изображение 
$M$, // Маска 
$S$ // Стилевое изображение 
):
// Инициализируем первое приближение белым шумом 
$Z \leftarrow RandomNoise() $
$B \leftarrow CAP(M, S, Z)$
// Определим суммарную функцию потерь с весами слагаемых $w$
$\mathcal{L}_{total}(Z) \leftarrow w_{grad}\mathcal{L}_{grad}(I, S, B) + w_{content}\mathcal{L}_{content}(I, M, Z) + w_{style}\mathcal{L}_{style}(S, B) + w_{tv}\mathcal{L}_{tv}(B) + w_{hist}\mathcal{L}_{hist}(S, B)$
// С помощью алгоритма L-BFGS ищем изображение $Z$, которое минимизирует $\mathcal{L}_{total}$ 
$Z \leftarrow Reconstruct(\mathcal{L}_{total}, Z)$
'''return''' $CAP(M, S, Z)$


=== Второй этап ===

Второй этап алгоритма представляет собой модификацию полученного на первом этапе блендинг-изображения $B$ таким образом, чтобы стиль изображения был наиболее близок к стилю $S$.

В отличие от предыдущего этапа, функция потерь не включает в себя $\mathcal{L}_{grad}$:
$$\mathcal{L}_{total}(O) = w_{content}\mathcal{L}_{content}(B, O) + w_{style}\mathcal{L}_{style}(S, O) + w_{tv}\mathcal{L}_{tv}(O) + w_{hist}\mathcal{L}_{hist}(S, O).$$

Минимизация происходит относительно результата алгоритма $O$, который инициализируется изображением $B$.


'''fun''' $StyleRefinement$(
$B$, // Подготовительное блендинг-изображение, результат первого этапа 
$M$, // Маска 
$S$ // Стилевое изображение 
):
$O \leftarrow B$
// Определим суммарную функцию потерь с весами слагаемых $w$
$\mathcal{L}_{total}(O) \leftarrow w_{cont}\mathcal{L}_{content}(B, O) + w_{style}\mathcal{L}_{style}(S, O) + w_{tv}\mathcal{L}_{tv}(O) + w_{hist}\mathcal{L}_{hist}(S, O)$
// С помощью алгоритма L-BFGS ищем изображение $O$, которое минимизирует $\mathcal{L}_{total}$ 
$O \leftarrow Reconstruct(\mathcal{L}_{total}, O)$
'''return''' $O$


{|
! После первого этапа
! После обоих этапов
|-
| [[Файл:1_first_pass.png|300px]]
| [[Файл:1_second_pass.png|300px]]
|-
| [[Файл:3_first_pass.png|300px]]
| [[Файл:3_second_pass.png|300px]]
|-
| [[Файл:5_first_pass.png|300px]]
| [[Файл:5_second_pass.png|300px]]
|}

===Детали реализации===

{| class="wikitable"
|+ Веса функций потерь
|-
! Этап
! $w_{grad}$
! $w_{content}$
! $w_{style}$
! $w_{hist}$
! $w_{tv}$
|-
! $1$
| $10^5$
| $1$
| $10^5$
| $1$
| $10^{-6}$
|-
! $2$
| $0$
| $1$
| $10^7$
| $1$
| $10^{-6}$
|}

Для подсчета $\mathcal{L}_{style}$ используются слои conv1_2, conv2_2, conv3_3, conv4_3 $VGG$, для $\mathcal{L}_{content}$ {{---}} conv2_2.

На обоих этапах максимальное количество итераций алгоритма L-BFGS {{---}} $1000$.

=== Примеры ===
[[Файл:МЛ блендинг пример.png|1000px]]

==См. также==
* [[Neural_Style_Transfer|Neural Style Transfer]]
* [[Сверточные_нейронные_сети | Свёрточная нейронная сеть]]

==Примечания==

[[Категория: Машинное обучение]]
[[Категория: Нейронные сети]]
[[Категория: Сверточные нейронные сети]]

Блендинг изображений

2021-01-19T17:10:49Z

Npostnikova: /* Дискретный случай */

{{Определение
|definition =
'''Блендинг изображений''' (англ. ''image blending'') {{---}} метод, позволяющий вставить часть одного изображения в другое таким образом, чтобы композиция изображений выглядела естественно, без швов на границах вставки и соответсвующими цветами и текстурами. }}

==Блендинг Пуассона==
[[Файл:Poisson int1.png|thumb|right|300px|Рис. $1.1$. Пример перепада яркости при простой вставке]]
[[Файл:Poisson int2.png|thumb|right|300px|Рис. $1.2$. Результат применения блендинга Пуассона]]

Простая вставка одного изображения поверх другого нередко влечет заметный перепад яркости на границе вставки (рис. $1.1$). Метод Пуассона заключается в сглаживании этого перепада (рис. $1.2$) с целью сделать дефект менее заметным, используя градиент вставляемого изображения и значения пикселей фонового изображения на границе вставки.

'''Замечание:''' Для RGB изображений задача минимизации решается для каждого цветового канала отдельно.

Давайте обозначим за $S$ изображение, которое служит фоном, а за $I$ {{---}} изображение, вставляемое поверх $S$. Область вставки будем задавать двоичной маской $M$, содержащей единицы в области наложения. Например:
{| class="wikitable" style="background-color:#FFF; text-align:center"
|-
! Фоновое изображение $S$
! Накладываемое изображение $I$
! Маска $M$
|-
| [[Файл:Poisson_cat.jpg|200px]]
| [[Файл:Poisson_cherry.jpg|200px]]
| [[Файл:Poisson_cherry_mask.png|200px]]
|}

=== Идея подхода ===
Пусть замкнутое множество $P \subset \mathbb{R}^2$ {{---}} область, на которой определено изображение $S$, а замкнутое множество $\Omega \subset P$ с границей $\partial\Omega$ и внутренностью $int(\Omega)$ {{---}} область вставки изображения $I$.

Пусть $f_S$ {{---}} скалярная функция, определенная на $P \setminus int(\Omega)$, задает фоновое изображение $S$; $f$ {{---}} неизвестная скалярная функция, определенная на $int(\Omega)$, задает, каким образом должно выглядеть результат блендинга в области вставки.

$v_I$ {{---}} векторное поле, определенное на $\Omega$. В качестве $v_I$ возьмем градиент вставляемого изображения $I$: $v_I = \nabla f_I$.

Нашей задачей является поиск такой функции $f$, чтобы блендинговое изображение выглядело реалистично. Для этого минимизируем разность градиента функции $f$ и векторного поля $v_I$, считая, что $f = f_S$ на границе $\Omega$.
$$
\underset{f}{\mathrm{min}} \underset{\Omega}{\iint} |\nabla f - v_I|^2, \text{где } f|_{\partial \Omega} = f_S|_{\partial \Omega}.
$$
Решение задачи минимизации является единственным решением уравнения Пуассона для граничных условий Дирихле.
$$\nabla^2 f = \nabla^2 f_I \text{ на } \Omega, f|_{\partial \Omega} = f_S|_{\partial \Omega}, \text{где } \nabla^2 \text{{{---}} оператор Лапласа.}$$

=== Дискретный случай ===
Пусть $p$ {{---}} координаты $(x, y)$ пикселя двухмерного изображения. За $Img_p$ обозначим значение пикселя с координатами $p$ изображения $Img$. Пусть $\Omega = \left\{ p\;|\;M_p = 1 \right\}$ {{---}} область, заданная маской $M$. Тогда $\partial \Omega$ {{---}} координаты границы вставляемой области, а $int(\Omega)$ {{---}} внутренность области.

Пусть $N_p$ {{---}} множество соседей $p$ (максимум четыре пикселя, имеющих общую границу с $p$, т.е. пиксели со следующими координатами: $(x + 1, y), (x - 1, y), (x, y + 1), (x, y - 1)$). Для всех пар $(p, q)$ таких, что $q \in N_p$, введем $v_{pq} = I_p - I_q$.

Введем переменные $O_p, p \in \Omega$. Так как мы хотим сделать результат бесшовным, пиксели $O_p, p \in \partial\Omega$, сделаем равными $S_p$. Для $p, q \in int(\Omega),\; q \in N_p$ постараемся найти такое $O$, чтобы разность $O_p$ и $O_q$ была близка к $v_{pq}$. Для этого решим задачу минимизации:

$$
\underset{O_p,\; p \in \Omega}{\mathrm{min}}\; \underset{p, q \in \Omega}{\sum}\; \left(O_p - O_q - v_{pq}\right)^2, \text{где } O_p = S_p, p \in \partial \Omega.
$$

Заметим, что функция, которую мы хотим минимизировать, квадратична относительно переменных $O_p, p \in int(\Omega)$. Для решения задачи минимизации вычислим частные производные по этим переменным и найдем значения переменных, при которых частные производные будут равны нулю.
$$\frac{\partial{\underset{p, q \in \Omega}{\sum}\; \left(O_p - O_q - v_{pq}\right)^2}}{\partial O_p} = \underset{q \in N_p}{\sum} 2 \left(O_p - O_q - v_{pq}\right) - \underset{q \in N_p}{\sum} 2 \left(O_q - O_p - v_{qp}\right) = 2 \underset{q \in N_p}{\sum} 2 \left(O_p - O_q - v_{pq}\right).$$

Приравнивая к нулю, получаем: $|N_p| O_p - \underset{q \in N_p}{\sum} O_q = \underset{q \in N_p}{\sum} v_{pq}$.

Добавим условие $O_p = S_p, p \in \partial \Omega$: $\;|N_p| O_p - \underset{q \in N_p \cap int(\Omega)}{\sum} O_q = \underset{q \in N_p \cap \partial \Omega}{\sum} S_q + \underset{q \in N_p}{\sum} v_{pq}$.

Для решения систем уравнений такого вида могут быть использованы итеративные алгоритмы Gauss-Seidel и V-cycle multigrid<ref name="PGB03">[https://www.cs.jhu.edu/~misha/Fall07/Papers/Perez03.pdf Poisson Image Editing] Patrick Perez, Michel Gangnet, Andrew Blake (2003)</ref>.

Получаем значения пикселей $O_p$, $p \in int(\Omega)$. Тогда результат $B$ блендинга Пуассона будет следующим:
$$
B_p =
\begin{cases}
O_p,\; \text{если } p \in int(\Omega) \\
S_p,\; \text{иначе }
\end{cases}.
$$

Mетод Пуассона сдвигает цвета накладываемого изображения, сохраняя свойства градиента (т.е. если пиксель $I_{p1}$ был меньше $I_{p2}$, то после преобразования $I_{p1}$ не станет больше $I_{p2}$), однако само значение градиета может получиться другим.<ref name='clear_poisson'>https://erkaman.github.io/posts/poisson_blending.html Poisson blending для самых маленьких</ref>

==Нейронный перенос стиля==
{{main|Neural Style Transfer}}
Прежде чем переходить к гармонизации картин, рассмотрим задачу нейронного переноса стиля с изображения $S$ на изображение $I$. Для этого используются выходы скрытых слоёв [[Сверточные нейронные сети | свёрточной нейронной сети]] VGG-19<ref name="SZ14">[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition] Karen Simonyan, Andrew Zisserman (2014)</ref> (конкретные слои будут указаны ниже).

Основная идея генерации изображения {{---}} решение оптимизационной задачи $\mathcal{L}(I, S, O) \xrightarrow[O]{} min$, где $O$ {{---}} итоговое изображение, $\mathcal{L}(I, S, O)$ {{---}} [[Функция потерь и эмпирический риск | функция потерь]]. Такую задачу можно решать градиентным спуском в пространстве изображений используя [[обратное распространение ошибки | метод обратного распространения ошибки]].
{{Определение
|definition =
Пусть $F^l\left[I\right] \in \mathcal{R}^{N_l \times M_l}$ {{---}} матрица значений выхода $l$-го слоя сети на изображении $I$. Выход $l$-го слоя сети имеет размерность $N_l \times W_l \times H_l$. Представим его как матрицу $N_l \times M_l$, где $N_l$ {{---}} количество фильтров в $l$-ом слое, $M_l$ {{---}} количество признаков ($M_l = W_l H_l$). Тогда $F^l_{ij}\left[I\right]$ {{---}} $j$-ый признак $i$-го фильтра в $l$-ом слое. Столбец матрицы $F^l\left[I\right]$ размера $N_l$ назовём '''вектором активации'''.}}
{{Определение
|definition =
'''Матрица Грама''' (англ. ''Gram matrix'') {{---}} матрица попарных скалярных произведений.
$$G^l\left[S\right] \in \mathcal{R}^{N_l \times N_l},$$
$$G^l\left[S\right] = F^l\left[S\right]F^l\left[S\right]^T.$$}}

Далее рассмотренны функции потерь, которые мы будем использовать.

===Content loss===

$F^l\left[I\right]$ отражает содержание изображения. Мы хотим чтобы содержание результата было как можно ближе к исходной картинке. Введём для этого такую функцию потерь:
$$\mathcal{L}_{content}(I, O) = \displaystyle\sum_l \frac{\alpha_l}{2 N_l M_l}\displaystyle\sum_{i, j} \left(F^l_{ij}\left[I\right] - F^l_{ij}\left[O\right]\right)^2,$$
где $\alpha_l$ {{---}} вклад $l$-го слоя в функцию потерь.

===Style loss===

$G^l\left[S\right]$ отражает статистику выходов фильтров независимо от их расположения, что, в свою очередь, отражает стиль изображения. Чтобы стиль результата был похож на стилевое изображение, введём следующую функцию потерь:
$$\mathcal{L}_{style}(S, O) = \displaystyle\sum_l \frac{\beta_l}{2N_l^2} \displaystyle\sum_{i, j} \left(G^l_{ij}\left[S\right] - G^l_{ij}\left[O\right]\right)^2,$$
где $\beta_l$ {{---}} вклад $l$-го слоя в функцию потерь.

===Gatys' loss===

Скомбинируем $\mathcal{L}_{content}$ и $\mathcal{L}_{style}$ и получим функцию потерь, которая была использована в алгоритме Гатиса<ref name="GEB16">[https://rn-unison.github.io/articulos/style_transfer.pdf Image Style Transfer Using Convolutional Neural Networks] Leon A. Gatys, Alexander S. Ecker, Matthias Bethge (2016)</ref>:
$$\mathcal{L}_{Gatys}(I, S, O) = \mathcal{L}_{content}(I, O) + w_{style}\mathcal{L}_{style}(S, O).$$
Вес $w_{style}$, векторы $\alpha$ и $\beta$ являются, в некотором смысле, гиперпараметрами алгоритма, которые мы выберем позднее.

===Histogram Loss===

Авторы другой статьи<ref name="WRB17">[https://arxiv.org/pdf/1701.08893.pdf Stable and Controllable Neural Texture Synthesis and Style Transfer Using Histogram Losses] Eric Risser, Pierre Wilmot, Connelly Barnes (2017)</ref> показывают, что результаты, полученные с помощью $\mathcal{L}_{Gatys}$ нестабильны и предложили учитывать ещё одну функцию потерь, основанную на '''сопоставлении гистограмм'''.
{{Определение
|definition =
'''Сопоставление гистограмм''' (англ. ''Histogram matching'') {{---}} метод обработки изображения, после которого гистограмма изображения совпадает с целевой гистограммой<ref name="HistMatch">https://en.wikipedia.org/wiki/Histogram_matching</ref>.}}
Пусть $R = histmatch(S, O)$ {{---}} отображение пикселей такое, что гистограмма $S$ совпадает с гистограммой $R(O)$, тогда Histogram loss будет выглядеть так:
$$\mathcal{L}_{hist}(S, O) = \displaystyle\sum_l \gamma_l \displaystyle\sum_{i, j} \left(F^l_{ij}\left[O\right] - R\left(F^l_{ij}\left[O\right]\right)\right)^2,$$
где $\gamma_l$ {{---}} вклад $l$-го слоя в функцию потерь.

'''Замечание:''' Если в случае остальных функций потерь нетрудно посчитать производную, то здесь могут возникнуть проблемы. Но поскольку $\displaystyle\frac{\partial \mathcal{L}_{hist}}{\partial F^l_{ij}\left[O\right]}$ является нулём почти везде, авторы предлагают при подсчёте производной считать $R\left(F^l_{ij}\left[O\right]\right)$ константой, которая не зависит от $O$.

===Total variation loss===

Также добавим ещё одну функцию потерь, которая удаляет шумы, при этом сохраняя важные детали изображения<ref name="MV15">[https://arxiv.org/pdf/1412.0035.pdf Understanding Deep Image Representations by Inverting Them] Aravindh Mahendran, Andrea Vedaldi (2015)</ref><ref name="JAFF16">[https://arxiv.org/pdf/1603.08155.pdf Perceptual Losses for Real-Time Style Transfer and Super-Resolution] Justin Johnson, Alexandre Alahi, Li Fei-Fei (2016)</ref>:

$$\mathcal{L}_{tv}(O) = \displaystyle\sum_{i, j} \left(O^l_{i, j} - O^l_{i-1, j}\right)^2 + \left(O^l_{i, j} - O^l_{i, j-1}\right)^2.$$

==Глубокая гармонизация картин==

Для того чтобы вставить изображение в картину или рисунок нужно не только сделать бесшовный переход и изменить цвета, но ещё и изменить текстуру вставляемого изображения, например, сымитировать мазки кистью. Используем для этого комбинацию подходов из других статей<ref name="GEB16"/><ref name="JAFF16"/><ref name="WRB17"/>.

[[Файл:LPSB18_Figure_1.png|1000px|thumb|center|Пример работы алгоритма ''Deep Image Analogy''<ref name="LYY*17">[https://arxiv.org/pdf/1705.01088.pdf Visual Attribute Transfer through Deep Image Analogy] Jing Liao, Yuan Yao, Lu Yuan, Gang Hua, Sing Bing Kang (2017)</ref> ($3$ картинка) и ''Deep Painterly Harmonization''<ref name="LPSB18"/> ($4$ картинка)]]
Алгоритм состоит из двух проходов. Первый проход делает грубую гармонизацию, а второй {{---}} более тщательную. Отличаются они '''стилевым маппингом''' и функциями потерь<ref name="LPSB18">https://arxiv.org/pdf/1804.03189.pdf Fujun Luan, Sylvain Paris, Eli Shechtman, Kavita Bala (2018)</ref>.

{{Определение
|definition =
'''Стилевым маппингом''' назовём отображение $P : \mathcal{R}^{N_l \times M_l} \rightarrow \mathcal{R}^{N_l \times M_l}$, которое некоторым образом переставляет столбцы матрицы (не обязательно обратимо, то есть столбцы могут теряться и копироваться). Более формально, пусть $p(j)$ {{---}} новая позиция столбца $j$, тогда $P(Q)_{i, p(j)} = Q_{ij}$.}}

Один проход состоит из $3$ частей:
# Входное $I$ и стилевое $S$ изображения подаются на вход нейронной сети VGG-19, так мы получаем $F^l_{ij}\left[I\right]$ и $F^l_{ij}\left[S\right]$.
# Для каждого слоя $l$ некоторым алгоритмом $\pi$ cтроится стилевой маппинг $P_l$, который сопоставляет столбцам из $F_l[I]$ столбцы из $F_l[S]$.
# Изображение $O$ восстанавливается градиентным спуском по пространству изображений с использованием функции потерь $\mathcal{L}$.

'''fun''' $SinglePassHarmonization$(
$I$,// Входное изображение 
$M$,// Маска 
$S$,// Стилевое изображение 
$\pi$,// Алгоритм построения стилевого маппинга 
$\mathcal{L}$// Функция потерь 
):
// Строим матрицы $F[I]$ и $F[S]$ с помощью свёрточной сети VGG-19 
$F[I] \leftarrow ComputeNeuralActivations(I)$
$F[S] \leftarrow ComputeNeuralActivations(S)$
// Строим стилевой маппинг 
$P \leftarrow \pi(F[I], M, F[S])$
// Градиентным спуском ищем изображение $O$, которое минимизирует $\mathcal{L}$ 
$O \leftarrow Reconstruct(I, M, S, P, \mathcal{L})$
'''return''' $O$


===Первый проход===

{{Определение
|definition =
'''Патчем''' (англ. ''patch'') для столбца $j$ будем называть тензор $3 \times 3 \times N_l$, который состоит из соседних векторов активации в тензоре выхода свёрточного слоя, с центром в $(x, y)$, где $j = y W_l + x$.}}



<div class="tright" style="clear:none">[[Файл:LPSB18_Figure_2c.png|250px|thumb|none|Результаты после второго прохода]]</div>
<div class="tright" style="clear:none">[[Файл:LPSB18_Figure_2b.png|250px|thumb|none|Результаты после первого прохода]]</div>

Первый проход делает грубую гармонизацию, но при этом он хорошо работает с любыми стилями. Здесь используется алгоритм $IndependentMapping$ для построения стилевого маппинга. Этот алгоритм для каждого столбца $j$ в $F_l[I]$ ищет столбец $p(j)$ в $F_l[S]$, такой что евклидово расстояние между патчем $F_l[I]$ с центром $j$ и патчем $F_l[S]$ с центром $p(j)$ минимально (метод ближайшего соседа).


'''fun''' $IndependentMapping$(
$F[I]$,// Выходы слоёв после входного изображения 
$Mask$,// Маска 
$F[S]$// Выходы слоёв после стилевого изображения 
):
// Для всех слоёв от $1$ до $L$ 
'''for''' $l \in [1 : L]$:
// Для всех столбцов от $1$ до $M_l$ 
'''for''' $j \in [1 : M_l]$:
// Рассматриваем патчи только внутри маски, которую нужно масштабировать в соответсвии с размером слоя $l$ 
'''if''' $j \in Resize(Mask, l)$:
// Берём самый похожий стилевой патч и записываем его в маппинг. 
$P_l(j) \leftarrow NearestNeighborIndex(F[I], j, F[S])$
'''return''' $P$


В первом проходе используется модифицированная функция потерь $\mathcal{L}_{Gatys}$, с тем лишь отличием, что в $\mathcal{L}_{style}$ к $F_l[S]$ применяется стилевой маппинг $P_l$:

$$\mathcal{L}_1(I, S, O, P) = \mathcal{L}_{content}(I, O) + w_{style}\mathcal{L}_{style}(S, O, P).$$

'''Замечание:''' при посчёте градиента $\mathcal{L}_{content}$ используются только пиксели внутри маски<ref>https://github.com/luanfujun/deep-painterly-harmonization/blob/a33a9a70366b6baff1cc0291f857b5895b271fc1/neural_gram.lua#L349</ref>.

===Второй проход===



Второй проход делает более качественную гармонизацию после первого прохода. Здесь мы будем использовать более сложный алгоритм $ConsistentMapping$ построения стилевого маппинга и более сложную функцию потерь. Суть этого алгоритма в том, чтобы найти стилевой мапинг на некотором слое $l_{ref}$ и перенести этот маппинг на остальные слои. Также, мы будем предпочитать маппинги, в которых смежные патчи в $F_l[S]$ остаются смежными после мапинга, чтобы обеспечить пространсвенную согласованность (таким образом мы хотим переносить сложные текстуры более качественно, например, мазки кистью).


'''fun''' $ConsistentMapping$(
$F[I]$,// Выходы слоёв после входного изображения 
$Mask$,// Маска 
$F[S]$// Выходы слоёв после стилевого изображения 
):
// Сначала посчитаем маппинг как в IndependentMapping только для слоя $l_{ref}$ 
'''for''' $j \in [1 : M_{l_{ref}}]$:
'''if''' $j \in Resize(Mask, l_{ref})$:
$P_0(j) \leftarrow NearestNeighborIndex(F[I], j, F[S])$

// Далее обеспечиваем пространсвенную согласованность 
'''for''' $j \in [1 : M_{l_{ref}}]$:
'''if''' $j \in Resize(Mask, l_{ref})$:
$q \leftarrow P_0(j)$
// Инициализируем множество кандидатов на новый маппинг 
$CSet \leftarrow \{q\}$
// Перебираем все смежные патчи 
'''for''' $o \in \left\{N, NE, E, SE, S, SW, W, NW\right\}$:
// Добавляем в кандидаты патч, сосед которого является маппингом для нашего соседа в соответсвующем направлении 
$CSet \leftarrow CSet \cup \left\{P_0(j + o) - o\right\}$
// Среди всех кандидатов выбираем тот, который ближе всего к маппингам наших соседей 
$P_{l_{ref}}(j) \leftarrow \underset{c \in CSet}{\mathrm{argmin}}\displaystyle\sum_o \left\|(F_{l_{ref}}[S]_c - F_{l_{ref}}[S]_{P_0(j + o)}\right\|^2$

// Теперь нужно перенести маппинг для $l_{ref}$ на остальные слои 
'''for''' $l \in [1 : L] \setminus \{l_{ref}\}$:
'''for''' $j \in [1 : M_l]$:
'''if''' $j \in Resize(Mask, l)$:
// Вычисляем позицию $j'$ на слое $l_{ref}$ соответствующую позиции $j$ на слое $l$
$j' \leftarrow ChangeResolution(l, l_{ref}, j)$
// Берём маппинг для позиции $j'$
$q \leftarrow P_{l_{ref}}(j')$
// Переносим позицию $q$ обратно на слой $l$
$P_l(j) \leftarrow ChangeResolution(l_{ref}, l, q)$
'''return''' $P$


При вычислении стилевого маппинга появляется очень много дублирующихся векторов, что даёт не очень хорошие результаты. Поэтому при вычислении матрицы Грама выкинем повторяющиеся векторы. Назовём функцию потерь с такой модификацией $\mathcal{L}_{s1}$.

$$\mathcal{L}_2(I, S, O, P) = \mathcal{L}_{content}(I, O) + w_{style}\mathcal{L}_{s1}(S, O, P) + w_{hist}\mathcal{L}_{hist}(S, O) + w_{tv}\mathcal{L}_{tv}(O),$$
где $w_{style}, w_{hist}, w_{tv}$ {{---}} веса соответсвующих функций потерь.

{| class="wikitable" style="background-color:#FFF; text-align:center"
|-
! Только второй проход
! Только первый проход
! Результат с $\mathcal{L}_{style}$ вместо $\mathcal{L}_{s1}$
|-
| [[Файл:LPSB18_Figure_5c.png|250px]]
| [[Файл:LPSB18_Figure_5d.png|250px]]
| [[Файл:LPSB18_Figure_5f.png|250px]]
|}

===Итоговый алгоритм===

Теперь осталось запустить две стадии:


'''fun''' $Harmonization$(
$I$,// Входное изображение 
$Mask$,// Маска 
$S$// Стилевое изображение 
):
// Грубый проход алгоритма. Каждый слой рассматривается отдельно при построении стилевого маппинга. 
$I' \leftarrow SinglePassHarmonization(I, Mask, S, IndependentMapping, \mathcal{L}_1)$
// Улучшение результата. Стилевой маппинг строится консистентно для всех слоёв. 
$O \leftarrow SinglePassHarmonization(I', Mask, S, ConsistentMapping, \mathcal{L}_2)$
'''return''' $O$


===Постобработка===

[[Файл:LPSB18_Figure_6abc.png|400px|thumb|right|Результат постобработки (без постобработки, после первой стадии, после второй стадии)]]

Описанный алгоритм даёт хорошие результаты в целом, но при ближайшем рассмотрении могут быть артефакты. Поэтому сделаем двухступенчатую постобработку (подробное описание есть в оригинальной статье<ref name="LPSB18"/>):
# Переведём изображение в цветовое пространство [https://en.wikipedia.org/wiki/CIELAB_color_space CIELAB] и применим [https://en.wikipedia.org/wiki/Guided_filter Guided filter] для a и b каналов.
# С помощью алгоритма PatchMatch<ref name="BSFG09">https://www.researchgate.net/profile/Eli_Shechtman/publication/220184392_PatchMatch_A_Randomized_Correspondence_Algorithm_for_Structural_Image_Editing/links/02e7e520897b12bf0f000000.pdf Connelly Barnes, Eli Shechtman, Adam Finkelstein, Dan B Goldman (2009)</ref> и того же Guided filter делаем так, чтобы все патчи выходного изображения присутсвовали в стилевом (чтобы не было новых объектов или структур).

===Подбор гиперпараметров===

[[Файл:LPSB18_Figure_4.png|400px|thumb|right|Влияние $l_{ref}$ на результат]]

Возьмём $l_{ref}$ = conv4_1.
Выберем следующие веса для слоёв:

{| class="wikitable"
|+ Первый проход
|-
! Параметр
! conv1_1
! conv2_1
! conv3_1
! conv4_1
! conv5_1
|-
! $\alpha$
| $0$
| $0$
| $0$
| $1$
| $0$
|-
! $\beta$
| $0$
| $0$
| $1/3$
| $1/3$
| $1/3$
|}

{| class="wikitable"
|+ Второй проход
|-
! Параметр
! conv1_1
! conv2_1
! conv3_1
! conv4_1
! conv5_1
|-
! $\alpha$
| $0$
| $0$
| $0$
| $1$
| $0$
|-
! $\beta$
| $1/4$
| $1/4$
| $1/4$
| $1/4$
| $0$
|-
! $\gamma$
| $1/2$
| $0$
| $0$
| $1/2$
| $0$
|}

Введём гиперпараметр $\tau$ и возьмём $w_{style} = w_{hist} = \tau$, $w_{tv} = \tau\frac{10}{1 + \exp(10^4 * noise(S) - 25)}$, где $noise(S) = \underset{i,j}{\mathrm{med}}\left\{\left(O^l_{i, j} - O^l_{i-1, j}\right)^2 + \left(O^l_{i, j} - O^l_{i, j-1}\right)^2\right\}$<ref>[https://github.com/luanfujun/deep-painterly-harmonization/blob/a33a9a70366b6baff1cc0291f857b5895b271fc1/neural_paint.lua#L470 код функции $noise$.</ref>.

Для того чтобы подбирать $\tau$ авторы статьи использовали классификатор стилей изображений. Они взяли VGG-19, обучили её классифицировать $18$ различных стилей. Эти стили были разделены на $3$ категории с разными $\tau$. Используя $Softmax$ можно интерполировать необходимый $\tau$ по следующей таблице:

{| class="wikitable"
|-
! Категория стиля
! Примеры стилей
! $\tau$
|-
! Слабый
| Барокко, Высокое Возрождение
| $1$
|-
! Средний
| Абстрактное Искусство, Постимпрессионизм
| $5$
|-
! Сильный
| Кубизм, Экспрессионизм
| $10$
|}

===Примеры===

{|
! Исходное изображение
! Простая вставка
! Результат
! Постобработка
|-
| [[Файл:5_target.jpg|300px]]
| [[Файл:5_naive.jpg|300px]]
| [[Файл:5_final_res.png|300px]]
| [[Файл:5_final_res2.png|300px]]
|-
| [[Файл:6_target.jpg|300px]]
| [[Файл:6_naive.jpg|300px]]
| [[Файл:6_final_res.png|300px]]
| [[Файл:6_final_res2.png|300px]]
|-
| [[Файл:10_target.jpg|300px]]
| [[Файл:10_naive.jpg|300px]]
| [[Файл:10_final_res.png|300px]]
| [[Файл:10_final_res2.png|300px]]
|}

==Глубокий блендинг==



Алгоритм глубокого блендинга состоит из двух этапов. На первом этапе на стилевое изображения $S$ бесшовно накладывается входное изображение $I$, получается подготовительное блендинг-изображение $B$. На втором этапе $B$ модифицируется таким образом, чтобы результат по стилю был похож на $S$.

Будем считать, что на вход подаются изображения, прошедшие предварительную обработку:
* Используемая для вставки часть $I$ вырезана с помощью маски.
* $M$ и $I$ выровнены относительно $S$.
* Размеры матриц, задающих $M, S, I$, совпадают.

'''Примеры входных данных:'''
{| class="wikitable" style="background-color:#FFF; text-align:center"
! '''Стилевое изображение $S$'''
| [[Файл:Deep bl s1.png|150px]]
| [[Файл:Deep bl s2.png|150px]]
| [[Файл:Deep bl s3.png|150px]]
|-
! '''Накладываемое изображение $I$'''
| [[Файл:Deep bl i1.png|150px]]
| [[Файл:Deep bl i2.png|150px]]
| [[Файл:Deep bl i3.png|150px]]
|}

{{Определение
|definition =
'''Простой вставкой''' (англ. ''copy and paste'') $CAP(M, S, I)$ будем назвать изображение, полученное наложением части изображения $I$, заданной маской $M$, на изображение $S$.
$CAP(M, S, I) = I \odot M + S \odot (1 - M)$, где $\odot$ {{---}} покомпонентное умножение. }}

{{Определение
|definition =
'''Дискретный оператор Лапласа''' (фильтр Лапласа) $\mathbf{D}^2$ {{---}} аналог непрерывного оператора Лапласа $\nabla^2$, который позволяет выделять контуры изображения.
$$\mathbf{D}^2=\begin{bmatrix}0 & 1 & 0\\1 & -4 & 1\\0 & 1 & 0\end{bmatrix}.$$ }}
{| class="wikitable" style="float:right; clear:right;"
!Исходное изображение
!Применение фильтра Лапласа
|-
| [[Файл:Lenna.png|200px]]
| [[Файл:Lenna_Laplacian_Neg.png|200px]]
|}

Для сохранения контуров изображений $S$ и $I$ в области вставки воспользуемся идеей из [[Блендинг изображений#Блендинг Пуассона|метода Пуассона]] и введём следующую функцию потерь<ref name='ZWS20'/>:
$$\mathcal{L}_{grad}(S, I, M, O) = \displaystyle\frac{1}{2HW}\displaystyle\sum_{m=1}^H \displaystyle\sum_{n=1}^W \left[ \mathbf{D}^2 B - \left(\mathbf{D}^2 S + \mathbf{D}^2 I\right) \right]^2_{mn},$$
где $H, W$ {{---}} высота и ширина изображений. $B = CAP(M, S, O)$ {{---}} блендинговое изображение, оптимизируемое относительно $O$.

Рассмотрим область $\overline{\Omega} = \{\;p \;| \;M_p = 0\; \}$. Заметим, что градиент $I$ в $\overline{\Omega}$ равен нулю. Тогда градиенты $S$ и $B$ совпадают, и задача минимизации $\mathcal{L}_{grad}$ решается только в области вставки.

На обоих этапах алгоритм минимизирует взвешенную сумму следующих функций потерь:
* $\mathcal{L}_{content}$ для сохранения содержания накладываемого изображения $I$.
* $\mathcal{L}_{style}$ для переноса стиля изображения $S$ на $I$.
* $\mathcal{L}_{hist}$ для стабилизации переноса стиля.
* $\mathcal{L}_{tv}$ для удаления шумов.
* $\mathcal{L}_{grad}$ для сохранения контуров фона и изображения.


Для подсчета $\mathcal{L}_{style}$ и $\mathcal{L}_{content}$ авторами статьи<ref name='ZWS20'>[https://openaccess.thecvf.com/content_WACV_2020/papers/Zhang_Deep_Image_Blending_WACV_2020_paper.pdf Deep Image Blending] Lingzhi Zhang, Tarmily Wen, Jianbo Shi (2020)</ref> использовалась сеть VGG-19<ref name="SZ14"/>, обученная на ImageNet<ref name="ImageNet">https://image-net.org/papers/imagenet_cvpr09.pdf J. Deng, W. Dong, R. Socher, L.-J. Li, K. Li, and L. FeiFei. Imagenet: A large-scale hierarchical image database</ref>.

=== Первый этап ===
На первом этапе изображение $I$ накладывается на фоновое изображение $S$ таким образом, чтобы были незаметны швы.
Построение начинается с белого шума $Z$, который оптимизируется в области вставки путем минимизации суммарной функции потерь $\mathcal{L}_{total}$, представленной взвешенной суммой всех функций потерь, описанных выше:
$$ \mathcal{L}_{total}(Z) = w_{grad}\mathcal{L}_{grad}(I, S, B) + w_{content}\mathcal{L}_{content}(I, M, Z) + w_{style}\mathcal{L}_{style}(S, B) + w_{tv}\mathcal{L}_{tv}(B) + w_{hist}\mathcal{L}_{hist}(S, B).$$
Отметим, что $\mathcal{L}_{content}$ зависит от маски и отвечает за сохранение содержания $I$ в области вставки.

Отличительной чертой этого этапа является использование функции потерь $\mathcal{L}_{grad}$, приближающей градиент результата к градиенту $I$ в области наложения, за счет чего достигается бесшовность.

В результате получается подготовительное блендинг-изображение $B$.


'''fun''' $SeamlessBlending$(
$I$, // Входное изображение 
$M$, // Маска 
$S$ // Стилевое изображение 
):
// Инициализируем первое приближение белым шумом 
$Z \leftarrow RandomNoise() $
$B \leftarrow CAP(M, S, Z)$
// Определим суммарную функцию потерь с весами слагаемых $w$
$\mathcal{L}_{total}(Z) \leftarrow w_{grad}\mathcal{L}_{grad}(I, S, B) + w_{content}\mathcal{L}_{content}(I, M, Z) + w_{style}\mathcal{L}_{style}(S, B) + w_{tv}\mathcal{L}_{tv}(B) + w_{hist}\mathcal{L}_{hist}(S, B)$
// С помощью алгоритма L-BFGS ищем изображение $Z$, которое минимизирует $\mathcal{L}_{total}$ 
$Z \leftarrow Reconstruct(\mathcal{L}_{total}, Z)$
'''return''' $CAP(M, S, Z)$


=== Второй этап ===

Второй этап алгоритма представляет собой модификацию полученного на первом этапе блендинг-изображения $B$ таким образом, чтобы стиль изображения был наиболее близок к стилю $S$.

В отличие от предыдущего этапа, функция потерь не включает в себя $\mathcal{L}_{grad}$:
$$\mathcal{L}_{total}(O) = w_{content}\mathcal{L}_{content}(B, O) + w_{style}\mathcal{L}_{style}(S, O) + w_{tv}\mathcal{L}_{tv}(O) + w_{hist}\mathcal{L}_{hist}(S, O).$$

Минимизация происходит относительно результата алгоритма $O$, который инициализируется изображением $B$.


'''fun''' $StyleRefinement$(
$B$, // Подготовительное блендинг-изображение, результат первого этапа 
$M$, // Маска 
$S$ // Стилевое изображение 
):
$O \leftarrow B$
// Определим суммарную функцию потерь с весами слагаемых $w$
$\mathcal{L}_{total}(O) \leftarrow w_{cont}\mathcal{L}_{content}(B, O) + w_{style}\mathcal{L}_{style}(S, O) + w_{tv}\mathcal{L}_{tv}(O) + w_{hist}\mathcal{L}_{hist}(S, O)$
// С помощью алгоритма L-BFGS ищем изображение $O$, которое минимизирует $\mathcal{L}_{total}$ 
$O \leftarrow Reconstruct(\mathcal{L}_{total}, O)$
'''return''' $O$


{|
! После первого этапа
! После обоих этапов
|-
| [[Файл:1_first_pass.png|300px]]
| [[Файл:1_second_pass.png|300px]]
|-
| [[Файл:3_first_pass.png|300px]]
| [[Файл:3_second_pass.png|300px]]
|-
| [[Файл:5_first_pass.png|300px]]
| [[Файл:5_second_pass.png|300px]]
|}

===Детали реализации===

{| class="wikitable"
|+ Веса функций потерь
|-
! Этап
! $w_{grad}$
! $w_{content}$
! $w_{style}$
! $w_{hist}$
! $w_{tv}$
|-
! $1$
| $10^5$
| $1$
| $10^5$
| $1$
| $10^{-6}$
|-
! $2$
| $0$
| $1$
| $10^7$
| $1$
| $10^{-6}$
|}

Для подсчета $\mathcal{L}_{style}$ используются слои conv1_2, conv2_2, conv3_3, conv4_3 $VGG$, для $\mathcal{L}_{content}$ {{---}} conv2_2.

На обоих этапах максимальное количество итераций алгоритма L-BFGS {{---}} $1000$.

=== Примеры ===
[[Файл:МЛ блендинг пример.png|1000px]]

==См. также==
* [[Neural_Style_Transfer|Neural Style Transfer]]
* [[Сверточные_нейронные_сети | Свёрточная нейронная сеть]]

==Примечания==

[[Категория: Машинное обучение]]
[[Категория: Нейронные сети]]
[[Категория: Сверточные нейронные сети]]

Блендинг изображений

2021-01-19T17:04:14Z

Npostnikova: Запятую забыла

{{Определение
|definition =
'''Блендинг изображений''' (англ. ''image blending'') {{---}} метод, позволяющий вставить часть одного изображения в другое таким образом, чтобы композиция изображений выглядела естественно, без швов на границах вставки и соответсвующими цветами и текстурами. }}

==Блендинг Пуассона==
[[Файл:Poisson int1.png|thumb|right|300px|Рис. $1.1$. Пример перепада яркости при простой вставке]]
[[Файл:Poisson int2.png|thumb|right|300px|Рис. $1.2$. Результат применения блендинга Пуассона]]

Простая вставка одного изображения поверх другого нередко влечет заметный перепад яркости на границе вставки (рис. $1.1$). Метод Пуассона заключается в сглаживании этого перепада (рис. $1.2$) с целью сделать дефект менее заметным, используя градиент вставляемого изображения и значения пикселей фонового изображения на границе вставки.

'''Замечание:''' Для RGB изображений задача минимизации решается для каждого цветового канала отдельно.

Давайте обозначим за $S$ изображение, которое служит фоном, а за $I$ {{---}} изображение, вставляемое поверх $S$. Область вставки будем задавать двоичной маской $M$, содержащей единицы в области наложения. Например:
{| class="wikitable" style="background-color:#FFF; text-align:center"
|-
! Фоновое изображение $S$
! Накладываемое изображение $I$
! Маска $M$
|-
| [[Файл:Poisson_cat.jpg|200px]]
| [[Файл:Poisson_cherry.jpg|200px]]
| [[Файл:Poisson_cherry_mask.png|200px]]
|}

=== Идея подхода ===
Пусть замкнутое множество $P \subset \mathbb{R}^2$ {{---}} область, на которой определено изображение $S$, а замкнутое множество $\Omega \subset P$ с границей $\partial\Omega$ и внутренностью $int(\Omega)$ {{---}} область вставки изображения $I$.

Пусть $f_S$ {{---}} скалярная функция, определенная на $P \setminus int(\Omega)$, задает фоновое изображение $S$; $f$ {{---}} неизвестная скалярная функция, определенная на $int(\Omega)$, задает, каким образом должно выглядеть результат блендинга в области вставки.

$v_I$ {{---}} векторное поле, определенное на $\Omega$. В качестве $v_I$ возьмем градиент вставляемого изображения $I$: $v_I = \nabla f_I$.

Нашей задачей является поиск такой функции $f$, чтобы блендинговое изображение выглядело реалистично. Для этого минимизируем разность градиента функции $f$ и векторного поля $v_I$, считая, что $f = f_S$ на границе $\Omega$.
$$
\underset{f}{\mathrm{min}} \underset{\Omega}{\iint} |\nabla f - v_I|^2, \text{где } f|_{\partial \Omega} = f_S|_{\partial \Omega}.
$$
Решение задачи минимизации является единственным решением уравнения Пуассона для граничных условий Дирихле.
$$\nabla^2 f = \nabla^2 f_I \text{ на } \Omega, f|_{\partial \Omega} = f_S|_{\partial \Omega}, \text{где } \nabla^2 \text{{{---}} оператор Лапласа.}$$

=== Дискретный случай ===
Пусть $p$ {{---}} координаты $(x, y)$ пикселя двухмерного изображения. За $Img_p$ обозначим значение пикселя с координатами $p$ изображения $Img$. Пусть $\Omega = \left\{ p\;|\;M_p = 1 \right\}$. Тогда $\partial \Omega$ {{---}} координаты границы вставляемой области, а $int(\Omega)$ {{---}} внутренность области.

Пусть $N_p$ {{---}} множество соседей $p$ (максимум четыре пикселя, имеющих общую границу с $p$, т.е. пиксели со следующими координатами: $(x + 1, y), (x - 1, y), (x, y + 1), (x, y - 1)$). Для всех пар $(p, q)$ таких, что $q \in N_p$, введем $v_{pq} = I_p - I_q$.

Введем переменные $O_p, p \in \Omega$. Так как мы хотим сделать результат бесшовным, пиксели $O_p, p \in \partial\Omega$, сделаем равными $S_p$. Для $p, q \in int(\Omega),\; q \in N_p$ постараемся найти такое $O$, чтобы разность $O_p$ и $O_q$ была близка к $v_{pq}$. Для этого решим задачу минимизации:

$$
\underset{O_p,\; p \in \Omega}{\mathrm{min}}\; \underset{p, q \in \Omega}{\sum}\; \left(O_p - O_q - v_{pq}\right)^2, \text{где } O_p = S_p, p \in \partial \Omega.
$$

Заметим, что функция, которую мы хотим минимизировать, квадратична относительно переменных $O_p, p \in int(\Omega)$. Для решения задачи минимизации вычислим частные производные по этим переменным и найдем значения переменных, при которых частные производные будут равны нулю.
$$\frac{\partial{\underset{p, q \in \Omega}{\sum}\; \left(O_p - O_q - v_{pq}\right)^2}}{\partial O_p} = \underset{q \in N_p}{\sum} 2 \left(O_p - O_q - v_{pq}\right) - \underset{q \in N_p}{\sum} 2 \left(O_q - O_p - v_{qp}\right) = 2 \underset{q \in N_p}{\sum} 2 \left(O_p - O_q - v_{pq}\right).$$

Приравнивая к нулю, получаем: $|N_p| O_p - \underset{q \in N_p}{\sum} O_q = \underset{q \in N_p}{\sum} v_{pq}$.

Добавим условие $O_p = S_p, p \in \partial \Omega$: $\;|N_p| O_p - \underset{q \in N_p \cap int(\Omega)}{\sum} O_q = \underset{q \in N_p \cap \partial \Omega}{\sum} S_q + \underset{q \in N_p}{\sum} v_{pq}$.

Для решения систем уравнений такого вида могут быть использованы итеративные алгоритмы Gauss-Seidel и V-cycle multigrid<ref name="PGB03">[https://www.cs.jhu.edu/~misha/Fall07/Papers/Perez03.pdf Poisson Image Editing] Patrick Perez, Michel Gangnet, Andrew Blake (2003)</ref>.

Получаем значения пикселей $O_p$, $p \in int(\Omega)$. Тогда результат $B$ блендинга Пуассона будет следующим:
$$
B_p =
\begin{cases}
O_p,\; \text{если } p \in int(\Omega) \\
S_p,\; \text{иначе }
\end{cases}.
$$

Mетод Пуассона сдвигает цвета накладываемого изображения, сохраняя свойства градиента (т.е. если пиксель $I_{p1}$ был меньше $I_{p2}$, то после преобразования $I_{p1}$ не станет больше $I_{p2}$), однако само значение градиета может получиться другим.<ref name='clear_poisson'>https://erkaman.github.io/posts/poisson_blending.html Poisson blending для самых маленьких</ref>

==Нейронный перенос стиля==
{{main|Neural Style Transfer}}
Прежде чем переходить к гармонизации картин, рассмотрим задачу нейронного переноса стиля с изображения $S$ на изображение $I$. Для этого используются выходы скрытых слоёв [[Сверточные нейронные сети | свёрточной нейронной сети]] VGG-19<ref name="SZ14">[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition] Karen Simonyan, Andrew Zisserman (2014)</ref> (конкретные слои будут указаны ниже).

Основная идея генерации изображения {{---}} решение оптимизационной задачи $\mathcal{L}(I, S, O) \xrightarrow[O]{} min$, где $O$ {{---}} итоговое изображение, $\mathcal{L}(I, S, O)$ {{---}} [[Функция потерь и эмпирический риск | функция потерь]]. Такую задачу можно решать градиентным спуском в пространстве изображений используя [[обратное распространение ошибки | метод обратного распространения ошибки]].
{{Определение
|definition =
Пусть $F^l\left[I\right] \in \mathcal{R}^{N_l \times M_l}$ {{---}} матрица значений выхода $l$-го слоя сети на изображении $I$. Выход $l$-го слоя сети имеет размерность $N_l \times W_l \times H_l$. Представим его как матрицу $N_l \times M_l$, где $N_l$ {{---}} количество фильтров в $l$-ом слое, $M_l$ {{---}} количество признаков ($M_l = W_l H_l$). Тогда $F^l_{ij}\left[I\right]$ {{---}} $j$-ый признак $i$-го фильтра в $l$-ом слое. Столбец матрицы $F^l\left[I\right]$ размера $N_l$ назовём '''вектором активации'''.}}
{{Определение
|definition =
'''Матрица Грама''' (англ. ''Gram matrix'') {{---}} матрица попарных скалярных произведений.
$$G^l\left[S\right] \in \mathcal{R}^{N_l \times N_l},$$
$$G^l\left[S\right] = F^l\left[S\right]F^l\left[S\right]^T.$$}}

Далее рассмотренны функции потерь, которые мы будем использовать.

===Content loss===

$F^l\left[I\right]$ отражает содержание изображения. Мы хотим чтобы содержание результата было как можно ближе к исходной картинке. Введём для этого такую функцию потерь:
$$\mathcal{L}_{content}(I, O) = \displaystyle\sum_l \frac{\alpha_l}{2 N_l M_l}\displaystyle\sum_{i, j} \left(F^l_{ij}\left[I\right] - F^l_{ij}\left[O\right]\right)^2,$$
где $\alpha_l$ {{---}} вклад $l$-го слоя в функцию потерь.

===Style loss===

$G^l\left[S\right]$ отражает статистику выходов фильтров независимо от их расположения, что, в свою очередь, отражает стиль изображения. Чтобы стиль результата был похож на стилевое изображение, введём следующую функцию потерь:
$$\mathcal{L}_{style}(S, O) = \displaystyle\sum_l \frac{\beta_l}{2N_l^2} \displaystyle\sum_{i, j} \left(G^l_{ij}\left[S\right] - G^l_{ij}\left[O\right]\right)^2,$$
где $\beta_l$ {{---}} вклад $l$-го слоя в функцию потерь.

===Gatys' loss===

Скомбинируем $\mathcal{L}_{content}$ и $\mathcal{L}_{style}$ и получим функцию потерь, которая была использована в алгоритме Гатиса<ref name="GEB16">[https://rn-unison.github.io/articulos/style_transfer.pdf Image Style Transfer Using Convolutional Neural Networks] Leon A. Gatys, Alexander S. Ecker, Matthias Bethge (2016)</ref>:
$$\mathcal{L}_{Gatys}(I, S, O) = \mathcal{L}_{content}(I, O) + w_{style}\mathcal{L}_{style}(S, O).$$
Вес $w_{style}$, векторы $\alpha$ и $\beta$ являются, в некотором смысле, гиперпараметрами алгоритма, которые мы выберем позднее.

===Histogram Loss===

Авторы другой статьи<ref name="WRB17">[https://arxiv.org/pdf/1701.08893.pdf Stable and Controllable Neural Texture Synthesis and Style Transfer Using Histogram Losses] Eric Risser, Pierre Wilmot, Connelly Barnes (2017)</ref> показывают, что результаты, полученные с помощью $\mathcal{L}_{Gatys}$ нестабильны и предложили учитывать ещё одну функцию потерь, основанную на '''сопоставлении гистограмм'''.
{{Определение
|definition =
'''Сопоставление гистограмм''' (англ. ''Histogram matching'') {{---}} метод обработки изображения, после которого гистограмма изображения совпадает с целевой гистограммой<ref name="HistMatch">https://en.wikipedia.org/wiki/Histogram_matching</ref>.}}
Пусть $R = histmatch(S, O)$ {{---}} отображение пикселей такое, что гистограмма $S$ совпадает с гистограммой $R(O)$, тогда Histogram loss будет выглядеть так:
$$\mathcal{L}_{hist}(S, O) = \displaystyle\sum_l \gamma_l \displaystyle\sum_{i, j} \left(F^l_{ij}\left[O\right] - R\left(F^l_{ij}\left[O\right]\right)\right)^2,$$
где $\gamma_l$ {{---}} вклад $l$-го слоя в функцию потерь.

'''Замечание:''' Если в случае остальных функций потерь нетрудно посчитать производную, то здесь могут возникнуть проблемы. Но поскольку $\displaystyle\frac{\partial \mathcal{L}_{hist}}{\partial F^l_{ij}\left[O\right]}$ является нулём почти везде, авторы предлагают при подсчёте производной считать $R\left(F^l_{ij}\left[O\right]\right)$ константой, которая не зависит от $O$.

===Total variation loss===

Также добавим ещё одну функцию потерь, которая удаляет шумы, при этом сохраняя важные детали изображения<ref name="MV15">[https://arxiv.org/pdf/1412.0035.pdf Understanding Deep Image Representations by Inverting Them] Aravindh Mahendran, Andrea Vedaldi (2015)</ref><ref name="JAFF16">[https://arxiv.org/pdf/1603.08155.pdf Perceptual Losses for Real-Time Style Transfer and Super-Resolution] Justin Johnson, Alexandre Alahi, Li Fei-Fei (2016)</ref>:

$$\mathcal{L}_{tv}(O) = \displaystyle\sum_{i, j} \left(O^l_{i, j} - O^l_{i-1, j}\right)^2 + \left(O^l_{i, j} - O^l_{i, j-1}\right)^2.$$

==Глубокая гармонизация картин==

Для того чтобы вставить изображение в картину или рисунок нужно не только сделать бесшовный переход и изменить цвета, но ещё и изменить текстуру вставляемого изображения, например, сымитировать мазки кистью. Используем для этого комбинацию подходов из других статей<ref name="GEB16"/><ref name="JAFF16"/><ref name="WRB17"/>.

[[Файл:LPSB18_Figure_1.png|1000px|thumb|center|Пример работы алгоритма ''Deep Image Analogy''<ref name="LYY*17">[https://arxiv.org/pdf/1705.01088.pdf Visual Attribute Transfer through Deep Image Analogy] Jing Liao, Yuan Yao, Lu Yuan, Gang Hua, Sing Bing Kang (2017)</ref> ($3$ картинка) и ''Deep Painterly Harmonization''<ref name="LPSB18"/> ($4$ картинка)]]
Алгоритм состоит из двух проходов. Первый проход делает грубую гармонизацию, а второй {{---}} более тщательную. Отличаются они '''стилевым маппингом''' и функциями потерь<ref name="LPSB18">https://arxiv.org/pdf/1804.03189.pdf Fujun Luan, Sylvain Paris, Eli Shechtman, Kavita Bala (2018)</ref>.

{{Определение
|definition =
'''Стилевым маппингом''' назовём отображение $P : \mathcal{R}^{N_l \times M_l} \rightarrow \mathcal{R}^{N_l \times M_l}$, которое некоторым образом переставляет столбцы матрицы (не обязательно обратимо, то есть столбцы могут теряться и копироваться). Более формально, пусть $p(j)$ {{---}} новая позиция столбца $j$, тогда $P(Q)_{i, p(j)} = Q_{ij}$.}}

Один проход состоит из $3$ частей:
# Входное $I$ и стилевое $S$ изображения подаются на вход нейронной сети VGG-19, так мы получаем $F^l_{ij}\left[I\right]$ и $F^l_{ij}\left[S\right]$.
# Для каждого слоя $l$ некоторым алгоритмом $\pi$ cтроится стилевой маппинг $P_l$, который сопоставляет столбцам из $F_l[I]$ столбцы из $F_l[S]$.
# Изображение $O$ восстанавливается градиентным спуском по пространству изображений с использованием функции потерь $\mathcal{L}$.

'''fun''' $SinglePassHarmonization$(
$I$,// Входное изображение 
$M$,// Маска 
$S$,// Стилевое изображение 
$\pi$,// Алгоритм построения стилевого маппинга 
$\mathcal{L}$// Функция потерь 
):
// Строим матрицы $F[I]$ и $F[S]$ с помощью свёрточной сети VGG-19 
$F[I] \leftarrow ComputeNeuralActivations(I)$
$F[S] \leftarrow ComputeNeuralActivations(S)$
// Строим стилевой маппинг 
$P \leftarrow \pi(F[I], M, F[S])$
// Градиентным спуском ищем изображение $O$, которое минимизирует $\mathcal{L}$ 
$O \leftarrow Reconstruct(I, M, S, P, \mathcal{L})$
'''return''' $O$


===Первый проход===

{{Определение
|definition =
'''Патчем''' (англ. ''patch'') для столбца $j$ будем называть тензор $3 \times 3 \times N_l$, который состоит из соседних векторов активации в тензоре выхода свёрточного слоя, с центром в $(x, y)$, где $j = y W_l + x$.}}



<div class="tright" style="clear:none">[[Файл:LPSB18_Figure_2c.png|250px|thumb|none|Результаты после второго прохода]]</div>
<div class="tright" style="clear:none">[[Файл:LPSB18_Figure_2b.png|250px|thumb|none|Результаты после первого прохода]]</div>

Первый проход делает грубую гармонизацию, но при этом он хорошо работает с любыми стилями. Здесь используется алгоритм $IndependentMapping$ для построения стилевого маппинга. Этот алгоритм для каждого столбца $j$ в $F_l[I]$ ищет столбец $p(j)$ в $F_l[S]$, такой что евклидово расстояние между патчем $F_l[I]$ с центром $j$ и патчем $F_l[S]$ с центром $p(j)$ минимально (метод ближайшего соседа).


'''fun''' $IndependentMapping$(
$F[I]$,// Выходы слоёв после входного изображения 
$Mask$,// Маска 
$F[S]$// Выходы слоёв после стилевого изображения 
):
// Для всех слоёв от $1$ до $L$ 
'''for''' $l \in [1 : L]$:
// Для всех столбцов от $1$ до $M_l$ 
'''for''' $j \in [1 : M_l]$:
// Рассматриваем патчи только внутри маски, которую нужно масштабировать в соответсвии с размером слоя $l$ 
'''if''' $j \in Resize(Mask, l)$:
// Берём самый похожий стилевой патч и записываем его в маппинг. 
$P_l(j) \leftarrow NearestNeighborIndex(F[I], j, F[S])$
'''return''' $P$


В первом проходе используется модифицированная функция потерь $\mathcal{L}_{Gatys}$, с тем лишь отличием, что в $\mathcal{L}_{style}$ к $F_l[S]$ применяется стилевой маппинг $P_l$:

$$\mathcal{L}_1(I, S, O, P) = \mathcal{L}_{content}(I, O) + w_{style}\mathcal{L}_{style}(S, O, P).$$

'''Замечание:''' при посчёте градиента $\mathcal{L}_{content}$ используются только пиксели внутри маски<ref>https://github.com/luanfujun/deep-painterly-harmonization/blob/a33a9a70366b6baff1cc0291f857b5895b271fc1/neural_gram.lua#L349</ref>.

===Второй проход===



Второй проход делает более качественную гармонизацию после первого прохода. Здесь мы будем использовать более сложный алгоритм $ConsistentMapping$ построения стилевого маппинга и более сложную функцию потерь. Суть этого алгоритма в том, чтобы найти стилевой мапинг на некотором слое $l_{ref}$ и перенести этот маппинг на остальные слои. Также, мы будем предпочитать маппинги, в которых смежные патчи в $F_l[S]$ остаются смежными после мапинга, чтобы обеспечить пространсвенную согласованность (таким образом мы хотим переносить сложные текстуры более качественно, например, мазки кистью).


'''fun''' $ConsistentMapping$(
$F[I]$,// Выходы слоёв после входного изображения 
$Mask$,// Маска 
$F[S]$// Выходы слоёв после стилевого изображения 
):
// Сначала посчитаем маппинг как в IndependentMapping только для слоя $l_{ref}$ 
'''for''' $j \in [1 : M_{l_{ref}}]$:
'''if''' $j \in Resize(Mask, l_{ref})$:
$P_0(j) \leftarrow NearestNeighborIndex(F[I], j, F[S])$

// Далее обеспечиваем пространсвенную согласованность 
'''for''' $j \in [1 : M_{l_{ref}}]$:
'''if''' $j \in Resize(Mask, l_{ref})$:
$q \leftarrow P_0(j)$
// Инициализируем множество кандидатов на новый маппинг 
$CSet \leftarrow \{q\}$
// Перебираем все смежные патчи 
'''for''' $o \in \left\{N, NE, E, SE, S, SW, W, NW\right\}$:
// Добавляем в кандидаты патч, сосед которого является маппингом для нашего соседа в соответсвующем направлении 
$CSet \leftarrow CSet \cup \left\{P_0(j + o) - o\right\}$
// Среди всех кандидатов выбираем тот, который ближе всего к маппингам наших соседей 
$P_{l_{ref}}(j) \leftarrow \underset{c \in CSet}{\mathrm{argmin}}\displaystyle\sum_o \left\|(F_{l_{ref}}[S]_c - F_{l_{ref}}[S]_{P_0(j + o)}\right\|^2$

// Теперь нужно перенести маппинг для $l_{ref}$ на остальные слои 
'''for''' $l \in [1 : L] \setminus \{l_{ref}\}$:
'''for''' $j \in [1 : M_l]$:
'''if''' $j \in Resize(Mask, l)$:
// Вычисляем позицию $j'$ на слое $l_{ref}$ соответствующую позиции $j$ на слое $l$
$j' \leftarrow ChangeResolution(l, l_{ref}, j)$
// Берём маппинг для позиции $j'$
$q \leftarrow P_{l_{ref}}(j')$
// Переносим позицию $q$ обратно на слой $l$
$P_l(j) \leftarrow ChangeResolution(l_{ref}, l, q)$
'''return''' $P$


При вычислении стилевого маппинга появляется очень много дублирующихся векторов, что даёт не очень хорошие результаты. Поэтому при вычислении матрицы Грама выкинем повторяющиеся векторы. Назовём функцию потерь с такой модификацией $\mathcal{L}_{s1}$.

$$\mathcal{L}_2(I, S, O, P) = \mathcal{L}_{content}(I, O) + w_{style}\mathcal{L}_{s1}(S, O, P) + w_{hist}\mathcal{L}_{hist}(S, O) + w_{tv}\mathcal{L}_{tv}(O),$$
где $w_{style}, w_{hist}, w_{tv}$ {{---}} веса соответсвующих функций потерь.

{| class="wikitable" style="background-color:#FFF; text-align:center"
|-
! Только второй проход
! Только первый проход
! Результат с $\mathcal{L}_{style}$ вместо $\mathcal{L}_{s1}$
|-
| [[Файл:LPSB18_Figure_5c.png|250px]]
| [[Файл:LPSB18_Figure_5d.png|250px]]
| [[Файл:LPSB18_Figure_5f.png|250px]]
|}

===Итоговый алгоритм===

Теперь осталось запустить две стадии:


'''fun''' $Harmonization$(
$I$,// Входное изображение 
$Mask$,// Маска 
$S$// Стилевое изображение 
):
// Грубый проход алгоритма. Каждый слой рассматривается отдельно при построении стилевого маппинга. 
$I' \leftarrow SinglePassHarmonization(I, Mask, S, IndependentMapping, \mathcal{L}_1)$
// Улучшение результата. Стилевой маппинг строится консистентно для всех слоёв. 
$O \leftarrow SinglePassHarmonization(I', Mask, S, ConsistentMapping, \mathcal{L}_2)$
'''return''' $O$


===Постобработка===

[[Файл:LPSB18_Figure_6abc.png|400px|thumb|right|Результат постобработки (без постобработки, после первой стадии, после второй стадии)]]

Описанный алгоритм даёт хорошие результаты в целом, но при ближайшем рассмотрении могут быть артефакты. Поэтому сделаем двухступенчатую постобработку (подробное описание есть в оригинальной статье<ref name="LPSB18"/>):
# Переведём изображение в цветовое пространство [https://en.wikipedia.org/wiki/CIELAB_color_space CIELAB] и применим [https://en.wikipedia.org/wiki/Guided_filter Guided filter] для a и b каналов.
# С помощью алгоритма PatchMatch<ref name="BSFG09">https://www.researchgate.net/profile/Eli_Shechtman/publication/220184392_PatchMatch_A_Randomized_Correspondence_Algorithm_for_Structural_Image_Editing/links/02e7e520897b12bf0f000000.pdf Connelly Barnes, Eli Shechtman, Adam Finkelstein, Dan B Goldman (2009)</ref> и того же Guided filter делаем так, чтобы все патчи выходного изображения присутсвовали в стилевом (чтобы не было новых объектов или структур).

===Подбор гиперпараметров===

[[Файл:LPSB18_Figure_4.png|400px|thumb|right|Влияние $l_{ref}$ на результат]]

Возьмём $l_{ref}$ = conv4_1.
Выберем следующие веса для слоёв:

{| class="wikitable"
|+ Первый проход
|-
! Параметр
! conv1_1
! conv2_1
! conv3_1
! conv4_1
! conv5_1
|-
! $\alpha$
| $0$
| $0$
| $0$
| $1$
| $0$
|-
! $\beta$
| $0$
| $0$
| $1/3$
| $1/3$
| $1/3$
|}

{| class="wikitable"
|+ Второй проход
|-
! Параметр
! conv1_1
! conv2_1
! conv3_1
! conv4_1
! conv5_1
|-
! $\alpha$
| $0$
| $0$
| $0$
| $1$
| $0$
|-
! $\beta$
| $1/4$
| $1/4$
| $1/4$
| $1/4$
| $0$
|-
! $\gamma$
| $1/2$
| $0$
| $0$
| $1/2$
| $0$
|}

Введём гиперпараметр $\tau$ и возьмём $w_{style} = w_{hist} = \tau$, $w_{tv} = \tau\frac{10}{1 + \exp(10^4 * noise(S) - 25)}$, где $noise(S) = \underset{i,j}{\mathrm{med}}\left\{\left(O^l_{i, j} - O^l_{i-1, j}\right)^2 + \left(O^l_{i, j} - O^l_{i, j-1}\right)^2\right\}$<ref>[https://github.com/luanfujun/deep-painterly-harmonization/blob/a33a9a70366b6baff1cc0291f857b5895b271fc1/neural_paint.lua#L470 код функции $noise$.</ref>.

Для того чтобы подбирать $\tau$ авторы статьи использовали классификатор стилей изображений. Они взяли VGG-19, обучили её классифицировать $18$ различных стилей. Эти стили были разделены на $3$ категории с разными $\tau$. Используя $Softmax$ можно интерполировать необходимый $\tau$ по следующей таблице:

{| class="wikitable"
|-
! Категория стиля
! Примеры стилей
! $\tau$
|-
! Слабый
| Барокко, Высокое Возрождение
| $1$
|-
! Средний
| Абстрактное Искусство, Постимпрессионизм
| $5$
|-
! Сильный
| Кубизм, Экспрессионизм
| $10$
|}

===Примеры===

{|
! Исходное изображение
! Простая вставка
! Результат
! Постобработка
|-
| [[Файл:5_target.jpg|300px]]
| [[Файл:5_naive.jpg|300px]]
| [[Файл:5_final_res.png|300px]]
| [[Файл:5_final_res2.png|300px]]
|-
| [[Файл:6_target.jpg|300px]]
| [[Файл:6_naive.jpg|300px]]
| [[Файл:6_final_res.png|300px]]
| [[Файл:6_final_res2.png|300px]]
|-
| [[Файл:10_target.jpg|300px]]
| [[Файл:10_naive.jpg|300px]]
| [[Файл:10_final_res.png|300px]]
| [[Файл:10_final_res2.png|300px]]
|}

==Глубокий блендинг==



Алгоритм глубокого блендинга состоит из двух этапов. На первом этапе на стилевое изображения $S$ бесшовно накладывается входное изображение $I$, получается подготовительное блендинг-изображение $B$. На втором этапе $B$ модифицируется таким образом, чтобы результат по стилю был похож на $S$.

Будем считать, что на вход подаются изображения, прошедшие предварительную обработку:
* Используемая для вставки часть $I$ вырезана с помощью маски.
* $M$ и $I$ выровнены относительно $S$.
* Размеры матриц, задающих $M, S, I$, совпадают.

'''Примеры входных данных:'''
{| class="wikitable" style="background-color:#FFF; text-align:center"
! '''Стилевое изображение $S$'''
| [[Файл:Deep bl s1.png|150px]]
| [[Файл:Deep bl s2.png|150px]]
| [[Файл:Deep bl s3.png|150px]]
|-
! '''Накладываемое изображение $I$'''
| [[Файл:Deep bl i1.png|150px]]
| [[Файл:Deep bl i2.png|150px]]
| [[Файл:Deep bl i3.png|150px]]
|}

{{Определение
|definition =
'''Простой вставкой''' (англ. ''copy and paste'') $CAP(M, S, I)$ будем назвать изображение, полученное наложением части изображения $I$, заданной маской $M$, на изображение $S$.
$CAP(M, S, I) = I \odot M + S \odot (1 - M)$, где $\odot$ {{---}} покомпонентное умножение. }}

{{Определение
|definition =
'''Дискретный оператор Лапласа''' (фильтр Лапласа) $\mathbf{D}^2$ {{---}} аналог непрерывного оператора Лапласа $\nabla^2$, который позволяет выделять контуры изображения.
$$\mathbf{D}^2=\begin{bmatrix}0 & 1 & 0\\1 & -4 & 1\\0 & 1 & 0\end{bmatrix}.$$ }}
{| class="wikitable" style="float:right; clear:right;"
!Исходное изображение
!Применение фильтра Лапласа
|-
| [[Файл:Lenna.png|200px]]
| [[Файл:Lenna_Laplacian_Neg.png|200px]]
|}

Для сохранения контуров изображений $S$ и $I$ в области вставки воспользуемся идеей из [[Блендинг изображений#Блендинг Пуассона|метода Пуассона]] и введём следующую функцию потерь<ref name='ZWS20'/>:
$$\mathcal{L}_{grad}(S, I, M, O) = \displaystyle\frac{1}{2HW}\displaystyle\sum_{m=1}^H \displaystyle\sum_{n=1}^W \left[ \mathbf{D}^2 B - \left(\mathbf{D}^2 S + \mathbf{D}^2 I\right) \right]^2_{mn},$$
где $H, W$ {{---}} высота и ширина изображений. $B = CAP(M, S, O)$ {{---}} блендинговое изображение, оптимизируемое относительно $O$.

Рассмотрим область $\overline{\Omega} = \{\;p \;| \;M_p = 0\; \}$. Заметим, что градиент $I$ в $\overline{\Omega}$ равен нулю. Тогда градиенты $S$ и $B$ совпадают, и задача минимизации $\mathcal{L}_{grad}$ решается только в области вставки.

На обоих этапах алгоритм минимизирует взвешенную сумму следующих функций потерь:
* $\mathcal{L}_{content}$ для сохранения содержания накладываемого изображения $I$.
* $\mathcal{L}_{style}$ для переноса стиля изображения $S$ на $I$.
* $\mathcal{L}_{hist}$ для стабилизации переноса стиля.
* $\mathcal{L}_{tv}$ для удаления шумов.
* $\mathcal{L}_{grad}$ для сохранения контуров фона и изображения.


Для подсчета $\mathcal{L}_{style}$ и $\mathcal{L}_{content}$ авторами статьи<ref name='ZWS20'>[https://openaccess.thecvf.com/content_WACV_2020/papers/Zhang_Deep_Image_Blending_WACV_2020_paper.pdf Deep Image Blending] Lingzhi Zhang, Tarmily Wen, Jianbo Shi (2020)</ref> использовалась сеть VGG-19<ref name="SZ14"/>, обученная на ImageNet<ref name="ImageNet">https://image-net.org/papers/imagenet_cvpr09.pdf J. Deng, W. Dong, R. Socher, L.-J. Li, K. Li, and L. FeiFei. Imagenet: A large-scale hierarchical image database</ref>.

=== Первый этап ===
На первом этапе изображение $I$ накладывается на фоновое изображение $S$ таким образом, чтобы были незаметны швы.
Построение начинается с белого шума $Z$, который оптимизируется в области вставки путем минимизации суммарной функции потерь $\mathcal{L}_{total}$, представленной взвешенной суммой всех функций потерь, описанных выше:
$$ \mathcal{L}_{total}(Z) = w_{grad}\mathcal{L}_{grad}(I, S, B) + w_{content}\mathcal{L}_{content}(I, M, Z) + w_{style}\mathcal{L}_{style}(S, B) + w_{tv}\mathcal{L}_{tv}(B) + w_{hist}\mathcal{L}_{hist}(S, B).$$
Отметим, что $\mathcal{L}_{content}$ зависит от маски и отвечает за сохранение содержания $I$ в области вставки.

Отличительной чертой этого этапа является использование функции потерь $\mathcal{L}_{grad}$, приближающей градиент результата к градиенту $I$ в области наложения, за счет чего достигается бесшовность.

В результате получается подготовительное блендинг-изображение $B$.


'''fun''' $SeamlessBlending$(
$I$, // Входное изображение 
$M$, // Маска 
$S$ // Стилевое изображение 
):
// Инициализируем первое приближение белым шумом 
$Z \leftarrow RandomNoise() $
$B \leftarrow CAP(M, S, Z)$
// Определим суммарную функцию потерь с весами слагаемых $w$
$\mathcal{L}_{total}(Z) \leftarrow w_{grad}\mathcal{L}_{grad}(I, S, B) + w_{content}\mathcal{L}_{content}(I, M, Z) + w_{style}\mathcal{L}_{style}(S, B) + w_{tv}\mathcal{L}_{tv}(B) + w_{hist}\mathcal{L}_{hist}(S, B)$
// С помощью алгоритма L-BFGS ищем изображение $Z$, которое минимизирует $\mathcal{L}_{total}$ 
$Z \leftarrow Reconstruct(\mathcal{L}_{total}, Z)$
'''return''' $CAP(M, S, Z)$


=== Второй этап ===

Второй этап алгоритма представляет собой модификацию полученного на первом этапе блендинг-изображения $B$ таким образом, чтобы стиль изображения был наиболее близок к стилю $S$.

В отличие от предыдущего этапа, функция потерь не включает в себя $\mathcal{L}_{grad}$:
$$\mathcal{L}_{total}(O) = w_{content}\mathcal{L}_{content}(B, O) + w_{style}\mathcal{L}_{style}(S, O) + w_{tv}\mathcal{L}_{tv}(O) + w_{hist}\mathcal{L}_{hist}(S, O).$$

Минимизация происходит относительно результата алгоритма $O$, который инициализируется изображением $B$.


'''fun''' $StyleRefinement$(
$B$, // Подготовительное блендинг-изображение, результат первого этапа 
$M$, // Маска 
$S$ // Стилевое изображение 
):
$O \leftarrow B$
// Определим суммарную функцию потерь с весами слагаемых $w$
$\mathcal{L}_{total}(O) \leftarrow w_{cont}\mathcal{L}_{content}(B, O) + w_{style}\mathcal{L}_{style}(S, O) + w_{tv}\mathcal{L}_{tv}(O) + w_{hist}\mathcal{L}_{hist}(S, O)$
// С помощью алгоритма L-BFGS ищем изображение $O$, которое минимизирует $\mathcal{L}_{total}$ 
$O \leftarrow Reconstruct(\mathcal{L}_{total}, O)$
'''return''' $O$


{|
! После первого этапа
! После обоих этапов
|-
| [[Файл:1_first_pass.png|300px]]
| [[Файл:1_second_pass.png|300px]]
|-
| [[Файл:3_first_pass.png|300px]]
| [[Файл:3_second_pass.png|300px]]
|-
| [[Файл:5_first_pass.png|300px]]
| [[Файл:5_second_pass.png|300px]]
|}

===Детали реализации===

{| class="wikitable"
|+ Веса функций потерь
|-
! Этап
! $w_{grad}$
! $w_{content}$
! $w_{style}$
! $w_{hist}$
! $w_{tv}$
|-
! $1$
| $10^5$
| $1$
| $10^5$
| $1$
| $10^{-6}$
|-
! $2$
| $0$
| $1$
| $10^7$
| $1$
| $10^{-6}$
|}

Для подсчета $\mathcal{L}_{style}$ используются слои conv1_2, conv2_2, conv3_3, conv4_3 $VGG$, для $\mathcal{L}_{content}$ {{---}} conv2_2.

На обоих этапах максимальное количество итераций алгоритма L-BFGS {{---}} $1000$.

=== Примеры ===
[[Файл:МЛ блендинг пример.png|1000px]]

==См. также==
* [[Neural_Style_Transfer|Neural Style Transfer]]
* [[Сверточные_нейронные_сети | Свёрточная нейронная сеть]]

==Примечания==

[[Категория: Машинное обучение]]
[[Категория: Нейронные сети]]
[[Категория: Сверточные нейронные сети]]

Блендинг изображений

2021-01-19T17:03:44Z

Npostnikova: Оформление списка предварительной обработки

{{Определение
|definition =
'''Блендинг изображений''' (англ. ''image blending'') {{---}} метод, позволяющий вставить часть одного изображения в другое таким образом, чтобы композиция изображений выглядела естественно, без швов на границах вставки и соответсвующими цветами и текстурами. }}

==Блендинг Пуассона==
[[Файл:Poisson int1.png|thumb|right|300px|Рис. $1.1$. Пример перепада яркости при простой вставке]]
[[Файл:Poisson int2.png|thumb|right|300px|Рис. $1.2$. Результат применения блендинга Пуассона]]

Простая вставка одного изображения поверх другого нередко влечет заметный перепад яркости на границе вставки (рис. $1.1$). Метод Пуассона заключается в сглаживании этого перепада (рис. $1.2$) с целью сделать дефект менее заметным, используя градиент вставляемого изображения и значения пикселей фонового изображения на границе вставки.

'''Замечание:''' Для RGB изображений задача минимизации решается для каждого цветового канала отдельно.

Давайте обозначим за $S$ изображение, которое служит фоном, а за $I$ {{---}} изображение, вставляемое поверх $S$. Область вставки будем задавать двоичной маской $M$, содержащей единицы в области наложения. Например:
{| class="wikitable" style="background-color:#FFF; text-align:center"
|-
! Фоновое изображение $S$
! Накладываемое изображение $I$
! Маска $M$
|-
| [[Файл:Poisson_cat.jpg|200px]]
| [[Файл:Poisson_cherry.jpg|200px]]
| [[Файл:Poisson_cherry_mask.png|200px]]
|}

=== Идея подхода ===
Пусть замкнутое множество $P \subset \mathbb{R}^2$ {{---}} область, на которой определено изображение $S$, а замкнутое множество $\Omega \subset P$ с границей $\partial\Omega$ и внутренностью $int(\Omega)$ {{---}} область вставки изображения $I$.

Пусть $f_S$ {{---}} скалярная функция, определенная на $P \setminus int(\Omega)$, задает фоновое изображение $S$; $f$ {{---}} неизвестная скалярная функция, определенная на $int(\Omega)$, задает, каким образом должно выглядеть результат блендинга в области вставки.

$v_I$ {{---}} векторное поле, определенное на $\Omega$. В качестве $v_I$ возьмем градиент вставляемого изображения $I$: $v_I = \nabla f_I$.

Нашей задачей является поиск такой функции $f$, чтобы блендинговое изображение выглядело реалистично. Для этого минимизируем разность градиента функции $f$ и векторного поля $v_I$, считая, что $f = f_S$ на границе $\Omega$.
$$
\underset{f}{\mathrm{min}} \underset{\Omega}{\iint} |\nabla f - v_I|^2, \text{где } f|_{\partial \Omega} = f_S|_{\partial \Omega}.
$$
Решение задачи минимизации является единственным решением уравнения Пуассона для граничных условий Дирихле.
$$\nabla^2 f = \nabla^2 f_I \text{ на } \Omega, f|_{\partial \Omega} = f_S|_{\partial \Omega}, \text{где } \nabla^2 \text{{{---}} оператор Лапласа.}$$

=== Дискретный случай ===
Пусть $p$ {{---}} координаты $(x, y)$ пикселя двухмерного изображения. За $Img_p$ обозначим значение пикселя с координатами $p$ изображения $Img$. Пусть $\Omega = \left\{ p\;|\;M_p = 1 \right\}$. Тогда $\partial \Omega$ {{---}} координаты границы вставляемой области, а $int(\Omega)$ {{---}} внутренность области.

Пусть $N_p$ {{---}} множество соседей $p$ (максимум четыре пикселя, имеющих общую границу с $p$, т.е. пиксели со следующими координатами: $(x + 1, y), (x - 1, y), (x, y + 1), (x, y - 1)$). Для всех пар $(p, q)$ таких, что $q \in N_p$, введем $v_{pq} = I_p - I_q$.

Введем переменные $O_p, p \in \Omega$. Так как мы хотим сделать результат бесшовным, пиксели $O_p, p \in \partial\Omega$, сделаем равными $S_p$. Для $p, q \in int(\Omega),\; q \in N_p$ постараемся найти такое $O$, чтобы разность $O_p$ и $O_q$ была близка к $v_{pq}$. Для этого решим задачу минимизации:

$$
\underset{O_p,\; p \in \Omega}{\mathrm{min}}\; \underset{p, q \in \Omega}{\sum}\; \left(O_p - O_q - v_{pq}\right)^2, \text{где } O_p = S_p, p \in \partial \Omega.
$$

Заметим, что функция, которую мы хотим минимизировать, квадратична относительно переменных $O_p, p \in int(\Omega)$. Для решения задачи минимизации вычислим частные производные по этим переменным и найдем значения переменных, при которых частные производные будут равны нулю.
$$\frac{\partial{\underset{p, q \in \Omega}{\sum}\; \left(O_p - O_q - v_{pq}\right)^2}}{\partial O_p} = \underset{q \in N_p}{\sum} 2 \left(O_p - O_q - v_{pq}\right) - \underset{q \in N_p}{\sum} 2 \left(O_q - O_p - v_{qp}\right) = 2 \underset{q \in N_p}{\sum} 2 \left(O_p - O_q - v_{pq}\right).$$

Приравнивая к нулю, получаем: $|N_p| O_p - \underset{q \in N_p}{\sum} O_q = \underset{q \in N_p}{\sum} v_{pq}$.

Добавим условие $O_p = S_p, p \in \partial \Omega$: $\;|N_p| O_p - \underset{q \in N_p \cap int(\Omega)}{\sum} O_q = \underset{q \in N_p \cap \partial \Omega}{\sum} S_q + \underset{q \in N_p}{\sum} v_{pq}$.

Для решения систем уравнений такого вида могут быть использованы итеративные алгоритмы Gauss-Seidel и V-cycle multigrid<ref name="PGB03">[https://www.cs.jhu.edu/~misha/Fall07/Papers/Perez03.pdf Poisson Image Editing] Patrick Perez, Michel Gangnet, Andrew Blake (2003)</ref>.

Получаем значения пикселей $O_p$, $p \in int(\Omega)$. Тогда результат $B$ блендинга Пуассона будет следующим:
$$
B_p =
\begin{cases}
O_p,\; \text{если } p \in int(\Omega) \\
S_p,\; \text{иначе }
\end{cases}.
$$

Mетод Пуассона сдвигает цвета накладываемого изображения, сохраняя свойства градиента (т.е. если пиксель $I_{p1}$ был меньше $I_{p2}$, то после преобразования $I_{p1}$ не станет больше $I_{p2}$), однако само значение градиета может получиться другим.<ref name='clear_poisson'>https://erkaman.github.io/posts/poisson_blending.html Poisson blending для самых маленьких</ref>

==Нейронный перенос стиля==
{{main|Neural Style Transfer}}
Прежде чем переходить к гармонизации картин, рассмотрим задачу нейронного переноса стиля с изображения $S$ на изображение $I$. Для этого используются выходы скрытых слоёв [[Сверточные нейронные сети | свёрточной нейронной сети]] VGG-19<ref name="SZ14">[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition] Karen Simonyan, Andrew Zisserman (2014)</ref> (конкретные слои будут указаны ниже).

Основная идея генерации изображения {{---}} решение оптимизационной задачи $\mathcal{L}(I, S, O) \xrightarrow[O]{} min$, где $O$ {{---}} итоговое изображение, $\mathcal{L}(I, S, O)$ {{---}} [[Функция потерь и эмпирический риск | функция потерь]]. Такую задачу можно решать градиентным спуском в пространстве изображений используя [[обратное распространение ошибки | метод обратного распространения ошибки]].
{{Определение
|definition =
Пусть $F^l\left[I\right] \in \mathcal{R}^{N_l \times M_l}$ {{---}} матрица значений выхода $l$-го слоя сети на изображении $I$. Выход $l$-го слоя сети имеет размерность $N_l \times W_l \times H_l$. Представим его как матрицу $N_l \times M_l$, где $N_l$ {{---}} количество фильтров в $l$-ом слое, $M_l$ {{---}} количество признаков ($M_l = W_l H_l$). Тогда $F^l_{ij}\left[I\right]$ {{---}} $j$-ый признак $i$-го фильтра в $l$-ом слое. Столбец матрицы $F^l\left[I\right]$ размера $N_l$ назовём '''вектором активации'''.}}
{{Определение
|definition =
'''Матрица Грама''' (англ. ''Gram matrix'') {{---}} матрица попарных скалярных произведений.
$$G^l\left[S\right] \in \mathcal{R}^{N_l \times N_l},$$
$$G^l\left[S\right] = F^l\left[S\right]F^l\left[S\right]^T.$$}}

Далее рассмотренны функции потерь, которые мы будем использовать.

===Content loss===

$F^l\left[I\right]$ отражает содержание изображения. Мы хотим чтобы содержание результата было как можно ближе к исходной картинке. Введём для этого такую функцию потерь:
$$\mathcal{L}_{content}(I, O) = \displaystyle\sum_l \frac{\alpha_l}{2 N_l M_l}\displaystyle\sum_{i, j} \left(F^l_{ij}\left[I\right] - F^l_{ij}\left[O\right]\right)^2,$$
где $\alpha_l$ {{---}} вклад $l$-го слоя в функцию потерь.

===Style loss===

$G^l\left[S\right]$ отражает статистику выходов фильтров независимо от их расположения, что, в свою очередь, отражает стиль изображения. Чтобы стиль результата был похож на стилевое изображение, введём следующую функцию потерь:
$$\mathcal{L}_{style}(S, O) = \displaystyle\sum_l \frac{\beta_l}{2N_l^2} \displaystyle\sum_{i, j} \left(G^l_{ij}\left[S\right] - G^l_{ij}\left[O\right]\right)^2,$$
где $\beta_l$ {{---}} вклад $l$-го слоя в функцию потерь.

===Gatys' loss===

Скомбинируем $\mathcal{L}_{content}$ и $\mathcal{L}_{style}$ и получим функцию потерь, которая была использована в алгоритме Гатиса<ref name="GEB16">[https://rn-unison.github.io/articulos/style_transfer.pdf Image Style Transfer Using Convolutional Neural Networks] Leon A. Gatys, Alexander S. Ecker, Matthias Bethge (2016)</ref>:
$$\mathcal{L}_{Gatys}(I, S, O) = \mathcal{L}_{content}(I, O) + w_{style}\mathcal{L}_{style}(S, O).$$
Вес $w_{style}$, векторы $\alpha$ и $\beta$ являются, в некотором смысле, гиперпараметрами алгоритма, которые мы выберем позднее.

===Histogram Loss===

Авторы другой статьи<ref name="WRB17">[https://arxiv.org/pdf/1701.08893.pdf Stable and Controllable Neural Texture Synthesis and Style Transfer Using Histogram Losses] Eric Risser, Pierre Wilmot, Connelly Barnes (2017)</ref> показывают, что результаты, полученные с помощью $\mathcal{L}_{Gatys}$ нестабильны и предложили учитывать ещё одну функцию потерь, основанную на '''сопоставлении гистограмм'''.
{{Определение
|definition =
'''Сопоставление гистограмм''' (англ. ''Histogram matching'') {{---}} метод обработки изображения, после которого гистограмма изображения совпадает с целевой гистограммой<ref name="HistMatch">https://en.wikipedia.org/wiki/Histogram_matching</ref>.}}
Пусть $R = histmatch(S, O)$ {{---}} отображение пикселей такое, что гистограмма $S$ совпадает с гистограммой $R(O)$, тогда Histogram loss будет выглядеть так:
$$\mathcal{L}_{hist}(S, O) = \displaystyle\sum_l \gamma_l \displaystyle\sum_{i, j} \left(F^l_{ij}\left[O\right] - R\left(F^l_{ij}\left[O\right]\right)\right)^2,$$
где $\gamma_l$ {{---}} вклад $l$-го слоя в функцию потерь.

'''Замечание:''' Если в случае остальных функций потерь нетрудно посчитать производную, то здесь могут возникнуть проблемы. Но поскольку $\displaystyle\frac{\partial \mathcal{L}_{hist}}{\partial F^l_{ij}\left[O\right]}$ является нулём почти везде, авторы предлагают при подсчёте производной считать $R\left(F^l_{ij}\left[O\right]\right)$ константой, которая не зависит от $O$.

===Total variation loss===

Также добавим ещё одну функцию потерь, которая удаляет шумы, при этом сохраняя важные детали изображения<ref name="MV15">[https://arxiv.org/pdf/1412.0035.pdf Understanding Deep Image Representations by Inverting Them] Aravindh Mahendran, Andrea Vedaldi (2015)</ref><ref name="JAFF16">[https://arxiv.org/pdf/1603.08155.pdf Perceptual Losses for Real-Time Style Transfer and Super-Resolution] Justin Johnson, Alexandre Alahi, Li Fei-Fei (2016)</ref>:

$$\mathcal{L}_{tv}(O) = \displaystyle\sum_{i, j} \left(O^l_{i, j} - O^l_{i-1, j}\right)^2 + \left(O^l_{i, j} - O^l_{i, j-1}\right)^2.$$

==Глубокая гармонизация картин==

Для того чтобы вставить изображение в картину или рисунок нужно не только сделать бесшовный переход и изменить цвета, но ещё и изменить текстуру вставляемого изображения, например, сымитировать мазки кистью. Используем для этого комбинацию подходов из других статей<ref name="GEB16"/><ref name="JAFF16"/><ref name="WRB17"/>.

[[Файл:LPSB18_Figure_1.png|1000px|thumb|center|Пример работы алгоритма ''Deep Image Analogy''<ref name="LYY*17">[https://arxiv.org/pdf/1705.01088.pdf Visual Attribute Transfer through Deep Image Analogy] Jing Liao, Yuan Yao, Lu Yuan, Gang Hua, Sing Bing Kang (2017)</ref> ($3$ картинка) и ''Deep Painterly Harmonization''<ref name="LPSB18"/> ($4$ картинка)]]
Алгоритм состоит из двух проходов. Первый проход делает грубую гармонизацию, а второй {{---}} более тщательную. Отличаются они '''стилевым маппингом''' и функциями потерь<ref name="LPSB18">https://arxiv.org/pdf/1804.03189.pdf Fujun Luan, Sylvain Paris, Eli Shechtman, Kavita Bala (2018)</ref>.

{{Определение
|definition =
'''Стилевым маппингом''' назовём отображение $P : \mathcal{R}^{N_l \times M_l} \rightarrow \mathcal{R}^{N_l \times M_l}$, которое некоторым образом переставляет столбцы матрицы (не обязательно обратимо, то есть столбцы могут теряться и копироваться). Более формально, пусть $p(j)$ {{---}} новая позиция столбца $j$, тогда $P(Q)_{i, p(j)} = Q_{ij}$.}}

Один проход состоит из $3$ частей:
# Входное $I$ и стилевое $S$ изображения подаются на вход нейронной сети VGG-19, так мы получаем $F^l_{ij}\left[I\right]$ и $F^l_{ij}\left[S\right]$.
# Для каждого слоя $l$ некоторым алгоритмом $\pi$ cтроится стилевой маппинг $P_l$, который сопоставляет столбцам из $F_l[I]$ столбцы из $F_l[S]$.
# Изображение $O$ восстанавливается градиентным спуском по пространству изображений с использованием функции потерь $\mathcal{L}$.

'''fun''' $SinglePassHarmonization$(
$I$,// Входное изображение 
$M$,// Маска 
$S$,// Стилевое изображение 
$\pi$,// Алгоритм построения стилевого маппинга 
$\mathcal{L}$// Функция потерь 
):
// Строим матрицы $F[I]$ и $F[S]$ с помощью свёрточной сети VGG-19 
$F[I] \leftarrow ComputeNeuralActivations(I)$
$F[S] \leftarrow ComputeNeuralActivations(S)$
// Строим стилевой маппинг 
$P \leftarrow \pi(F[I], M, F[S])$
// Градиентным спуском ищем изображение $O$, которое минимизирует $\mathcal{L}$ 
$O \leftarrow Reconstruct(I, M, S, P, \mathcal{L})$
'''return''' $O$


===Первый проход===

{{Определение
|definition =
'''Патчем''' (англ. ''patch'') для столбца $j$ будем называть тензор $3 \times 3 \times N_l$, который состоит из соседних векторов активации в тензоре выхода свёрточного слоя, с центром в $(x, y)$, где $j = y W_l + x$.}}



<div class="tright" style="clear:none">[[Файл:LPSB18_Figure_2c.png|250px|thumb|none|Результаты после второго прохода]]</div>
<div class="tright" style="clear:none">[[Файл:LPSB18_Figure_2b.png|250px|thumb|none|Результаты после первого прохода]]</div>

Первый проход делает грубую гармонизацию, но при этом он хорошо работает с любыми стилями. Здесь используется алгоритм $IndependentMapping$ для построения стилевого маппинга. Этот алгоритм для каждого столбца $j$ в $F_l[I]$ ищет столбец $p(j)$ в $F_l[S]$, такой что евклидово расстояние между патчем $F_l[I]$ с центром $j$ и патчем $F_l[S]$ с центром $p(j)$ минимально (метод ближайшего соседа).


'''fun''' $IndependentMapping$(
$F[I]$,// Выходы слоёв после входного изображения 
$Mask$,// Маска 
$F[S]$// Выходы слоёв после стилевого изображения 
):
// Для всех слоёв от $1$ до $L$ 
'''for''' $l \in [1 : L]$:
// Для всех столбцов от $1$ до $M_l$ 
'''for''' $j \in [1 : M_l]$:
// Рассматриваем патчи только внутри маски, которую нужно масштабировать в соответсвии с размером слоя $l$ 
'''if''' $j \in Resize(Mask, l)$:
// Берём самый похожий стилевой патч и записываем его в маппинг. 
$P_l(j) \leftarrow NearestNeighborIndex(F[I], j, F[S])$
'''return''' $P$


В первом проходе используется модифицированная функция потерь $\mathcal{L}_{Gatys}$, с тем лишь отличием, что в $\mathcal{L}_{style}$ к $F_l[S]$ применяется стилевой маппинг $P_l$:

$$\mathcal{L}_1(I, S, O, P) = \mathcal{L}_{content}(I, O) + w_{style}\mathcal{L}_{style}(S, O, P).$$

'''Замечание:''' при посчёте градиента $\mathcal{L}_{content}$ используются только пиксели внутри маски<ref>https://github.com/luanfujun/deep-painterly-harmonization/blob/a33a9a70366b6baff1cc0291f857b5895b271fc1/neural_gram.lua#L349</ref>.

===Второй проход===



Второй проход делает более качественную гармонизацию после первого прохода. Здесь мы будем использовать более сложный алгоритм $ConsistentMapping$ построения стилевого маппинга и более сложную функцию потерь. Суть этого алгоритма в том, чтобы найти стилевой мапинг на некотором слое $l_{ref}$ и перенести этот маппинг на остальные слои. Также, мы будем предпочитать маппинги, в которых смежные патчи в $F_l[S]$ остаются смежными после мапинга, чтобы обеспечить пространсвенную согласованность (таким образом мы хотим переносить сложные текстуры более качественно, например, мазки кистью).


'''fun''' $ConsistentMapping$(
$F[I]$,// Выходы слоёв после входного изображения 
$Mask$,// Маска 
$F[S]$// Выходы слоёв после стилевого изображения 
):
// Сначала посчитаем маппинг как в IndependentMapping только для слоя $l_{ref}$ 
'''for''' $j \in [1 : M_{l_{ref}}]$:
'''if''' $j \in Resize(Mask, l_{ref})$:
$P_0(j) \leftarrow NearestNeighborIndex(F[I], j, F[S])$

// Далее обеспечиваем пространсвенную согласованность 
'''for''' $j \in [1 : M_{l_{ref}}]$:
'''if''' $j \in Resize(Mask, l_{ref})$:
$q \leftarrow P_0(j)$
// Инициализируем множество кандидатов на новый маппинг 
$CSet \leftarrow \{q\}$
// Перебираем все смежные патчи 
'''for''' $o \in \left\{N, NE, E, SE, S, SW, W, NW\right\}$:
// Добавляем в кандидаты патч, сосед которого является маппингом для нашего соседа в соответсвующем направлении 
$CSet \leftarrow CSet \cup \left\{P_0(j + o) - o\right\}$
// Среди всех кандидатов выбираем тот, который ближе всего к маппингам наших соседей 
$P_{l_{ref}}(j) \leftarrow \underset{c \in CSet}{\mathrm{argmin}}\displaystyle\sum_o \left\|(F_{l_{ref}}[S]_c - F_{l_{ref}}[S]_{P_0(j + o)}\right\|^2$

// Теперь нужно перенести маппинг для $l_{ref}$ на остальные слои 
'''for''' $l \in [1 : L] \setminus \{l_{ref}\}$:
'''for''' $j \in [1 : M_l]$:
'''if''' $j \in Resize(Mask, l)$:
// Вычисляем позицию $j'$ на слое $l_{ref}$ соответствующую позиции $j$ на слое $l$
$j' \leftarrow ChangeResolution(l, l_{ref}, j)$
// Берём маппинг для позиции $j'$
$q \leftarrow P_{l_{ref}}(j')$
// Переносим позицию $q$ обратно на слой $l$
$P_l(j) \leftarrow ChangeResolution(l_{ref}, l, q)$
'''return''' $P$


При вычислении стилевого маппинга появляется очень много дублирующихся векторов, что даёт не очень хорошие результаты. Поэтому при вычислении матрицы Грама выкинем повторяющиеся векторы. Назовём функцию потерь с такой модификацией $\mathcal{L}_{s1}$.

$$\mathcal{L}_2(I, S, O, P) = \mathcal{L}_{content}(I, O) + w_{style}\mathcal{L}_{s1}(S, O, P) + w_{hist}\mathcal{L}_{hist}(S, O) + w_{tv}\mathcal{L}_{tv}(O),$$
где $w_{style}, w_{hist}, w_{tv}$ {{---}} веса соответсвующих функций потерь.

{| class="wikitable" style="background-color:#FFF; text-align:center"
|-
! Только второй проход
! Только первый проход
! Результат с $\mathcal{L}_{style}$ вместо $\mathcal{L}_{s1}$
|-
| [[Файл:LPSB18_Figure_5c.png|250px]]
| [[Файл:LPSB18_Figure_5d.png|250px]]
| [[Файл:LPSB18_Figure_5f.png|250px]]
|}

===Итоговый алгоритм===

Теперь осталось запустить две стадии:


'''fun''' $Harmonization$(
$I$,// Входное изображение 
$Mask$,// Маска 
$S$// Стилевое изображение 
):
// Грубый проход алгоритма. Каждый слой рассматривается отдельно при построении стилевого маппинга. 
$I' \leftarrow SinglePassHarmonization(I, Mask, S, IndependentMapping, \mathcal{L}_1)$
// Улучшение результата. Стилевой маппинг строится консистентно для всех слоёв. 
$O \leftarrow SinglePassHarmonization(I', Mask, S, ConsistentMapping, \mathcal{L}_2)$
'''return''' $O$


===Постобработка===

[[Файл:LPSB18_Figure_6abc.png|400px|thumb|right|Результат постобработки (без постобработки, после первой стадии, после второй стадии)]]

Описанный алгоритм даёт хорошие результаты в целом, но при ближайшем рассмотрении могут быть артефакты. Поэтому сделаем двухступенчатую постобработку (подробное описание есть в оригинальной статье<ref name="LPSB18"/>):
# Переведём изображение в цветовое пространство [https://en.wikipedia.org/wiki/CIELAB_color_space CIELAB] и применим [https://en.wikipedia.org/wiki/Guided_filter Guided filter] для a и b каналов.
# С помощью алгоритма PatchMatch<ref name="BSFG09">https://www.researchgate.net/profile/Eli_Shechtman/publication/220184392_PatchMatch_A_Randomized_Correspondence_Algorithm_for_Structural_Image_Editing/links/02e7e520897b12bf0f000000.pdf Connelly Barnes, Eli Shechtman, Adam Finkelstein, Dan B Goldman (2009)</ref> и того же Guided filter делаем так, чтобы все патчи выходного изображения присутсвовали в стилевом (чтобы не было новых объектов или структур).

===Подбор гиперпараметров===

[[Файл:LPSB18_Figure_4.png|400px|thumb|right|Влияние $l_{ref}$ на результат]]

Возьмём $l_{ref}$ = conv4_1.
Выберем следующие веса для слоёв:

{| class="wikitable"
|+ Первый проход
|-
! Параметр
! conv1_1
! conv2_1
! conv3_1
! conv4_1
! conv5_1
|-
! $\alpha$
| $0$
| $0$
| $0$
| $1$
| $0$
|-
! $\beta$
| $0$
| $0$
| $1/3$
| $1/3$
| $1/3$
|}

{| class="wikitable"
|+ Второй проход
|-
! Параметр
! conv1_1
! conv2_1
! conv3_1
! conv4_1
! conv5_1
|-
! $\alpha$
| $0$
| $0$
| $0$
| $1$
| $0$
|-
! $\beta$
| $1/4$
| $1/4$
| $1/4$
| $1/4$
| $0$
|-
! $\gamma$
| $1/2$
| $0$
| $0$
| $1/2$
| $0$
|}

Введём гиперпараметр $\tau$ и возьмём $w_{style} = w_{hist} = \tau$, $w_{tv} = \tau\frac{10}{1 + \exp(10^4 * noise(S) - 25)}$, где $noise(S) = \underset{i,j}{\mathrm{med}}\left\{\left(O^l_{i, j} - O^l_{i-1, j}\right)^2 + \left(O^l_{i, j} - O^l_{i, j-1}\right)^2\right\}$<ref>[https://github.com/luanfujun/deep-painterly-harmonization/blob/a33a9a70366b6baff1cc0291f857b5895b271fc1/neural_paint.lua#L470 код функции $noise$.</ref>.

Для того чтобы подбирать $\tau$ авторы статьи использовали классификатор стилей изображений. Они взяли VGG-19, обучили её классифицировать $18$ различных стилей. Эти стили были разделены на $3$ категории с разными $\tau$. Используя $Softmax$ можно интерполировать необходимый $\tau$ по следующей таблице:

{| class="wikitable"
|-
! Категория стиля
! Примеры стилей
! $\tau$
|-
! Слабый
| Барокко, Высокое Возрождение
| $1$
|-
! Средний
| Абстрактное Искусство, Постимпрессионизм
| $5$
|-
! Сильный
| Кубизм, Экспрессионизм
| $10$
|}

===Примеры===

{|
! Исходное изображение
! Простая вставка
! Результат
! Постобработка
|-
| [[Файл:5_target.jpg|300px]]
| [[Файл:5_naive.jpg|300px]]
| [[Файл:5_final_res.png|300px]]
| [[Файл:5_final_res2.png|300px]]
|-
| [[Файл:6_target.jpg|300px]]
| [[Файл:6_naive.jpg|300px]]
| [[Файл:6_final_res.png|300px]]
| [[Файл:6_final_res2.png|300px]]
|-
| [[Файл:10_target.jpg|300px]]
| [[Файл:10_naive.jpg|300px]]
| [[Файл:10_final_res.png|300px]]
| [[Файл:10_final_res2.png|300px]]
|}

==Глубокий блендинг==



Алгоритм глубокого блендинга состоит из двух этапов. На первом этапе на стилевое изображения $S$ бесшовно накладывается входное изображение $I$, получается подготовительное блендинг-изображение $B$. На втором этапе $B$ модифицируется таким образом, чтобы результат по стилю был похож на $S$.

Будем считать, что на вход подаются изображения, прошедшие предварительную обработку:
* Используемая для вставки часть $I$ вырезана с помощью маски.
* $M$ и $I$ выровнены относительно $S$.
* Размеры матриц, задающих $M, S, I$ совпадают.

'''Примеры входных данных:'''
{| class="wikitable" style="background-color:#FFF; text-align:center"
! '''Стилевое изображение $S$'''
| [[Файл:Deep bl s1.png|150px]]
| [[Файл:Deep bl s2.png|150px]]
| [[Файл:Deep bl s3.png|150px]]
|-
! '''Накладываемое изображение $I$'''
| [[Файл:Deep bl i1.png|150px]]
| [[Файл:Deep bl i2.png|150px]]
| [[Файл:Deep bl i3.png|150px]]
|}

{{Определение
|definition =
'''Простой вставкой''' (англ. ''copy and paste'') $CAP(M, S, I)$ будем назвать изображение, полученное наложением части изображения $I$, заданной маской $M$, на изображение $S$.
$CAP(M, S, I) = I \odot M + S \odot (1 - M)$, где $\odot$ {{---}} покомпонентное умножение. }}

{{Определение
|definition =
'''Дискретный оператор Лапласа''' (фильтр Лапласа) $\mathbf{D}^2$ {{---}} аналог непрерывного оператора Лапласа $\nabla^2$, который позволяет выделять контуры изображения.
$$\mathbf{D}^2=\begin{bmatrix}0 & 1 & 0\\1 & -4 & 1\\0 & 1 & 0\end{bmatrix}.$$ }}
{| class="wikitable" style="float:right; clear:right;"
!Исходное изображение
!Применение фильтра Лапласа
|-
| [[Файл:Lenna.png|200px]]
| [[Файл:Lenna_Laplacian_Neg.png|200px]]
|}

Для сохранения контуров изображений $S$ и $I$ в области вставки воспользуемся идеей из [[Блендинг изображений#Блендинг Пуассона|метода Пуассона]] и введём следующую функцию потерь<ref name='ZWS20'/>:
$$\mathcal{L}_{grad}(S, I, M, O) = \displaystyle\frac{1}{2HW}\displaystyle\sum_{m=1}^H \displaystyle\sum_{n=1}^W \left[ \mathbf{D}^2 B - \left(\mathbf{D}^2 S + \mathbf{D}^2 I\right) \right]^2_{mn},$$
где $H, W$ {{---}} высота и ширина изображений. $B = CAP(M, S, O)$ {{---}} блендинговое изображение, оптимизируемое относительно $O$.

Рассмотрим область $\overline{\Omega} = \{\;p \;| \;M_p = 0\; \}$. Заметим, что градиент $I$ в $\overline{\Omega}$ равен нулю. Тогда градиенты $S$ и $B$ совпадают, и задача минимизации $\mathcal{L}_{grad}$ решается только в области вставки.

На обоих этапах алгоритм минимизирует взвешенную сумму следующих функций потерь:
* $\mathcal{L}_{content}$ для сохранения содержания накладываемого изображения $I$.
* $\mathcal{L}_{style}$ для переноса стиля изображения $S$ на $I$.
* $\mathcal{L}_{hist}$ для стабилизации переноса стиля.
* $\mathcal{L}_{tv}$ для удаления шумов.
* $\mathcal{L}_{grad}$ для сохранения контуров фона и изображения.


Для подсчета $\mathcal{L}_{style}$ и $\mathcal{L}_{content}$ авторами статьи<ref name='ZWS20'>[https://openaccess.thecvf.com/content_WACV_2020/papers/Zhang_Deep_Image_Blending_WACV_2020_paper.pdf Deep Image Blending] Lingzhi Zhang, Tarmily Wen, Jianbo Shi (2020)</ref> использовалась сеть VGG-19<ref name="SZ14"/>, обученная на ImageNet<ref name="ImageNet">https://image-net.org/papers/imagenet_cvpr09.pdf J. Deng, W. Dong, R. Socher, L.-J. Li, K. Li, and L. FeiFei. Imagenet: A large-scale hierarchical image database</ref>.

=== Первый этап ===
На первом этапе изображение $I$ накладывается на фоновое изображение $S$ таким образом, чтобы были незаметны швы.
Построение начинается с белого шума $Z$, который оптимизируется в области вставки путем минимизации суммарной функции потерь $\mathcal{L}_{total}$, представленной взвешенной суммой всех функций потерь, описанных выше:
$$ \mathcal{L}_{total}(Z) = w_{grad}\mathcal{L}_{grad}(I, S, B) + w_{content}\mathcal{L}_{content}(I, M, Z) + w_{style}\mathcal{L}_{style}(S, B) + w_{tv}\mathcal{L}_{tv}(B) + w_{hist}\mathcal{L}_{hist}(S, B).$$
Отметим, что $\mathcal{L}_{content}$ зависит от маски и отвечает за сохранение содержания $I$ в области вставки.

Отличительной чертой этого этапа является использование функции потерь $\mathcal{L}_{grad}$, приближающей градиент результата к градиенту $I$ в области наложения, за счет чего достигается бесшовность.

В результате получается подготовительное блендинг-изображение $B$.


'''fun''' $SeamlessBlending$(
$I$, // Входное изображение 
$M$, // Маска 
$S$ // Стилевое изображение 
):
// Инициализируем первое приближение белым шумом 
$Z \leftarrow RandomNoise() $
$B \leftarrow CAP(M, S, Z)$
// Определим суммарную функцию потерь с весами слагаемых $w$
$\mathcal{L}_{total}(Z) \leftarrow w_{grad}\mathcal{L}_{grad}(I, S, B) + w_{content}\mathcal{L}_{content}(I, M, Z) + w_{style}\mathcal{L}_{style}(S, B) + w_{tv}\mathcal{L}_{tv}(B) + w_{hist}\mathcal{L}_{hist}(S, B)$
// С помощью алгоритма L-BFGS ищем изображение $Z$, которое минимизирует $\mathcal{L}_{total}$ 
$Z \leftarrow Reconstruct(\mathcal{L}_{total}, Z)$
'''return''' $CAP(M, S, Z)$


=== Второй этап ===

Второй этап алгоритма представляет собой модификацию полученного на первом этапе блендинг-изображения $B$ таким образом, чтобы стиль изображения был наиболее близок к стилю $S$.

В отличие от предыдущего этапа, функция потерь не включает в себя $\mathcal{L}_{grad}$:
$$\mathcal{L}_{total}(O) = w_{content}\mathcal{L}_{content}(B, O) + w_{style}\mathcal{L}_{style}(S, O) + w_{tv}\mathcal{L}_{tv}(O) + w_{hist}\mathcal{L}_{hist}(S, O).$$

Минимизация происходит относительно результата алгоритма $O$, который инициализируется изображением $B$.


'''fun''' $StyleRefinement$(
$B$, // Подготовительное блендинг-изображение, результат первого этапа 
$M$, // Маска 
$S$ // Стилевое изображение 
):
$O \leftarrow B$
// Определим суммарную функцию потерь с весами слагаемых $w$
$\mathcal{L}_{total}(O) \leftarrow w_{cont}\mathcal{L}_{content}(B, O) + w_{style}\mathcal{L}_{style}(S, O) + w_{tv}\mathcal{L}_{tv}(O) + w_{hist}\mathcal{L}_{hist}(S, O)$
// С помощью алгоритма L-BFGS ищем изображение $O$, которое минимизирует $\mathcal{L}_{total}$ 
$O \leftarrow Reconstruct(\mathcal{L}_{total}, O)$
'''return''' $O$


{|
! После первого этапа
! После обоих этапов
|-
| [[Файл:1_first_pass.png|300px]]
| [[Файл:1_second_pass.png|300px]]
|-
| [[Файл:3_first_pass.png|300px]]
| [[Файл:3_second_pass.png|300px]]
|-
| [[Файл:5_first_pass.png|300px]]
| [[Файл:5_second_pass.png|300px]]
|}

===Детали реализации===

{| class="wikitable"
|+ Веса функций потерь
|-
! Этап
! $w_{grad}$
! $w_{content}$
! $w_{style}$
! $w_{hist}$
! $w_{tv}$
|-
! $1$
| $10^5$
| $1$
| $10^5$
| $1$
| $10^{-6}$
|-
! $2$
| $0$
| $1$
| $10^7$
| $1$
| $10^{-6}$
|}

Для подсчета $\mathcal{L}_{style}$ используются слои conv1_2, conv2_2, conv3_3, conv4_3 $VGG$, для $\mathcal{L}_{content}$ {{---}} conv2_2.

На обоих этапах максимальное количество итераций алгоритма L-BFGS {{---}} $1000$.

=== Примеры ===
[[Файл:МЛ блендинг пример.png|1000px]]

==См. также==
* [[Neural_Style_Transfer|Neural Style Transfer]]
* [[Сверточные_нейронные_сети | Свёрточная нейронная сеть]]

==Примечания==

[[Категория: Машинное обучение]]
[[Категория: Нейронные сети]]
[[Категория: Сверточные нейронные сети]]

Блендинг изображений

2021-01-11T19:06:48Z

Npostnikova:

{{Определение
|definition =
'''Блендинг изображений''' (англ. ''image blending'') {{---}} метод, позволяющий вставить часть одного изображения в другое таким образом, чтобы композиция изображений выглядела естественно, без швов на границах вставки и соответсвующими цветами и текстурами. }}

==Блендинг Пуассона==
[[Файл:Poisson int1.png|thumb|right|300px|Рис. $1.1$. Пример перепада яркости при простой вставке]]
[[Файл:Poisson int2.png|thumb|right|300px|Рис. $1.2$. Результат применения блендинга Пуассона]]

Простая вставка одного изображения поверх другого нередко влечет заметный перепад яркости на границе вставки (рис. $1.1$). Метод Пуассона заключается в сглаживании этого перепада (рис. $1.2$) с целью сделать дефект менее заметным, используя градиент вставляемого изображения и значения пикселей фонового изображения на границе вставки.

'''Замечание:''' Для RGB изображений задача минимизации решается для каждого цветового канала отдельно.

Давайте обозначим за $S$ изображение, которое служит фоном, а за $I$ {{---}} изображение, вставляемое поверх $S$. Область вставки будем задавать двоичной маской $M$, содержащей единицы в области наложения. Например:
{| class="wikitable" style="background-color:#FFF; text-align:center"
|-
! Фоновое изображение $S$
! Накладываемое изображение $I$
! Маска $M$
|-
| [[Файл:Poisson_cat.jpg|200px]]
| [[Файл:Poisson_cherry.jpg|200px]]
| [[Файл:Poisson_cherry_mask.png|200px]]
|}

=== Идея подхода ===
Пусть замкнутое множество $P \subset \mathbb{R}^2$ {{---}} область, на которой определено изображение $S$, а замкнутое множество $\Omega \subset P$ с границей $\partial\Omega$ и внутренностью $int(\Omega)$ {{---}} область вставки изображения $I$.

Пусть $f_S$ {{---}} скалярная функция, определенная на $P \setminus int(\Omega)$, задает фоновое изображение $S$; $f$ {{---}} неизвестная скалярная функция, определенная на $int(\Omega)$, задает, каким образом должно выглядеть результат блендинга в области вставки.

$v_I$ {{---}} векторное поле, определенное на $\Omega$. В качестве $v_I$ возьмем градиент вставляемого изображения $I$: $v_I = \nabla f_I$

Нашей задачей является поиск такой функции $f$, чтобы блендинговое изображение выглядело реалистично. Для этого минимизируем разность градиента функции $f$ и векторного поля $v_I$, считая, что $f = f_S$ на границе $\Omega$.
$$
\underset{f}{\mathrm{min}} \underset{\Omega}{\iint} |\nabla f - v_I|^2, \text{где } f|_{\partial \Omega} = f_S|_{\partial \Omega}
$$
Решение задачи минимизации является единственным решением уравнения Пуассона для граничных условий Дирихле.
$$\nabla^2 f = \nabla^2 f_I \text{ на } \Omega, f|_{\partial \Omega} = f_S|_{\partial \Omega}, \text{где } \nabla^2 \text{{{---}} оператор Лапласа.}$$

=== Дискретный случай ===
Пусть $p$ {{---}} координаты $(x, y)$ пикселя двухмерного изображения. За $Img_p$ обозначим значение пикселя с координатами $p$ изображения $Img$. Пусть $\Omega = \left\{ p\;|\;M_p = 1 \right\}$. Тогда $\partial \Omega$ {{---}} координаты границы вставляемой области, а $int(\Omega)$ {{---}} внутренность области.

Пусть $N_p$ {{---}} множество соседей $p$ (максимум четыре пикселя, имеющих общую границу с $p$, т.е. пиксели со следующими координатами: $(x + 1, y), (x - 1, y), (x, y + 1), (x, y - 1)$). Для всех пар $(p, q)$ таких, что $q \in N_p$, введем $v_{pq} = I_p - I_q$

Введем переменные $O_p, p \in \Omega$. Так как мы хотим сделать результат бесшовным, пиксели $O_p, p \in \partial\Omega$, сделаем равными $S_p$. Для $p, q \in int(\Omega),\; q \in N_p$ постараемся найти такое $O$, чтобы разность $O_p$ и $O_q$ была близка к $v_{pq}$. Для этого решим задачу минимизации:

$$
\underset{O_p,\; p \in \Omega}{\mathrm{min}}\; \underset{p, q \in \Omega}{\sum}\; \left(O_p - O_q - v_{pq}\right)^2, \text{где } O_p = S_p, p \in \partial \Omega
$$

Заметим, что функция, которую мы хотим минимизировать, квадратична относительно переменных $O_p, p \in int(\Omega)$. Для решения задачи минимизации вычислим частные производные по этим переменным и найдем значения переменных, при которых частные производные будут равны нулю.
$$\frac{\partial{\underset{p, q \in \Omega}{\sum}\; \left(O_p - O_q - v_{pq}\right)^2}}{\partial O_p} = \underset{q \in N_p}{\sum} 2 \left(O_p - O_q - v_{pq}\right) - \underset{q \in N_p}{\sum} 2 \left(O_q - O_p - v_{qp}\right) = 2 \underset{q \in N_p}{\sum} 2 \left(O_p - O_q - v_{pq}\right)$$.

Приравнивая к нулю, получаем: $|N_p| O_p - \underset{q \in N_p}{\sum} O_q = \underset{q \in N_p}{\sum} v_{pq}$.

Добавим условие $O_p = S_p, p \in \partial \Omega$: $\;|N_p| O_p - \underset{q \in N_p \cap int(\Omega)}{\sum} O_q = \underset{q \in N_p \cap \partial \Omega}{\sum} S_q + \underset{q \in N_p}{\sum} v_{pq}$.

Для решения систем уравнений такого вида могут быть использованы итеративные алгоритмы Gauss-Seidel и V-cycle multigrid<ref name="PGB03">[https://www.cs.jhu.edu/~misha/Fall07/Papers/Perez03.pdf Poisson Image Editing] Patrick Perez, Michel Gangnet, Andrew Blake (2003)</ref>.

Получаем значения пикселей $O_p$, $p \in int(\Omega)$. Тогда результат $B$ блендинга Пуассона будет следующим:
$$
B_p =
\begin{cases}
O_p,\; \text{если } p \in int(\Omega) \\
S_p,\; \text{иначе }
\end{cases}
$$

Mетод Пуассона сдвигает цвета накладываемого изображения, сохраняя свойства градиента (т.е. если пиксель $I_{p1}$ был меньше $I_{p2}$, то после преобразования $I_{p1}$ не станет больше $I_{p2}$), однако само значение градиета может получиться другим.<ref name='clear_poisson'>https://erkaman.github.io/posts/poisson_blending.html Poisson blending для самых маленьких</ref>

==Трансфер стиля==
{{main|Neural Style Transfer}}
Прежде чем переходить к гармонизации картин, рассмотрим задачу трансфера стиля с изображения $S$ на изображение $I$. Для этого используются выходы скрытых слоёв [[Сверточные нейронные сети | свёрточной нейронной сети]] VGG-19<ref name="SZ14">[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition] Karen Simonyan, Andrew Zisserman (2014)</ref>.

Основная идея генерации изображения {{---}} решение оптимизационной задачи $\mathcal{L}(I, S, O) \xrightarrow[O]{} min$, где $O$ {{---}} итоговое изображение, $\mathcal{L}(I, S, O)$ {{---}} [[Функция потерь и эмпирический риск | функция потерь]]. Такую задачу можно решать градиентным спуском в пространстве изображений используя [[обратное распространение ошибки | метод обратного распространения ошибки]].
{{Определение
|definition =
Пусть $F^l\left[I\right] \in \mathcal{R}^{N_l \times M_l}$ {{---}} выход $l$-го слоя сети на изображении $I$. Представим его как матрицу $N_l \times M_l$, где $N_l$ {{---}} количество фильтров в $l$-ом слое, $M_l$ {{---}} количество признаков (высота, умноженная на ширину). Тогда $F^l_{ij}\left[I\right]$ {{---}} $j$-ый признак $i$-го фильтра в $l$-ом слое. $F^l\left[I\right]$ отражает содержание изображения.}}
{{Определение
|definition =
'''Матрица Грама''' (англ. ''Gram matrix'') {{---}} матрица попарных скалярных произведений. В нашем случае матрица отражает статистику выходов фильтров независимо от их расположения, что, в свою очередь, отражает стиль изображения.
$$G^l\left[I\right] \in \mathcal{R}^{N_l \times N_l}$$
$$G^l\left[I\right] = F^l\left[I\right]F^l\left[I\right]^T$$}}

===Алгоритм Гатиса<ref name="GEB16">[https://rn-unison.github.io/articulos/style_transfer.pdf Image Style Transfer Using Convolutional Neural Networks] Leon A. Gatys, Alexander S. Ecker, Matthias Bethge (2016)</ref>===

{{Определение
|id=content_loss_def
|definition =
$\mathcal{L}^{\alpha}_{content}(I, O) = \displaystyle\sum_l \frac{\alpha_l}{2 N_l M_l}\displaystyle\sum_{i, j} \left(F^l_{ij}\left[I\right] - F^l_{ij}\left[O\right]\right)^2$ {{---}} функция потерь содержания, где
$\alpha_l$ {{---}} вклад $l$-го слоя в функцию потерь<ref name="NotOriginalDef">Здесь используется определение функции потерь, которое отличается от статьи Гатиса, но используется в таком виде в статье про гармонизацию.</ref>.}}
{{Определение
|id=style_loss_def
|definition =
$\mathcal{L}^{\beta}_{style}(I, O) = \displaystyle\sum_l \frac{\beta_l}{2N_l^2} \displaystyle\sum_{i, j} \left(G^l_{ij}\left[I\right] - G^l_{ij}\left[O\right]\right)^2$ {{---}} функция потерь стиля, где
$\beta_l$ {{---}} вклад $l$-го слоя в функцию потерь<ref name="NotOriginalDef"/>.}}

Итоговой функцией потерь будет $\mathcal{L}_{Gatys} = \mathcal{L}^{\alpha}_{content}(I, O) + w_{style}\mathcal{L}^{\beta}_{style}(I, O)$<ref name="NotOriginalDef"/>. Вес $w_{style}$, векторы $\alpha$ и $\beta$ являются, в некотором смысле, гиперпараметрами алгоритма, которые нужно подбирать.

Авторы статьи показывают, что в качестве начальной инициализации можно брать изображение $I$, изображение $S$ или белый шум {{---}} алгоритм даёт похожие результаты в этих случаях.

[[Файл:GEB16_Figure_6.png|1000px|thumb|center|Начальная инициализация: '''A)''' $O_0 = I$; '''B)''' $O_0 = S$; '''C)''' $O_0 = random$, $4$ примера инициализированы различными белыми шумами ]]

===Histogram Loss===

Авторы другой статьи<ref name="WRB17">[https://arxiv.org/pdf/1701.08893.pdf Stable and Controllable Neural Texture Synthesis and Style Transfer Using Histogram Losses] Eric Risser, Pierre Wilmot, Connelly Barnes (2017)</ref> показывают, что результаты, полученные с помощью $\mathcal{L}_{Gatys}$ нестабильны и предложили другую функцию потерь, основанную на ''сопоставлении гистограмм''.
{{Определение
|definition =
'''Сопоставление гистограмм''' (англ. ''Histogram matching'') {{---}} метод обработки изображения, после которого гистограмма изображения совпадает с целевой гистограммой<ref name="HistMatch">https://en.wikipedia.org/wiki/Histogram_matching</ref>.}}
{{Определение
|definition =
Пусть $R = histmatch(S, O)$ {{---}} отображение пикселей такое, что гистограмма $S$ совпадает с гистограммой $R(O)$.}}
{{Определение
|id=hist_loss_def
|definition =
$\mathcal{L}^{\gamma}_{hist}(S, O) = \displaystyle\sum_l \gamma_l \displaystyle\sum_{i, j} \left(F^l_{ij}\left[O\right] - R\left(F^l_{ij}\left[O\right]\right)\right)^2$ {{---}} функция потерь гистограмм, где
$\gamma_l$ {{---}} вклад $l$-го слоя в функцию потерь}}

'''Замечание:''' Если в случае остальных функций потерь нетрудно посчитать производную, то здесь могут возникнуть проблемы. Но поскольку $\displaystyle\frac{\partial \mathcal{L}_{hist}}{\partial F^l_{ij}\left[O\right]}$ является нулём почти везде, авторы предлагают при подсчёте производной считать $R\left(F^l_{ij}\left[O\right]\right)$ константой, которая не зависит от $O$.

===Total variation loss===

Также добавим ещё одну функцию потерь, которая удаляет шумы, при этом сохраняя важные детали изображения<ref name="MV15">[https://arxiv.org/pdf/1412.0035.pdf Understanding Deep Image Representations by Inverting Them] Aravindh Mahendran, Andrea Vedaldi (2015)</ref><ref name="JAFF16">[https://arxiv.org/pdf/1603.08155.pdf Perceptual Losses for Real-Time Style Transfer and Super-Resolution] Justin Johnson, Alexandre Alahi, Li Fei-Fei (2016)</ref>.
{{Определение
|id=tv_loss_def
|definition =
$\mathcal{L}_{tv}(O) = \displaystyle\sum_{i, j} \left(O^l_{i, j} - O^l_{i-1, j}\right)^2 + \left(O^l_{i, j} - O^l_{i, j-1}\right)^2$ {{---}} общая вариационная потеря (англ. ''Total variation loss'').}}

==Глубокая гармонизация картин<ref name="LPSB18">https://arxiv.org/pdf/1804.03189.pdf Fujun Luan, Sylvain Paris, Eli Shechtman, Kavita Bala (2018)</ref>==

Для того чтобы вставить изображение в картину или рисунок нужно не только сделать бесшовный переход и изменить цвета, но ещё и изменить текстуру вставляемого изображения, например, сымитировать мазки кистью. Используем для этого комбинацию подходов из других статей<ref name="GEB16"/><ref name="JAFF16"/><ref name="WRB17"/>.

[[Файл:LPSB18_Figure_1.png|1000px|thumb|center|Пример работы алгоритма ''Deep Image Analogy''<ref name="LYY*17">[https://arxiv.org/pdf/1705.01088.pdf Visual Attribute Transfer through Deep Image Analogy] Jing Liao, Yuan Yao, Lu Yuan, Gang Hua, Sing Bing Kang (2017)</ref> ($3$ картинка) и ''Deep Painterly Harmonization''<ref name="LPSB18"/> ($4$ картинка)]]
Алгоритм будет состоять из двух проходов. Первый проход будет делать грубую гармонизацию, а второй {{---}} более тщательную. Отличаться они будут '''стилевым маппингом''' и функциями потерь.

{{Определение
|definition =
'''Стилевым маппингом''' мы будем называть отображение $P : \mathcal{R}^{N_l \times M_l} \rightarrow \mathcal{R}^{N_l \times M_l}$, которое некоторым образом переставляет столбцы матрицы (не обязательно обратимо, то есть столбцы могут теряться и копироваться). Более формально, пусть $p(j)$ {{---}} новая позиция столбца $j$, тогда $P(Q)_{i, p(j)} = Q_{ij}$.}}

Один проход будет состоять из $3$ частей:
# Входное $I$ и стилевое $S$ изображения подаются на вход нейронной сети VGG-19, так мы получаем $F^l_{ij}\left[I\right]$ и $F^l_{ij}\left[S\right]$.
# Для каждого слоя $l$ некоторым алгоритмом $\pi$ cтроится стилевой маппинг $P_l$, который сопоставляет столбцам из $F_l[I]$ столбцы из $F_l[S]$.
# Изображение $O$ восстанавливается градиентным спуском по пространству изображений с использованием функции потерь $\mathcal{L}$.

'''fun''' $SinglePassHarmonization$(
$I$,// Входное изображение 
$M$,// Маска 
$S$,// Стилевое изображение 
$\pi$,// Алгоритм построения стилевого маппинга 
$\mathcal{L}$// Функция потерь 
):
// Строим матрицы $F[I]$ и $F[S]$ с помощью свёрточной сети VGG-19 
$F[I] \leftarrow ComputeNeuralActivations(I)$
$F[S] \leftarrow ComputeNeuralActivations(S)$
// Строим стилевой маппинг 
$P \leftarrow \pi(F[I], M, F[S])$
// Градиентным спуском ищем изображение $O$, которое минимизирует $\mathcal{L}$ 
$O \leftarrow Reconstruct(I, M, S, P, \mathcal{L})$
'''return''' $O$


===Первый проход===

{{Определение
|definition =
'''Вектор активации''' (англ. ''activation vector'') {{---}} это столбец $F_l$.}}

{{Определение
|definition =
'''Патчем''' (англ. ''patch'') для столбца $j$ будем называть тензор $3 \times 3 \times N_l$, который состоит из соседних векторов активации в тензоре выхода свёрточного слоя, с центром в $(x, y)$, где $j = y \times W_l + x$.}}



<div class="tright" style="clear:none">[[Файл:LPSB18_Figure_2c.png|250px|thumb|none|Результаты после второго прохода]]</div>
<div class="tright" style="clear:none">[[Файл:LPSB18_Figure_2b.png|250px|thumb|none|Результаты после первого прохода]]</div>

Первый проход делает грубую гармонизацию, но при этом он хорошо работает с любыми стилями. Здесь используется алгоритм $IndependentMapping$ для построения стилевого маппинга. Этот алгоритм для каждого столбца $j$ в $F_l[I]$ ищет столбец $p(j)$ в $F_l[S]$, такой что евклидово расстояние между патчем $F_l[I]$ с центром $j$ и патчем $F_l[S]$ с центром $p(j)$ минимально (метод ближайшего соседа).


'''fun''' $IndependentMapping$(
$F[I]$,// Выходы слоёв после входного изображения 
$Mask$,// Маска 
$F[S]$// Выходы слоёв после стилевого изображения 
):
// Для всех слоёв от $1$ до $L$ 
'''for''' $l \in [1 : L]$:
// Для всех столбцов от $1$ до $M_l$ 
'''for''' $j \in [1 : M_l]$:
// Рассматриваем патчи только внутри маски, которую нужно масштабировать в соответсвии с размером слоя $l$ 
'''if''' $j \in Resize(Mask, l)$:
// Берём самый похожий стилевой патч и записываем его в маппинг. 
$P_l(j) \leftarrow NearestNeighborIndex(F[I], j, F[S])$
'''return''' $P$


В первом проходе используется модифицированная функция потерь $\mathcal{L}_{Gatys}$, с тем лишь отличием, что в $\mathcal{L}^{\beta}_{style}$ к $F_l[S]$ применяется стилевой маппинг $P_l$.

$$\mathcal{L}_1(I, S, O, P) = \mathcal{L}^{\alpha}_{content}(I, O) + w_{style}\mathcal{L}^{\beta}_{style}(S, O, P) \text{, где } w_{style} \text{ {{---}} вес стилевой функции потерь}$$

'''Замечание:''' при посчёте градиента $\mathcal{L}^{\alpha}_{content}$ используются только пиксели внутри маски<ref>https://github.com/luanfujun/deep-painterly-harmonization/blob/a33a9a70366b6baff1cc0291f857b5895b271fc1/neural_gram.lua#L349</ref>.

===Второй проход===



Второй проход делает более качественную гармонизацию после первого прохода. Здесь мы будем использовать более сложный алгоритм $ConsistentMapping$ построения стилевого маппинга и более сложную функцию потерь. Суть этого алгоритма в том, чтобы найти стилевой мапинг на некотором слое $l_{ref}$ и перенести этот маппинг на остальные слои. Также, мы будем предпочитать маппинги, в которых смежные патчи в $F_l[S]$ остаются смежными после мапинга, чтобы обеспечить пространсвенную согласованность (таким образом мы хотим переносить сложные текстуры более качественно, например, мазки кистью).


'''fun''' $ConsistentMapping$(
$F[I]$,// Выходы слоёв после входного изображения 
$Mask$,// Маска 
$F[S]$// Выходы слоёв после стилевого изображения 
):
// Сначала посчитаем маппинг как в IndependentMapping только для слоя $l_{ref}$ 
'''for''' $j \in [1 : M_{l_{ref}}]$:
'''if''' $j \in Resize(Mask, l_{ref})$:
$P_0(j) \leftarrow NearestNeighborIndex(F[I], j, F[S])$

// Далее обеспечиваем пространсвенную согласованность 
'''for''' $j \in [1 : M_{l_{ref}}]$:
'''if''' $j \in Resize(Mask, l_{ref})$:
$q \leftarrow P_0(j)$
// Инициализируем множество кандидатов на новый маппинг 
$CSet \leftarrow \{q\}$
// Перебираем все смежные патчи 
'''for''' $o \in \left\{N, NE, E, SE, S, SW, W, NW\right\}$:
// Добавляем в кандидаты патч, сосед которого является маппингом для нашего соседа в соответсвующем направлении 
$CSet \leftarrow CSet \cup \left\{P_0(j + o) - o\right\}$
// Среди всех кандидатов выбираем тот, который ближе всего к маппингам наших соседей 
$P_{l_{ref}}(j) \leftarrow \underset{c \in CSet}{\mathrm{argmin}}\displaystyle\sum_o \left\|(F_{l_{ref}}[S]_c - F_{l_{ref}}[S]_{P_0(j + o)}\right\|^2$

// Теперь нужно перенести маппинг для $l_{ref}$ на остальные слои 
'''for''' $l \in [1 : L] \setminus \{l_{ref}\}$:
'''for''' $j \in [1 : M_l]$:
'''if''' $j \in Resize(Mask, l)$:
// Вычисляем позицию $j'$ на слое $l_{ref}$ соответствующую позиции $j$ на слое $l$
$j' \leftarrow ChangeResolution(l, l_{ref}, j)$
// Берём маппинг для позиции $j'$
$q \leftarrow P_{l_{ref}}(j')$
// Переносим позицию $q$ обратно на слой $l$
$P_l(j) \leftarrow ChangeResolution(l_{ref}, l, q)$
'''return''' $P$


При вычислении стилевого маппинга появляется очень много дублирующихся векторов, что даёт не очень хорошие результаты. Поэтому при вычислении матрицы Грама выкинем повторяющиеся векторы. Назовём эту функцию потерь $\mathcal{L}_{s1}$.

$$\mathcal{L}_2(I, S, O, P) = \mathcal{L}^{\alpha}_{content}(I, O) + w_{style}\mathcal{L}^{\beta}_{s1}(S, O, P) + w_{hist}\mathcal{L}^{\gamma}_{hist}(S, O) + w_{tv}\mathcal{L}_{tv}(O) \text{, где } w_{style}, w_{hist}, w_{tv} \text{ {{---}} веса соответсвующих функций потерь}$$

{| class="wikitable" style="background-color:#FFF; text-align:center"
|-
! Только второй проход
! Только первый проход
! Результат с $\mathcal{L}_{style}$ вместо $\mathcal{L}_{s1}$
|-
| [[Файл:LPSB18_Figure_5c.png|250px]]
| [[Файл:LPSB18_Figure_5d.png|250px]]
| [[Файл:LPSB18_Figure_5f.png|250px]]
|}

===Итоговый алгоритм===

Теперь осталось запустить две стадии


'''fun''' $Harmonization$(
$I$,// Входное изображение 
$Mask$,// Маска 
$S$// Стилевое изображение 
):
// Грубый проход алгоритма. Каждый слой рассматривается отдельно при построении стилевого маппинга. 
$I' \leftarrow SinglePassHarmonization(I, Mask, S, IndependentMapping, \mathcal{L}_1)$
// Улучшение результата. Стилевой маппинг строится консистентно для всех слоёв. 
$O \leftarrow SinglePassHarmonization(I', Mask, S, ConsistentMapping, \mathcal{L}_2)$
'''return''' $O$


===Постобработка===

[[Файл:LPSB18_Figure_6abc.png|400px|thumb|right|Результат постобработки (без постобработки, после первой стадии, после второй стадии)]]

Описанный алгоритм даёт хорошие результаты в целом, но при ближайшем рассмотрении могут быть артефакты. Поэтому сделаем двухступенчатую постобработку (подробное описание есть в оригинальной статье<ref name="LPSB18"/>):
# Переведём изображение в [https://en.wikipedia.org/wiki/CIELAB_color_space CIELAB] и применим [https://en.wikipedia.org/wiki/Guided_filter Guided filter] для a и b каналов.
# С помощью алгоритма PatchMatch<ref name="BSFG09">https://www.researchgate.net/profile/Eli_Shechtman/publication/220184392_PatchMatch_A_Randomized_Correspondence_Algorithm_for_Structural_Image_Editing/links/02e7e520897b12bf0f000000.pdf Connelly Barnes, Eli Shechtman, Adam Finkelstein, Dan B Goldman (2009)</ref> и того же Guided filter делаем так чтобы все патчи выходного изображения присутсвовали в стилевом (чтобы не было новых объектов или структур)

===Подбор гиперпараметров===

[[Файл:LPSB18_Figure_4.png|400px|thumb|right|Влияние $l_{ref}$ на результат]]

Возьмём $l_{ref}$ = conv4_1.
Выберем следующие веса для слоёв:

{| class="wikitable"
|+ Первый проход
|-
! Параметр
! conv1_1
! conv2_1
! conv3_1
! conv4_1
! conv5_1
|-
! $\alpha$
| $0$
| $0$
| $0$
| $1$
| $0$
|-
! $\beta$
| $0$
| $0$
| $1/3$
| $1/3$
| $1/3$
|}

{| class="wikitable"
|+ Второй проход
|-
! Параметр
! conv1_1
! conv2_1
! conv3_1
! conv4_1
! conv5_1
|-
! $\alpha$
| $0$
| $0$
| $0$
| $1$
| $0$
|-
! $\beta$
| $1/4$
| $1/4$
| $1/4$
| $1/4$
| $0$
|-
! $\gamma$
| $1/2$
| $0$
| $0$
| $1/2$
| $0$
|}

Введём гиперпараметр $\tau$ и возьмём $w_{style} = w_{hist} = \tau$, $w_{tv} = \tau\frac{10}{1 + \exp(10^4 * noise(S) - 25)}$, где $noise(S) = \underset{i,j}{\mathrm{med}}\left\{\left(O^l_{i, j} - O^l_{i-1, j}\right)^2 + \left(O^l_{i, j} - O^l_{i, j-1}\right)^2\right\}$<ref>[https://github.com/luanfujun/deep-painterly-harmonization/blob/a33a9a70366b6baff1cc0291f857b5895b271fc1/neural_paint.lua#L470 код функции $noise$</ref>

Для того чтобы подбирать $\tau$ авторы статьи использовали классификатор стилей изображений. Они взяли VGG-19, обучили её классифицировать $18$ различных стилей. Эти стили были разделены на $3$ категории с разными $\tau$. Используя $Softmax$ можно интерполировать необходимый $\tau$ по следующей таблице:

{| class="wikitable"
|-
! Категория стиля
! Примеры стилей
! $\tau$
|-
! Слабый
| Барокко, Высокое Возрождение
| $1$
|-
! Средний
| Абстрактное Искусство, Постимпрессионизм
| $5$
|-
! Сильный
| Кубизм, Экспрессионизм
| $10$
|}

===Примеры===

{|
! Исходное изображение
! Простая вставка
! Результат
! Постобработка
|-
| [[Файл:5_target.jpg|300px]]
| [[Файл:5_naive.jpg|300px]]
| [[Файл:5_final_res.png|300px]]
| [[Файл:5_final_res2.png|300px]]
|-
| [[Файл:6_target.jpg|300px]]
| [[Файл:6_naive.jpg|300px]]
| [[Файл:6_final_res.png|300px]]
| [[Файл:6_final_res2.png|300px]]
|-
| [[Файл:10_target.jpg|300px]]
| [[Файл:10_naive.jpg|300px]]
| [[Файл:10_final_res.png|300px]]
| [[Файл:10_final_res2.png|300px]]
|}

==Глубокий блендинг==



Алгоритм глубокого блендинга состоит из двух этапов. На первом этапе на стилевое изображения $S$ бесшовно накладывается входное изображение $I$, получается подготовительное блендинг-изображение $B$. На втором этапе $B$ модифицируется таким образом, чтобы результат по стилю был похож на $S$.

Будем считать, что на вход подаются изображения, прошедшие предварительную обработку:
* Используемая для вставки часть $I$ вырезана с помощью маски
* $M$ и $I$ выровнены относительно $S$
* Размеры матриц, задающих $M, S, I$ совпадают

'''Примеры входных данных:'''
{| class="wikitable" style="background-color:#FFF; text-align:center"
! '''Стилевое изображение $S$'''
| [[Файл:Deep bl s1.png|150px]]
| [[Файл:Deep bl s2.png|150px]]
| [[Файл:Deep bl s3.png|150px]]
|-
! '''Накладываемое изображение $I$'''
| [[Файл:Deep bl i1.png|150px]]
| [[Файл:Deep bl i2.png|150px]]
| [[Файл:Deep bl i3.png|150px]]
|}

На обоих этапах алгоритм минимизирует взвешенную сумму следующих функций потерь:
* [[Блендинг_изображений#content_loss_def|Функция потерь содержания]] $\mathcal{L}_{cont}$ для сохранения содержания накладываемого изображения $I$
* [[Блендинг_изображений#style_loss_def|Функция потерь стиля]] $\mathcal{L}_{style}$ для переноса стиля изображения $S$ на $I$
* [[Блендинг_изображений#hist_loss_def|Гистограмная функция потерь]] $\mathcal{L}_{hist}$ для стабилизации переноса стиля
* [[Блендинг_изображений#tv_loss_def|Функция потерь полного отклонения]] $\mathcal{L}_{tv}$ для удаления шумов
* [[Блендинг_изображений#grad_loss_def|Градиентная функция потерь]] $\mathcal{L}_{grad}$ для бесшовности наложения

Для подсчета $\mathcal{L}_{style}$ и $\mathcal{L}_{content}$ авторами статьи<ref name='ZWS20'>[https://openaccess.thecvf.com/content_WACV_2020/papers/Zhang_Deep_Image_Blending_WACV_2020_paper.pdf Deep Image Blending] Lingzhi Zhang, Tarmily Wen, Jianbo Shi (2020)</ref> использовалась сеть VGG-19<ref name="SZ14"/>, обученная на ImageNet<ref name="ImageNet">https://image-net.org/papers/imagenet_cvpr09.pdf J. Deng, W. Dong, R. Socher, L.-J. Li, K. Li, and L. FeiFei. Imagenet: A large-scale hierarchical image database</ref>.

{{Определение
|definition =
'''Простой вставкой''' (англ. ''copy and paste'') $CAP(M, S, I)$ будем назвать изображение, полученное наложением части изображения $I$, заданной маской $M$, на изображение $S$.
$CAP(M, S, I) = I \odot M + S \odot (1 - M)$, где $\odot$ {{---}} покомпонентное умножение. }}

{{Определение
|definition =
'''Дискретный оператор Лапласа''' (фильтр Лапласа) $\mathbf{D}^2$ {{---}} аналог непрерывного оператора Лапласа $\nabla^2$, который позволяет выделять контуры изображения.
$$\mathbf{D}^2=\begin{bmatrix}0 & 1 & 0\\1 & -4 & 1\\0 & 1 & 0\end{bmatrix}$$ }}
{| class="wikitable" style="float:right; clear:right;"
!Исходное изображение
!Применение фильтра Лапласа
|-
| [[Файл:Lenna.png|200px]]
| [[Файл:Lenna_Laplacian_Neg.png|200px]]
|}

Чтобы комбинировать решение задачи бесшовного наложения [[Блендинг изображений#Блендинг Пуассона|методом Пуассона]] с остальными ограничениями, авторы статьи<ref name='ZWS20'/> предлагают использовать функцию потерь $\mathcal{L}_{grad}$. Для сохранения контуров изображений $S$ и $I$ в области вставки используется дискретный оператор Лапласа.

{{Определение
|id=grad_loss_def
|definition =
$\mathcal{L}_{grad}(S, I, M, O) = \displaystyle\frac{1}{2HW}\displaystyle\sum_{m=1}^H \displaystyle\sum_{n=1}^W \left[ \mathbf{D}^2 B - \left(\mathbf{D}^2 S + \mathbf{D}^2 I\right) \right]^2_{mn}$ {{---}} градиентная функция потерь (англ. ''Possion gradient loss''). $H, W$ {{---}} высота и ширина изображений. $B = CAP(M, S, O)$ {{---}} блендинговое изображение, оптимизируемое относительно $O$. }}

Рассмотрим область $\overline{\Omega} = \{\;p \;| \;M_p = 0\; \}$. Заметим, что градиент $I$ в $\overline{\Omega}$ равен нулю. Тогда градиенты $S$ и $B$ совпадают, и задача минимизации $\mathcal{L}_{grad}$ решается только в области вставки.

=== Первый этап ===
На первом этапе изображение $I$ накладывается на фоновое изображение $S$ таким образом, чтобы были незаметны швы.
Построение начинается с белого шума $Z$, который оптимизируется в области вставки путем минимизации суммарной функции потерь $\mathcal{L}_{total}$, представленной взвешенной суммой всех функций потерь, описанных выше:
$$ \mathcal{L}_{total}(Z) = w_{grad}\mathcal{L}_{grad}(I, S, B) + w_{cont}\mathcal{L}_{cont}(I, M, Z) + w_{style}\mathcal{L}_{style}(S, B) + w_{tv}\mathcal{L}_{tv}(B) + w_{hist}\mathcal{L}_{hist}(S, B) $$
Отметим, что $\mathcal{L}_{cont}$ зависит от маски и отвечает за сохранение содержания $I$ в области вставки.

Отличительной чертой этого этапа является использование функции потерь $\mathcal{L}_{grad}$, приближающей градиент результата к градиенту $I$ в области наложения, за счет чего достигается бесшовность.

В результате получается подготовительное блендинг-изображение $B$.


'''fun''' $SeamlessBlending$(
$I$, // Входное изображение 
$M$, // Маска 
$S$ // Стилевое изображение 
):
// Инициализируем первое приближение белым шумом 
$Z \leftarrow RandomNoise() $
$B \leftarrow CAP(M, S, Z)$
// Определим суммарную функцию потерь с весами слагаемых $w$
$\mathcal{L}_{total}(Z) \leftarrow w_{grad}\mathcal{L}_{grad}(I, S, B) + w_{cont}\mathcal{L}_{cont}(I, M, Z) + w_{style}\mathcal{L}_{style}(S, B) + w_{tv}\mathcal{L}_{tv}(B) + w_{hist}\mathcal{L}_{hist}(S, B)$
// С помощью алгоритма L-BFGS ищем изображение $Z$, которое минимизирует $\mathcal{L}_{total}$ 
$Z \leftarrow Reconstruct(\mathcal{L}_{total}, Z)$
'''return''' $CAP(M, S, Z)$


=== Второй этап ===

Второй этап алгоритма представляет собой модификацию полученного на первом этапе блендинг-изображения $B$ таким образом, чтобы стиль изображения был наиболее близок к стилю $S$.

В отличие от предыдущего этапа, функция потерь не включает в себя $\mathcal{L}_{grad}$:
$$\mathcal{L}_{total}(O) = w_{cont}\mathcal{L}_{cont}(B, O) + w_{style}\mathcal{L}_{style}(S, O) + w_{tv}\mathcal{L}_{tv}(O) + w_{hist}\mathcal{L}_{hist}(S, O)$$

Минимизация происходит относительно результата алгоритма $O$, который инициализируется изображением $B$.


'''fun''' $StyleRefinement$(
$B$, // Подготовительное блендинг-изображение, результат первого этапа 
$M$, // Маска 
$S$ // Стилевое изображение 
):
$O \leftarrow B$
// Определим суммарную функцию потерь с весами слагаемых $w$
$\mathcal{L}_{total}(O) \leftarrow w_{cont}\mathcal{L}_{cont}(B, O) + w_{style}\mathcal{L}_{style}(S, O) + w_{tv}\mathcal{L}_{tv}(O) + w_{hist}\mathcal{L}_{hist}(S, O)$
// С помощью алгоритма L-BFGS ищем изображение $O$, которое минимизирует $\mathcal{L}_{total}$ 
$O \leftarrow Reconstruct(\mathcal{L}_{total}, O)$
'''return''' $O$


{|
! После первого этапа
! После обоих этапов
|-
| [[Файл:1_first_pass.png|300px]]
| [[Файл:1_second_pass.png|300px]]
|-
| [[Файл:3_first_pass.png|300px]]
| [[Файл:3_second_pass.png|300px]]
|-
| [[Файл:5_first_pass.png|300px]]
| [[Файл:5_second_pass.png|300px]]
|}

===Детали реализации===

{| class="wikitable"
|+ Веса функций потерь
|-
! Этап
! $w_{grad}$
! $w_{cont}$
! $w_{style}$
! $w_{hist}$
! $w_{tv}$
|-
! $1$
| $10^5$
| $1$
| $10^5$
| $1$
| $10^{-6}$
|-
! $2$
| $0$
| $1$
| $10^7$
| $1$
| $10^{-6}$
|}

Для подсчета $\mathcal{L}_{style}$ используются слои conv1_2, conv2_2, conv3_3, conv4_3 $VGG$, для $\mathcal{L}_{cont}$ {{---}} conv2_2.

На обоих этапах максимальное количество итераций алгоритма L-BFGS {{---}} $1000$.

=== Примеры ===
[[Файл:МЛ блендинг пример.png|1000px]]

==См. также==
* [[Neural_Style_Transfer|Neural Style Transfer]]
* [[Сверточные_нейронные_сети | Свёрточная нейронная сеть]]

==Примечания==

[[Категория: Машинное обучение]]
[[Категория: Нейронные сети]]
[[Категория: Сверточные нейронные сети]]

Блендинг изображений

2021-01-11T19:00:16Z

Npostnikova: /* Глубокий блендинг */

{{Определение
|definition =
'''Блендинг изображений''' (англ. ''image blending'') {{---}} метод, позволяющий вставить часть одного изображения в другое таким образом, чтобы композиция изображений выглядела естественно, без швов на границах вставки и соответсвующими цветами и текстурами. }}

==Блендинг Пуассона==
[[Файл:Poisson int1.png|thumb|right|300px|Рис. $1.1$. Пример перепада яркости при простой вставке]]
[[Файл:Poisson int2.png|thumb|right|300px|Рис. $1.2$. Результат применения блендинга Пуассона]]

Простая вставка одного изображения поверх другого нередко влечет заметный перепад яркости на границе вставки (рис. $1.1$). Метод Пуассона заключается в сглаживании этого перепада (рис. $1.2$) с целью сделать дефект менее заметным, используя градиент вставляемого изображения и значения пикселей фонового изображения на границе вставки.

'''Замечание:''' Для RGB изображений задача минимизации решается для каждого цветового канала отдельно.

Давайте обозначим за $S$ изображение, которое служит фоном, а за $I$ {{---}} изображение, вставляемое поверх $S$. Область вставки будем задавать двоичной маской $M$, содержащей единицы в области наложения. Например:
{| class="wikitable" style="background-color:#FFF; text-align:center"
|-
! Фоновое изображение $S$
! Накладываемое изображение $I$
! Маска $M$
|-
| [[Файл:Poisson_cat.jpg|200px]]
| [[Файл:Poisson_cherry.jpg|200px]]
| [[Файл:Poisson_cherry_mask.png|200px]]
|}

=== Идея подхода ===
Пусть замкнутое множество $P \subset \mathbb{R}^2$ {{---}} область, на которой определено изображение $S$, а замкнутое множество $\Omega \subset P$ с границей $\partial\Omega$ и внутренностью $int(\Omega)$ {{---}} область вставки изображения $I$.

Пусть $f_S$ {{---}} скалярная функция, определенная на $P \setminus int(\Omega)$, задает фоновое изображение $S$; $f$ {{---}} неизвестная скалярная функция, определенная на $int(\Omega)$, задает, каким образом должно выглядеть результат блендинга в области вставки.

$v_I$ {{---}} векторное поле, определенное на $\Omega$. В качестве $v_I$ возьмем градиент вставляемого изображения $I$: $v_I = \nabla f_I$

Нашей задачей является поиск такой функции $f$, чтобы блендинговое изображение выглядело реалистично. Для этого минимизируем разность градиента функции $f$ и векторного поля $v_I$, считая, что $f = f_S$ на границе $\Omega$.
$$
\underset{f}{\mathrm{min}} \underset{\Omega}{\iint} |\nabla f - v_I|^2, \text{где } f|_{\partial \Omega} = f_S|_{\partial \Omega}
$$
Решение задачи минимизации является единственным решением уравнения Пуассона для граничных условий Дирихле.
$$\nabla^2 f = \nabla^2 f_I \text{ на } \Omega, f|_{\partial \Omega} = f_S|_{\partial \Omega}, \text{где } \nabla^2 \text{{{---}} оператор Лапласа.}$$

=== Дискретный случай ===
Пусть $p$ {{---}} координаты $(x, y)$ пикселя двухмерного изображения. За $Img_p$ обозначим значение пикселя с координатами $p$ изображения $Img$. Пусть $\Omega = \left\{ p\;|\;M_p = 1 \right\}$. Тогда $\partial \Omega$ {{---}} координаты границы вставляемой области, а $int(\Omega)$ {{---}} внутренность области.

Пусть $N_p$ {{---}} множество соседей $p$ (максимум четыре пикселя, имеющих общую границу с $p$, т.е. пиксели со следующими координатами: $(x + 1, y), (x - 1, y), (x, y + 1), (x, y - 1)$). Для всех пар $(p, q)$ таких, что $q \in N_p$, введем $v_{pq} = I_p - I_q$

Введем переменные $O_p, p \in \Omega$. Так как мы хотим сделать результат бесшовным, пиксели $O_p, p \in \partial\Omega$, сделаем равными $S_p$. Для $p, q \in int(\Omega),\; q \in N_p$ постараемся найти такое $O$, чтобы разность $O_p$ и $O_q$ была близка к $v_{pq}$. Для этого решим задачу минимизации:

$$
\underset{O_p,\; p \in \Omega}{\mathrm{min}}\; \underset{p, q \in \Omega}{\sum}\; \left(O_p - O_q - v_{pq}\right)^2, \text{где } O_p = S_p, p \in \partial \Omega
$$

Заметим, что функция, которую мы хотим минимизировать, квадратична относительно переменных $O_p, p \in int(\Omega)$. Для решения задачи минимизации вычислим частные производные по этим переменным и найдем значения переменных, при которых частные производные будут равны нулю.
$$\frac{\partial{\underset{p, q \in \Omega}{\sum}\; \left(O_p - O_q - v_{pq}\right)^2}}{\partial O_p} = \underset{q \in N_p}{\sum} 2 \left(O_p - O_q - v_{pq}\right) - \underset{q \in N_p}{\sum} 2 \left(O_q - O_p - v_{qp}\right) = 2 \underset{q \in N_p}{\sum} 2 \left(O_p - O_q - v_{pq}\right)$$.

Приравнивая к нулю, получаем: $|N_p| O_p - \underset{q \in N_p}{\sum} O_q = \underset{q \in N_p}{\sum} v_{pq}$.

Добавим условие $O_p = S_p, p \in \partial \Omega$: $\;|N_p| O_p - \underset{q \in N_p \cap int(\Omega)}{\sum} O_q = \underset{q \in N_p \cap \partial \Omega}{\sum} S_q + \underset{q \in N_p}{\sum} v_{pq}$.

Для решения систем уравнений такого вида могут быть использованы итеративные алгоритмы Gauss-Seidel и V-cycle multigrid<ref name="PGB03">[https://www.cs.jhu.edu/~misha/Fall07/Papers/Perez03.pdf Poisson Image Editing] Patrick Perez, Michel Gangnet, Andrew Blake (2003)</ref>.

Получаем значения пикселей $O_p$, $p \in int(\Omega)$. Тогда результат $B$ блендинга Пуассона будет следующим:
$$
B_p =
\begin{cases}
O_p,\; \text{если } p \in int(\Omega) \\
S_p,\; \text{иначе }
\end{cases}
$$

Mетод Пуассона сдвигает цвета накладываемого изображения, сохраняя свойства градиента (т.е. если пиксель $I_{p1}$ был меньше $I_{p2}$, то после преобразования $I_{p1}$ не станет больше $I_{p2}$), однако само значение градиета может получиться другим.<ref name='clear_poisson'>https://erkaman.github.io/posts/poisson_blending.html Poisson blending для самых маленьких</ref>

==Трансфер стиля==
{{main|Neural Style Transfer}}
Прежде чем переходить к гармонизации картин, рассмотрим задачу трансфера стиля с изображения $S$ на изображение $I$. Для этого используются выходы скрытых слоёв [[Сверточные нейронные сети | свёрточной нейронной сети]] VGG-19<ref name="SZ14">[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition] Karen Simonyan, Andrew Zisserman (2014)</ref>.

Основная идея генерации изображения {{---}} решение оптимизационной задачи $\mathcal{L}(I, S, O) \xrightarrow[O]{} min$, где $O$ {{---}} итоговое изображение, $\mathcal{L}(I, S, O)$ {{---}} [[Функция потерь и эмпирический риск | функция потерь]]. Такую задачу можно решать градиентным спуском в пространстве изображений используя [[обратное распространение ошибки | метод обратного распространения ошибки]].
{{Определение
|definition =
Пусть $F^l\left[I\right] \in \mathcal{R}^{N_l \times M_l}$ {{---}} выход $l$-го слоя сети на изображении $I$. Представим его как матрицу $N_l \times M_l$, где $N_l$ {{---}} количество фильтров в $l$-ом слое, $M_l$ {{---}} количество признаков (высота, умноженная на ширину). Тогда $F^l_{ij}\left[I\right]$ {{---}} $j$-ый признак $i$-го фильтра в $l$-ом слое. $F^l\left[I\right]$ отражает содержание изображения.}}
{{Определение
|definition =
'''Матрица Грама''' (англ. ''Gram matrix'') {{---}} матрица попарных скалярных произведений. В нашем случае матрица отражает статистику выходов фильтров независимо от их расположения, что, в свою очередь, отражает стиль изображения.
$$G^l\left[I\right] \in \mathcal{R}^{N_l \times N_l}$$
$$G^l\left[I\right] = F^l\left[I\right]F^l\left[I\right]^T$$}}

===Алгоритм Гатиса<ref name="GEB16">[https://rn-unison.github.io/articulos/style_transfer.pdf Image Style Transfer Using Convolutional Neural Networks] Leon A. Gatys, Alexander S. Ecker, Matthias Bethge (2016)</ref>===

{{Определение
|id=content_loss_def
|definition =
$\mathcal{L}^{\alpha}_{content}(I, O) = \displaystyle\sum_l \frac{\alpha_l}{2 N_l M_l}\displaystyle\sum_{i, j} \left(F^l_{ij}\left[I\right] - F^l_{ij}\left[O\right]\right)^2$ {{---}} функция потерь содержания, где
$\alpha_l$ {{---}} вклад $l$-го слоя в функцию потерь<ref name="NotOriginalDef">Здесь используется определение функции потерь, которое отличается от статьи Гатиса, но используется в таком виде в статье про гармонизацию.</ref>.}}
{{Определение
|id=style_loss_def
|definition =
$\mathcal{L}^{\beta}_{style}(I, O) = \displaystyle\sum_l \frac{\beta_l}{2N_l^2} \displaystyle\sum_{i, j} \left(G^l_{ij}\left[I\right] - G^l_{ij}\left[O\right]\right)^2$ {{---}} функция потерь стиля, где
$\beta_l$ {{---}} вклад $l$-го слоя в функцию потерь<ref name="NotOriginalDef"/>.}}

Итоговой функцией потерь будет $\mathcal{L}_{Gatys} = \mathcal{L}^{\alpha}_{content}(I, O) + w_{style}\mathcal{L}^{\beta}_{style}(I, O)$<ref name="NotOriginalDef"/>. Вес $w_{style}$, векторы $\alpha$ и $\beta$ являются, в некотором смысле, гиперпараметрами алгоритма, которые нужно подбирать.

Авторы статьи показывают, что в качестве начальной инициализации можно брать изображение $I$, изображение $S$ или белый шум {{---}} алгоритм даёт похожие результаты в этих случаях.

[[Файл:GEB16_Figure_6.png|1000px|thumb|center|Начальная инициализация: '''A)''' $O_0 = I$; '''B)''' $O_0 = S$; '''C)''' $O_0 = random$, $4$ примера инициализированы различными белыми шумами ]]

===Histogram Loss===

Авторы другой статьи<ref name="WRB17">[https://arxiv.org/pdf/1701.08893.pdf Stable and Controllable Neural Texture Synthesis and Style Transfer Using Histogram Losses] Eric Risser, Pierre Wilmot, Connelly Barnes (2017)</ref> показывают, что результаты, полученные с помощью $\mathcal{L}_{Gatys}$ нестабильны и предложили другую функцию потерь, основанную на ''сопоставлении гистограмм''.
{{Определение
|definition =
'''Сопоставление гистограмм''' (англ. ''Histogram matching'') {{---}} метод обработки изображения, после которого гистограмма изображения совпадает с целевой гистограммой<ref name="HistMatch">https://en.wikipedia.org/wiki/Histogram_matching</ref>.}}
{{Определение
|definition =
Пусть $R = histmatch(S, O)$ {{---}} отображение пикселей такое, что гистограмма $S$ совпадает с гистограммой $R(O)$.}}
{{Определение
|id=hist_loss_def
|definition =
$\mathcal{L}^{\gamma}_{hist}(S, O) = \displaystyle\sum_l \gamma_l \displaystyle\sum_{i, j} \left(F^l_{ij}\left[O\right] - R\left(F^l_{ij}\left[O\right]\right)\right)^2$ {{---}} функция потерь гистограмм, где
$\gamma_l$ {{---}} вклад $l$-го слоя в функцию потерь}}

'''Замечание:''' Если в случае остальных функций потерь нетрудно посчитать производную, то здесь могут возникнуть проблемы. Но поскольку $\displaystyle\frac{\partial \mathcal{L}_{hist}}{\partial F^l_{ij}\left[O\right]}$ является нулём почти везде, авторы предлагают при подсчёте производной считать $R\left(F^l_{ij}\left[O\right]\right)$ константой, которая не зависит от $O$.

===Total variation loss===

Также добавим ещё одну функцию потерь, которая удаляет шумы, при этом сохраняя важные детали изображения<ref name="MV15">[https://arxiv.org/pdf/1412.0035.pdf Understanding Deep Image Representations by Inverting Them] Aravindh Mahendran, Andrea Vedaldi (2015)</ref><ref name="JAFF16">[https://arxiv.org/pdf/1603.08155.pdf Perceptual Losses for Real-Time Style Transfer and Super-Resolution] Justin Johnson, Alexandre Alahi, Li Fei-Fei (2016)</ref>.
{{Определение
|id=tv_loss_def
|definition =
$\mathcal{L}_{tv}(O) = \displaystyle\sum_{i, j} \left(O^l_{i, j} - O^l_{i-1, j}\right)^2 + \left(O^l_{i, j} - O^l_{i, j-1}\right)^2$ {{---}} общая вариационная потеря (англ. ''Total variation loss'').}}

==Глубокая гармонизация картин<ref name="LPSB18">https://arxiv.org/pdf/1804.03189.pdf Fujun Luan, Sylvain Paris, Eli Shechtman, Kavita Bala (2018)</ref>==

Для того чтобы вставить изображение в картину или рисунок нужно не только сделать бесшовный переход и изменить цвета, но ещё и изменить текстуру вставляемого изображения, например, сымитировать мазки кистью. Используем для этого комбинацию подходов из других статей<ref name="GEB16"/><ref name="JAFF16"/><ref name="WRB17"/>.

[[Файл:LPSB18_Figure_1.png|1000px|thumb|center|Пример работы алгоритма ''Deep Image Analogy''<ref name="LYY*17">[https://arxiv.org/pdf/1705.01088.pdf Visual Attribute Transfer through Deep Image Analogy] Jing Liao, Yuan Yao, Lu Yuan, Gang Hua, Sing Bing Kang (2017)</ref> ($3$ картинка) и ''Deep Painterly Harmonization''<ref name="LPSB18"/> ($4$ картинка)]]
Алгоритм будет состоять из двух проходов. Первый проход будет делать грубую гармонизацию, а второй {{---}} более тщательную. Отличаться они будут '''стилевым маппингом''' и функциями потерь.

{{Определение
|definition =
'''Стилевым маппингом''' мы будем называть отображение $P : \mathcal{R}^{N_l \times M_l} \rightarrow \mathcal{R}^{N_l \times M_l}$, которое некоторым образом переставляет столбцы матрицы (не обязательно обратимо, то есть столбцы могут теряться и копироваться). Более формально, пусть $p(j)$ {{---}} новая позиция столбца $j$, тогда $P(Q)_{i, p(j)} = Q_{ij}$.}}

Один проход будет состоять из $3$ частей:
# Входное $I$ и стилевое $S$ изображения подаются на вход нейронной сети VGG-19, так мы получаем $F^l_{ij}\left[I\right]$ и $F^l_{ij}\left[S\right]$.
# Для каждого слоя $l$ некоторым алгоритмом $\pi$ cтроится стилевой маппинг $P_l$, который сопоставляет столбцам из $F_l[I]$ столбцы из $F_l[S]$.
# Изображение $O$ восстанавливается градиентным спуском по пространству изображений с использованием функции потерь $\mathcal{L}$.

'''fun''' $SinglePassHarmonization$(
$I$,// Входное изображение 
$M$,// Маска 
$S$,// Стилевое изображение 
$\pi$,// Алгоритм построения стилевого маппинга 
$\mathcal{L}$// Функция потерь 
):
// Строим матрицы $F[I]$ и $F[S]$ с помощью свёрточной сети VGG-19 
$F[I] \leftarrow ComputeNeuralActivations(I)$
$F[S] \leftarrow ComputeNeuralActivations(S)$
// Строим стилевой маппинг 
$P \leftarrow \pi(F[I], M, F[S])$
// Градиентным спуском ищем изображение $O$, которое минимизирует $\mathcal{L}$ 
$O \leftarrow Reconstruct(I, M, S, P, \mathcal{L})$
'''return''' $O$


===Первый проход===

{{Определение
|definition =
'''Вектор активации''' (англ. ''activation vector'') {{---}} это столбец $F_l$.}}

{{Определение
|definition =
'''Патчем''' (англ. ''patch'') для столбца $j$ будем называть тензор $3 \times 3 \times N_l$, который состоит из соседних векторов активации в тензоре выхода свёрточного слоя, с центром в $(x, y)$, где $j = y \times W_l + x$.}}



<div class="tright" style="clear:none">[[Файл:LPSB18_Figure_2c.png|250px|thumb|none|Результаты после второго прохода]]</div>
<div class="tright" style="clear:none">[[Файл:LPSB18_Figure_2b.png|250px|thumb|none|Результаты после первого прохода]]</div>

Первый проход делает грубую гармонизацию, но при этом он хорошо работает с любыми стилями. Здесь используется алгоритм $IndependentMapping$ для построения стилевого маппинга. Этот алгоритм для каждого столбца $j$ в $F_l[I]$ ищет столбец $p(j)$ в $F_l[S]$, такой что евклидово расстояние между патчем $F_l[I]$ с центром $j$ и патчем $F_l[S]$ с центром $p(j)$ минимально (метод ближайшего соседа).


'''fun''' $IndependentMapping$(
$F[I]$,// Выходы слоёв после входного изображения 
$Mask$,// Маска 
$F[S]$// Выходы слоёв после стилевого изображения 
):
// Для всех слоёв от $1$ до $L$ 
'''for''' $l \in [1 : L]$:
// Для всех столбцов от $1$ до $M_l$ 
'''for''' $j \in [1 : M_l]$:
// Рассматриваем патчи только внутри маски, которую нужно масштабировать в соответсвии с размером слоя $l$ 
'''if''' $j \in Resize(Mask, l)$:
// Берём самый похожий стилевой патч и записываем его в маппинг. 
$P_l(j) \leftarrow NearestNeighborIndex(F[I], j, F[S])$
'''return''' $P$


В первом проходе используется модифицированная функция потерь $\mathcal{L}_{Gatys}$, с тем лишь отличием, что в $\mathcal{L}^{\beta}_{style}$ к $F_l[S]$ применяется стилевой маппинг $P_l$.

$$\mathcal{L}_1(I, S, O, P) = \mathcal{L}^{\alpha}_{content}(I, O) + w_{style}\mathcal{L}^{\beta}_{style}(S, O, P) \text{, где } w_{style} \text{ {{---}} вес стилевой функции потерь}$$

'''Замечание:''' при посчёте градиента $\mathcal{L}^{\alpha}_{content}$ используются только пиксели внутри маски<ref>https://github.com/luanfujun/deep-painterly-harmonization/blob/a33a9a70366b6baff1cc0291f857b5895b271fc1/neural_gram.lua#L349</ref>.

===Второй проход===



Второй проход делает более качественную гармонизацию после первого прохода. Здесь мы будем использовать более сложный алгоритм $ConsistentMapping$ построения стилевого маппинга и более сложную функцию потерь. Суть этого алгоритма в том, чтобы найти стилевой мапинг на некотором слое $l_{ref}$ и перенести этот маппинг на остальные слои. Также, мы будем предпочитать маппинги, в которых смежные патчи в $F_l[S]$ остаются смежными после мапинга, чтобы обеспечить пространсвенную согласованность (таким образом мы хотим переносить сложные текстуры более качественно, например, мазки кистью).


'''fun''' $ConsistentMapping$(
$F[I]$,// Выходы слоёв после входного изображения 
$Mask$,// Маска 
$F[S]$// Выходы слоёв после стилевого изображения 
):
// Сначала посчитаем маппинг как в IndependentMapping только для слоя $l_{ref}$ 
'''for''' $j \in [1 : M_{l_{ref}}]$:
'''if''' $j \in Resize(Mask, l_{ref})$:
$P_0(j) \leftarrow NearestNeighborIndex(F[I], j, F[S])$

// Далее обеспечиваем пространсвенную согласованность 
'''for''' $j \in [1 : M_{l_{ref}}]$:
'''if''' $j \in Resize(Mask, l_{ref})$:
$q \leftarrow P_0(j)$
// Инициализируем множество кандидатов на новый маппинг 
$CSet \leftarrow \{q\}$
// Перебираем все смежные патчи 
'''for''' $o \in \left\{N, NE, E, SE, S, SW, W, NW\right\}$:
// Добавляем в кандидаты патч, сосед которого является маппингом для нашего соседа в соответсвующем направлении 
$CSet \leftarrow CSet \cup \left\{P_0(j + o) - o\right\}$
// Среди всех кандидатов выбираем тот, который ближе всего к маппингам наших соседей 
$P_{l_{ref}}(j) \leftarrow \underset{c \in CSet}{\mathrm{argmin}}\displaystyle\sum_o \left\|(F_{l_{ref}}[S]_c - F_{l_{ref}}[S]_{P_0(j + o)}\right\|^2$

// Теперь нужно перенести маппинг для $l_{ref}$ на остальные слои 
'''for''' $l \in [1 : L] \setminus \{l_{ref}\}$:
'''for''' $j \in [1 : M_l]$:
'''if''' $j \in Resize(Mask, l)$:
// Вычисляем позицию $j'$ на слое $l_{ref}$ соответствующую позиции $j$ на слое $l$
$j' \leftarrow ChangeResolution(l, l_{ref}, j)$
// Берём маппинг для позиции $j'$
$q \leftarrow P_{l_{ref}}(j')$
// Переносим позицию $q$ обратно на слой $l$
$P_l(j) \leftarrow ChangeResolution(l_{ref}, l, q)$
'''return''' $P$


При вычислении стилевого маппинга появляется очень много дублирующихся векторов, что даёт не очень хорошие результаты. Поэтому при вычислении матрицы Грама выкинем повторяющиеся векторы. Назовём эту функцию потерь $\mathcal{L}_{s1}$.

$$\mathcal{L}_2(I, S, O, P) = \mathcal{L}^{\alpha}_{content}(I, O) + w_{style}\mathcal{L}^{\beta}_{s1}(S, O, P) + w_{hist}\mathcal{L}^{\gamma}_{hist}(S, O) + w_{tv}\mathcal{L}_{tv}(O) \text{, где } w_{style}, w_{hist}, w_{tv} \text{ {{---}} веса соответсвующих функций потерь}$$

{| class="wikitable" style="background-color:#FFF; text-align:center"
|-
! Только второй проход
! Только первый проход
! Результат с $\mathcal{L}_{style}$ вместо $\mathcal{L}_{s1}$
|-
| [[Файл:LPSB18_Figure_5c.png|250px]]
| [[Файл:LPSB18_Figure_5d.png|250px]]
| [[Файл:LPSB18_Figure_5f.png|250px]]
|}

===Итоговый алгоритм===

Теперь осталось запустить две стадии


'''fun''' $Harmonization$(
$I$,// Входное изображение 
$Mask$,// Маска 
$S$// Стилевое изображение 
):
// Грубый проход алгоритма. Каждый слой рассматривается отдельно при построении стилевого маппинга. 
$I' \leftarrow SinglePassHarmonization(I, Mask, S, IndependentMapping, \mathcal{L}_1)$
// Улучшение результата. Стилевой маппинг строится консистентно для всех слоёв. 
$O \leftarrow SinglePassHarmonization(I', Mask, S, ConsistentMapping, \mathcal{L}_2)$
'''return''' $O$


===Постобработка===

[[Файл:LPSB18_Figure_6abc.png|400px|thumb|right|Результат постобработки (без постобработки, после первой стадии, после второй стадии)]]

Описанный алгоритм даёт хорошие результаты в целом, но при ближайшем рассмотрении могут быть артефакты. Поэтому сделаем двухступенчатую постобработку (подробное описание есть в оригинальной статье<ref name="LPSB18"/>):
# Переведём изображение в [https://en.wikipedia.org/wiki/CIELAB_color_space CIELAB] и применим [https://en.wikipedia.org/wiki/Guided_filter Guided filter] для a и b каналов.
# С помощью алгоритма PatchMatch<ref name="BSFG09">https://www.researchgate.net/profile/Eli_Shechtman/publication/220184392_PatchMatch_A_Randomized_Correspondence_Algorithm_for_Structural_Image_Editing/links/02e7e520897b12bf0f000000.pdf Connelly Barnes, Eli Shechtman, Adam Finkelstein, Dan B Goldman (2009)</ref> и того же Guided filter делаем так чтобы все патчи выходного изображения присутсвовали в стилевом (чтобы не было новых объектов или структур)

===Подбор гиперпараметров===

[[Файл:LPSB18_Figure_4.png|400px|thumb|right|Влияние $l_{ref}$ на результат]]

Возьмём $l_{ref}$ = conv4_1.
Выберем следующие веса для слоёв:

{| class="wikitable"
|+ Первый проход
|-
! Параметр
! conv1_1
! conv2_1
! conv3_1
! conv4_1
! conv5_1
|-
! $\alpha$
| $0$
| $0$
| $0$
| $1$
| $0$
|-
! $\beta$
| $0$
| $0$
| $1/3$
| $1/3$
| $1/3$
|}

{| class="wikitable"
|+ Второй проход
|-
! Параметр
! conv1_1
! conv2_1
! conv3_1
! conv4_1
! conv5_1
|-
! $\alpha$
| $0$
| $0$
| $0$
| $1$
| $0$
|-
! $\beta$
| $1/4$
| $1/4$
| $1/4$
| $1/4$
| $0$
|-
! $\gamma$
| $1/2$
| $0$
| $0$
| $1/2$
| $0$
|}

Введём гиперпараметр $\tau$ и возьмём $w_{style} = w_{hist} = \tau$, $w_{tv} = \tau\frac{10}{1 + \exp(10^4 * noise(S) - 25)}$, где $noise(S) = \underset{i,j}{\mathrm{med}}\left\{\left(O^l_{i, j} - O^l_{i-1, j}\right)^2 + \left(O^l_{i, j} - O^l_{i, j-1}\right)^2\right\}$<ref>[https://github.com/luanfujun/deep-painterly-harmonization/blob/a33a9a70366b6baff1cc0291f857b5895b271fc1/neural_paint.lua#L470 код функции $noise$</ref>

Для того чтобы подбирать $\tau$ авторы статьи использовали классификатор стилей изображений. Они взяли VGG-19, обучили её классифицировать $18$ различных стилей. Эти стили были разделены на $3$ категории с разными $\tau$. Используя $Softmax$ можно интерполировать необходимый $\tau$ по следующей таблице:

{| class="wikitable"
|-
! Категория стиля
! Примеры стилей
! $\tau$
|-
! Слабый
| Барокко, Высокое Возрождение
| $1$
|-
! Средний
| Абстрактное Искусство, Постимпрессионизм
| $5$
|-
! Сильный
| Кубизм, Экспрессионизм
| $10$
|}

===Примеры===

{|
! Исходное изображение
! Простая вставка
! Результат
! Постобработка
|-
| [[Файл:5_target.jpg|300px]]
| [[Файл:5_naive.jpg|300px]]
| [[Файл:5_final_res.png|300px]]
| [[Файл:5_final_res2.png|300px]]
|-
| [[Файл:6_target.jpg|300px]]
| [[Файл:6_naive.jpg|300px]]
| [[Файл:6_final_res.png|300px]]
| [[Файл:6_final_res2.png|300px]]
|-
| [[Файл:10_target.jpg|300px]]
| [[Файл:10_naive.jpg|300px]]
| [[Файл:10_final_res.png|300px]]
| [[Файл:10_final_res2.png|300px]]
|}

==Глубокий блендинг==



Алгоритм глубокого блендинга состоит из двух этапов. На первом этапе на стилевое изображения $S$ бесшовно накладывается входное изображение $I$, получается подготовительное блендинг-изображение $B$. На втором этапе $B$ модифицируется таким образом, чтобы результат по стилю был похож на $S$.

Будем считать, что на вход подаются изображения, прошедшие предварительную обработку:
* Используемая для вставки часть $I$ вырезана с помощью маски
* $M$ и $I$ выровнены относительно $S$
* Размеры матриц, задающих $M, S, I$ совпадают

'''Примеры входных данных:'''
{| class="wikitable" style="background-color:#FFF; text-align:center"
! '''Стилевое изображение $S$'''
| [[Файл:Deep bl s1.png|150px]]
| [[Файл:Deep bl s2.png|150px]]
| [[Файл:Deep bl s3.png|150px]]
|-
! '''Накладываемое изображение $I$'''
| [[Файл:Deep bl i1.png|150px]]
| [[Файл:Deep bl i2.png|150px]]
| [[Файл:Deep bl i3.png|150px]]
|}

На обоих этапах алгоритм минимизирует взвешенную сумму следующих функций потерь:
* [[Блендинг_изображений#content_loss_def|Функция потерь содержания]] $\mathcal{L}_{cont}$ для сохранения содержания накладываемого изображения $I$
* [[Блендинг_изображений#style_loss_def|Функция потерь стиля]] $\mathcal{L}_{style}$ для переноса стиля изображения $S$ на $I$
* [[Блендинг_изображений#hist_loss_def|Гистограмная функция потерь]] $\mathcal{L}_{hist}$ для стабилизации переноса стиля
* [[Блендинг_изображений#tv_loss_def|Функция потерь полного отклонения]] $\mathcal{L}_{tv}$ для удаления шумов
* [[Блендинг_изображений#grad_loss_def|Градиентная функция потерь]] $\mathcal{L}_{grad}$ для бесшовности наложения

Для подсчета $\mathcal{L}_{style}$ и $\mathcal{L}_{content}$ авторами статьи<ref name='ZWS20'>[https://openaccess.thecvf.com/content_WACV_2020/papers/Zhang_Deep_Image_Blending_WACV_2020_paper.pdf Deep Image Blending] Lingzhi Zhang, Tarmily Wen, Jianbo Shi (2020)</ref> использовалась сеть VGG-19<ref name="SZ14"/>, обученная на ImageNet<ref name="ImageNet">https://image-net.org/papers/imagenet_cvpr09.pdf J. Deng, W. Dong, R. Socher, L.-J. Li, K. Li, and L. FeiFei. Imagenet: A large-scale hierarchical image database</ref>.

{{Определение
|definition =
'''Простой вставкой''' (англ. ''copy and paste'') $CAP(M, S, I)$ будем назвать изображение, полученное наложением части изображения $I$, заданной маской $M$, на изображение $S$.
$CAP(M, S, I) = I \odot M + S \odot (1 - M)$, где $\odot$ {{---}} покомпонентное умножение. }}

{{Определение
|definition =
'''Дискретный оператор Лапласа''' (фильтр Лапласа) $\mathbf{D}^2$ {{---}} аналог непрерывного оператора Лапласа $\nabla^2$, который позволяет выделять контуры изображения.
$$\mathbf{D}^2=\begin{bmatrix}0 & 1 & 0\\1 & -4 & 1\\0 & 1 & 0\end{bmatrix}$$ }}
{| class="wikitable" style="float:right; clear:right;"
!Исходное изображение
!Применение фильтра Лапласа
|-
| [[Файл:Lenna.png|200px]]
| [[Файл:Lenna_Laplacian_Neg.png|200px]]
|}

Чтобы комбинировать решение задачи бесшовного наложения [[Блендинг изображений#Блендинг Пуассона|методом Пуассона]] с остальными ограничениями, авторы статьи<ref name='ZWS20'/> предлагают использовать функцию потерь $\mathcal{L}_{grad}$. Для сохранения контуров изображений $S$ и $I$ в области вставки используется дискретный оператор Лапласа.

{{Определение
|id=grad_loss_def
|definition =
$\mathcal{L}_{grad}(S, I, M, O) = \displaystyle\frac{1}{2HW}\displaystyle\sum_{m=1}^H \displaystyle\sum_{n=1}^W \left[ \mathbf{D}^2 B - \left(\mathbf{D}^2 S + \mathbf{D}^2 I\right) \right]^2_{mn}$ {{---}} градиентная функция потерь (англ. ''Possion gradient loss''). $H, W$ {{---}} высота и ширина изображений. $B = CAP(M, S, O)$ {{---}} блендинговое изображение, оптимизируемое относительно $O$. }}

Рассмотрим область $\overline{\Omega} = \{\;p \;| \;M_p = 0\; \}$. Заметим, что градиент $I$ в $\overline{\Omega}$ равен нулю. Тогда градиенты $S$ и $B$ совпадают, и задача минимизации $\mathcal{L}_{grad}$ решается только в области вставки.

=== Первый этап ===
На первом этапе изображение $I$ накладывается на фоновое изображение $S$ таким образом, чтобы были незаметны швы.
Построение начинается с белого шума $Z$, который оптимизируется в области вставки путем минимизации суммарной функции потерь $\mathcal{L}_{total}$, представленной взвешенной суммой всех функций потерь, описанных выше:
$$ \mathcal{L}_{total}(Z) = w_{grad}\mathcal{L}_{grad}(I, S, B) + w_{cont}\mathcal{L}_{cont}(I, M, Z) + w_{style}\mathcal{L}_{style}(S, B) + w_{tv}\mathcal{L}_{tv}(B) + w_{hist}\mathcal{L}_{hist}(S, B) $$
Отметим, что $\mathcal{L}_{cont}$ зависит от маски и отвечает за сохранение содержания $I$ в области вставки.

Отличительной чертой этого этапа является использование функции потерь $\mathcal{L}_{grad}$, приближающей градиент результата к градиенту $I$ в области наложения, за счет чего достигается бесшовность.

В результате получается подготовительное блендинг-изображение $B$.


'''fun''' $SeamlessBlending$(
$I$, // Входное изображение 
$M$, // Маска 
$S$ // Стилевое изображение 
):
// Инициализируем первое приближение белым шумом 
$Z \leftarrow RandomNoise() $
$B \leftarrow CAP(M, S, Z)$
// Определим суммарную функцию потерь с весами слагаемых $w$
$\mathcal{L}_{total}(Z) \leftarrow w_{grad}\mathcal{L}_{grad}(I, S, B) + w_{cont}\mathcal{L}_{cont}(I, M, Z) + w_{style}\mathcal{L}_{style}(S, B) + w_{tv}\mathcal{L}_{tv}(B) + w_{hist}\mathcal{L}_{hist}(S, B)$
// С помощью алгоритма L-BFGS ищем изображение $Z$, которое минимизирует $\mathcal{L}_{total}$ 
$Z \leftarrow Reconstruct(\mathcal{L}_{total}, Z)$
'''return''' $CAP(M, S, Z)$


=== Второй этап ===

Второй этап алгоритма представляет собой модификацию полученного на первом этапе блендинг-изображения $B$ таким образом, чтобы стиль изображения был наиболее близок к стилю $S$.

В отличие от предыдущего этапа, функция потерь не включает в себя $\mathcal{L}_{grad}$:
$$\mathcal{L}_{total}(O) = w_{cont}\mathcal{L}_{cont}(B, O) + w_{style}\mathcal{L}_{style}(S, O) + w_{tv}\mathcal{L}_{tv}(O) + w_{hist}\mathcal{L}_{hist}(S, O)$$

Минимизация происходит относительно результата алгоритма $O$, который инициализируется изображением $B$.


'''fun''' $StyleRefinement$(
$B$, // Подготовительное блендинг-изображение, результат первого этапа 
$M$, // Маска 
$S$ // Стилевое изображение 
):
$O \leftarrow B$
// Определим суммарную функцию потерь с весами слагаемых $w$
$\mathcal{L}_{total}(O) \leftarrow w_{cont}\mathcal{L}_{cont}(B, O) + w_{style}\mathcal{L}_{style}(S, O) + w_{tv}\mathcal{L}_{tv}(O) + w_{hist}\mathcal{L}_{hist}(S, O)$
// С помощью алгоритма L-BFGS ищем изображение $O$, которое минимизирует $\mathcal{L}_{total}$ 
$O \leftarrow Reconstruct(\mathcal{L}_{total}, O)$
'''return''' $O$


{|
! После первого этапа
! После обоих этапов
|-
| [[Файл:1_first_pass.png|300px]]
| [[Файл:1_second_pass.png|300px]]
|-
| [[Файл:3_first_pass.png|300px]]
| [[Файл:3_second_pass.png|300px]]
|-
| [[Файл:5_first_pass.png|300px]]
| [[Файл:5_second_pass.png|300px]]
|}

===Детали реализации===

{| class="wikitable"
|+ Веса функций потерь
|-
! Этап
! $w_{grad}$
! $w_{cont}$
! $w_{style}$
! $w_{hist}$
! $w_{tv}$
|-
! $1$
| $10^5$
| $1$
| $10^5$
| $1$
| $10^{-6}$
|-
! $2$
| $0$
| $1$
| $10^7$
| $1$
| $10^{-6}$
|}

Для подсчета $\mathcal{L}_{style}$ используются слои conv1_2, conv2_2, conv3_3, conv4_3 $VGG$, для $\mathcal{L}_{cont}$ {{---}} conv2_2.

На обоих этапах максимальное количество итераций алгоритма L-BFGS {{---}} $1000$.

=== Примеры ===
[[Файл:МЛ блендинг пример.png|1000px]]

==Ссылки==

[https://en.wikipedia.org/wiki/Gramian_matrix Матрица Грама (англ.)]

==Примечания==

Файл:Lenna.png

2021-01-11T18:54:16Z

Npostnikova:

Файл:Lenna Laplacian Neg.png

2021-01-11T18:53:41Z

Npostnikova:

Блендинг изображений

2021-01-11T18:38:46Z

Npostnikova: Выравниваем заборчик

{{Определение
|definition =
'''Блендинг изображений''' (англ. ''image blending'') {{---}} метод, позволяющий вставить часть одного изображения в другое таким образом, чтобы композиция изображений выглядела естественно, без швов на границах вставки и соответсвующими цветами и текстурами. }}

==Блендинг Пуассона==
[[Файл:Poisson int1.png|thumb|right|300px|Рис. $1.1$. Пример перепада яркости при простой вставке]]
[[Файл:Poisson int2.png|thumb|right|300px|Рис. $1.2$. Результат применения блендинга Пуассона]]

Простая вставка одного изображения поверх другого нередко влечет заметный перепад яркости на границе вставки (рис. $1.1$). Метод Пуассона заключается в сглаживании этого перепада (рис. $1.2$) с целью сделать дефект менее заметным, используя градиент вставляемого изображения и значения пикселей фонового изображения на границе вставки.

'''Замечание:''' Для RGB изображений задача минимизации решается для каждого цветового канала отдельно.

Давайте обозначим за $S$ изображение, которое служит фоном, а за $I$ {{---}} изображение, вставляемое поверх $S$. Область вставки будем задавать двоичной маской $M$, содержащей единицы в области наложения. Например:
{| class="wikitable" style="background-color:#FFF; text-align:center"
|-
! Фоновое изображение $S$
! Накладываемое изображение $I$
! Маска $M$
|-
| [[Файл:Poisson_cat.jpg|200px]]
| [[Файл:Poisson_cherry.jpg|200px]]
| [[Файл:Poisson_cherry_mask.png|200px]]
|}

=== Идея подхода ===
Пусть замкнутое множество $P \subset \mathbb{R}^2$ {{---}} область, на которой определено изображение $S$, а замкнутое множество $\Omega \subset P$ с границей $\partial\Omega$ и внутренностью $int(\Omega)$ {{---}} область вставки изображения $I$.

Пусть $f_S$ {{---}} скалярная функция, определенная на $P \setminus int(\Omega)$, задает фоновое изображение $S$; $f$ {{---}} неизвестная скалярная функция, определенная на $int(\Omega)$, задает, каким образом должно выглядеть результат блендинга в области вставки.

$v_I$ {{---}} векторное поле, определенное на $\Omega$. В качестве $v_I$ возьмем градиент вставляемого изображения $I$: $v_I = \nabla f_I$

Нашей задачей является поиск такой функции $f$, чтобы блендинговое изображение выглядело реалистично. Для этого минимизируем разность градиента функции $f$ и векторного поля $v_I$, считая, что $f = f_S$ на границе $\Omega$.
$$
\underset{f}{\mathrm{min}} \underset{\Omega}{\iint} |\nabla f - v_I|^2, \text{где } f|_{\partial \Omega} = f_S|_{\partial \Omega}
$$
Решение задачи минимизации является единственным решением уравнения Пуассона для граничных условий Дирихле.
$$\nabla^2 f = \nabla^2 f_I \text{ на } \Omega, f|_{\partial \Omega} = f_S|_{\partial \Omega}, \text{где } \nabla^2 \text{{{---}} оператор Лапласа.}$$

=== Дискретный случай ===
Пусть $p$ {{---}} координаты $(x, y)$ пикселя двухмерного изображения. За $Img_p$ обозначим значение пикселя с координатами $p$ изображения $Img$. Пусть $\Omega = \left\{ p\;|\;M_p = 1 \right\}$. Тогда $\partial \Omega$ {{---}} координаты границы вставляемой области, а $int(\Omega)$ {{---}} внутренность области.

Пусть $N_p$ {{---}} множество соседей $p$ (максимум четыре пикселя, имеющих общую границу с $p$, т.е. пиксели со следующими координатами: $(x + 1, y), (x - 1, y), (x, y + 1), (x, y - 1)$). Для всех пар $(p, q)$ таких, что $q \in N_p$, введем $v_{pq} = I_p - I_q$

Введем переменные $O_p, p \in \Omega$. Так как мы хотим сделать результат бесшовным, пиксели $O_p, p \in \partial\Omega$, сделаем равными $S_p$. Для $p, q \in int(\Omega),\; q \in N_p$ постараемся найти такое $O$, чтобы разность $O_p$ и $O_q$ была близка к $v_{pq}$. Для этого решим задачу минимизации:

$$
\underset{O_p,\; p \in \Omega}{\mathrm{min}}\; \underset{p, q \in \Omega}{\sum}\; \left(O_p - O_q - v_{pq}\right)^2, \text{где } O_p = S_p, p \in \partial \Omega
$$

Заметим, что функция, которую мы хотим минимизировать, квадратична относительно переменных $O_p, p \in int(\Omega)$. Для решения задачи минимизации вычислим частные производные по этим переменным и найдем значения переменных, при которых частные производные будут равны нулю.
$$\frac{\partial{\underset{p, q \in \Omega}{\sum}\; \left(O_p - O_q - v_{pq}\right)^2}}{\partial O_p} = \underset{q \in N_p}{\sum} 2 \left(O_p - O_q - v_{pq}\right) - \underset{q \in N_p}{\sum} 2 \left(O_q - O_p - v_{qp}\right) = 2 \underset{q \in N_p}{\sum} 2 \left(O_p - O_q - v_{pq}\right)$$.

Приравнивая к нулю, получаем: $|N_p| O_p - \underset{q \in N_p}{\sum} O_q = \underset{q \in N_p}{\sum} v_{pq}$.

Добавим условие $O_p = S_p, p \in \partial \Omega$: $\;|N_p| O_p - \underset{q \in N_p \cap int(\Omega)}{\sum} O_q = \underset{q \in N_p \cap \partial \Omega}{\sum} S_q + \underset{q \in N_p}{\sum} v_{pq}$.

Для решения систем уравнений такого вида могут быть использованы итеративные алгоритмы Gauss-Seidel и V-cycle multigrid<ref name="PGB03">[https://www.cs.jhu.edu/~misha/Fall07/Papers/Perez03.pdf Poisson Image Editing] Patrick Perez, Michel Gangnet, Andrew Blake (2003)</ref>.

Получаем значения пикселей $O_p$, $p \in int(\Omega)$. Тогда результат $B$ блендинга Пуассона будет следующим:
$$
B_p =
\begin{cases}
O_p,\; \text{если } p \in int(\Omega) \\
S_p,\; \text{иначе }
\end{cases}
$$

Mетод Пуассона сдвигает цвета накладываемого изображения, сохраняя свойства градиента (т.е. если пиксель $I_{p1}$ был меньше $I_{p2}$, то после преобразования $I_{p1}$ не станет больше $I_{p2}$), однако само значение градиета может получиться другим.<ref name='clear_poisson'>https://erkaman.github.io/posts/poisson_blending.html Poisson blending для самых маленьких</ref>

==Трансфер стиля==
{{main|Neural Style Transfer}}
Прежде чем переходить к гармонизации картин, рассмотрим задачу трансфера стиля с изображения $S$ на изображение $I$. Для этого используются выходы скрытых слоёв [[Сверточные нейронные сети | свёрточной нейронной сети]] VGG-19<ref name="SZ14">[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition] Karen Simonyan, Andrew Zisserman (2014)</ref>.

Основная идея генерации изображения {{---}} решение оптимизационной задачи $\mathcal{L}(I, S, O) \xrightarrow[O]{} min$, где $O$ {{---}} итоговое изображение, $\mathcal{L}(I, S, O)$ {{---}} [[Функция потерь и эмпирический риск | функция потерь]]. Такую задачу можно решать градиентным спуском в пространстве изображений используя [[обратное распространение ошибки | метод обратного распространения ошибки]].
{{Определение
|definition =
Пусть $F^l\left[I\right] \in \mathcal{R}^{N_l \times M_l}$ {{---}} выход $l$-го слоя сети на изображении $I$. Представим его как матрицу $N_l \times M_l$, где $N_l$ {{---}} количество фильтров в $l$-ом слое, $M_l$ {{---}} количество признаков (высота, умноженная на ширину). Тогда $F^l_{ij}\left[I\right]$ {{---}} $j$-ый признак $i$-го фильтра в $l$-ом слое. $F^l\left[I\right]$ отражает содержание изображения.}}
{{Определение
|definition =
'''Матрица Грама''' (англ. ''Gram matrix'') {{---}} матрица попарных скалярных произведений. В нашем случае матрица отражает статистику выходов фильтров независимо от их расположения, что, в свою очередь, отражает стиль изображения.
$$G^l\left[I\right] \in \mathcal{R}^{N_l \times N_l}$$
$$G^l\left[I\right] = F^l\left[I\right]F^l\left[I\right]^T$$}}

===Алгоритм Гатиса<ref name="GEB16">[https://rn-unison.github.io/articulos/style_transfer.pdf Image Style Transfer Using Convolutional Neural Networks] Leon A. Gatys, Alexander S. Ecker, Matthias Bethge (2016)</ref>===

{{Определение
|id=content_loss_def
|definition =
$\mathcal{L}^{\alpha}_{content}(I, O) = \displaystyle\sum_l \frac{\alpha_l}{2 N_l M_l}\displaystyle\sum_{i, j} \left(F^l_{ij}\left[I\right] - F^l_{ij}\left[O\right]\right)^2$ {{---}} функция потерь содержания, где
$\alpha_l$ {{---}} вклад $l$-го слоя в функцию потерь<ref name="NotOriginalDef">Здесь используется определение функции потерь, которое отличается от статьи Гатиса, но используется в таком виде в статье про гармонизацию.</ref>.}}
{{Определение
|id=style_loss_def
|definition =
$\mathcal{L}^{\beta}_{style}(I, O) = \displaystyle\sum_l \frac{\beta_l}{2N_l^2} \displaystyle\sum_{i, j} \left(G^l_{ij}\left[I\right] - G^l_{ij}\left[O\right]\right)^2$ {{---}} функция потерь стиля, где
$\beta_l$ {{---}} вклад $l$-го слоя в функцию потерь<ref name="NotOriginalDef"/>.}}

Итоговой функцией потерь будет $\mathcal{L}_{Gatys} = \mathcal{L}^{\alpha}_{content}(I, O) + w_{style}\mathcal{L}^{\beta}_{style}(I, O)$<ref name="NotOriginalDef"/>. Вес $w_{style}$, векторы $\alpha$ и $\beta$ являются, в некотором смысле, гиперпараметрами алгоритма, которые нужно подбирать.

Авторы статьи показывают, что в качестве начальной инициализации можно брать изображение $I$, изображение $S$ или белый шум {{---}} алгоритм даёт похожие результаты в этих случаях.

[[Файл:GEB16_Figure_6.png|1000px|thumb|center|Начальная инициализация: '''A)''' $O_0 = I$; '''B)''' $O_0 = S$; '''C)''' $O_0 = random$, $4$ примера инициализированы различными белыми шумами ]]

===Histogram Loss===

Авторы другой статьи<ref name="WRB17">[https://arxiv.org/pdf/1701.08893.pdf Stable and Controllable Neural Texture Synthesis and Style Transfer Using Histogram Losses] Eric Risser, Pierre Wilmot, Connelly Barnes (2017)</ref> показывают, что результаты, полученные с помощью $\mathcal{L}_{Gatys}$ нестабильны и предложили другую функцию потерь, основанную на ''сопоставлении гистограмм''.
{{Определение
|definition =
'''Сопоставление гистограмм''' (англ. ''Histogram matching'') {{---}} метод обработки изображения, после которого гистограмма изображения совпадает с целевой гистограммой<ref name="HistMatch">https://en.wikipedia.org/wiki/Histogram_matching</ref>.}}
{{Определение
|definition =
Пусть $R = histmatch(S, O)$ {{---}} отображение пикселей такое, что гистограмма $S$ совпадает с гистограммой $R(O)$.}}
{{Определение
|id=hist_loss_def
|definition =
$\mathcal{L}^{\gamma}_{hist}(S, O) = \displaystyle\sum_l \gamma_l \displaystyle\sum_{i, j} \left(F^l_{ij}\left[O\right] - R\left(F^l_{ij}\left[O\right]\right)\right)^2$ {{---}} функция потерь гистограмм, где
$\gamma_l$ {{---}} вклад $l$-го слоя в функцию потерь}}

'''Замечание:''' Если в случае остальных функций потерь нетрудно посчитать производную, то здесь могут возникнуть проблемы. Но поскольку $\displaystyle\frac{\partial \mathcal{L}_{hist}}{\partial F^l_{ij}\left[O\right]}$ является нулём почти везде, авторы предлагают при подсчёте производной считать $R\left(F^l_{ij}\left[O\right]\right)$ константой, которая не зависит от $O$.

===Total variation loss===

Также добавим ещё одну функцию потерь, которая удаляет шумы, при этом сохраняя важные детали изображения<ref name="MV15">[https://arxiv.org/pdf/1412.0035.pdf Understanding Deep Image Representations by Inverting Them] Aravindh Mahendran, Andrea Vedaldi (2015)</ref><ref name="JAFF16">[https://arxiv.org/pdf/1603.08155.pdf Perceptual Losses for Real-Time Style Transfer and Super-Resolution] Justin Johnson, Alexandre Alahi, Li Fei-Fei (2016)</ref>.
{{Определение
|id=tv_loss_def
|definition =
$\mathcal{L}_{tv}(O) = \displaystyle\sum_{i, j} \left(O^l_{i, j} - O^l_{i-1, j}\right)^2 + \left(O^l_{i, j} - O^l_{i, j-1}\right)^2$ {{---}} общая вариационная потеря (англ. ''Total variation loss'').}}

==Глубокая гармонизация картин<ref name="LPSB18">https://arxiv.org/pdf/1804.03189.pdf Fujun Luan, Sylvain Paris, Eli Shechtman, Kavita Bala (2018)</ref>==

Для того чтобы вставить изображение в картину или рисунок нужно не только сделать бесшовный переход и изменить цвета, но ещё и изменить текстуру вставляемого изображения, например, сымитировать мазки кистью. Используем для этого комбинацию подходов из других статей<ref name="GEB16"/><ref name="JAFF16"/><ref name="WRB17"/>.

[[Файл:LPSB18_Figure_1.png|1000px|thumb|center|Пример работы алгоритма ''Deep Image Analogy''<ref name="LYY*17">[https://arxiv.org/pdf/1705.01088.pdf Visual Attribute Transfer through Deep Image Analogy] Jing Liao, Yuan Yao, Lu Yuan, Gang Hua, Sing Bing Kang (2017)</ref> ($3$ картинка) и ''Deep Painterly Harmonization''<ref name="LPSB18"/> ($4$ картинка)]]
Алгоритм будет состоять из двух проходов. Первый проход будет делать грубую гармонизацию, а второй {{---}} более тщательную. Отличаться они будут '''стилевым маппингом''' и функциями потерь.

{{Определение
|definition =
'''Стилевым маппингом''' мы будем называть отображение $P : \mathcal{R}^{N_l \times M_l} \rightarrow \mathcal{R}^{N_l \times M_l}$, которое некоторым образом переставляет столбцы матрицы (не обязательно обратимо, то есть столбцы могут теряться и копироваться). Более формально, пусть $p(j)$ {{---}} новая позиция столбца $j$, тогда $P(Q)_{i, p(j)} = Q_{ij}$.}}

Один проход будет состоять из $3$ частей:
# Входное $I$ и стилевое $S$ изображения подаются на вход нейронной сети VGG-19, так мы получаем $F^l_{ij}\left[I\right]$ и $F^l_{ij}\left[S\right]$.
# Для каждого слоя $l$ некоторым алгоритмом $\pi$ cтроится стилевой маппинг $P_l$, который сопоставляет столбцам из $F_l[I]$ столбцы из $F_l[S]$.
# Изображение $O$ восстанавливается градиентным спуском по пространству изображений с использованием функции потерь $\mathcal{L}$.

'''fun''' $SinglePassHarmonization$(
$I$,// Входное изображение 
$M$,// Маска 
$S$,// Стилевое изображение 
$\pi$,// Алгоритм построения стилевого маппинга 
$\mathcal{L}$// Функция потерь 
):
// Строим матрицы $F[I]$ и $F[S]$ с помощью свёрточной сети VGG-19 
$F[I] \leftarrow ComputeNeuralActivations(I)$
$F[S] \leftarrow ComputeNeuralActivations(S)$
// Строим стилевой маппинг 
$P \leftarrow \pi(F[I], M, F[S])$
// Градиентным спуском ищем изображение $O$, которое минимизирует $\mathcal{L}$ 
$O \leftarrow Reconstruct(I, M, S, P, \mathcal{L})$
'''return''' $O$


===Первый проход===

{{Определение
|definition =
'''Вектор активации''' (англ. ''activation vector'') {{---}} это столбец $F_l$.}}

{{Определение
|definition =
'''Патчем''' (англ. ''patch'') для столбца $j$ будем называть тензор $3 \times 3 \times N_l$, который состоит из соседних векторов активации в тензоре выхода свёрточного слоя, с центром в $(x, y)$, где $j = y \times W_l + x$.}}



<div class="tright" style="clear:none">[[Файл:LPSB18_Figure_2c.png|250px|thumb|none|Результаты после второго прохода]]</div>
<div class="tright" style="clear:none">[[Файл:LPSB18_Figure_2b.png|250px|thumb|none|Результаты после первого прохода]]</div>

Первый проход делает грубую гармонизацию, но при этом он хорошо работает с любыми стилями. Здесь используется алгоритм $IndependentMapping$ для построения стилевого маппинга. Этот алгоритм для каждого столбца $j$ в $F_l[I]$ ищет столбец $p(j)$ в $F_l[S]$, такой что евклидово расстояние между патчем $F_l[I]$ с центром $j$ и патчем $F_l[S]$ с центром $p(j)$ минимально (метод ближайшего соседа).


'''fun''' $IndependentMapping$(
$F[I]$,// Выходы слоёв после входного изображения 
$Mask$,// Маска 
$F[S]$// Выходы слоёв после стилевого изображения 
):
// Для всех слоёв от $1$ до $L$ 
'''for''' $l \in [1 : L]$:
// Для всех столбцов от $1$ до $M_l$ 
'''for''' $j \in [1 : M_l]$:
// Рассматриваем патчи только внутри маски, которую нужно масштабировать в соответсвии с размером слоя $l$ 
'''if''' $j \in Resize(Mask, l)$:
// Берём самый похожий стилевой патч и записываем его в маппинг. 
$P_l(j) \leftarrow NearestNeighborIndex(F[I], j, F[S])$
'''return''' $P$


В первом проходе используется модифицированная функция потерь $\mathcal{L}_{Gatys}$, с тем лишь отличием, что в $\mathcal{L}^{\beta}_{style}$ к $F_l[S]$ применяется стилевой маппинг $P_l$.

$$\mathcal{L}_1(I, S, O, P) = \mathcal{L}^{\alpha}_{content}(I, O) + w_{style}\mathcal{L}^{\beta}_{style}(S, O, P) \text{, где } w_{style} \text{ {{---}} вес стилевой функции потерь}$$

'''Замечание:''' при посчёте градиента $\mathcal{L}^{\alpha}_{content}$ используются только пиксели внутри маски<ref>https://github.com/luanfujun/deep-painterly-harmonization/blob/a33a9a70366b6baff1cc0291f857b5895b271fc1/neural_gram.lua#L349</ref>.

===Второй проход===



Второй проход делает более качественную гармонизацию после первого прохода. Здесь мы будем использовать более сложный алгоритм $ConsistentMapping$ построения стилевого маппинга и более сложную функцию потерь. Суть этого алгоритма в том, чтобы найти стилевой мапинг на некотором слое $l_{ref}$ и перенести этот маппинг на остальные слои. Также, мы будем предпочитать маппинги, в которых смежные патчи в $F_l[S]$ остаются смежными после мапинга, чтобы обеспечить пространсвенную согласованность (таким образом мы хотим переносить сложные текстуры более качественно, например, мазки кистью).


'''fun''' $ConsistentMapping$(
$F[I]$,// Выходы слоёв после входного изображения 
$Mask$,// Маска 
$F[S]$// Выходы слоёв после стилевого изображения 
):
// Сначала посчитаем маппинг как в IndependentMapping только для слоя $l_{ref}$ 
'''for''' $j \in [1 : M_{l_{ref}}]$:
'''if''' $j \in Resize(Mask, l_{ref})$:
$P_0(j) \leftarrow NearestNeighborIndex(F[I], j, F[S])$

// Далее обеспечиваем пространсвенную согласованность 
'''for''' $j \in [1 : M_{l_{ref}}]$:
'''if''' $j \in Resize(Mask, l_{ref})$:
$q \leftarrow P_0(j)$
// Инициализируем множество кандидатов на новый маппинг 
$CSet \leftarrow \{q\}$
// Перебираем все смежные патчи 
'''for''' $o \in \left\{N, NE, E, SE, S, SW, W, NW\right\}$:
// Добавляем в кандидаты патч, сосед которого является маппингом для нашего соседа в соответсвующем направлении 
$CSet \leftarrow CSet \cup \left\{P_0(j + o) - o\right\}$
// Среди всех кандидатов выбираем тот, который ближе всего к маппингам наших соседей 
$P_{l_{ref}}(j) \leftarrow \underset{c \in CSet}{\mathrm{argmin}}\displaystyle\sum_o \left\|(F_{l_{ref}}[S]_c - F_{l_{ref}}[S]_{P_0(j + o)}\right\|^2$

// Теперь нужно перенести маппинг для $l_{ref}$ на остальные слои 
'''for''' $l \in [1 : L] \setminus \{l_{ref}\}$:
'''for''' $j \in [1 : M_l]$:
'''if''' $j \in Resize(Mask, l)$:
// Вычисляем позицию $j'$ на слое $l_{ref}$ соответствующую позиции $j$ на слое $l$
$j' \leftarrow ChangeResolution(l, l_{ref}, j)$
// Берём маппинг для позиции $j'$
$q \leftarrow P_{l_{ref}}(j')$
// Переносим позицию $q$ обратно на слой $l$
$P_l(j) \leftarrow ChangeResolution(l_{ref}, l, q)$
'''return''' $P$


При вычислении стилевого маппинга появляется очень много дублирующихся векторов, что даёт не очень хорошие результаты. Поэтому при вычислении матрицы Грама выкинем повторяющиеся векторы. Назовём эту функцию потерь $\mathcal{L}_{s1}$.

$$\mathcal{L}_2(I, S, O, P) = \mathcal{L}^{\alpha}_{content}(I, O) + w_{style}\mathcal{L}^{\beta}_{s1}(S, O, P) + w_{hist}\mathcal{L}^{\gamma}_{hist}(S, O) + w_{tv}\mathcal{L}_{tv}(O) \text{, где } w_{style}, w_{hist}, w_{tv} \text{ {{---}} веса соответсвующих функций потерь}$$

{| class="wikitable" style="background-color:#FFF; text-align:center"
|-
! Только второй проход
! Только первый проход
! Результат с $\mathcal{L}_{style}$ вместо $\mathcal{L}_{s1}$
|-
| [[Файл:LPSB18_Figure_5c.png|250px]]
| [[Файл:LPSB18_Figure_5d.png|250px]]
| [[Файл:LPSB18_Figure_5f.png|250px]]
|}

===Итоговый алгоритм===

Теперь осталось запустить две стадии


'''fun''' $Harmonization$(
$I$,// Входное изображение 
$Mask$,// Маска 
$S$// Стилевое изображение 
):
// Грубый проход алгоритма. Каждый слой рассматривается отдельно при построении стилевого маппинга. 
$I' \leftarrow SinglePassHarmonization(I, Mask, S, IndependentMapping, \mathcal{L}_1)$
// Улучшение результата. Стилевой маппинг строится консистентно для всех слоёв. 
$O \leftarrow SinglePassHarmonization(I', Mask, S, ConsistentMapping, \mathcal{L}_2)$
'''return''' $O$


===Постобработка===

[[Файл:LPSB18_Figure_6abc.png|400px|thumb|right|Результат постобработки (без постобработки, после первой стадии, после второй стадии)]]

Описанный алгоритм даёт хорошие результаты в целом, но при ближайшем рассмотрении могут быть артефакты. Поэтому сделаем двухступенчатую постобработку (подробное описание есть в оригинальной статье<ref name="LPSB18"/>):
# Переведём изображение в [https://en.wikipedia.org/wiki/CIELAB_color_space CIELAB] и применим [https://en.wikipedia.org/wiki/Guided_filter Guided filter] для a и b каналов.
# С помощью алгоритма PatchMatch<ref name="BSFG09">https://www.researchgate.net/profile/Eli_Shechtman/publication/220184392_PatchMatch_A_Randomized_Correspondence_Algorithm_for_Structural_Image_Editing/links/02e7e520897b12bf0f000000.pdf Connelly Barnes, Eli Shechtman, Adam Finkelstein, Dan B Goldman (2009)</ref> и того же Guided filter делаем так чтобы все патчи выходного изображения присутсвовали в стилевом (чтобы не было новых объектов или структур)

===Подбор гиперпараметров===

[[Файл:LPSB18_Figure_4.png|400px|thumb|right|Влияние $l_{ref}$ на результат]]

Возьмём $l_{ref}$ = conv4_1.
Выберем следующие веса для слоёв:

{| class="wikitable"
|+ Первый проход
|-
! Параметр
! conv1_1
! conv2_1
! conv3_1
! conv4_1
! conv5_1
|-
! $\alpha$
| $0$
| $0$
| $0$
| $1$
| $0$
|-
! $\beta$
| $0$
| $0$
| $1/3$
| $1/3$
| $1/3$
|}

{| class="wikitable"
|+ Второй проход
|-
! Параметр
! conv1_1
! conv2_1
! conv3_1
! conv4_1
! conv5_1
|-
! $\alpha$
| $0$
| $0$
| $0$
| $1$
| $0$
|-
! $\beta$
| $1/4$
| $1/4$
| $1/4$
| $1/4$
| $0$
|-
! $\gamma$
| $1/2$
| $0$
| $0$
| $1/2$
| $0$
|}

Введём гиперпараметр $\tau$ и возьмём $w_{style} = w_{hist} = \tau$, $w_{tv} = \tau\frac{10}{1 + \exp(10^4 * noise(S) - 25)}$, где $noise(S) = \underset{i,j}{\mathrm{med}}\left\{\left(O^l_{i, j} - O^l_{i-1, j}\right)^2 + \left(O^l_{i, j} - O^l_{i, j-1}\right)^2\right\}$<ref>[https://github.com/luanfujun/deep-painterly-harmonization/blob/a33a9a70366b6baff1cc0291f857b5895b271fc1/neural_paint.lua#L470 код функции $noise$</ref>

Для того чтобы подбирать $\tau$ авторы статьи использовали классификатор стилей изображений. Они взяли VGG-19, обучили её классифицировать $18$ различных стилей. Эти стили были разделены на $3$ категории с разными $\tau$. Используя $Softmax$ можно интерполировать необходимый $\tau$ по следующей таблице:

{| class="wikitable"
|-
! Категория стиля
! Примеры стилей
! $\tau$
|-
! Слабый
| Барокко, Высокое Возрождение
| $1$
|-
! Средний
| Абстрактное Искусство, Постимпрессионизм
| $5$
|-
! Сильный
| Кубизм, Экспрессионизм
| $10$
|}

===Примеры===

{|
! Исходное изображение
! Простая вставка
! Результат
! Постобработка
|-
| [[Файл:5_target.jpg|300px]]
| [[Файл:5_naive.jpg|300px]]
| [[Файл:5_final_res.png|300px]]
| [[Файл:5_final_res2.png|300px]]
|-
| [[Файл:6_target.jpg|300px]]
| [[Файл:6_naive.jpg|300px]]
| [[Файл:6_final_res.png|300px]]
| [[Файл:6_final_res2.png|300px]]
|-
| [[Файл:10_target.jpg|300px]]
| [[Файл:10_naive.jpg|300px]]
| [[Файл:10_final_res.png|300px]]
| [[Файл:10_final_res2.png|300px]]
|}

==Глубокий блендинг==



Алгоритм глубокого блендинга состоит из двух этапов. На первом этапе на стилевое изображения $S$ бесшовно накладывается входное изображение $I$, получается подготовительное блендинг-изображение $B$. На втором этапе $B$ модифицируется таким образом, чтобы результат по стилю был похож на $S$.

Будем считать, что на вход подаются изображения, прошедшие предварительную обработку:
* Используемая для вставки часть $I$ вырезана с помощью маски
* $M$ и $I$ выровнены относительно $S$
* Размеры матриц, задающих $M, S, I$ совпадают

'''Примеры входных данных:'''
{| class="wikitable" style="background-color:#FFF; text-align:center"
|-
! '''Стилевое изображение $S$'''
| [[Файл:Deep bl s1.png|150px]]
| [[Файл:Deep bl s2.png|150px]]
| [[Файл:Deep bl s3.png|150px]]
|-
! '''Накладываемое изображение $I$'''
| [[Файл:Deep bl i1.png|150px]]
| [[Файл:Deep bl i2.png|150px]]
| [[Файл:Deep bl i3.png|150px]]
|}

На обоих этапах алгоритм минимизирует взвешенную сумму следующих функций потерь:
* [[Блендинг_изображений#content_loss_def|Функция потерь содержания]] $\mathcal{L}_{cont}$ для сохранения содержания накладываемого изображения $I$
* [[Блендинг_изображений#style_loss_def|Функция потерь стиля]] $\mathcal{L}_{style}$ для переноса стиля изображения $S$ на $I$
* [[Блендинг_изображений#hist_loss_def|Гистограмная функция потерь]] $\mathcal{L}_{hist}$ для стабилизации переноса стиля
* [[Блендинг_изображений#tv_loss_def|Функция потерь полного отклонения]] $\mathcal{L}_{tv}$ для удаления шумов
* [[Блендинг_изображений#grad_loss_def|Градиентная функция потерь]] $\mathcal{L}_{grad}$ для бесшовности наложения

Для подсчета $\mathcal{L}_{style}$ и $\mathcal{L}_{content}$ авторами статьи<ref name='ZWS20'>[https://openaccess.thecvf.com/content_WACV_2020/papers/Zhang_Deep_Image_Blending_WACV_2020_paper.pdf Deep Image Blending] Lingzhi Zhang, Tarmily Wen, Jianbo Shi (2020)</ref> использовалась сеть VGG-19<ref name="SZ14"/>, обученная на ImageNet<ref name="ImageNet">https://image-net.org/papers/imagenet_cvpr09.pdf J. Deng, W. Dong, R. Socher, L.-J. Li, K. Li, and L. FeiFei. Imagenet: A large-scale hierarchical image database</ref>.

{{Определение
|definition =
'''Простой вставкой''' (англ. ''copy and paste'') $CAP(M, S, I)$ будем назвать изображение, полученное наложением части изображения $I$, заданной маской $M$, на изображение $S$.
$CAP(M, S, I) = I \odot M + S \odot (1 - M)$, где $\odot$ {{---}} покомпонентное умножение. }}

{{Определение
|definition =
'''Дискретный оператор Лапласа''' (фильтр Лапласа) $\mathbf{D}^2$ {{---}} аналог непрерывного оператора Лапласа $\nabla^2$, который позволяет выделять контуры изображения.
$$\mathbf{D}^2=\begin{bmatrix}0 & 1 & 0\\1 & -4 & 1\\0 & 1 & 0\end{bmatrix}$$ }}

** TODO картиночка**

Чтобы комбинировать решение задачи бесшовного наложения [[Блендинг изображений#Блендинг Пуассона|методом Пуассона]] с остальными ограничениями, авторы статьи<ref name='ZWS20'/> предлагают использовать функцию потерь $\mathcal{L}_{grad}$. Для сохранения контуров изображений $S$ и $I$ в области вставки используется дискретный оператор Лапласа.

{{Определение
|id=grad_loss_def
|definition =
$\mathcal{L}_{grad}(S, I, M, O) = \displaystyle\frac{1}{2HW}\displaystyle\sum_{m=1}^H \displaystyle\sum_{n=1}^W \left[ \mathbf{D}^2 B - \left(\mathbf{D}^2 S + \mathbf{D}^2 I\right) \right]^2_{mn}$ {{---}} градиентная функция потерь (англ. ''Possion gradient loss''). $H, W$ {{---}} высота и ширина изображений. $B = CAP(M, S, O)$ {{---}} блендинговое изображение, оптимизируемое относительно $O$. }}

Рассмотрим область $\overline{\Omega} = \{\;p \;| \;M_p = 0\; \}$. Заметим, что градиент $I$ в $\overline{\Omega}$ равен нулю. Тогда градиенты $S$ и $B$ совпадают, и задача минимизации $\mathcal{L}_{grad}$ решается только в области вставки.

=== Первый этап ===
На первом этапе изображение $I$ накладывается на фоновое изображение $S$ таким образом, чтобы были незаметны швы.
Построение начинается с белого шума $Z$, который оптимизируется в области вставки путем минимизации суммарной функции потерь $\mathcal{L}_{total}$, представленной взвешенной суммой всех функций потерь, описанных выше:
$$ \mathcal{L}_{total}(Z) = w_{grad}\mathcal{L}_{grad}(I, S, B) + w_{cont}\mathcal{L}_{cont}(I, M, Z) + w_{style}\mathcal{L}_{style}(S, B) + w_{tv}\mathcal{L}_{tv}(B) + w_{hist}\mathcal{L}_{hist}(S, B) $$
Отметим, что $\mathcal{L}_{cont}$ зависит от маски и отвечает за сохранение содержания $I$ в области вставки.

Отличительной чертой этого этапа является использование функции потерь $\mathcal{L}_{grad}$, приближающей градиент результата к градиенту $I$ в области наложения, за счет чего достигается бесшовность. Для вычисления производных второго порядка используется фильтр Лапласа.

В результате получается подготовительное блендинг-изображение $B$:
$$
B_p =
\begin{cases}
Z_p,\; \text{если } M_p = 1 \\
S_p,\; \text{иначе }
\end{cases}
$$


'''fun''' $SeamlessBlending$(
$I$, // Входное изображение 
$M$, // Маска 
$S$ // Стилевое изображение 
):
// Инициализируем первое приближение белым шумом 
$Z \leftarrow RandomNoise() $
$B \leftarrow CAP(M, S, Z)$
// Определим суммарную функцию потерь с весами слагаемых $w$
$\mathcal{L}_{total}(Z) \leftarrow w_{grad}\mathcal{L}_{grad}(I, S, B) + w_{cont}\mathcal{L}_{cont}(I, M, Z) + w_{style}\mathcal{L}_{style}(S, B) + w_{tv}\mathcal{L}_{tv}(B) + w_{hist}\mathcal{L}_{hist}(S, B)$
// С помощью алгоритма L-BFGS ищем изображение $Z$, которое минимизирует $\mathcal{L}_{total}$ 
$Z \leftarrow Reconstruct(\mathcal{L}_{total}, Z)$
'''return''' $CAP(M, S, Z)$


=== Второй этап ===

Второй этап алгоритма представляет собой модификацию полученного на первом этапе блендинг-изображения $B$ таким образом, чтобы стиль изображения был наиболее близок к стилю $S$.

В отличие от предыдущего этапа, функция потерь не включает в себя $\mathcal{L}_{grad}$:
$$\mathcal{L}_{total}(O) = w_{cont}\mathcal{L}_{cont}(B, O) + w_{style}\mathcal{L}_{style}(S, O) + w_{tv}\mathcal{L}_{tv}(O) + w_{hist}\mathcal{L}_{hist}(S, O)$$

Минимизация происходит относительно результата алгоритма $O$, которой инициализируется изображением $B$.


'''fun''' $StyleRefinement$(
$B$, // Подготовительное блендинг-изображение, результат первого этапа 
$M$, // Маска 
$S$ // Стилевое изображение 
):
$O \leftarrow B$
// Определим суммарную функцию потерь с весами слагаемых $w$
$\mathcal{L}_{total}(O) \leftarrow w_{cont}\mathcal{L}_{cont}(B, O) + w_{style}\mathcal{L}_{style}(S, O) + w_{tv}\mathcal{L}_{tv}(O) + w_{hist}\mathcal{L}_{hist}(S, O)$
// С помощью алгоритма L-BFGS ищем изображение $O$, которое минимизирует $\mathcal{L}_{total}$ 
$O \leftarrow Reconstruct(\mathcal{L}_{total}, O)$
'''return''' $O$


{|
! После первого этапа
! После обоих этапов
|-
| [[Файл:1_first_pass.png|300px]]
| [[Файл:1_second_pass.png|300px]]
|-
| [[Файл:3_first_pass.png|300px]]
| [[Файл:3_second_pass.png|300px]]
|-
| [[Файл:5_first_pass.png|300px]]
| [[Файл:5_second_pass.png|300px]]
|}

===Детали реализации===

{| class="wikitable"
|+ Веса функций потерь
|-
! Этап
! $w_{grad}$
! $w_{cont}$
! $w_{style}$
! $w_{hist}$
! $w_{tv}$
|-
! $1$
| $10^5$
| $1$
| $10^5$
| $1$
| $10^{-6}$
|-
! $2$
| $0$
| $1$
| $10^7$
| $1$
| $10^{-6}$
|}

Для подсчета $\mathcal{L}_{style}$ используются слои $conv{1_2}, conv{2_2}, conv{3_3}, conv{4_3}$ $VGG$, для $\mathcal{L}_{cont}$ {{---}} $conv{2_2}$.

На обоих этапах максимальное количество итераций алгоритма L-BFGS {{---}} $1000$.

=== Примеры ===
[[Файл:МЛ блендинг пример.png|1000px]]

==Ссылки==

[https://en.wikipedia.org/wiki/Gramian_matrix Матрица Грама (англ.)]

==Примечания==

Блендинг изображений

2021-01-11T18:23:39Z

Npostnikova: Удаляем картиночки

{{Определение
|definition =
'''Блендинг изображений''' (англ. ''image blending'') {{---}} метод, позволяющий вставить часть одного изображения в другое таким образом, чтобы композиция изображений выглядела естественно, без швов на границах вставки и соответсвующими цветами и текстурами. }}

==Блендинг Пуассона==
[[Файл:Poisson int1.png|thumb|right|300px|Рис. $1.1$. Пример перепада яркости при простой вставке]]
[[Файл:Poisson int2.png|thumb|right|300px|Рис. $1.2$. Результат применения блендинга Пуассона]]

Простая вставка одного изображения поверх другого нередко влечет заметный перепад яркости на границе вставки (рис. $1.1$). Метод Пуассона заключается в сглаживании этого перепада (рис. $1.2$) с целью сделать дефект менее заметным, используя градиент вставляемого изображения и значения пикселей фонового изображения на границе вставки.

'''Замечание:''' Для RGB изображений задача минимизации решается для каждого цветового канала отдельно.

Давайте обозначим за $S$ изображение, которое служит фоном, а за $I$ {{---}} изображение, вставляемое поверх $S$. Область вставки будем задавать двоичной маской $M$, содержащей единицы в области наложения. Например:
{| class="wikitable" style="background-color:#FFF; text-align:center"
|-
! Фоновое изображение $S$
! Накладываемое изображение $I$
! Маска $M$
|-
| [[Файл:Poisson_cat.jpg|200px]]
| [[Файл:Poisson_cherry.jpg|200px]]
| [[Файл:Poisson_cherry_mask.png|200px]]
|}

=== Идея подхода ===
Пусть замкнутое множество $P \subset \mathbb{R}^2$ {{---}} область, на которой определено изображение $S$, а замкнутое множество $\Omega \subset P$ с границей $\partial\Omega$ и внутренностью $int(\Omega)$ {{---}} область вставки изображения $I$.

Пусть $f_S$ {{---}} скалярная функция, определенная на $P \setminus int(\Omega)$, задает фоновое изображение $S$; $f$ {{---}} неизвестная скалярная функция, определенная на $int(\Omega)$, задает, каким образом должно выглядеть результат блендинга в области вставки.

$v_I$ {{---}} векторное поле, определенное на $\Omega$. В качестве $v_I$ возьмем градиент вставляемого изображения $I$: $v_I = \nabla f_I$

Нашей задачей является поиск такой функции $f$, чтобы блендинговое изображение выглядело реалистично. Для этого минимизируем разность градиента функции $f$ и векторного поля $v_I$, считая, что $f = f_S$ на границе $\Omega$.
$$
\underset{f}{\mathrm{min}} \underset{\Omega}{\iint} |\nabla f - v_I|^2, \text{где } f|_{\partial \Omega} = f_S|_{\partial \Omega}
$$
Решение задачи минимизации является единственным решением уравнения Пуассона для граничных условий Дирихле.
$$\nabla^2 f = \nabla^2 f_I \text{ на } \Omega, f|_{\partial \Omega} = f_S|_{\partial \Omega}, \text{где } \nabla^2 \text{{{---}} оператор Лапласа.}$$

=== Дискретный случай ===
Пусть $p$ {{---}} координаты $(x, y)$ пикселя двухмерного изображения. За $Img_p$ обозначим значение пикселя с координатами $p$ изображения $Img$. Пусть $\Omega = \left\{ p\;|\;M_p = 1 \right\}$. Тогда $\partial \Omega$ {{---}} координаты границы вставляемой области, а $int(\Omega)$ {{---}} внутренность области.

Пусть $N_p$ {{---}} множество соседей $p$ (максимум четыре пикселя, имеющих общую границу с $p$, т.е. пиксели со следующими координатами: $(x + 1, y), (x - 1, y), (x, y + 1), (x, y - 1)$). Для всех пар $(p, q)$ таких, что $q \in N_p$, введем $v_{pq} = I_p - I_q$

Введем переменные $O_p, p \in \Omega$. Так как мы хотим сделать результат бесшовным, пиксели $O_p, p \in \partial\Omega$, сделаем равными $S_p$. Для $p, q \in int(\Omega),\; q \in N_p$ постараемся найти такое $O$, чтобы разность $O_p$ и $O_q$ была близка к $v_{pq}$. Для этого решим задачу минимизации:

$$
\underset{O_p,\; p \in \Omega}{\mathrm{min}}\; \underset{p, q \in \Omega}{\sum}\; \left(O_p - O_q - v_{pq}\right)^2, \text{где } O_p = S_p, p \in \partial \Omega
$$

Заметим, что функция, которую мы хотим минимизировать, квадратична относительно переменных $O_p, p \in int(\Omega)$. Для решения задачи минимизации вычислим частные производные по этим переменным и найдем значения переменных, при которых частные производные будут равны нулю.
$$\frac{\partial{\underset{p, q \in \Omega}{\sum}\; \left(O_p - O_q - v_{pq}\right)^2}}{\partial O_p} = \underset{q \in N_p}{\sum} 2 \left(O_p - O_q - v_{pq}\right) - \underset{q \in N_p}{\sum} 2 \left(O_q - O_p - v_{qp}\right) = 2 \underset{q \in N_p}{\sum} 2 \left(O_p - O_q - v_{pq}\right)$$.

Приравнивая к нулю, получаем: $|N_p| O_p - \underset{q \in N_p}{\sum} O_q = \underset{q \in N_p}{\sum} v_{pq}$.

Добавим условие $O_p = S_p, p \in \partial \Omega$: $\;|N_p| O_p - \underset{q \in N_p \cap int(\Omega)}{\sum} O_q = \underset{q \in N_p \cap \partial \Omega}{\sum} S_q + \underset{q \in N_p}{\sum} v_{pq}$.

Для решения систем уравнений такого вида могут быть использованы итеративные алгоритмы Gauss-Seidel и V-cycle multigrid<ref name="PGB03">[https://www.cs.jhu.edu/~misha/Fall07/Papers/Perez03.pdf Poisson Image Editing] Patrick Perez, Michel Gangnet, Andrew Blake (2003)</ref>.

Получаем значения пикселей $O_p$, $p \in int(\Omega)$. Тогда результат $B$ блендинга Пуассона будет следующим:
$$
B_p =
\begin{cases}
O_p,\; \text{если } p \in int(\Omega) \\
S_p,\; \text{иначе }
\end{cases}
$$

Mетод Пуассона сдвигает цвета накладываемого изображения, сохраняя свойства градиента (т.е. если пиксель $I_{p1}$ был меньше $I_{p2}$, то после преобразования $I_{p1}$ не станет больше $I_{p2}$), однако само значение градиета может получиться другим.<ref name='clear_poisson'>https://erkaman.github.io/posts/poisson_blending.html Poisson blending для самых маленьких</ref>

==Трансфер стиля==
{{main|Neural Style Transfer}}
Прежде чем переходить к гармонизации картин, рассмотрим задачу трансфера стиля с изображения $S$ на изображение $I$. Для этого используются выходы скрытых слоёв [[Сверточные нейронные сети | свёрточной нейронной сети]] VGG-19<ref name="SZ14">[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition] Karen Simonyan, Andrew Zisserman (2014)</ref>.

Основная идея генерации изображения {{---}} решение оптимизационной задачи $\mathcal{L}(I, S, O) \xrightarrow[O]{} min$, где $O$ {{---}} итоговое изображение, $\mathcal{L}(I, S, O)$ {{---}} [[Функция потерь и эмпирический риск | функция потерь]]. Такую задачу можно решать градиентным спуском в пространстве изображений используя [[обратное распространение ошибки | метод обратного распространения ошибки]].
{{Определение
|definition =
Пусть $F^l\left[I\right] \in \mathcal{R}^{N_l \times M_l}$ {{---}} выход $l$-го слоя сети на изображении $I$. Представим его как матрицу $N_l \times M_l$, где $N_l$ {{---}} количество фильтров в $l$-ом слое, $M_l$ {{---}} количество признаков (высота, умноженная на ширину). Тогда $F^l_{ij}\left[I\right]$ {{---}} $j$-ый признак $i$-го фильтра в $l$-ом слое. $F^l\left[I\right]$ отражает содержание изображения.}}
{{Определение
|definition =
'''Матрица Грама''' (англ. ''Gram matrix'') {{---}} матрица попарных скалярных произведений. В нашем случае матрица отражает статистику выходов фильтров независимо от их расположения, что, в свою очередь, отражает стиль изображения.
$$G^l\left[I\right] \in \mathcal{R}^{N_l \times N_l}$$
$$G^l\left[I\right] = F^l\left[I\right]F^l\left[I\right]^T$$}}

===Алгоритм Гатиса<ref name="GEB16">[https://rn-unison.github.io/articulos/style_transfer.pdf Image Style Transfer Using Convolutional Neural Networks] Leon A. Gatys, Alexander S. Ecker, Matthias Bethge (2016)</ref>===

{{Определение
|id=content_loss_def
|definition =
$\mathcal{L}^{\alpha}_{content}(I, O) = \displaystyle\sum_l \frac{\alpha_l}{2 N_l M_l}\displaystyle\sum_{i, j} \left(F^l_{ij}\left[I\right] - F^l_{ij}\left[O\right]\right)^2$ {{---}} функция потерь содержания, где
$\alpha_l$ {{---}} вклад $l$-го слоя в функцию потерь<ref name="NotOriginalDef">Здесь используется определение функции потерь, которое отличается от статьи Гатиса, но используется в таком виде в статье про гармонизацию.</ref>.}}
{{Определение
|id=style_loss_def
|definition =
$\mathcal{L}^{\beta}_{style}(I, O) = \displaystyle\sum_l \frac{\beta_l}{2N_l^2} \displaystyle\sum_{i, j} \left(G^l_{ij}\left[I\right] - G^l_{ij}\left[O\right]\right)^2$ {{---}} функция потерь стиля, где
$\beta_l$ {{---}} вклад $l$-го слоя в функцию потерь<ref name="NotOriginalDef"/>.}}

Итоговой функцией потерь будет $\mathcal{L}_{Gatys} = \mathcal{L}^{\alpha}_{content}(I, O) + w_{style}\mathcal{L}^{\beta}_{style}(I, O)$<ref name="NotOriginalDef"/>. Вес $w_{style}$, векторы $\alpha$ и $\beta$ являются, в некотором смысле, гиперпараметрами алгоритма, которые нужно подбирать.

Авторы статьи показывают, что в качестве начальной инициализации можно брать изображение $I$, изображение $S$ или белый шум {{---}} алгоритм даёт похожие результаты в этих случаях.

[[Файл:GEB16_Figure_6.png|1000px|thumb|center|Начальная инициализация: '''A)''' $O_0 = I$; '''B)''' $O_0 = S$; '''C)''' $O_0 = random$, $4$ примера инициализированы различными белыми шумами ]]

===Histogram Loss===

Авторы другой статьи<ref name="WRB17">[https://arxiv.org/pdf/1701.08893.pdf Stable and Controllable Neural Texture Synthesis and Style Transfer Using Histogram Losses] Eric Risser, Pierre Wilmot, Connelly Barnes (2017)</ref> показывают, что результаты, полученные с помощью $\mathcal{L}_{Gatys}$ нестабильны и предложили другую функцию потерь, основанную на ''сопоставлении гистограмм''.
{{Определение
|definition =
'''Сопоставление гистограмм''' (англ. ''Histogram matching'') {{---}} метод обработки изображения, после которого гистограмма изображения совпадает с целевой гистограммой<ref name="HistMatch">https://en.wikipedia.org/wiki/Histogram_matching</ref>.}}
{{Определение
|definition =
Пусть $R = histmatch(S, O)$ {{---}} отображение пикселей такое, что гистограмма $S$ совпадает с гистограммой $R(O)$.}}
{{Определение
|id=hist_loss_def
|definition =
$\mathcal{L}^{\gamma}_{hist}(S, O) = \displaystyle\sum_l \gamma_l \displaystyle\sum_{i, j} \left(F^l_{ij}\left[O\right] - R\left(F^l_{ij}\left[O\right]\right)\right)^2$ {{---}} функция потерь гистограмм, где
$\gamma_l$ {{---}} вклад $l$-го слоя в функцию потерь}}

'''Замечание:''' Если в случае остальных функций потерь нетрудно посчитать производную, то здесь могут возникнуть проблемы. Но поскольку $\displaystyle\frac{\partial \mathcal{L}_{hist}}{\partial F^l_{ij}\left[O\right]}$ является нулём почти везде, авторы предлагают при подсчёте производной считать $R\left(F^l_{ij}\left[O\right]\right)$ константой, которая не зависит от $O$.

===Total variation loss===

Также добавим ещё одну функцию потерь, которая удаляет шумы, при этом сохраняя важные детали изображения<ref name="MV15">[https://arxiv.org/pdf/1412.0035.pdf Understanding Deep Image Representations by Inverting Them] Aravindh Mahendran, Andrea Vedaldi (2015)</ref><ref name="JAFF16">[https://arxiv.org/pdf/1603.08155.pdf Perceptual Losses for Real-Time Style Transfer and Super-Resolution] Justin Johnson, Alexandre Alahi, Li Fei-Fei (2016)</ref>.
{{Определение
|id=tv_loss_def
|definition =
$\mathcal{L}_{tv}(O) = \displaystyle\sum_{i, j} \left(O^l_{i, j} - O^l_{i-1, j}\right)^2 + \left(O^l_{i, j} - O^l_{i, j-1}\right)^2$ {{---}} общая вариационная потеря (англ. ''Total variation loss'').}}

==Глубокая гармонизация картин<ref name="LPSB18">https://arxiv.org/pdf/1804.03189.pdf Fujun Luan, Sylvain Paris, Eli Shechtman, Kavita Bala (2018)</ref>==

Для того чтобы вставить изображение в картину или рисунок нужно не только сделать бесшовный переход и изменить цвета, но ещё и изменить текстуру вставляемого изображения, например, сымитировать мазки кистью. Используем для этого комбинацию подходов из других статей<ref name="GEB16"/><ref name="JAFF16"/><ref name="WRB17"/>.

[[Файл:LPSB18_Figure_1.png|1000px|thumb|center|Пример работы алгоритма ''Deep Image Analogy''<ref name="LYY*17">[https://arxiv.org/pdf/1705.01088.pdf Visual Attribute Transfer through Deep Image Analogy] Jing Liao, Yuan Yao, Lu Yuan, Gang Hua, Sing Bing Kang (2017)</ref> ($3$ картинка) и ''Deep Painterly Harmonization''<ref name="LPSB18"/> ($4$ картинка)]]
Алгоритм будет состоять из двух проходов. Первый проход будет делать грубую гармонизацию, а второй {{---}} более тщательную. Отличаться они будут '''стилевым маппингом''' и функциями потерь.

{{Определение
|definition =
'''Стилевым маппингом''' мы будем называть отображение $P : \mathcal{R}^{N_l \times M_l} \rightarrow \mathcal{R}^{N_l \times M_l}$, которое некоторым образом переставляет столбцы матрицы (не обязательно обратимо, то есть столбцы могут теряться и копироваться). Более формально, пусть $p(j)$ {{---}} новая позиция столбца $j$, тогда $P(Q)_{i, p(j)} = Q_{ij}$.}}

Один проход будет состоять из $3$ частей:
# Входное $I$ и стилевое $S$ изображения подаются на вход нейронной сети VGG-19, так мы получаем $F^l_{ij}\left[I\right]$ и $F^l_{ij}\left[S\right]$.
# Для каждого слоя $l$ некоторым алгоритмом $\pi$ cтроится стилевой маппинг $P_l$, который сопоставляет столбцам из $F_l[I]$ столбцы из $F_l[S]$.
# Изображение $O$ восстанавливается градиентным спуском по пространству изображений с использованием функции потерь $\mathcal{L}$.

'''fun''' $SinglePassHarmonization$(
$I$,// Входное изображение 
$M$,// Маска 
$S$,// Стилевое изображение 
$\pi$,// Алгоритм построения стилевого маппинга 
$\mathcal{L}$// Функция потерь 
):
// Строим матрицы $F[I]$ и $F[S]$ с помощью свёрточной сети VGG-19 
$F[I] \leftarrow ComputeNeuralActivations(I)$
$F[S] \leftarrow ComputeNeuralActivations(S)$
// Строим стилевой маппинг 
$P \leftarrow \pi(F[I], M, F[S])$
// Градиентным спуском ищем изображение $O$, которое минимизирует $\mathcal{L}$ 
$O \leftarrow Reconstruct(I, M, S, P, \mathcal{L})$
'''return''' $O$


===Первый проход===

{{Определение
|definition =
'''Вектор активации''' (англ. ''activation vector'') {{---}} это столбец $F_l$.}}

{{Определение
|definition =
'''Патчем''' (англ. ''patch'') для столбца $j$ будем называть тензор $3 \times 3 \times N_l$, который состоит из соседних векторов активации в тензоре выхода свёрточного слоя, с центром в $(x, y)$, где $j = y \times W_l + x$.}}



<div class="tright" style="clear:none">[[Файл:LPSB18_Figure_2c.png|250px|thumb|none|Результаты после второго прохода]]</div>
<div class="tright" style="clear:none">[[Файл:LPSB18_Figure_2b.png|250px|thumb|none|Результаты после первого прохода]]</div>

Первый проход делает грубую гармонизацию, но при этом он хорошо работает с любыми стилями. Здесь используется алгоритм $IndependentMapping$ для построения стилевого маппинга. Этот алгоритм для каждого столбца $j$ в $F_l[I]$ ищет столбец $p(j)$ в $F_l[S]$, такой что евклидово расстояние между патчем $F_l[I]$ с центром $j$ и патчем $F_l[S]$ с центром $p(j)$ минимально (метод ближайшего соседа).


'''fun''' $IndependentMapping$(
$F[I]$,// Выходы слоёв после входного изображения 
$Mask$,// Маска 
$F[S]$// Выходы слоёв после стилевого изображения 
):
// Для всех слоёв от $1$ до $L$ 
'''for''' $l \in [1 : L]$:
// Для всех столбцов от $1$ до $M_l$ 
'''for''' $j \in [1 : M_l]$:
// Рассматриваем патчи только внутри маски, которую нужно масштабировать в соответсвии с размером слоя $l$ 
'''if''' $j \in Resize(Mask, l)$:
// Берём самый похожий стилевой патч и записываем его в маппинг. 
$P_l(j) \leftarrow NearestNeighborIndex(F[I], j, F[S])$
'''return''' $P$


В первом проходе используется модифицированная функция потерь $\mathcal{L}_{Gatys}$, с тем лишь отличием, что в $\mathcal{L}^{\beta}_{style}$ к $F_l[S]$ применяется стилевой маппинг $P_l$.

$$\mathcal{L}_1(I, S, O, P) = \mathcal{L}^{\alpha}_{content}(I, O) + w_{style}\mathcal{L}^{\beta}_{style}(S, O, P) \text{, где } w_{style} \text{ {{---}} вес стилевой функции потерь}$$

'''Замечание:''' при посчёте градиента $\mathcal{L}^{\alpha}_{content}$ используются только пиксели внутри маски<ref>https://github.com/luanfujun/deep-painterly-harmonization/blob/a33a9a70366b6baff1cc0291f857b5895b271fc1/neural_gram.lua#L349</ref>.

===Второй проход===



Второй проход делает более качественную гармонизацию после первого прохода. Здесь мы будем использовать более сложный алгоритм $ConsistentMapping$ построения стилевого маппинга и более сложную функцию потерь. Суть этого алгоритма в том, чтобы найти стилевой мапинг на некотором слое $l_{ref}$ и перенести этот маппинг на остальные слои. Также, мы будем предпочитать маппинги, в которых смежные патчи в $F_l[S]$ остаются смежными после мапинга, чтобы обеспечить пространсвенную согласованность (таким образом мы хотим переносить сложные текстуры более качественно, например, мазки кистью).


'''fun''' $ConsistentMapping$(
$F[I]$,// Выходы слоёв после входного изображения 
$Mask$,// Маска 
$F[S]$// Выходы слоёв после стилевого изображения 
):
// Сначала посчитаем маппинг как в IndependentMapping только для слоя $l_{ref}$ 
'''for''' $j \in [1 : M_{l_{ref}}]$:
'''if''' $j \in Resize(Mask, l_{ref})$:
$P_0(j) \leftarrow NearestNeighborIndex(F[I], j, F[S])$

// Далее обеспечиваем пространсвенную согласованность 
'''for''' $j \in [1 : M_{l_{ref}}]$:
'''if''' $j \in Resize(Mask, l_{ref})$:
$q \leftarrow P_0(j)$
// Инициализируем множество кандидатов на новый маппинг 
$CSet \leftarrow \{q\}$
// Перебираем все смежные патчи 
'''for''' $o \in \left\{N, NE, E, SE, S, SW, W, NW\right\}$:
// Добавляем в кандидаты патч, сосед которого является маппингом для нашего соседа в соответсвующем направлении 
$CSet \leftarrow CSet \cup \left\{P_0(j + o) - o\right\}$
// Среди всех кандидатов выбираем тот, который ближе всего к маппингам наших соседей 
$P_{l_{ref}}(j) \leftarrow \underset{c \in CSet}{\mathrm{argmin}}\displaystyle\sum_o \left\|(F_{l_{ref}}[S]_c - F_{l_{ref}}[S]_{P_0(j + o)}\right\|^2$

// Теперь нужно перенести маппинг для $l_{ref}$ на остальные слои 
'''for''' $l \in [1 : L] \setminus \{l_{ref}\}$:
'''for''' $j \in [1 : M_l]$:
'''if''' $j \in Resize(Mask, l)$:
// Вычисляем позицию $j'$ на слое $l_{ref}$ соответствующую позиции $j$ на слое $l$
$j' \leftarrow ChangeResolution(l, l_{ref}, j)$
// Берём маппинг для позиции $j'$
$q \leftarrow P_{l_{ref}}(j')$
// Переносим позицию $q$ обратно на слой $l$
$P_l(j) \leftarrow ChangeResolution(l_{ref}, l, q)$
'''return''' $P$


При вычислении стилевого маппинга появляется очень много дублирующихся векторов, что даёт не очень хорошие результаты. Поэтому при вычислении матрицы Грама выкинем повторяющиеся векторы. Назовём эту функцию потерь $\mathcal{L}_{s1}$.

$$\mathcal{L}_2(I, S, O, P) = \mathcal{L}^{\alpha}_{content}(I, O) + w_{style}\mathcal{L}^{\beta}_{s1}(S, O, P) + w_{hist}\mathcal{L}^{\gamma}_{hist}(S, O) + w_{tv}\mathcal{L}_{tv}(O) \text{, где } w_{style}, w_{hist}, w_{tv} \text{ {{---}} веса соответсвующих функций потерь}$$

{| class="wikitable" style="background-color:#FFF; text-align:center"
|-
! Только второй проход
! Только первый проход
! Результат с $\mathcal{L}_{style}$ вместо $\mathcal{L}_{s1}$
|-
| [[Файл:LPSB18_Figure_5c.png|250px]]
| [[Файл:LPSB18_Figure_5d.png|250px]]
| [[Файл:LPSB18_Figure_5f.png|250px]]
|}

===Итоговый алгоритм===

Теперь осталось запустить две стадии


'''fun''' $Harmonization$(
$I$,// Входное изображение 
$Mask$,// Маска 
$S$// Стилевое изображение 
):
// Грубый проход алгоритма. Каждый слой рассматривается отдельно при построении стилевого маппинга. 
$I' \leftarrow SinglePassHarmonization(I, Mask, S, IndependentMapping, \mathcal{L}_1)$
// Улучшение результата. Стилевой маппинг строится консистентно для всех слоёв. 
$O \leftarrow SinglePassHarmonization(I', Mask, S, ConsistentMapping, \mathcal{L}_2)$
'''return''' $O$


===Постобработка===

[[Файл:LPSB18_Figure_6abc.png|400px|thumb|right|Результат постобработки (без постобработки, после первой стадии, после второй стадии)]]

Описанный алгоритм даёт хорошие результаты в целом, но при ближайшем рассмотрении могут быть артефакты. Поэтому сделаем двухступенчатую постобработку (подробное описание есть в оригинальной статье<ref name="LPSB18"/>):
# Переведём изображение в [https://en.wikipedia.org/wiki/CIELAB_color_space CIELAB] и применим [https://en.wikipedia.org/wiki/Guided_filter Guided filter] для a и b каналов.
# С помощью алгоритма PatchMatch<ref name="BSFG09">https://www.researchgate.net/profile/Eli_Shechtman/publication/220184392_PatchMatch_A_Randomized_Correspondence_Algorithm_for_Structural_Image_Editing/links/02e7e520897b12bf0f000000.pdf Connelly Barnes, Eli Shechtman, Adam Finkelstein, Dan B Goldman (2009)</ref> и того же Guided filter делаем так чтобы все патчи выходного изображения присутсвовали в стилевом (чтобы не было новых объектов или структур)

===Подбор гиперпараметров===

[[Файл:LPSB18_Figure_4.png|400px|thumb|right|Влияние $l_{ref}$ на результат]]

Возьмём $l_{ref}$ = conv4_1.
Выберем следующие веса для слоёв:

{| class="wikitable"
|+ Первый проход
|-
! Параметр
! conv1_1
! conv2_1
! conv3_1
! conv4_1
! conv5_1
|-
! $\alpha$
| $0$
| $0$
| $0$
| $1$
| $0$
|-
! $\beta$
| $0$
| $0$
| $1/3$
| $1/3$
| $1/3$
|}

{| class="wikitable"
|+ Второй проход
|-
! Параметр
! conv1_1
! conv2_1
! conv3_1
! conv4_1
! conv5_1
|-
! $\alpha$
| $0$
| $0$
| $0$
| $1$
| $0$
|-
! $\beta$
| $1/4$
| $1/4$
| $1/4$
| $1/4$
| $0$
|-
! $\gamma$
| $1/2$
| $0$
| $0$
| $1/2$
| $0$
|}

Введём гиперпараметр $\tau$ и возьмём $w_{style} = w_{hist} = \tau$, $w_{tv} = \tau\frac{10}{1 + \exp(10^4 * noise(S) - 25)}$, где $noise(S) = \underset{i,j}{\mathrm{med}}\left\{\left(O^l_{i, j} - O^l_{i-1, j}\right)^2 + \left(O^l_{i, j} - O^l_{i, j-1}\right)^2\right\}$<ref>[https://github.com/luanfujun/deep-painterly-harmonization/blob/a33a9a70366b6baff1cc0291f857b5895b271fc1/neural_paint.lua#L470 код функции $noise$</ref>

Для того чтобы подбирать $\tau$ авторы статьи использовали классификатор стилей изображений. Они взяли VGG-19, обучили её классифицировать $18$ различных стилей. Эти стили были разделены на $3$ категории с разными $\tau$. Используя $Softmax$ можно интерполировать необходимый $\tau$ по следующей таблице:

{| class="wikitable"
|-
! Категория стиля
! Примеры стилей
! $\tau$
|-
! Слабый
| Барокко, Высокое Возрождение
| $1$
|-
! Средний
| Абстрактное Искусство, Постимпрессионизм
| $5$
|-
! Сильный
| Кубизм, Экспрессионизм
| $10$
|}

===Примеры===

{|
! Исходное изображение
! Простая вставка
! Результат
! Постобработка
|-
| [[Файл:5_target.jpg|300px]]
| [[Файл:5_naive.jpg|300px]]
| [[Файл:5_final_res.png|300px]]
| [[Файл:5_final_res2.png|300px]]
|-
| [[Файл:6_target.jpg|300px]]
| [[Файл:6_naive.jpg|300px]]
| [[Файл:6_final_res.png|300px]]
| [[Файл:6_final_res2.png|300px]]
|-
| [[Файл:10_target.jpg|300px]]
| [[Файл:10_naive.jpg|300px]]
| [[Файл:10_final_res.png|300px]]
| [[Файл:10_final_res2.png|300px]]
|}

==Глубокий блендинг==



Алгоритм глубокого блендинга состоит из двух этапов. На первом этапе на стилевое изображения $S$ бесшовно накладывается входное изображение $I$, получается подготовительное блендинг-изображение $B$. На втором этапе $B$ модифицируется таким образом, чтобы результат по стилю был похож на $S$.

Будем считать, что на вход подаются изображения, прошедшие предварительную обработку:
* Используемая для вставки часть $I$ вырезана с помощью маски
* $M$ и $I$ выровнены относительно $S$
* Размеры матриц, задающих $M, S, I$ совпадают

'''Примеры входных данных:'''
{| class="wikitable" style="background-color:#FFF; text-align:center"
|-
! '''Стилевое изображение $S$'''
| [[Файл:Deep bl s1.png|150px]]
| [[Файл:Deep bl s2.png|150px]]
| [[Файл:Deep bl s3.png|150px]]
|-
! '''Накладываемое изображение $I$'''
| [[Файл:Deep bl i1.png|150px]]
| [[Файл:Deep bl i2.png|150px]]
| [[Файл:Deep bl i3.png|150px]]
|}

На обоих этапах алгоритм минимизирует взвешенную сумму следующих функций потерь:
* [[Блендинг_изображений#content_loss_def|Функция потерь содержания]] $\mathcal{L}_{cont}$ для сохранения содержания накладываемого изображения $I$
* [[Блендинг_изображений#style_loss_def|Функция потерь стиля]] $\mathcal{L}_{style}$ для переноса стиля изображения $S$ на $I$
* [[Блендинг_изображений#hist_loss_def|Гистограмная функция потерь]] $\mathcal{L}_{hist}$ для стабилизации переноса стиля
* [[Блендинг_изображений#tv_loss_def|Функция потерь полного отклонения]] $\mathcal{L}_{tv}$ для удаления шумов
* [[Блендинг_изображений#grad_loss_def|Градиентная функция потерь]] $\mathcal{L}_{grad}$ для бесшовности наложения

Для подсчета $\mathcal{L}_{style}$ и $\mathcal{L}_{content}$ авторами статьи<ref name='ZWS20'>[https://openaccess.thecvf.com/content_WACV_2020/papers/Zhang_Deep_Image_Blending_WACV_2020_paper.pdf Deep Image Blending] Lingzhi Zhang, Tarmily Wen, Jianbo Shi (2020)</ref> использовалась сеть VGG-19<ref name="SZ14"/>, обученная на ImageNet<ref name="ImageNet">https://image-net.org/papers/imagenet_cvpr09.pdf J. Deng, W. Dong, R. Socher, L.-J. Li, K. Li, and L. FeiFei. Imagenet: A large-scale hierarchical image database</ref>.

{{Определение
|definition =
'''Простой вставкой''' (англ. ''copy and paste'') $CAP(M, S, I)$ будем назвать изображение, полученное наложением части изображения $I$, заданной маской $M$, на изображение $S$.
$CAP(M, S, I) = I \odot M + S \odot (1 - M)$, где $\odot$ {{---}} покомпонентное умножение. }}

{{Определение
|definition =
'''Дискретный оператор Лапласа''' (фильтр Лапласа) $\mathbf{D}^2$ {{---}} аналог непрерывного оператора Лапласа $\nabla^2$, который позволяет выделять контуры изображения.
$$\mathbf{D}^2=\begin{bmatrix}0 & 1 & 0\\1 & -4 & 1\\0 & 1 & 0\end{bmatrix}$$ }}

** TODO картиночка**

Чтобы комбинировать решение задачи бесшовного наложения [[Блендинг изображений#Блендинг Пуассона|методом Пуассона]] с остальными ограничениями, авторы статьи<ref name='ZWS20'/> предлагают использовать функцию потерь $\mathcal{L}_{grad}$. Для сохранения контуров изображений $S$ и $I$ в области вставки используется дискретный оператор Лапласа.

{{Определение
|id=grad_loss_def
|definition =
$\mathcal{L}_{grad}(S, I, M, O) = \displaystyle\frac{1}{2HW}\displaystyle\sum_{m=1}^H \displaystyle\sum_{n=1}^W \left[ \mathbf{D}^2 B - \left(\mathbf{D}^2 S + \mathbf{D}^2 I\right) \right]^2_{mn}$ {{---}} градиентная функция потерь (англ. ''Possion gradient loss''). $H, W$ {{---}} высота и ширина изображений. $B = CAP(M, S, O)$ {{---}} блендинговое изображение, оптимизируемое относительно $O$. }}

Рассмотрим область $\overline{\Omega} = \{\;p \;| \;M_p = 0\; \}$. Заметим, что градиент $I$ в $\overline{\Omega}$ равен нулю. Тогда градиенты $S$ и $B$ совпадают, и задача минимизации $\mathcal{L}_{grad}$ решается только в области вставки.

=== Первый этап ===
На первом этапе изображение $I$ накладывается на фоновое изображение $S$ таким образом, чтобы были незаметны швы.
Построение начинается с белого шума $Z$, который оптимизируется в области вставки путем минимизации суммарной функции потерь $\mathcal{L}_{total}$, представленной взвешенной суммой всех функций потерь, описанных выше:
$$ \mathcal{L}_{total}(Z) = w_{grad}\mathcal{L}_{grad}(I, S, B) + w_{cont}\mathcal{L}_{cont}(I, M, Z) + w_{style}\mathcal{L}_{style}(S, B) + w_{tv}\mathcal{L}_{tv}(B) + w_{hist}\mathcal{L}_{hist}(S, B) $$
Отметим, что $\mathcal{L}_{cont}$ зависит от маски и отвечает за сохранение содержания $I$ в области вставки.

Отличительной чертой этого этапа является использование функции потерь $\mathcal{L}_{grad}$, приближающей градиент результата к градиенту $I$ в области наложения, за счет чего достигается бесшовность. Для вычисления производных второго порядка используется фильтр Лапласа.

В результате получается подготовительное блендинг-изображение $B$:
$$
B_p =
\begin{cases}
Z_p,\; \text{если } M_p = 1 \\
S_p,\; \text{иначе }
\end{cases}
$$


'''fun''' $SeamlessBlending$(
$I$, // Входное изображение 
$M$, // Маска 
$S$ // Стилевое изображение 
):
// Инициализируем первое приближение белым шумом 
$Z \leftarrow RandomNoise() $
$B \leftarrow CAP(M, S, Z)$
// Определим суммарную функцию потерь с весами слагаемых $w$
$\mathcal{L}_{total}(Z) \leftarrow w_{grad}\mathcal{L}_{grad}(I, S, B) + w_{cont}\mathcal{L}_{cont}(I, M, Z) + w_{style}\mathcal{L}_{style}(S, B) + w_{tv}\mathcal{L}_{tv}(B) + w_{hist}\mathcal{L}_{hist}(S, B)$
// С помощью алгоритма L-BFGS ищем изображение $Z$, которое минимизирует $\mathcal{L}_{total}$ 
$Z \leftarrow Reconstruct(\mathcal{L}_{total}, Z)$
'''return''' $CAP(M, S, Z)$


=== Второй этап ===

Второй этап алгоритма представляет собой модификацию полученного на первом этапе блендинг-изображения $B$ таким образом, чтобы стиль изображения был наиболее близок к стилю $S$.

В отличие от предыдущего этапа, функция потерь не включает в себя $\mathcal{L}_{grad}$:
$$\mathcal{L}_{total}(O) = w_{cont}\mathcal{L}_{cont}(B, O) + w_{style}\mathcal{L}_{style}(S, O) + w_{tv}\mathcal{L}_{tv}(O) + w_{hist}\mathcal{L}_{hist}(S, O)$$

Минимизация происходит относительно результата алгоритма $O$, которой инициализируется изображением $B$.


'''fun''' $StyleRefinement$(
$B$, // Подготовительное блендинг-изображение, результат первого этапа 
$M$, // Маска 
$S$ // Стилевое изображение 
):
$O \leftarrow B$
// Определим суммарную функцию потерь с весами слагаемых $w$
$\mathcal{L}_{total}(O) \leftarrow w_{cont}\mathcal{L}_{cont}(B, O) + w_{style}\mathcal{L}_{style}(S, O) + w_{tv}\mathcal{L}_{tv}(O) + w_{hist}\mathcal{L}_{hist}(S, O)$
// С помощью алгоритма L-BFGS ищем изображение $O$, которое минимизирует $\mathcal{L}_{total}$ 
$O \leftarrow Reconstruct(\mathcal{L}_{total}, O)$
'''return''' $O$


{|
! После первого этапа
! После обоих этапов
|-
| [[Файл:1_first_pass.png|300px]]
| [[Файл:1_second_pass.png|300px]]
|-
| [[Файл:3_first_pass.png|300px]]
| [[Файл:3_second_pass.png|300px]]
|-
| [[Файл:5_first_pass.png|300px]]
| [[Файл:5_second_pass.png|300px]]
|}

===Детали реализации===

{| class="wikitable"
|+ Веса функций потерь
|-
! Этап
! $w_{grad}$
! $w_{cont}$
! $w_{style}$
! $w_{hist}$
! $w_{tv}$
|-
! $1$
| $10^5$
| $1$
| $10^5$
| $1$
| $10^{-6}$
|-
! $2$
| $0$
| $1$
| $10^7$
| $1$
| $10^{-6}$
|}

Для подсчета $\mathcal{L}_{style}$ используются слои $conv{1_2}, conv{2_2}, conv{3_3}, conv{4_3}$ $VGG$, для $\mathcal{L}_{cont}$ {{---}} $conv{2_2}$.

На обоих этапах максимальное количество итераций алгоритма L-BFGS {{---}} $1000$.

=== Примеры ===
[[Файл:МЛ блендинг пример.png|1000px]]

==Ссылки==

[https://en.wikipedia.org/wiki/Gramian_matrix Матрица Грама (англ.)]

==Примечания==

Блендинг изображений

2021-01-11T18:23:09Z

Npostnikova: Картиночки

{{Определение
|definition =
'''Блендинг изображений''' (англ. ''image blending'') {{---}} метод, позволяющий вставить часть одного изображения в другое таким образом, чтобы композиция изображений выглядела естественно, без швов на границах вставки и соответсвующими цветами и текстурами. }}

==Блендинг Пуассона==
[[Файл:Poisson int1.png|thumb|right|300px|Рис. $1.1$. Пример перепада яркости при простой вставке]]
[[Файл:Poisson int2.png|thumb|right|300px|Рис. $1.2$. Результат применения блендинга Пуассона]]

Простая вставка одного изображения поверх другого нередко влечет заметный перепад яркости на границе вставки (рис. $1.1$). Метод Пуассона заключается в сглаживании этого перепада (рис. $1.2$) с целью сделать дефект менее заметным, используя градиент вставляемого изображения и значения пикселей фонового изображения на границе вставки.

'''Замечание:''' Для RGB изображений задача минимизации решается для каждого цветового канала отдельно.

Давайте обозначим за $S$ изображение, которое служит фоном, а за $I$ {{---}} изображение, вставляемое поверх $S$. Область вставки будем задавать двоичной маской $M$, содержащей единицы в области наложения. Например:
{| class="wikitable" style="background-color:#FFF; text-align:center"
|-
! Фоновое изображение $S$
! Накладываемое изображение $I$
! Маска $M$
|-
| [[Файл:Poisson_cat.jpg|200px]]
| [[Файл:Poisson_cherry.jpg|200px]]
| [[Файл:Poisson_cherry_mask.png|200px]]
|}

=== Идея подхода ===
Пусть замкнутое множество $P \subset \mathbb{R}^2$ {{---}} область, на которой определено изображение $S$, а замкнутое множество $\Omega \subset P$ с границей $\partial\Omega$ и внутренностью $int(\Omega)$ {{---}} область вставки изображения $I$.

Пусть $f_S$ {{---}} скалярная функция, определенная на $P \setminus int(\Omega)$, задает фоновое изображение $S$; $f$ {{---}} неизвестная скалярная функция, определенная на $int(\Omega)$, задает, каким образом должно выглядеть результат блендинга в области вставки.

$v_I$ {{---}} векторное поле, определенное на $\Omega$. В качестве $v_I$ возьмем градиент вставляемого изображения $I$: $v_I = \nabla f_I$

Нашей задачей является поиск такой функции $f$, чтобы блендинговое изображение выглядело реалистично. Для этого минимизируем разность градиента функции $f$ и векторного поля $v_I$, считая, что $f = f_S$ на границе $\Omega$.
$$
\underset{f}{\mathrm{min}} \underset{\Omega}{\iint} |\nabla f - v_I|^2, \text{где } f|_{\partial \Omega} = f_S|_{\partial \Omega}
$$
Решение задачи минимизации является единственным решением уравнения Пуассона для граничных условий Дирихле.
$$\nabla^2 f = \nabla^2 f_I \text{ на } \Omega, f|_{\partial \Omega} = f_S|_{\partial \Omega}, \text{где } \nabla^2 \text{{{---}} оператор Лапласа.}$$

=== Дискретный случай ===
Пусть $p$ {{---}} координаты $(x, y)$ пикселя двухмерного изображения. За $Img_p$ обозначим значение пикселя с координатами $p$ изображения $Img$. Пусть $\Omega = \left\{ p\;|\;M_p = 1 \right\}$. Тогда $\partial \Omega$ {{---}} координаты границы вставляемой области, а $int(\Omega)$ {{---}} внутренность области.

Пусть $N_p$ {{---}} множество соседей $p$ (максимум четыре пикселя, имеющих общую границу с $p$, т.е. пиксели со следующими координатами: $(x + 1, y), (x - 1, y), (x, y + 1), (x, y - 1)$). Для всех пар $(p, q)$ таких, что $q \in N_p$, введем $v_{pq} = I_p - I_q$

Введем переменные $O_p, p \in \Omega$. Так как мы хотим сделать результат бесшовным, пиксели $O_p, p \in \partial\Omega$, сделаем равными $S_p$. Для $p, q \in int(\Omega),\; q \in N_p$ постараемся найти такое $O$, чтобы разность $O_p$ и $O_q$ была близка к $v_{pq}$. Для этого решим задачу минимизации:

$$
\underset{O_p,\; p \in \Omega}{\mathrm{min}}\; \underset{p, q \in \Omega}{\sum}\; \left(O_p - O_q - v_{pq}\right)^2, \text{где } O_p = S_p, p \in \partial \Omega
$$

Заметим, что функция, которую мы хотим минимизировать, квадратична относительно переменных $O_p, p \in int(\Omega)$. Для решения задачи минимизации вычислим частные производные по этим переменным и найдем значения переменных, при которых частные производные будут равны нулю.
$$\frac{\partial{\underset{p, q \in \Omega}{\sum}\; \left(O_p - O_q - v_{pq}\right)^2}}{\partial O_p} = \underset{q \in N_p}{\sum} 2 \left(O_p - O_q - v_{pq}\right) - \underset{q \in N_p}{\sum} 2 \left(O_q - O_p - v_{qp}\right) = 2 \underset{q \in N_p}{\sum} 2 \left(O_p - O_q - v_{pq}\right)$$.

Приравнивая к нулю, получаем: $|N_p| O_p - \underset{q \in N_p}{\sum} O_q = \underset{q \in N_p}{\sum} v_{pq}$.

Добавим условие $O_p = S_p, p \in \partial \Omega$: $\;|N_p| O_p - \underset{q \in N_p \cap int(\Omega)}{\sum} O_q = \underset{q \in N_p \cap \partial \Omega}{\sum} S_q + \underset{q \in N_p}{\sum} v_{pq}$.

Для решения систем уравнений такого вида могут быть использованы итеративные алгоритмы Gauss-Seidel и V-cycle multigrid<ref name="PGB03">[https://www.cs.jhu.edu/~misha/Fall07/Papers/Perez03.pdf Poisson Image Editing] Patrick Perez, Michel Gangnet, Andrew Blake (2003)</ref>.

Получаем значения пикселей $O_p$, $p \in int(\Omega)$. Тогда результат $B$ блендинга Пуассона будет следующим:
$$
B_p =
\begin{cases}
O_p,\; \text{если } p \in int(\Omega) \\
S_p,\; \text{иначе }
\end{cases}
$$

Mетод Пуассона сдвигает цвета накладываемого изображения, сохраняя свойства градиента (т.е. если пиксель $I_{p1}$ был меньше $I_{p2}$, то после преобразования $I_{p1}$ не станет больше $I_{p2}$), однако само значение градиета может получиться другим.<ref name='clear_poisson'>https://erkaman.github.io/posts/poisson_blending.html Poisson blending для самых маленьких</ref>

==Трансфер стиля==
{{main|Neural Style Transfer}}
Прежде чем переходить к гармонизации картин, рассмотрим задачу трансфера стиля с изображения $S$ на изображение $I$. Для этого используются выходы скрытых слоёв [[Сверточные нейронные сети | свёрточной нейронной сети]] VGG-19<ref name="SZ14">[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition] Karen Simonyan, Andrew Zisserman (2014)</ref>.

Основная идея генерации изображения {{---}} решение оптимизационной задачи $\mathcal{L}(I, S, O) \xrightarrow[O]{} min$, где $O$ {{---}} итоговое изображение, $\mathcal{L}(I, S, O)$ {{---}} [[Функция потерь и эмпирический риск | функция потерь]]. Такую задачу можно решать градиентным спуском в пространстве изображений используя [[обратное распространение ошибки | метод обратного распространения ошибки]].
{{Определение
|definition =
Пусть $F^l\left[I\right] \in \mathcal{R}^{N_l \times M_l}$ {{---}} выход $l$-го слоя сети на изображении $I$. Представим его как матрицу $N_l \times M_l$, где $N_l$ {{---}} количество фильтров в $l$-ом слое, $M_l$ {{---}} количество признаков (высота, умноженная на ширину). Тогда $F^l_{ij}\left[I\right]$ {{---}} $j$-ый признак $i$-го фильтра в $l$-ом слое. $F^l\left[I\right]$ отражает содержание изображения.}}
{{Определение
|definition =
'''Матрица Грама''' (англ. ''Gram matrix'') {{---}} матрица попарных скалярных произведений. В нашем случае матрица отражает статистику выходов фильтров независимо от их расположения, что, в свою очередь, отражает стиль изображения.
$$G^l\left[I\right] \in \mathcal{R}^{N_l \times N_l}$$
$$G^l\left[I\right] = F^l\left[I\right]F^l\left[I\right]^T$$}}

===Алгоритм Гатиса<ref name="GEB16">[https://rn-unison.github.io/articulos/style_transfer.pdf Image Style Transfer Using Convolutional Neural Networks] Leon A. Gatys, Alexander S. Ecker, Matthias Bethge (2016)</ref>===

{{Определение
|id=content_loss_def
|definition =
$\mathcal{L}^{\alpha}_{content}(I, O) = \displaystyle\sum_l \frac{\alpha_l}{2 N_l M_l}\displaystyle\sum_{i, j} \left(F^l_{ij}\left[I\right] - F^l_{ij}\left[O\right]\right)^2$ {{---}} функция потерь содержания, где
$\alpha_l$ {{---}} вклад $l$-го слоя в функцию потерь<ref name="NotOriginalDef">Здесь используется определение функции потерь, которое отличается от статьи Гатиса, но используется в таком виде в статье про гармонизацию.</ref>.}}
{{Определение
|id=style_loss_def
|definition =
$\mathcal{L}^{\beta}_{style}(I, O) = \displaystyle\sum_l \frac{\beta_l}{2N_l^2} \displaystyle\sum_{i, j} \left(G^l_{ij}\left[I\right] - G^l_{ij}\left[O\right]\right)^2$ {{---}} функция потерь стиля, где
$\beta_l$ {{---}} вклад $l$-го слоя в функцию потерь<ref name="NotOriginalDef"/>.}}

Итоговой функцией потерь будет $\mathcal{L}_{Gatys} = \mathcal{L}^{\alpha}_{content}(I, O) + w_{style}\mathcal{L}^{\beta}_{style}(I, O)$<ref name="NotOriginalDef"/>. Вес $w_{style}$, векторы $\alpha$ и $\beta$ являются, в некотором смысле, гиперпараметрами алгоритма, которые нужно подбирать.

Авторы статьи показывают, что в качестве начальной инициализации можно брать изображение $I$, изображение $S$ или белый шум {{---}} алгоритм даёт похожие результаты в этих случаях.

[[Файл:GEB16_Figure_6.png|1000px|thumb|center|Начальная инициализация: '''A)''' $O_0 = I$; '''B)''' $O_0 = S$; '''C)''' $O_0 = random$, $4$ примера инициализированы различными белыми шумами ]]

===Histogram Loss===

Авторы другой статьи<ref name="WRB17">[https://arxiv.org/pdf/1701.08893.pdf Stable and Controllable Neural Texture Synthesis and Style Transfer Using Histogram Losses] Eric Risser, Pierre Wilmot, Connelly Barnes (2017)</ref> показывают, что результаты, полученные с помощью $\mathcal{L}_{Gatys}$ нестабильны и предложили другую функцию потерь, основанную на ''сопоставлении гистограмм''.
{{Определение
|definition =
'''Сопоставление гистограмм''' (англ. ''Histogram matching'') {{---}} метод обработки изображения, после которого гистограмма изображения совпадает с целевой гистограммой<ref name="HistMatch">https://en.wikipedia.org/wiki/Histogram_matching</ref>.}}
{{Определение
|definition =
Пусть $R = histmatch(S, O)$ {{---}} отображение пикселей такое, что гистограмма $S$ совпадает с гистограммой $R(O)$.}}
{{Определение
|id=hist_loss_def
|definition =
$\mathcal{L}^{\gamma}_{hist}(S, O) = \displaystyle\sum_l \gamma_l \displaystyle\sum_{i, j} \left(F^l_{ij}\left[O\right] - R\left(F^l_{ij}\left[O\right]\right)\right)^2$ {{---}} функция потерь гистограмм, где
$\gamma_l$ {{---}} вклад $l$-го слоя в функцию потерь}}

'''Замечание:''' Если в случае остальных функций потерь нетрудно посчитать производную, то здесь могут возникнуть проблемы. Но поскольку $\displaystyle\frac{\partial \mathcal{L}_{hist}}{\partial F^l_{ij}\left[O\right]}$ является нулём почти везде, авторы предлагают при подсчёте производной считать $R\left(F^l_{ij}\left[O\right]\right)$ константой, которая не зависит от $O$.

===Total variation loss===

Также добавим ещё одну функцию потерь, которая удаляет шумы, при этом сохраняя важные детали изображения<ref name="MV15">[https://arxiv.org/pdf/1412.0035.pdf Understanding Deep Image Representations by Inverting Them] Aravindh Mahendran, Andrea Vedaldi (2015)</ref><ref name="JAFF16">[https://arxiv.org/pdf/1603.08155.pdf Perceptual Losses for Real-Time Style Transfer and Super-Resolution] Justin Johnson, Alexandre Alahi, Li Fei-Fei (2016)</ref>.
{{Определение
|id=tv_loss_def
|definition =
$\mathcal{L}_{tv}(O) = \displaystyle\sum_{i, j} \left(O^l_{i, j} - O^l_{i-1, j}\right)^2 + \left(O^l_{i, j} - O^l_{i, j-1}\right)^2$ {{---}} общая вариационная потеря (англ. ''Total variation loss'').}}

==Глубокая гармонизация картин<ref name="LPSB18">https://arxiv.org/pdf/1804.03189.pdf Fujun Luan, Sylvain Paris, Eli Shechtman, Kavita Bala (2018)</ref>==

Для того чтобы вставить изображение в картину или рисунок нужно не только сделать бесшовный переход и изменить цвета, но ещё и изменить текстуру вставляемого изображения, например, сымитировать мазки кистью. Используем для этого комбинацию подходов из других статей<ref name="GEB16"/><ref name="JAFF16"/><ref name="WRB17"/>.

[[Файл:LPSB18_Figure_1.png|1000px|thumb|center|Пример работы алгоритма ''Deep Image Analogy''<ref name="LYY*17">[https://arxiv.org/pdf/1705.01088.pdf Visual Attribute Transfer through Deep Image Analogy] Jing Liao, Yuan Yao, Lu Yuan, Gang Hua, Sing Bing Kang (2017)</ref> ($3$ картинка) и ''Deep Painterly Harmonization''<ref name="LPSB18"/> ($4$ картинка)]]
Алгоритм будет состоять из двух проходов. Первый проход будет делать грубую гармонизацию, а второй {{---}} более тщательную. Отличаться они будут '''стилевым маппингом''' и функциями потерь.

{{Определение
|definition =
'''Стилевым маппингом''' мы будем называть отображение $P : \mathcal{R}^{N_l \times M_l} \rightarrow \mathcal{R}^{N_l \times M_l}$, которое некоторым образом переставляет столбцы матрицы (не обязательно обратимо, то есть столбцы могут теряться и копироваться). Более формально, пусть $p(j)$ {{---}} новая позиция столбца $j$, тогда $P(Q)_{i, p(j)} = Q_{ij}$.}}

Один проход будет состоять из $3$ частей:
# Входное $I$ и стилевое $S$ изображения подаются на вход нейронной сети VGG-19, так мы получаем $F^l_{ij}\left[I\right]$ и $F^l_{ij}\left[S\right]$.
# Для каждого слоя $l$ некоторым алгоритмом $\pi$ cтроится стилевой маппинг $P_l$, который сопоставляет столбцам из $F_l[I]$ столбцы из $F_l[S]$.
# Изображение $O$ восстанавливается градиентным спуском по пространству изображений с использованием функции потерь $\mathcal{L}$.

'''fun''' $SinglePassHarmonization$(
$I$,// Входное изображение 
$M$,// Маска 
$S$,// Стилевое изображение 
$\pi$,// Алгоритм построения стилевого маппинга 
$\mathcal{L}$// Функция потерь 
):
// Строим матрицы $F[I]$ и $F[S]$ с помощью свёрточной сети VGG-19 
$F[I] \leftarrow ComputeNeuralActivations(I)$
$F[S] \leftarrow ComputeNeuralActivations(S)$
// Строим стилевой маппинг 
$P \leftarrow \pi(F[I], M, F[S])$
// Градиентным спуском ищем изображение $O$, которое минимизирует $\mathcal{L}$ 
$O \leftarrow Reconstruct(I, M, S, P, \mathcal{L})$
'''return''' $O$


===Первый проход===

{{Определение
|definition =
'''Вектор активации''' (англ. ''activation vector'') {{---}} это столбец $F_l$.}}

{{Определение
|definition =
'''Патчем''' (англ. ''patch'') для столбца $j$ будем называть тензор $3 \times 3 \times N_l$, который состоит из соседних векторов активации в тензоре выхода свёрточного слоя, с центром в $(x, y)$, где $j = y \times W_l + x$.}}



<div class="tright" style="clear:none">[[Файл:LPSB18_Figure_2c.png|250px|thumb|none|Результаты после второго прохода]]</div>
<div class="tright" style="clear:none">[[Файл:LPSB18_Figure_2b.png|250px|thumb|none|Результаты после первого прохода]]</div>

Первый проход делает грубую гармонизацию, но при этом он хорошо работает с любыми стилями. Здесь используется алгоритм $IndependentMapping$ для построения стилевого маппинга. Этот алгоритм для каждого столбца $j$ в $F_l[I]$ ищет столбец $p(j)$ в $F_l[S]$, такой что евклидово расстояние между патчем $F_l[I]$ с центром $j$ и патчем $F_l[S]$ с центром $p(j)$ минимально (метод ближайшего соседа).


'''fun''' $IndependentMapping$(
$F[I]$,// Выходы слоёв после входного изображения 
$Mask$,// Маска 
$F[S]$// Выходы слоёв после стилевого изображения 
):
// Для всех слоёв от $1$ до $L$ 
'''for''' $l \in [1 : L]$:
// Для всех столбцов от $1$ до $M_l$ 
'''for''' $j \in [1 : M_l]$:
// Рассматриваем патчи только внутри маски, которую нужно масштабировать в соответсвии с размером слоя $l$ 
'''if''' $j \in Resize(Mask, l)$:
// Берём самый похожий стилевой патч и записываем его в маппинг. 
$P_l(j) \leftarrow NearestNeighborIndex(F[I], j, F[S])$
'''return''' $P$


В первом проходе используется модифицированная функция потерь $\mathcal{L}_{Gatys}$, с тем лишь отличием, что в $\mathcal{L}^{\beta}_{style}$ к $F_l[S]$ применяется стилевой маппинг $P_l$.

$$\mathcal{L}_1(I, S, O, P) = \mathcal{L}^{\alpha}_{content}(I, O) + w_{style}\mathcal{L}^{\beta}_{style}(S, O, P) \text{, где } w_{style} \text{ {{---}} вес стилевой функции потерь}$$

'''Замечание:''' при посчёте градиента $\mathcal{L}^{\alpha}_{content}$ используются только пиксели внутри маски<ref>https://github.com/luanfujun/deep-painterly-harmonization/blob/a33a9a70366b6baff1cc0291f857b5895b271fc1/neural_gram.lua#L349</ref>.

===Второй проход===



Второй проход делает более качественную гармонизацию после первого прохода. Здесь мы будем использовать более сложный алгоритм $ConsistentMapping$ построения стилевого маппинга и более сложную функцию потерь. Суть этого алгоритма в том, чтобы найти стилевой мапинг на некотором слое $l_{ref}$ и перенести этот маппинг на остальные слои. Также, мы будем предпочитать маппинги, в которых смежные патчи в $F_l[S]$ остаются смежными после мапинга, чтобы обеспечить пространсвенную согласованность (таким образом мы хотим переносить сложные текстуры более качественно, например, мазки кистью).


'''fun''' $ConsistentMapping$(
$F[I]$,// Выходы слоёв после входного изображения 
$Mask$,// Маска 
$F[S]$// Выходы слоёв после стилевого изображения 
):
// Сначала посчитаем маппинг как в IndependentMapping только для слоя $l_{ref}$ 
'''for''' $j \in [1 : M_{l_{ref}}]$:
'''if''' $j \in Resize(Mask, l_{ref})$:
$P_0(j) \leftarrow NearestNeighborIndex(F[I], j, F[S])$

// Далее обеспечиваем пространсвенную согласованность 
'''for''' $j \in [1 : M_{l_{ref}}]$:
'''if''' $j \in Resize(Mask, l_{ref})$:
$q \leftarrow P_0(j)$
// Инициализируем множество кандидатов на новый маппинг 
$CSet \leftarrow \{q\}$
// Перебираем все смежные патчи 
'''for''' $o \in \left\{N, NE, E, SE, S, SW, W, NW\right\}$:
// Добавляем в кандидаты патч, сосед которого является маппингом для нашего соседа в соответсвующем направлении 
$CSet \leftarrow CSet \cup \left\{P_0(j + o) - o\right\}$
// Среди всех кандидатов выбираем тот, который ближе всего к маппингам наших соседей 
$P_{l_{ref}}(j) \leftarrow \underset{c \in CSet}{\mathrm{argmin}}\displaystyle\sum_o \left\|(F_{l_{ref}}[S]_c - F_{l_{ref}}[S]_{P_0(j + o)}\right\|^2$

// Теперь нужно перенести маппинг для $l_{ref}$ на остальные слои 
'''for''' $l \in [1 : L] \setminus \{l_{ref}\}$:
'''for''' $j \in [1 : M_l]$:
'''if''' $j \in Resize(Mask, l)$:
// Вычисляем позицию $j'$ на слое $l_{ref}$ соответствующую позиции $j$ на слое $l$
$j' \leftarrow ChangeResolution(l, l_{ref}, j)$
// Берём маппинг для позиции $j'$
$q \leftarrow P_{l_{ref}}(j')$
// Переносим позицию $q$ обратно на слой $l$
$P_l(j) \leftarrow ChangeResolution(l_{ref}, l, q)$
'''return''' $P$


При вычислении стилевого маппинга появляется очень много дублирующихся векторов, что даёт не очень хорошие результаты. Поэтому при вычислении матрицы Грама выкинем повторяющиеся векторы. Назовём эту функцию потерь $\mathcal{L}_{s1}$.

$$\mathcal{L}_2(I, S, O, P) = \mathcal{L}^{\alpha}_{content}(I, O) + w_{style}\mathcal{L}^{\beta}_{s1}(S, O, P) + w_{hist}\mathcal{L}^{\gamma}_{hist}(S, O) + w_{tv}\mathcal{L}_{tv}(O) \text{, где } w_{style}, w_{hist}, w_{tv} \text{ {{---}} веса соответсвующих функций потерь}$$

{| class="wikitable" style="background-color:#FFF; text-align:center"
|-
! Только второй проход
! Только первый проход
! Результат с $\mathcal{L}_{style}$ вместо $\mathcal{L}_{s1}$
|-
| [[Файл:LPSB18_Figure_5c.png|250px]]
| [[Файл:LPSB18_Figure_5d.png|250px]]
| [[Файл:LPSB18_Figure_5f.png|250px]]
|}

===Итоговый алгоритм===

Теперь осталось запустить две стадии


'''fun''' $Harmonization$(
$I$,// Входное изображение 
$Mask$,// Маска 
$S$// Стилевое изображение 
):
// Грубый проход алгоритма. Каждый слой рассматривается отдельно при построении стилевого маппинга. 
$I' \leftarrow SinglePassHarmonization(I, Mask, S, IndependentMapping, \mathcal{L}_1)$
// Улучшение результата. Стилевой маппинг строится консистентно для всех слоёв. 
$O \leftarrow SinglePassHarmonization(I', Mask, S, ConsistentMapping, \mathcal{L}_2)$
'''return''' $O$


===Постобработка===

[[Файл:LPSB18_Figure_6abc.png|400px|thumb|right|Результат постобработки (без постобработки, после первой стадии, после второй стадии)]]

Описанный алгоритм даёт хорошие результаты в целом, но при ближайшем рассмотрении могут быть артефакты. Поэтому сделаем двухступенчатую постобработку (подробное описание есть в оригинальной статье<ref name="LPSB18"/>):
# Переведём изображение в [https://en.wikipedia.org/wiki/CIELAB_color_space CIELAB] и применим [https://en.wikipedia.org/wiki/Guided_filter Guided filter] для a и b каналов.
# С помощью алгоритма PatchMatch<ref name="BSFG09">https://www.researchgate.net/profile/Eli_Shechtman/publication/220184392_PatchMatch_A_Randomized_Correspondence_Algorithm_for_Structural_Image_Editing/links/02e7e520897b12bf0f000000.pdf Connelly Barnes, Eli Shechtman, Adam Finkelstein, Dan B Goldman (2009)</ref> и того же Guided filter делаем так чтобы все патчи выходного изображения присутсвовали в стилевом (чтобы не было новых объектов или структур)

===Подбор гиперпараметров===

[[Файл:LPSB18_Figure_4.png|400px|thumb|right|Влияние $l_{ref}$ на результат]]

Возьмём $l_{ref}$ = conv4_1.
Выберем следующие веса для слоёв:

{| class="wikitable"
|+ Первый проход
|-
! Параметр
! conv1_1
! conv2_1
! conv3_1
! conv4_1
! conv5_1
|-
! $\alpha$
| $0$
| $0$
| $0$
| $1$
| $0$
|-
! $\beta$
| $0$
| $0$
| $1/3$
| $1/3$
| $1/3$
|}

{| class="wikitable"
|+ Второй проход
|-
! Параметр
! conv1_1
! conv2_1
! conv3_1
! conv4_1
! conv5_1
|-
! $\alpha$
| $0$
| $0$
| $0$
| $1$
| $0$
|-
! $\beta$
| $1/4$
| $1/4$
| $1/4$
| $1/4$
| $0$
|-
! $\gamma$
| $1/2$
| $0$
| $0$
| $1/2$
| $0$
|}

Введём гиперпараметр $\tau$ и возьмём $w_{style} = w_{hist} = \tau$, $w_{tv} = \tau\frac{10}{1 + \exp(10^4 * noise(S) - 25)}$, где $noise(S) = \underset{i,j}{\mathrm{med}}\left\{\left(O^l_{i, j} - O^l_{i-1, j}\right)^2 + \left(O^l_{i, j} - O^l_{i, j-1}\right)^2\right\}$<ref>[https://github.com/luanfujun/deep-painterly-harmonization/blob/a33a9a70366b6baff1cc0291f857b5895b271fc1/neural_paint.lua#L470 код функции $noise$</ref>

Для того чтобы подбирать $\tau$ авторы статьи использовали классификатор стилей изображений. Они взяли VGG-19, обучили её классифицировать $18$ различных стилей. Эти стили были разделены на $3$ категории с разными $\tau$. Используя $Softmax$ можно интерполировать необходимый $\tau$ по следующей таблице:

{| class="wikitable"
|-
! Категория стиля
! Примеры стилей
! $\tau$
|-
! Слабый
| Барокко, Высокое Возрождение
| $1$
|-
! Средний
| Абстрактное Искусство, Постимпрессионизм
| $5$
|-
! Сильный
| Кубизм, Экспрессионизм
| $10$
|}

===Примеры===

{|
! Исходное изображение
! Простая вставка
! Результат
! Постобработка
|-
| [[Файл:5_target.jpg|300px]]
| [[Файл:5_naive.jpg|300px]]
| [[Файл:5_final_res.png|300px]]
| [[Файл:5_final_res2.png|300px]]
|-
| [[Файл:6_target.jpg|300px]]
| [[Файл:6_naive.jpg|300px]]
| [[Файл:6_final_res.png|300px]]
| [[Файл:6_final_res2.png|300px]]
|-
| [[Файл:10_target.jpg|300px]]
| [[Файл:10_naive.jpg|300px]]
| [[Файл:10_final_res.png|300px]]
| [[Файл:10_final_res2.png|300px]]
|}

==Глубокий блендинг==



Алгоритм глубокого блендинга состоит из двух этапов. На первом этапе на стилевое изображения $S$ бесшовно накладывается входное изображение $I$, получается подготовительное блендинг-изображение $B$. На втором этапе $B$ модифицируется таким образом, чтобы результат по стилю был похож на $S$.

Будем считать, что на вход подаются изображения, прошедшие предварительную обработку:
* Используемая для вставки часть $I$ вырезана с помощью маски
* $M$ и $I$ выровнены относительно $S$
* Размеры матриц, задающих $M, S, I$ совпадают

'''Примеры входных данных:'''
{| class="wikitable" style="background-color:#FFF; text-align:center"
|-
! '''Стилевое изображение $S$'''
| [[Файл:Deep bl s1.png|150px]]
| [[Файл:Deep bl s2.png|150px]]
| [[Файл:Deep bl s3.png|150px]]
|-
! '''Накладываемое изображение $I$'''
| [[Файл:Deep bl i1.png|150px]]
| [[Файл:Deep bl i2.png|150px]]
| [[Файл:Deep bl i3.png|150px]]
|}

На обоих этапах алгоритм минимизирует взвешенную сумму следующих функций потерь:
* [[Блендинг_изображений#content_loss_def|Функция потерь содержания]] $\mathcal{L}_{cont}$ для сохранения содержания накладываемого изображения $I$
* [[Блендинг_изображений#style_loss_def|Функция потерь стиля]] $\mathcal{L}_{style}$ для переноса стиля изображения $S$ на $I$
* [[Блендинг_изображений#hist_loss_def|Гистограмная функция потерь]] $\mathcal{L}_{hist}$ для стабилизации переноса стиля
* [[Блендинг_изображений#tv_loss_def|Функция потерь полного отклонения]] $\mathcal{L}_{tv}$ для удаления шумов
* [[Блендинг_изображений#grad_loss_def|Градиентная функция потерь]] $\mathcal{L}_{grad}$ для бесшовности наложения

Для подсчета $\mathcal{L}_{style}$ и $\mathcal{L}_{content}$ авторами статьи<ref name='ZWS20'>[https://openaccess.thecvf.com/content_WACV_2020/papers/Zhang_Deep_Image_Blending_WACV_2020_paper.pdf Deep Image Blending] Lingzhi Zhang, Tarmily Wen, Jianbo Shi (2020)</ref> использовалась сеть VGG-19<ref name="SZ14"/>, обученная на ImageNet<ref name="ImageNet">https://image-net.org/papers/imagenet_cvpr09.pdf J. Deng, W. Dong, R. Socher, L.-J. Li, K. Li, and L. FeiFei. Imagenet: A large-scale hierarchical image database</ref>.

{{Определение
|definition =
'''Простой вставкой''' (англ. ''copy and paste'') $CAP(M, S, I)$ будем назвать изображение, полученное наложением части изображения $I$, заданной маской $M$, на изображение $S$.
$CAP(M, S, I) = I \odot M + S \odot (1 - M)$, где $\odot$ {{---}} покомпонентное умножение. }}

{{Определение
|definition =
'''Дискретный оператор Лапласа''' (фильтр Лапласа) $\mathbf{D}^2$ {{---}} аналог непрерывного оператора Лапласа $\nabla^2$, который позволяет выделять контуры изображения.
$$\mathbf{D}^2=\begin{bmatrix}0 & 1 & 0\\1 & -4 & 1\\0 & 1 & 0\end{bmatrix}$$ }}

** TODO картиночка**

Чтобы комбинировать решение задачи бесшовного наложения [[Блендинг изображений#Блендинг Пуассона|методом Пуассона]] с остальными ограничениями, авторы статьи<ref name='ZWS20'/> предлагают использовать функцию потерь $\mathcal{L}_{grad}$. Для сохранения контуров изображений $S$ и $I$ в области вставки используется дискретный оператор Лапласа.

{{Определение
|id=grad_loss_def
|definition =
$\mathcal{L}_{grad}(S, I, M, O) = \displaystyle\frac{1}{2HW}\displaystyle\sum_{m=1}^H \displaystyle\sum_{n=1}^W \left[ \mathbf{D}^2 B - \left(\mathbf{D}^2 S + \mathbf{D}^2 I\right) \right]^2_{mn}$ {{---}} градиентная функция потерь (англ. ''Possion gradient loss''). $H, W$ {{---}} высота и ширина изображений. $B = CAP(M, S, O)$ {{---}} блендинговое изображение, оптимизируемое относительно $O$. }}

Рассмотрим область $\overline{\Omega} = \{\;p \;| \;M_p = 0\; \}$. Заметим, что градиент $I$ в $\overline{\Omega}$ равен нулю. Тогда градиенты $S$ и $B$ совпадают, и задача минимизации $\mathcal{L}_{grad}$ решается только в области вставки.

=== Первый этап ===

<div class="tright" style="clear:none">[[Файл:Deep bl 2stage.png|thumb|none|200px|Результат после обоих этапов]]</div>
<div class="tright" style="clear:none">[[Файл:Deep bl 1stage.png|thumb|none|200px|Результат первого этапа]]</div>

На первом этапе изображение $I$ накладывается на фоновое изображение $S$ таким образом, чтобы были незаметны швы.
Построение начинается с белого шума $Z$, который оптимизируется в области вставки путем минимизации суммарной функции потерь $\mathcal{L}_{total}$, представленной взвешенной суммой всех функций потерь, описанных выше:
$$ \mathcal{L}_{total}(Z) = w_{grad}\mathcal{L}_{grad}(I, S, B) + w_{cont}\mathcal{L}_{cont}(I, M, Z) + w_{style}\mathcal{L}_{style}(S, B) + w_{tv}\mathcal{L}_{tv}(B) + w_{hist}\mathcal{L}_{hist}(S, B) $$
Отметим, что $\mathcal{L}_{cont}$ зависит от маски и отвечает за сохранение содержания $I$ в области вставки.

Отличительной чертой этого этапа является использование функции потерь $\mathcal{L}_{grad}$, приближающей градиент результата к градиенту $I$ в области наложения, за счет чего достигается бесшовность. Для вычисления производных второго порядка используется фильтр Лапласа.

В результате получается подготовительное блендинг-изображение $B$:
$$
B_p =
\begin{cases}
Z_p,\; \text{если } M_p = 1 \\
S_p,\; \text{иначе }
\end{cases}
$$


'''fun''' $SeamlessBlending$(
$I$, // Входное изображение 
$M$, // Маска 
$S$ // Стилевое изображение 
):
// Инициализируем первое приближение белым шумом 
$Z \leftarrow RandomNoise() $
$B \leftarrow CAP(M, S, Z)$
// Определим суммарную функцию потерь с весами слагаемых $w$
$\mathcal{L}_{total}(Z) \leftarrow w_{grad}\mathcal{L}_{grad}(I, S, B) + w_{cont}\mathcal{L}_{cont}(I, M, Z) + w_{style}\mathcal{L}_{style}(S, B) + w_{tv}\mathcal{L}_{tv}(B) + w_{hist}\mathcal{L}_{hist}(S, B)$
// С помощью алгоритма L-BFGS ищем изображение $Z$, которое минимизирует $\mathcal{L}_{total}$ 
$Z \leftarrow Reconstruct(\mathcal{L}_{total}, Z)$
'''return''' $CAP(M, S, Z)$


=== Второй этап ===

Второй этап алгоритма представляет собой модификацию полученного на первом этапе блендинг-изображения $B$ таким образом, чтобы стиль изображения был наиболее близок к стилю $S$.

В отличие от предыдущего этапа, функция потерь не включает в себя $\mathcal{L}_{grad}$:
$$\mathcal{L}_{total}(O) = w_{cont}\mathcal{L}_{cont}(B, O) + w_{style}\mathcal{L}_{style}(S, O) + w_{tv}\mathcal{L}_{tv}(O) + w_{hist}\mathcal{L}_{hist}(S, O)$$

Минимизация происходит относительно результата алгоритма $O$, которой инициализируется изображением $B$.


'''fun''' $StyleRefinement$(
$B$, // Подготовительное блендинг-изображение, результат первого этапа 
$M$, // Маска 
$S$ // Стилевое изображение 
):
$O \leftarrow B$
// Определим суммарную функцию потерь с весами слагаемых $w$
$\mathcal{L}_{total}(O) \leftarrow w_{cont}\mathcal{L}_{cont}(B, O) + w_{style}\mathcal{L}_{style}(S, O) + w_{tv}\mathcal{L}_{tv}(O) + w_{hist}\mathcal{L}_{hist}(S, O)$
// С помощью алгоритма L-BFGS ищем изображение $O$, которое минимизирует $\mathcal{L}_{total}$ 
$O \leftarrow Reconstruct(\mathcal{L}_{total}, O)$
'''return''' $O$


{|
! После первого этапа
! После обоих этапов
|-
| [[Файл:1_first_pass.png|300px]]
| [[Файл:1_second_pass.png|300px]]
|-
| [[Файл:3_first_pass.png|300px]]
| [[Файл:3_second_pass.png|300px]]
|-
| [[Файл:5_first_pass.png|300px]]
| [[Файл:5_second_pass.png|300px]]
|}

===Детали реализации===

{| class="wikitable"
|+ Веса функций потерь
|-
! Этап
! $w_{grad}$
! $w_{cont}$
! $w_{style}$
! $w_{hist}$
! $w_{tv}$
|-
! $1$
| $10^5$
| $1$
| $10^5$
| $1$
| $10^{-6}$
|-
! $2$
| $0$
| $1$
| $10^7$
| $1$
| $10^{-6}$
|}

Для подсчета $\mathcal{L}_{style}$ используются слои $conv{1_2}, conv{2_2}, conv{3_3}, conv{4_3}$ $VGG$, для $\mathcal{L}_{cont}$ {{---}} $conv{2_2}$.

На обоих этапах максимальное количество итераций алгоритма L-BFGS {{---}} $1000$.

=== Примеры ===
[[Файл:МЛ блендинг пример.png|1000px]]

==Ссылки==

[https://en.wikipedia.org/wiki/Gramian_matrix Матрица Грама (англ.)]

==Примечания==

Файл:1 first pass.png

2021-01-11T18:15:41Z

Npostnikova:

Файл:1 second pass.png

2021-01-11T18:15:28Z

Npostnikova:

Файл:3 first pass.png

2021-01-11T18:15:15Z

Npostnikova:

Файл:3 second pass.png

2021-01-11T18:14:59Z

Npostnikova:

Файл:5 first pass.png

2021-01-11T18:13:47Z

Npostnikova:

Файл:5 second pass.png

2021-01-11T18:13:33Z

Npostnikova:

Блендинг изображений

2021-01-11T17:04:54Z

Npostnikova: /* Глубокий блендинг */

{{Определение
|definition =
'''Блендинг изображений''' (англ. ''image blending'') {{---}} метод, позволяющий вставить часть одного изображения в другое таким образом, чтобы композиция изображений выглядела естественно, без швов на границах вставки и соответсвующими цветами и текстурами. }}

==Блендинг Пуассона==
[[Файл:Poisson int1.png|thumb|right|300px|Рис. $1.1$. Пример перепада яркости при простой вставке]]
[[Файл:Poisson int2.png|thumb|right|300px|Рис. $1.2$. Результат применения блендинга Пуассона]]

Простая вставка одного изображения поверх другого нередко влечет заметный перепад яркости на границе вставки (рис. $1.1$). Метод Пуассона заключается в сглаживании этого перепада (рис. $1.2$) с целью сделать дефект менее заметным, используя градиент вставляемого изображения и значения пикселей фонового изображения на границе вставки.

'''Замечание:''' Для RGB изображений задача минимизации решается для каждого цветового канала отдельно.

Давайте обозначим за $S$ изображение, которое служит фоном, а за $I$ {{---}} изображение, вставляемое поверх $S$. Область вставки будем задавать двоичной маской $M$, содержащей единицы в области наложения. Например:
{| class="wikitable" style="background-color:#FFF; text-align:center"
|-
! Фоновое изображение $S$
! Накладываемое изображение $I$
! Маска $M$
|-
| [[Файл:Poisson_cat.jpg|200px]]
| [[Файл:Poisson_cherry.jpg|200px]]
| [[Файл:Poisson_cherry_mask.png|200px]]
|}

=== Идея подхода ===
Пусть замкнутое множество $P \subset \mathbb{R}^2$ {{---}} область, на которой определено изображение $S$, а замкнутое множество $\Omega \subset P$ с границей $\partial\Omega$ и внутренностью $int(\Omega)$ {{---}} область вставки изображения $I$.

Пусть $f_S$ {{---}} скалярная функция, определенная на $P \setminus int(\Omega)$, задает фоновое изображение $S$; $f$ {{---}} неизвестная скалярная функция, определенная на $int(\Omega)$, задает, каким образом должно выглядеть результат блендинга в области вставки.

$v_I$ {{---}} векторное поле, определенное на $\Omega$. В качестве $v_I$ возьмем градиент вставляемого изображения $I$: $v_I = \nabla f_I$

Нашей задачей является поиск такой функции $f$, чтобы блендинговое изображение выглядело реалистично. Для этого минимизируем разность градиента функции $f$ и векторного поля $v_I$, считая, что $f = f_S$ на границе $\Omega$.
$$
\underset{f}{\mathrm{min}} \underset{\Omega}{\iint} |\nabla f - v_I|^2, \text{где } f|_{\partial \Omega} = f_S|_{\partial \Omega}
$$
Решение задачи минимизации является единственным решением уравнения Пуассона для граничных условий Дирихле.
$$\nabla^2 f = \nabla^2 f_I \text{ на } \Omega, f|_{\partial \Omega} = f_S|_{\partial \Omega}, \text{где } \nabla^2 \text{{{---}} оператор Лапласа.}$$

=== Дискретный случай ===
Пусть $p$ {{---}} координаты $(x, y)$ пикселя двухмерного изображения. За $Img_p$ обозначим значение пикселя с координатами $p$ изображения $Img$. Пусть $\Omega = \left\{ p\;|\;M_p = 1 \right\}$. Тогда $\partial \Omega$ {{---}} координаты границы вставляемой области, а $int(\Omega)$ {{---}} внутренность области.

Пусть $N_p$ {{---}} множество соседей $p$ (максимум четыре пикселя, имеющих общую границу с $p$, т.е. пиксели со следующими координатами: $(x + 1, y), (x - 1, y), (x, y + 1), (x, y - 1)$). Для всех пар $(p, q)$ таких, что $q \in N_p$, введем $v_{pq} = I_p - I_q$

Введем переменные $O_p, p \in \Omega$. Так как мы хотим сделать результат бесшовным, пиксели $O_p, p \in \partial\Omega$, сделаем равными $S_p$. Для $p, q \in int(\Omega),\; q \in N_p$ постараемся найти такое $O$, чтобы разность $O_p$ и $O_q$ была близка к $v_{pq}$. Для этого решим задачу минимизации:

$$
\underset{O_p,\; p \in \Omega}{\mathrm{min}}\; \underset{p, q \in \Omega}{\sum}\; \left(O_p - O_q - v_{pq}\right)^2, \text{где } O_p = S_p, p \in \partial \Omega
$$

Заметим, что функция, которую мы хотим минимизировать, квадратична относительно переменных $O_p, p \in int(\Omega)$. Для решения задачи минимизации вычислим частные производные по этим переменным и найдем значения переменных, при которых частные производные будут равны нулю.
$$\frac{\partial{\underset{p, q \in \Omega}{\sum}\; \left(O_p - O_q - v_{pq}\right)^2}}{\partial O_p} = \underset{q \in N_p}{\sum} 2 \left(O_p - O_q - v_{pq}\right) - \underset{q \in N_p}{\sum} 2 \left(O_q - O_p - v_{qp}\right) = 2 \underset{q \in N_p}{\sum} 2 \left(O_p - O_q - v_{pq}\right)$$.

Приравнивая к нулю, получаем: $|N_p| O_p - \underset{q \in N_p}{\sum} O_q = \underset{q \in N_p}{\sum} v_{pq}$.

Добавим условие $O_p = S_p, p \in \partial \Omega$: $\;|N_p| O_p - \underset{q \in N_p \cap int(\Omega)}{\sum} O_q = \underset{q \in N_p \cap \partial \Omega}{\sum} S_q + \underset{q \in N_p}{\sum} v_{pq}$.

Для решения систем уравнений такого вида могут быть использованы итеративные алгоритмы Gauss-Seidel и V-cycle multigrid<ref name="PGB03">[https://www.cs.jhu.edu/~misha/Fall07/Papers/Perez03.pdf Poisson Image Editing] Patrick Perez, Michel Gangnet, Andrew Blake (2003)</ref>.

Получаем значения пикселей $O_p$, $p \in int(\Omega)$. Тогда результат $B$ блендинга Пуассона будет следующим:
$$
B_p =
\begin{cases}
O_p,\; \text{если } p \in int(\Omega) \\
S_p,\; \text{иначе }
\end{cases}
$$

Mетод Пуассона сдвигает цвета накладываемого изображения, сохраняя свойства градиента (т.е. если пиксель $I_{p1}$ был меньше $I_{p2}$, то после преобразования $I_{p1}$ не станет больше $I_{p2}$), однако само значение градиета может получиться другим.<ref name='clear_poisson'>https://erkaman.github.io/posts/poisson_blending.html Poisson blending для самых маленьких</ref>

==Трансфер стиля==
{{main|Neural Style Transfer}}
Прежде чем переходить к гармонизации картин, рассмотрим задачу трансфера стиля с изображения $S$ на изображение $I$. Для этого используются выходы скрытых слоёв [[Сверточные нейронные сети | свёрточной нейронной сети]] VGG-19<ref name="SZ14">[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition] Karen Simonyan, Andrew Zisserman (2014)</ref>.

Основная идея генерации изображения {{---}} решение оптимизационной задачи $\mathcal{L}(O, I, S) \xrightarrow[O]{} min$, где $O$ {{---}} итоговое изображение, $\mathcal{L}(O, I, S)$ {{---}} [[Функция потерь и эмпирический риск | функция потерь]]. Такую задачу можно решать градиентным спуском в пространстве изображений используя [[обратное распространение ошибки | метод обратного распространения ошибки]].
{{Определение
|definition =
Пусть $F^l\left[I\right] \in \mathcal{R}^{N_l \times M_l}$ {{---}} выход $l$-го слоя сети на изображении $I$. Представим его как матрицу $N_l \times M_l$,
где $N_l$ {{---}} количество фильтров в $l$-ом слое,
$M_l$ {{---}} количество признаков (высота, умноженная на ширину). Тогда $F^l_{ij}\left[I\right]$ {{---}} $j$-ый признак $i$-го фильтра в $l$-ом слое.}}
{{Определение
|definition =
'''Матрица Грама''' (англ. ''Gram matrix'') {{---}} матрица попарных скалярных произведений. В нашем случае матрица отражает корреляцию между выходами фильтров. $G^l\left[I\right] \in \mathcal{R}^{N_l \times N_l} = F^l\left[I\right]F^l\left[I\right]^T$.}}

===Алгоритм Гатиса<ref name="GEB16">[https://rn-unison.github.io/articulos/style_transfer.pdf Image Style Transfer Using Convolutional Neural Networks] Leon A. Gatys, Alexander S. Ecker, Matthias Bethge (2016)</ref>===

{{Определение
|id=content_loss_def
|definition =
$\mathcal{L}^{\alpha}_{content}(I, O) = \displaystyle\sum_l \frac{\alpha_l}{2 N_l M_l}\displaystyle\sum_{i, j} \left(F^l_{ij}\left[I\right] - F^l_{ij}\left[O\right]\right)^2$ {{---}} функция потерь содержания, где
$\alpha_l$ {{---}} вклад $l$-го слоя в функцию потерь<ref name="NotOriginalDef">Здесь используется определение функции потерь, которое отличается от статьи Гатиса, но используется в таком виде в статье про гармонизацию.</ref>.}}
{{Определение
|id=style_loss_def
|definition =
$\mathcal{L}^{\beta}_{style}(I, O) = \displaystyle\sum_l \frac{\beta_l}{2N_l^2} \displaystyle\sum_{i, j} \left(G^l_{ij}\left[I\right] - G^l_{ij}\left[O\right]\right)^2$ {{---}} функция потерь стиля, где
$\beta_l$ {{---}} вклад $l$-го слоя в функцию потерь<ref name="NotOriginalDef"/>.}}

Итоговой функцией потерь будет $\mathcal{L}_{Gatys} = \mathcal{L}^{\alpha}_{content}(I, O) + w_{style}\mathcal{L}^{\beta}_{style}(I, O)$<ref name="NotOriginalDef"/>. Вес $w_{style}$, векторы $\alpha$ и $\beta$ являются, в некотором смысле, гиперпараметрами алгоритма, которые нужно подбирать.

Авторы статьи показывают, что в качестве начальной инициализации можно брать изображение $I$, изображение $S$ или белый шум {{---}} алгоритм даёт похожие результаты в этих случаях.

[[Файл:GEB16_Figure_6.png|1000px|thumb|center|Начальная инициализация: '''A)''' $O_0 = I$; '''B)''' $O_0 = S$; '''C)''' $O_0 = random$, $4$ примера инициализированы различными белыми шумами ]]

===Histogram Loss===

Авторы другой статьи<ref name="WRB17">[https://arxiv.org/pdf/1701.08893.pdf Stable and Controllable Neural Texture Synthesis and Style Transfer Using Histogram Losses] Eric Risser, Pierre Wilmot, Connelly Barnes (2017)</ref> показывают, что результаты, полученные с помощью $\mathcal{L}_{Gatys}$ нестабильны и предложили другую функцию потерь, основанную на ''сопоставлении гистограмм''.
{{Определение
|definition =
'''Сопоставление гистограмм''' (англ. ''Histogram matching'') {{---}} метод обработки изображения, после которого гистограмма изображения совпадает с целевой гистограммой<ref name="HistMatch">https://en.wikipedia.org/wiki/Histogram_matching</ref>.}}
{{Определение
|definition =
Пусть $R = histmatch(S, O)$ {{---}} отображение пикселей такое, что гистограмма $S$ совпадает с гистограммой $R(O)$.}}
{{Определение
|id=hist_loss_def
|definition =
$\mathcal{L}^{\gamma}_{hist}(S, O) = \displaystyle\sum_l \gamma_l \displaystyle\sum_{i, j} \left(F^l_{ij}\left[O\right] - R\left(F^l_{ij}\left[O\right]\right)\right)^2$ {{---}} функция потерь гистограмм, где
$\gamma_l$ {{---}} вклад $l$-го слоя в функцию потерь}}

'''Замечание:''' Если в случае остальных функций потерь нетрудно посчитать производную, то здесь могут возникнуть проблемы. Но поскольку $\displaystyle\frac{\partial \mathcal{L}_{hist}}{\partial F^l_{ij}\left[O\right]}$ является нулём почти везде, авторы предлагают при подсчёте производной считать $R\left(F^l_{ij}\left[O\right]\right)$ константой, которая не зависит от $O$.

===Total variation loss===

Также добавим ещё одну функцию потерь, которая удаляет шумы, при этом сохраняя важные детали изображения<ref name="MV15">[https://arxiv.org/pdf/1412.0035.pdf Understanding Deep Image Representations by Inverting Them] Aravindh Mahendran, Andrea Vedaldi (2015)</ref><ref name="JAFF16">[https://arxiv.org/pdf/1603.08155.pdf Perceptual Losses for Real-Time Style Transfer and Super-Resolution] Justin Johnson, Alexandre Alahi, Li Fei-Fei (2016)</ref>.
{{Определение
|id=tv_loss_def
|definition =
$\mathcal{L}_{tv}(O) = \displaystyle\sum_{i, j} \left(O^l_{i, j} - O^l_{i-1, j}\right)^2 + \left(O^l_{i, j} - O^l_{i, j-1}\right)^2$ {{---}} общая вариационная потеря (англ. ''Total variation loss'').}}

==Глубокая гармонизация картин<ref name="LPSB18">https://arxiv.org/pdf/1804.03189.pdf Fujun Luan, Sylvain Paris, Eli Shechtman, Kavita Bala (2018)</ref>==

Для того чтобы вставить изображение в картину или рисунок нужно не только сделать бесшовный переход и изменить цвета, но ещё и изменить текстуру вставляемого изображения, например сымитировать мазки кистью. Используем для этого комбинацию подходов из других статей<ref name="GEB16"/><ref name="JAFF16"/><ref name="WRB17"/>.

[[Файл:LPSB18_Figure_1.png|1000px|thumb|center|Пример работы алгоритма ''Deep Image Analogy''<ref name="LYY*17">[https://arxiv.org/pdf/1705.01088.pdf Visual Attribute Transfer through Deep Image Analogy] Jing Liao, Yuan Yao, Lu Yuan, Gang Hua, Sing Bing Kang (2017)</ref> (3 картинка) и ''Deep Painterly Harmonization''<ref name="LPSB18"/> (4 картинка)]]
Алгоритм будет состоять из двух проходов. Первый проход будет делать грубую гармонизацию, а второй {{---}} более тщательную. Отличаться они будут '''стилевым маппингом''' и функциями потерь.

{{Определение
|definition =
'''Стилевым маппингом''' мы будем называть отображение $P : \mathcal{R}^{N_l \times M_l} \rightarrow \mathcal{R}^{N_l \times M_l}$, которое некоторым образом переставляет столбцы матрицы (не обязательно обратимо, то есть столбцы могут теряться и копироваться). Более формально, пусть $p(j)$ {{---}} новая позиция столбца $j$, тогда $P(Q)_{i, p(j)} = Q_{ij}$.}}

Один проход будет состоять из $3$ частей:
# Входное $I$ и стилевое $S$ изображения подаются на вход нейронной сети VGG-19, так мы получаем $F^l_{ij}\left[I\right]$ и $F^l_{ij}\left[S\right]$.
# Для каждого слоя $l$ некоторым алгоритмом $\pi$ cтроится стилевой маппинг $P_l$, который сопоставляет столбцам из $F_l[I]$ столбцы из $F_l[S]$.
# Изображение $O$ восстанавливается градиентным спуском по пространству изображений, используя некоторую функцию потерь $\mathcal{L}$.

'''fun''' $SinglePassHarmonization$(
$I$,// Входное изображение 
$M$,// Маска 
$S$,// Стилевое изображение 
$\pi$,// Алгоритм построения стилевого маппинга 
$\mathcal{L}$// Функция потерь 
):
// Строим матрицы $F[I]$ и $F[S]$ с помощью свёрточной сети VGG-19 
$F[I] \leftarrow ComputeNeuralActivations(I)$
$F[S] \leftarrow ComputeNeuralActivations(S)$
// Строим стилевой маппинг 
$P \leftarrow \pi(F[I], M, F[S])$
// Градиентным спуском ищем изображение $O$, которое минимизирует $\mathcal{L}$ 
$O \leftarrow Reconstruct(I, M, S, P, \mathcal{L})$

'''return''' $O$


===Первый проход===

{{Определение
|definition =
'''Вектор активации''' (англ. ''activation vector'') {{---}} это вектор значений функции активации для каждого фильтра свёрточного слоя. Заметим, что столбцы $F_l$ являются векторами активации.}}

{{Определение
|definition =
'''Патчем''' (англ. ''patch'') для столбца $j$ будем называть тензор $3 \times 3 \times N_l$, который состоит из соседних векторов активации в тензоре свёрточного слоя, с центром в столбце $j$}}



<div class="tright" style="clear:none">[[Файл:LPSB18_Figure_2c.png|250px|thumb|none|Результаты после второго прохода]]</div>
<div class="tright" style="clear:none">[[Файл:LPSB18_Figure_2b.png|250px|thumb|none|Результаты после первого прохода]]</div>

Первый проход делает грубую гармонизацию, но при этом он хорошо работает с любыми стилями. Здесь используется алгоритм <code>IndependentMapping</code> для построения стилевого маппинга. Этот алгоритм для каждого столбца $j$ в $F_l[I]$ ищет столбец $p(j)$ в $F_l[S]$, такой что евклидово расстояние между патчем $F_l[I]$ с центром $j$ и патчем $F_l[S]$ с центром $p(j)$ минимально (метод ближайшего соседа).


'''fun''' $IndependentMapping$(
$F[I]$,// Выходы слоёв после входного изображения 
$Mask$,// Маска 
$F[S]$// Выходы слоёв после стилевого изображения 
):
// Для всех слоёв от $1$ до $L$ 
'''for''' $l \in [1 : L]$:
// Для всех столбцов от $1$ до $M_l$ 
'''for''' $j \in [1 : M_l]$:
// Рассматриваем патчи только внутри маски, которую нужно масштабировать в соответсвии с размером слоя $l$ 
'''if''' $j \in Resize(Mask, l)$:
// Берём самый похожий стилевой патч и записываем его в маппинг. 
$P_l(j) \leftarrow NearestNeighborIndex(F[I], j, F[S])$
'''return''' $P$


В первом проходе используется модифицированная функция потерь $\mathcal{L}_{Gatys}$, с тем лишь отличием, что к $F_l[S]$ применяется стилевой маппинг $P_l$.

$$\mathcal{L}_1(I, S, O, P) = \mathcal{L}^{\alpha}_{content}(I, O) + w_{style}\mathcal{L}^{\beta}_{style}(S, O, P) \text{, где } w_{style} \text{ {{---}} вес стилевой функции потерь}$$

'''Замечание:''' при посчёте градиента $\mathcal{L}^{\alpha}_{content}$ используются только пиксели внутри маски<ref>https://github.com/luanfujun/deep-painterly-harmonization/blob/a33a9a70366b6baff1cc0291f857b5895b271fc1/neural_gram.lua#L349</ref>.

===Второй проход===



Второй проход делает более качественную гармонизацию после первого прохода. Здесь мы будем использовать более сложный алгоритм $ConsistentMapping$ построения стилевого маппинга и более сложную функцию потерь. Суть этого алгоритма в том, чтобы найти стилевой мапинг на некотором слое $l_{ref}$ и перенести этот маппинг на остальные слои. Также, мы будем предпочитать маппинги, в которых смежные патчи в $F_l[S]$ остаются смежными после мапинга, чтобы обеспечить пространсвенную согласованность (видимо таким образом мы хотим переносить сложные текстуры более качественно, например мазки кистью).


'''fun''' $ConsistentMapping$(
$F[I]$,// Выходы слоёв после входного изображения 
$Mask$,// Маска 
$F[S]$// Выходы слоёв после стилевого изображения 
):
// Сначала посчитаем маппинг как в IndependentMapping только для слоя $l_{ref}$ 
'''for''' $j \in [1 : M_{l_{ref}}]$:
'''if''' $j \in Resize(Mask, l_{ref})$:
$P_0(j) \leftarrow NearestNeighborIndex(F[I], j, F[S])$

// Далее обеспечиваем пространсвенную согласованность 
'''for''' $j \in [1 : M_{l_{ref}}]$:
'''if''' $j \in Resize(Mask, l_{ref})$:
$q \leftarrow P_0(j)$
// Инициализируем множество кандидатов на новый маппинг 
$CSet \leftarrow \{q\}$
// Перебираем все смежные патчи 
'''for''' $o \in {N, NE, E, SE, S, SW, W, NW}$:
// Добавляем в кандидаты патч, сосед которого является маппингом для нашего соседа в соответсвующем направлении 
$CSet \leftarrow CSet \cup \left\{P_0(j + o) - o\right\}$
// Среди всех кандидатов выбираем тот, который ближе всего к маппингам наших соседей 
$P_{l_{ref}}(j) \leftarrow \underset{c \in CSet}{\mathrm{argmin}}\displaystyle\sum_o \left\|(F_{l_{ref}}[S]_c - F_{l_{ref}}[S]_{P_0(j + o)}\right\|^2$

// Теперь нужно перенести маппинг для $l_{ref}$ на остальные слои 
'''for''' $l \in [1 : L] \setminus \{l_{ref}\}$:
'''for''' $j \in [1 : M_l]$:
'''if''' $j \in Resize(Mask, l)$:
// Вычисляем позицию $j'$ на слое $l_{ref}$ соответствующую позиции $j$ на слое $l$
$j' \leftarrow ChangeResolution(l, l_{ref}, j)$
// Берём маппинг для позиции $j'$
$q \leftarrow P_{l_{ref}}(j')$
// Переносим позицию $q$ обратно на слой $l$
$P_l(j) \leftarrow ChangeResolution(l_{ref}, l, q)$
'''return''' P


При вычислении стилевого маппинга появляется очень много дублирующихся векторов, что даёт не очень хорошие результаты. Поэтому при вычислении матрицы Грама выкинем повторяющиеся векторы. Назовём эту функцию потерь $\mathcal{L}_{s1}$.

$$\mathcal{L}_2(I, S, O, P) = \mathcal{L}^{\alpha}_{content}(I, O) + w_{style}\mathcal{L}^{\beta}_{s1}(S, O, P) + w_{hist}\mathcal{L}^{\gamma}_{hist}(S, O) + w_{tv}\mathcal{L}_{tv}(O) \text{, где } w_{style}, w_{hist}, w_{tv} \text{ {{---}} веса соответсвующих функций потерь}$$

{|
| [[Файл:LPSB18_Figure_5c.png|250px|thumb|none|Только второй проход]]
| [[Файл:LPSB18_Figure_5d.png|250px|thumb|none|Только первый проход]]
| [[Файл:LPSB18_Figure_5f.png|250px|thumb|none|Результат с $\mathcal{L}_{style}$ вместо $\mathcal{L}_{s1}$]]
|}

===Итоговый алгоритм===

Теперь осталось запустить две стадии


'''fun''' $Harmonization$(
$I$,// Входное изображение 
$Mask$,// Маска 
$S$// Стилевое изображение 
):
// Грубый проход алгоритма. Каждый слой рассматривается отдельно при построении стилевого маппинга. 
$I' \leftarrow SinglePassHarmonization(I, Mask, S, IndependentMapping, \mathcal{L}_1)$
// Улучшение результата. Стилевой маппинг строится консистентно для всех слоёв. 
$O \leftarrow SinglePassHarmonization(I', Mask, S, ConsistentMapping, \mathcal{L}_2)$
'''return''' $O$


===Постобработка===

[[Файл:LPSB18_Figure_6abc.png|400px|thumb|right|Результат постобработки (без постобработки, после первой стадии, после второй стадии)]]

Описанный алгоритм даёт хорошие результаты в целом, но при ближайшем рассмотрении могут быть артефакты. Поэтому сделаем двухступенчатую постобработку (подробное описание есть в оригинальной статье<ref name="LPSB18"/>):
# Переведём изображение в [https://en.wikipedia.org/wiki/CIELAB_color_space CIELAB] и применим [https://en.wikipedia.org/wiki/Guided_filter Guided filter] для a и b каналов.
# С помощью алгоритма PatchMatch<ref name="BSFG09">https://www.researchgate.net/profile/Eli_Shechtman/publication/220184392_PatchMatch_A_Randomized_Correspondence_Algorithm_for_Structural_Image_Editing/links/02e7e520897b12bf0f000000.pdf Connelly Barnes, Eli Shechtman, Adam Finkelstein, Dan B Goldman (2009)</ref> и того же Guided filter делаем так чтобы все патчи выходного изображения присутсвовали в стилевом (чтобы не было новых объектов или структур)

===Подбор гиперпараметров===

[[Файл:LPSB18_Figure_4.png|400px|thumb|right|Влияние $l_{ref}$ на результат]]

Возьмём $l_{ref}$ = conv4_1.
Выберем следующие веса для слоёв:

{| class="wikitable"
|+ Первый проход
|-
! Параметр
! conv1_1
! conv2_1
! conv3_1
! conv4_1
! conv5_1
|-
! $\alpha$
| $0$
| $0$
| $0$
| $1$
| $0$
|-
! $\beta$
| $0$
| $0$
| $1/3$
| $1/3$
| $1/3$
|}

{| class="wikitable"
|+ Второй проход
|-
! Параметр
! conv1_1
! conv2_1
! conv3_1
! conv4_1
! conv5_1
|-
! $\alpha$
| $0$
| $0$
| $0$
| $1$
| $0$
|-
! $\beta$
| $1/4$
| $1/4$
| $1/4$
| $1/4$
| $0$
|-
! $\gamma$
| $1/2$
| $0$
| $0$
| $1/2$
| $0$
|}

Введём гиперпараметр $\tau$ и возьмём $w_{style} = w_{hist} = \tau$, $w_{tv} = \tau\frac{10}{1 + \exp(10^4 * noise(S) - 25)}$, где $noise(S) = \underset{i,j}{\mathrm{med}}\left\{\left(O^l_{i, j} - O^l_{i-1, j}\right)^2 + \left(O^l_{i, j} - O^l_{i, j-1}\right)^2\right\}$<ref>[https://github.com/luanfujun/deep-painterly-harmonization/blob/a33a9a70366b6baff1cc0291f857b5895b271fc1/neural_paint.lua#L470 код функции $noise$</ref>

Для того чтобы подбирать $\tau$ авторы статьи использовали классификатор стилей изображений. Они взяли VGG-19, обучили её классифицировать 18 различных стилей. Эти стили были разделены на 3 категории с разными $\tau$. Используя Softmax можно интерполировать необходимый $\tau$ по следующей таблице:

{| class="wikitable"
|-
! Категория стиля
! Примеры стилей
! $\tau$
|-
! Слабый
| Барокко, Высокое Возрождение
| $1$
|-
! Средний
| Абстрактное Искусство, Постимпрессионизм
| $5$
|-
! Сильный
| Кубизм, Экспрессионизм
| $10$
|}

===Примеры===

{|
! Исходное изображение
! Простая вставка
! Результат
! Постобработка
|-
| [[Файл:5_target.jpg|300px]]
| [[Файл:5_naive.jpg|300px]]
| [[Файл:5_final_res.png|300px]]
| [[Файл:5_final_res2.png|300px]]
|-
| [[Файл:6_target.jpg|300px]]
| [[Файл:6_naive.jpg|300px]]
| [[Файл:6_final_res.png|300px]]
| [[Файл:6_final_res2.png|300px]]
|-
| [[Файл:10_target.jpg|300px]]
| [[Файл:10_naive.jpg|300px]]
| [[Файл:10_final_res.png|300px]]
| [[Файл:10_final_res2.png|300px]]
|}

==Глубокий блендинг==



Алгоритм глубокого блендинга состоит из двух этапов. На первом этапе на стилевое изображения $S$ бесшовно накладывается входное изображение $I$, получается подготовительное блендинг-изображение $B$. На втором этапе $B$ модифицируется таким образом, чтобы результат по стилю был похож на $S$.

Будем считать, что на вход подаются изображения, прошедшие предварительную обработку:
* Используемая для вставки часть $I$ вырезана с помощью маски
* $M$ и $I$ выровнены относительно $S$
* Размеры матриц, задающих $M, S, I$ совпадают

'''Примеры входных данных:'''
{| class="wikitable" style="background-color:#FFF; text-align:center"
|-
! '''Стилевое изображение $S$'''
| [[Файл:Deep bl s1.png|150px]]
| [[Файл:Deep bl s2.png|150px]]
| [[Файл:Deep bl s3.png|150px]]
|-
! '''Накладываемое изображение $I$'''
| [[Файл:Deep bl i1.png|150px]]
| [[Файл:Deep bl i2.png|150px]]
| [[Файл:Deep bl i3.png|150px]]
|}

На обоих этапах алгоритм минимизирует взвешенную сумму следующих функций потерь:
* [[Блендинг_изображений#content_loss_def|Функция потерь содержания]] $\mathcal{L}_{cont}$ для сохранения содержания накладываемого изображения $I$
* [[Блендинг_изображений#style_loss_def|Функция потерь стиля]] $\mathcal{L}_{style}$ для переноса стиля изображения $S$ на $I$
* [[Блендинг_изображений#hist_loss_def|Гистограмная функция потерь]] $\mathcal{L}_{hist}$ для стабилизации переноса стиля
* [[Блендинг_изображений#tv_loss_def|Функция потерь полного отклонения]] $\mathcal{L}_{tv}$ для удаления шумов
* [[Блендинг_изображений#grad_loss_def|Градиентная функция потерь]] $\mathcal{L}_{grad}$ для бесшовности наложения

Для подсчета $\mathcal{L}_{style}$ и $\mathcal{L}_{content}$ авторами статьи<ref name='ZWS20'>[https://openaccess.thecvf.com/content_WACV_2020/papers/Zhang_Deep_Image_Blending_WACV_2020_paper.pdf Deep Image Blending] Lingzhi Zhang, Tarmily Wen, Jianbo Shi (2020)</ref> использовалась сеть VGG-19<ref name="SZ14"/>, обученная на ImageNet<ref name="ImageNet">https://image-net.org/papers/imagenet_cvpr09.pdf J. Deng, W. Dong, R. Socher, L.-J. Li, K. Li, and L. FeiFei. Imagenet: A large-scale hierarchical image database</ref>.

{{Определение
|definition =
'''Простой вставкой''' (англ. ''copy and paste'') $CAP(M, S, I)$ будем назвать изображение, полученное наложением части изображения $I$, заданной маской $M$, на изображение $S$.
$CAP(M, S, I) = I \odot M + S \odot (1 - M)$, где $\odot$ {{---}} покомпонентное умножение. }}

{{Определение
|definition =
'''Дискретный оператор Лапласа''' (фильтр Лапласа) $\mathbf{D}^2$ {{---}} аналог непрерывного оператора Лапласа $\nabla^2$, который позволяет выделять контуры изображения.
$$\mathbf{D}^2=\begin{bmatrix}0 & 1 & 0\\1 & -4 & 1\\0 & 1 & 0\end{bmatrix}$$ }}

** TODO картиночка**

Чтобы комбинировать решение задачи бесшовного наложения [[Блендинг изображений#Блендинг Пуассона|методом Пуассона]] с остальными ограничениями, авторы статьи<ref name='ZWS20'/> предлагают использовать функцию потерь $\mathcal{L}_{grad}$. Для сохранения контуров изображений $S$ и $I$ в области вставки используется дискретный оператор Лапласа.

{{Определение
|id=grad_loss_def
|definition =
$\mathcal{L}_{grad}(S, I, M, O) = \displaystyle\frac{1}{2HW}\displaystyle\sum_{m=1}^H \displaystyle\sum_{n=1}^W \left[ \mathbf{D}^2 B - \left(\mathbf{D}^2 S + \mathbf{D}^2 I\right) \right]^2_{mn}$ {{---}} градиентная функция потерь (англ. ''Possion gradient loss''). $H, W$ {{---}} высота и ширина изображений. $B = CAP(M, S, O)$ {{---}} блендинговое изображение, оптимизируемое относительно $O$. }}

Рассмотрим область $\overline{\Omega} = \{\;p \;| \;M_p = 0\; \}$. Заметим, что градиент $I$ в $\overline{\Omega}$ равен нулю. Тогда градиенты $S$ и $B$ совпадают, и задача минимизации $\mathcal{L}_{grad}$ решается только в области вставки.

=== Первый этап ===

<div class="tright" style="clear:none">[[Файл:Deep bl 2stage.png|thumb|none|200px|Результат после обоих этапов]]</div>
<div class="tright" style="clear:none">[[Файл:Deep bl 1stage.png|thumb|none|200px|Результат первого этапа]]</div>

На первом этапе изображение $I$ накладывается на фоновое изображение $S$ таким образом, чтобы были незаметны швы.
Построение начинается с белого шума $Z$, который оптимизируется в области вставки путем минимизации суммарной функции потерь $\mathcal{L}_{total}$, представленной взвешенной суммой всех функций потерь, описанных выше:
$$ \mathcal{L}_{total}(Z) = w_{grad}\mathcal{L}_{grad}(I, S, B) + w_{cont}\mathcal{L}_{cont}(I, M, Z) + w_{style}\mathcal{L}_{style}(S, B) + w_{tv}\mathcal{L}_{tv}(B) + w_{hist}\mathcal{L}_{hist}(S, B) $$
Отметим, что $\mathcal{L}_{cont}$ зависит от маски и отвечает за сохранение содержания $I$ в области вставки.

Отличительной чертой этого этапа является использование функции потерь $\mathcal{L}_{grad}$, приближающей градиент результата к градиенту $I$ в области наложения, за счет чего достигается бесшовность. Для вычисления производных второго порядка используется фильтр Лапласа.

В результате получается подготовительное блендинг-изображение $B$:
$$
B_p =
\begin{cases}
Z_p,\; \text{если } M_p = 1 \\
S_p,\; \text{иначе }
\end{cases}
$$


'''fun''' $SeamlessBlending$(
$I$, // Входное изображение 
$M$, // Маска 
$S$ // Стилевое изображение 
):
// Инициализируем первое приближение белым шумом 
$Z \leftarrow RandomNoise() $
$B \leftarrow CAP(M, S, Z)$
// Определим суммарную функцию потерь с весами слагаемых $w$
$\mathcal{L}_{total}(Z) \leftarrow w_{grad}\mathcal{L}_{grad}(I, S, B) + w_{cont}\mathcal{L}_{cont}(I, M, Z) + w_{style}\mathcal{L}_{style}(S, B) + w_{tv}\mathcal{L}_{tv}(B) + w_{hist}\mathcal{L}_{hist}(S, B)$
// С помощью алгоритма L-BFGS ищем изображение $Z$, которое минимизирует $\mathcal{L}_{total}$ 
$Z \leftarrow Reconstruct(\mathcal{L}_{total}, Z)$
'''return''' $CAP(M, S, Z)$


=== Второй этап ===

Второй этап алгоритма представляет собой модификацию полученного на первом этапе блендинг-изображения $B$ таким образом, чтобы стиль изображения был наиболее близок к стилю $S$.

В отличие от предыдущего этапа, функция потерь не включает в себя $\mathcal{L}_{grad}$:
$$\mathcal{L}_{total}(O) = w_{cont}\mathcal{L}_{cont}(B, O) + w_{style}\mathcal{L}_{style}(S, O) + w_{tv}\mathcal{L}_{tv}(O) + w_{hist}\mathcal{L}_{hist}(S, O)$$

Минимизация происходит относительно результата алгоритма $O$, которой инициализируется изображением $B$.


'''fun''' $StyleRefinement$(
$B$, // Подготовительное блендинг-изображение, результат первого этапа 
$M$, // Маска 
$S$ // Стилевое изображение 
):
$O \leftarrow B$
// Определим суммарную функцию потерь с весами слагаемых $w$
$\mathcal{L}_{total}(O) \leftarrow w_{cont}\mathcal{L}_{cont}(B, O) + w_{style}\mathcal{L}_{style}(S, O) + w_{tv}\mathcal{L}_{tv}(O) + w_{hist}\mathcal{L}_{hist}(S, O)$
// С помощью алгоритма L-BFGS ищем изображение $O$, которое минимизирует $\mathcal{L}_{total}$ 
$O \leftarrow Reconstruct(\mathcal{L}_{total}, O)$
'''return''' $O$


===Детали реализации===

{| class="wikitable"
|+ Веса функций потерь
|-
! Этап
! $w_{grad}$
! $w_{cont}$
! $w_{style}$
! $w_{hist}$
! $w_{tv}$
|-
! $1$
| $10^5$
| $1$
| $10^5$
| $1$
| $10^{-6}$
|-
! $2$
| $0$
| $1$
| $10^7$
| $1$
| $10^{-6}$
|}

Для подсчета $\mathcal{L}_{style}$ используются слои $conv{1_2}, conv{2_2}, conv{3_3}, conv{4_3}$ $VGG$, для $\mathcal{L}_{cont}$ {{---}} $conv{2_2}$.

На обоих этапах максимальное количество итераций алгоритма L-BFGS {{---}} $1000$.

=== Примеры ===
[[Файл:МЛ блендинг пример.png|1000px]]

==Ссылки==

[https://en.wikipedia.org/wiki/Gramian_matrix Матрица Грама (англ.)]

==Примечания==

Блендинг изображений

2021-01-11T16:20:46Z

Npostnikova: /* Дискретный случай */

{{Определение
|definition =
'''Блендинг изображений''' (англ. ''image blending'') {{---}} метод, позволяющий вставить часть одного изображения в другое таким образом, чтобы композиция изображений выглядела естественно, без швов на границах вставки и соответсвующими цветами и текстурами. }}

==Блендинг Пуассона==
[[Файл:Poisson int1.png|thumb|right|300px|Рис. $1.1$. Пример перепада яркости при простой вставке]]
[[Файл:Poisson int2.png|thumb|right|300px|Рис. $1.2$. Результат применения блендинга Пуассона]]

Простая вставка одного изображения поверх другого нередко влечет заметный перепад яркости на границе вставки (рис. $1.1$). Метод Пуассона заключается в сглаживании этого перепада (рис. $1.2$) с целью сделать дефект менее заметным, используя градиент вставляемого изображения и значения пикселей фонового изображения на границе вставки.

'''Замечание:''' Для RGB изображений задача минимизации решается для каждого цветового канала отдельно.

Давайте обозначим за $S$ изображение, которое служит фоном, а за $I$ {{---}} изображение, вставляемое поверх $S$. Область вставки будем задавать двоичной маской $M$, содержащей единицы в области наложения. Например:
{| class="wikitable" style="background-color:#FFF; text-align:center"
|-
! Фоновое изображение $S$
! Накладываемое изображение $I$
! Маска $M$
|-
| [[Файл:Poisson_cat.jpg|200px]]
| [[Файл:Poisson_cherry.jpg|200px]]
| [[Файл:Poisson_cherry_mask.png|200px]]
|}

=== Идея подхода ===
Пусть замкнутое множество $P \subset \mathbb{R}^2$ {{---}} область, на которой определено изображение $S$, а замкнутое множество $\Omega \subset P$ с границей $\partial\Omega$ и внутренностью $int(\Omega)$ {{---}} область вставки изображения $I$.

Пусть $f_S$ {{---}} скалярная функция, определенная на $P \setminus int(\Omega)$, задает фоновое изображение $S$; $f$ {{---}} неизвестная скалярная функция, определенная на $int(\Omega)$, задает, каким образом должно выглядеть результат блендинга в области вставки.

$v_I$ {{---}} векторное поле, определенное на $\Omega$. В качестве $v_I$ возьмем градиент вставляемого изображения $I$: $v_I = \nabla f_I$

Нашей задачей является поиск такой функции $f$, чтобы блендинговое изображение выглядело реалистично. Для этого минимизируем разность градиента функции $f$ и векторного поля $v_I$, считая, что $f = f_S$ на границе $\Omega$.
$$
\underset{f}{\mathrm{min}} \underset{\Omega}{\iint} |\nabla f - v_I|^2, \text{где } f|_{\partial \Omega} = f_S|_{\partial \Omega}
$$
Решение задачи минимизации является единственным решением уравнения Пуассона для граничных условий Дирихле.
$$\nabla^2 f = \nabla^2 f_I \text{ на } \Omega, f|_{\partial \Omega} = f_S|_{\partial \Omega}, \text{где } \nabla^2 \text{{{---}} оператор Лапласа.}$$

=== Дискретный случай ===
Пусть $p$ {{---}} координаты $(x, y)$ пикселя двухмерного изображения. За $Img_p$ обозначим значение пикселя с координатами $p$ изображения $Img$. Пусть $\Omega = \left\{ p\;|\;M_p = 1 \right\}$. Тогда $\partial \Omega$ {{---}} координаты границы вставляемой области, а $int(\Omega)$ {{---}} внутренность области.

Пусть $N_p$ {{---}} множество соседей $p$ (максимум четыре пикселя, имеющих общую границу с $p$, т.е. пиксели со следующими координатами: $(x + 1, y), (x - 1, y), (x, y + 1), (x, y - 1)$). Для всех пар $(p, q)$ таких, что $q \in N_p$, введем $v_{pq} = I_p - I_q$

Введем переменные $O_p, p \in \Omega$. Так как мы хотим сделать результат бесшовным, пиксели $O_p, p \in \partial\Omega$, сделаем равными $S_p$. Для $p, q \in int(\Omega),\; q \in N_p$ постараемся найти такое $O$, чтобы разность $O_p$ и $O_q$ была близка к $v_{pq}$. Для этого решим задачу минимизации:

$$
\underset{O_p,\; p \in \Omega}{\mathrm{min}}\; \underset{p, q \in \Omega}{\sum}\; \left(O_p - O_q - v_{pq}\right)^2, \text{где } O_p = S_p, p \in \partial \Omega
$$

Заметим, что функция, которую мы хотим минимизировать, квадратична относительно переменных $O_p, p \in int(\Omega)$. Для решения задачи минимизации вычислим частные производные по этим переменным и найдем значения переменных, при которых частные производные будут равны нулю.
$$\frac{\partial{\underset{p, q \in \Omega}{\sum}\; \left(O_p - O_q - v_{pq}\right)^2}}{\partial O_p} = \underset{q \in N_p}{\sum} 2 \left(O_p - O_q - v_{pq}\right) - \underset{q \in N_p}{\sum} 2 \left(O_q - O_p - v_{qp}\right) = 2 \underset{q \in N_p}{\sum} 2 \left(O_p - O_q - v_{pq}\right)$$.

Приравнивая к нулю, получаем: $|N_p| O_p - \underset{q \in N_p}{\sum} O_q = \underset{q \in N_p}{\sum} v_{pq}$.

Добавим условие $O_p = S_p, p \in \partial \Omega$: $\;|N_p| O_p - \underset{q \in N_p \cap int(\Omega)}{\sum} O_q = \underset{q \in N_p \cap \partial \Omega}{\sum} S_q + \underset{q \in N_p}{\sum} v_{pq}$.

Для решения систем уравнений такого вида могут быть использованы итеративные алгоритмы Gauss-Seidel и V-cycle multigrid<ref name="PGB03">[https://www.cs.jhu.edu/~misha/Fall07/Papers/Perez03.pdf Poisson Image Editing] Patrick Perez, Michel Gangnet, Andrew Blake (2003)</ref>.

Получаем значения пикселей $O_p$, $p \in int(\Omega)$. Тогда результат $B$ блендинга Пуассона будет следующим:
$$
B_p =
\begin{cases}
O_p,\; \text{если } p \in int(\Omega) \\
S_p,\; \text{иначе }
\end{cases}
$$

Mетод Пуассона сдвигает цвета накладываемого изображения, сохраняя свойства градиента (т.е. если пиксель $I_{p1}$ был меньше $I_{p2}$, то после преобразования $I_{p1}$ не станет больше $I_{p2}$), однако само значение градиета может получиться другим.<ref name='clear_poisson'>https://erkaman.github.io/posts/poisson_blending.html Poisson blending для самых маленьких</ref>

==Трансфер стиля==
{{main|Neural Style Transfer}}
Прежде чем переходить к гармонизации картин, рассмотрим задачу трансфера стиля с изображения $S$ на изображение $I$. Для этого используются выходы скрытых слоёв [[Сверточные нейронные сети | свёрточной нейронной сети]] VGG-19<ref name="SZ14">[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition] Karen Simonyan, Andrew Zisserman (2014)</ref>.

Основная идея генерации изображения {{---}} решение оптимизационной задачи $\mathcal{L}(O, I, S) \xrightarrow[O]{} min$, где $O$ {{---}} итоговое изображение, $\mathcal{L}(O, I, S)$ {{---}} [[Функция потерь и эмпирический риск | функция потерь]]. Такую задачу можно решать градиентным спуском в пространстве изображений используя [[обратное распространение ошибки | метод обратного распространения ошибки]].
{{Определение
|definition =
Пусть $F^l\left[I\right] \in \mathcal{R}^{N_l \times M_l}$ {{---}} выход $l$-го слоя сети на изображении $I$. Представим его как матрицу $N_l \times M_l$,
где $N_l$ {{---}} количество фильтров в $l$-ом слое,
$M_l$ {{---}} количество признаков (высота, умноженная на ширину). Тогда $F^l_{ij}\left[I\right]$ {{---}} $j$-ый признак $i$-го фильтра в $l$-ом слое.}}
{{Определение
|definition =
'''Матрица Грама''' (англ. ''Gram matrix'') {{---}} матрица попарных скалярных произведений. В нашем случае матрица отражает корреляцию между выходами фильтров. $G^l\left[I\right] \in \mathcal{R}^{N_l \times N_l} = F^l\left[I\right]F^l\left[I\right]^T$.}}

===Алгоритм Гатиса<ref name="GEB16">[https://rn-unison.github.io/articulos/style_transfer.pdf Image Style Transfer Using Convolutional Neural Networks] Leon A. Gatys, Alexander S. Ecker, Matthias Bethge (2016)</ref>===

{{Определение
|id=content_loss_def
|definition =
$\mathcal{L}^{\alpha}_{content}(I, O) = \displaystyle\sum_l \frac{\alpha_l}{2 N_l M_l}\displaystyle\sum_{i, j} \left(F^l_{ij}\left[I\right] - F^l_{ij}\left[O\right]\right)^2$ {{---}} функция потерь содержания, где
$\alpha_l$ {{---}} вклад $l$-го слоя в функцию потерь<ref name="NotOriginalDef">Здесь используется определение функции потерь, которое отличается от статьи Гатиса, но используется в таком виде в статье про гармонизацию.</ref>.}}
{{Определение
|id=style_loss_def
|definition =
$\mathcal{L}^{\beta}_{style}(I, O) = \displaystyle\sum_l \frac{\beta_l}{2N_l^2} \displaystyle\sum_{i, j} \left(G^l_{ij}\left[I\right] - G^l_{ij}\left[O\right]\right)^2$ {{---}} функция потерь стиля, где
$\beta_l$ {{---}} вклад $l$-го слоя в функцию потерь<ref name="NotOriginalDef"/>.}}

Итоговой функцией потерь будет $\mathcal{L}_{Gatys} = \mathcal{L}^{\alpha}_{content}(I, O) + w_{style}\mathcal{L}^{\beta}_{style}(I, O)$<ref name="NotOriginalDef"/>. Вес $w_{style}$, векторы $\alpha$ и $\beta$ являются, в некотором смысле, гиперпараметрами алгоритма, которые нужно подбирать.

Авторы статьи показывают, что в качестве начальной инициализации можно брать изображение $I$, изображение $S$ или белый шум {{---}} алгоритм даёт похожие результаты в этих случаях.

[[Файл:GEB16_Figure_6.png|1000px|thumb|center|Начальная инициализация: '''A)''' $O_0 = I$; '''B)''' $O_0 = S$; '''C)''' $O_0 = random$, $4$ примера инициализированы различными белыми шумами ]]

===Histogram Loss===

Авторы другой статьи<ref name="WRB17">[https://arxiv.org/pdf/1701.08893.pdf Stable and Controllable Neural Texture Synthesis and Style Transfer Using Histogram Losses] Eric Risser, Pierre Wilmot, Connelly Barnes (2017)</ref> показывают, что результаты, полученные с помощью $\mathcal{L}_{Gatys}$ нестабильны и предложили другую функцию потерь, основанную на ''сопоставлении гистограмм''.
{{Определение
|definition =
'''Сопоставление гистограмм''' (англ. ''Histogram matching'') {{---}} метод обработки изображения, после которого гистограмма изображения совпадает с целевой гистограммой<ref name="HistMatch">https://en.wikipedia.org/wiki/Histogram_matching</ref>.}}
{{Определение
|definition =
Пусть $R = histmatch(S, O)$ {{---}} отображение пикселей такое, что гистограмма $S$ совпадает с гистограммой $R(O)$.}}
{{Определение
|id=hist_loss_def
|definition =
$\mathcal{L}^{\gamma}_{hist}(S, O) = \displaystyle\sum_l \gamma_l \displaystyle\sum_{i, j} \left(F^l_{ij}\left[O\right] - R\left(F^l_{ij}\left[O\right]\right)\right)^2$ {{---}} функция потерь гистограмм, где
$\gamma_l$ {{---}} вклад $l$-го слоя в функцию потерь}}

'''Замечание:''' Если в случае остальных функций потерь нетрудно посчитать производную, то здесь могут возникнуть проблемы. Но поскольку $\displaystyle\frac{\partial \mathcal{L}_{hist}}{\partial F^l_{ij}\left[O\right]}$ является нулём почти везде, авторы предлагают при подсчёте производной считать $R\left(F^l_{ij}\left[O\right]\right)$ константой, которая не зависит от $O$.

===Total variation loss===

Также добавим ещё одну функцию потерь, которая удаляет шумы, при этом сохраняя важные детали изображения<ref name="MV15">[https://arxiv.org/pdf/1412.0035.pdf Understanding Deep Image Representations by Inverting Them] Aravindh Mahendran, Andrea Vedaldi (2015)</ref><ref name="JAFF16">[https://arxiv.org/pdf/1603.08155.pdf Perceptual Losses for Real-Time Style Transfer and Super-Resolution] Justin Johnson, Alexandre Alahi, Li Fei-Fei (2016)</ref>.
{{Определение
|id=tv_loss_def
|definition =
$\mathcal{L}_{tv}(O) = \displaystyle\sum_{i, j} \left(O^l_{i, j} - O^l_{i-1, j}\right)^2 + \left(O^l_{i, j} - O^l_{i, j-1}\right)^2$ {{---}} общая вариационная потеря (англ. ''Total variation loss'').}}

==Глубокая гармонизация картин<ref name="LPSB18">https://arxiv.org/pdf/1804.03189.pdf Fujun Luan, Sylvain Paris, Eli Shechtman, Kavita Bala (2018)</ref>==

Для того чтобы вставить изображение в картину или рисунок нужно не только сделать бесшовный переход и изменить цвета, но ещё и изменить текстуру вставляемого изображения, например сымитировать мазки кистью. Используем для этого комбинацию подходов из других статей<ref name="GEB16"/><ref name="JAFF16"/><ref name="WRB17"/>.

[[Файл:LPSB18_Figure_1.png|1000px|thumb|center|Пример работы алгоритма ''Deep Image Analogy''<ref name="LYY*17">[https://arxiv.org/pdf/1705.01088.pdf Visual Attribute Transfer through Deep Image Analogy] Jing Liao, Yuan Yao, Lu Yuan, Gang Hua, Sing Bing Kang (2017)</ref> (3 картинка) и ''Deep Painterly Harmonization''<ref name="LPSB18"/> (4 картинка)]]
Алгоритм будет состоять из двух проходов. Первый проход будет делать грубую гармонизацию, а второй {{---}} более тщательную. Отличаться они будут '''стилевым маппингом''' и функциями потерь.

{{Определение
|definition =
'''Стилевым маппингом''' мы будем называть отображение $P : \mathcal{R}^{N_l \times M_l} \rightarrow \mathcal{R}^{N_l \times M_l}$, которое некоторым образом переставляет столбцы матрицы (не обязательно обратимо, то есть столбцы могут теряться и копироваться). Более формально, пусть $p(j)$ {{---}} новая позиция столбца $j$, тогда $P(Q)_{i, p(j)} = Q_{ij}$.}}

Один проход будет состоять из $3$ частей:
# Входное $I$ и стилевое $S$ изображения подаются на вход нейронной сети VGG-19, так мы получаем $F^l_{ij}\left[I\right]$ и $F^l_{ij}\left[S\right]$.
# Для каждого слоя $l$ некоторым алгоритмом $\pi$ cтроится стилевой маппинг $P_l$, который сопоставляет столбцам из $F_l[I]$ столбцы из $F_l[S]$.
# Изображение $O$ восстанавливается градиентным спуском по пространству изображений, используя некоторую функцию потерь $\mathcal{L}$.

'''fun''' $SinglePassHarmonization$(
$I$,// Входное изображение 
$M$,// Маска 
$S$,// Стилевое изображение 
$\pi$,// Алгоритм построения стилевого маппинга 
$\mathcal{L}$// Функция потерь 
):
// Строим матрицы $F[I]$ и $F[S]$ с помощью свёрточной сети VGG-19 
$F[I] \leftarrow ComputeNeuralActivations(I)$
$F[S] \leftarrow ComputeNeuralActivations(S)$
// Строим стилевой маппинг 
$P \leftarrow \pi(F[I], M, F[S])$
// Градиентным спуском ищем изображение $O$, которое минимизирует $\mathcal{L}$ 
$O \leftarrow Reconstruct(I, M, S, P, \mathcal{L})$

'''return''' $O$


===Первый проход===

{{Определение
|definition =
'''Вектор активации''' (англ. ''activation vector'') {{---}} это вектор значений функции активации для каждого фильтра свёрточного слоя. Заметим, что столбцы $F_l$ являются векторами активации.}}

{{Определение
|definition =
'''Патчем''' (англ. ''patch'') для столбца $j$ будем называть тензор $3 \times 3 \times N_l$, который состоит из соседних векторов активации в тензоре свёрточного слоя, с центром в столбце $j$}}



<div class="tright" style="clear:none">[[Файл:LPSB18_Figure_2c.png|250px|thumb|none|Результаты после второго прохода]]</div>
<div class="tright" style="clear:none">[[Файл:LPSB18_Figure_2b.png|250px|thumb|none|Результаты после первого прохода]]</div>

Первый проход делает грубую гармонизацию, но при этом он хорошо работает с любыми стилями. Здесь используется алгоритм <code>IndependentMapping</code> для построения стилевого маппинга. Этот алгоритм для каждого столбца $j$ в $F_l[I]$ ищет столбец $p(j)$ в $F_l[S]$, такой что евклидово расстояние между патчем $F_l[I]$ с центром $j$ и патчем $F_l[S]$ с центром $p(j)$ минимально (метод ближайшего соседа).


'''fun''' $IndependentMapping$(
$F[I]$,// Выходы слоёв после входного изображения 
$Mask$,// Маска 
$F[S]$// Выходы слоёв после стилевого изображения 
):
// Для всех слоёв от $1$ до $L$ 
'''for''' $l \in [1 : L]$:
// Для всех столбцов от $1$ до $M_l$ 
'''for''' $j \in [1 : M_l]$:
// Рассматриваем патчи только внутри маски, которую нужно масштабировать в соответсвии с размером слоя $l$ 
'''if''' $j \in Resize(Mask, l)$:
// Берём самый похожий стилевой патч и записываем его в маппинг. 
$P_l(j) \leftarrow NearestNeighborIndex(F[I], j, F[S])$
'''return''' $P$


В первом проходе используется модифицированная функция потерь $\mathcal{L}_{Gatys}$, с тем лишь отличием, что к $F_l[S]$ применяется стилевой маппинг $P_l$.

$$\mathcal{L}_1(I, S, O, P) = \mathcal{L}^{\alpha}_{content}(I, O) + w_{style}\mathcal{L}^{\beta}_{style}(S, O, P) \text{, где } w_{style} \text{ {{---}} вес стилевой функции потерь}$$

'''Замечание:''' при посчёте градиента $\mathcal{L}^{\alpha}_{content}$ используются только пиксели внутри маски<ref>https://github.com/luanfujun/deep-painterly-harmonization/blob/a33a9a70366b6baff1cc0291f857b5895b271fc1/neural_gram.lua#L349</ref>.

===Второй проход===



Второй проход делает более качественную гармонизацию после первого прохода. Здесь мы будем использовать более сложный алгоритм $ConsistentMapping$ построения стилевого маппинга и более сложную функцию потерь. Суть этого алгоритма в том, чтобы найти стилевой мапинг на некотором слое $l_{ref}$ и перенести этот маппинг на остальные слои. Также, мы будем предпочитать маппинги, в которых смежные патчи в $F_l[S]$ остаются смежными после мапинга, чтобы обеспечить пространсвенную согласованность (видимо таким образом мы хотим переносить сложные текстуры более качественно, например мазки кистью).


'''fun''' $ConsistentMapping$(
$F[I]$,// Выходы слоёв после входного изображения 
$Mask$,// Маска 
$F[S]$// Выходы слоёв после стилевого изображения 
):
// Сначала посчитаем маппинг как в IndependentMapping только для слоя $l_{ref}$ 
'''for''' $j \in [1 : M_{l_{ref}}]$:
'''if''' $j \in Resize(Mask, l_{ref})$:
$P_0(j) \leftarrow NearestNeighborIndex(F[I], j, F[S])$

// Далее обеспечиваем пространсвенную согласованность 
'''for''' $j \in [1 : M_{l_{ref}}]$:
'''if''' $j \in Resize(Mask, l_{ref})$:
$q \leftarrow P_0(j)$
// Инициализируем множество кандидатов на новый маппинг 
$CSet \leftarrow \{q\}$
// Перебираем все смежные патчи 
'''for''' $o \in {N, NE, E, SE, S, SW, W, NW}$:
// Добавляем в кандидаты патч, сосед которого является маппингом для нашего соседа в соответсвующем направлении 
$CSet \leftarrow CSet \cup \left\{P_0(j + o) - o\right\}$
// Среди всех кандидатов выбираем тот, который ближе всего к маппингам наших соседей 
$P_{l_{ref}}(j) \leftarrow \underset{c \in CSet}{\mathrm{argmin}}\displaystyle\sum_o \left\|(F_{l_{ref}}[S]_c - F_{l_{ref}}[S]_{P_0(j + o)}\right\|^2$

// Теперь нужно перенести маппинг для $l_{ref}$ на остальные слои 
'''for''' $l \in [1 : L] \setminus \{l_{ref}\}$:
'''for''' $j \in [1 : M_l]$:
'''if''' $j \in Resize(Mask, l)$:
// Вычисляем позицию $j'$ на слое $l_{ref}$ соответствующую позиции $j$ на слое $l$
$j' \leftarrow ChangeResolution(l, l_{ref}, j)$
// Берём маппинг для позиции $j'$
$q \leftarrow P_{l_{ref}}(j')$
// Переносим позицию $q$ обратно на слой $l$
$P_l(j) \leftarrow ChangeResolution(l_{ref}, l, q)$
'''return''' P


При вычислении стилевого маппинга появляется очень много дублирующихся векторов, что даёт не очень хорошие результаты. Поэтому при вычислении матрицы Грама выкинем повторяющиеся векторы. Назовём эту функцию потерь $\mathcal{L}_{s1}$.

$$\mathcal{L}_2(I, S, O, P) = \mathcal{L}^{\alpha}_{content}(I, O) + w_{style}\mathcal{L}^{\beta}_{s1}(S, O, P) + w_{hist}\mathcal{L}^{\gamma}_{hist}(S, O) + w_{tv}\mathcal{L}_{tv}(O) \text{, где } w_{style}, w_{hist}, w_{tv} \text{ {{---}} веса соответсвующих функций потерь}$$

{|
| [[Файл:LPSB18_Figure_5c.png|250px|thumb|none|Только второй проход]]
| [[Файл:LPSB18_Figure_5d.png|250px|thumb|none|Только первый проход]]
| [[Файл:LPSB18_Figure_5f.png|250px|thumb|none|Результат с $\mathcal{L}_{style}$ вместо $\mathcal{L}_{s1}$]]
|}

===Итоговый алгоритм===

Теперь осталось запустить две стадии


'''fun''' $Harmonization$(
$I$,// Входное изображение 
$Mask$,// Маска 
$S$// Стилевое изображение 
):
// Грубый проход алгоритма. Каждый слой рассматривается отдельно при построении стилевого маппинга. 
$I' \leftarrow SinglePassHarmonization(I, Mask, S, IndependentMapping, \mathcal{L}_1)$
// Улучшение результата. Стилевой маппинг строится консистентно для всех слоёв. 
$O \leftarrow SinglePassHarmonization(I', Mask, S, ConsistentMapping, \mathcal{L}_2)$
'''return''' $O$


===Постобработка===

[[Файл:LPSB18_Figure_6abc.png|400px|thumb|right|Результат постобработки (без постобработки, после первой стадии, после второй стадии)]]

Описанный алгоритм даёт хорошие результаты в целом, но при ближайшем рассмотрении могут быть артефакты. Поэтому сделаем двухступенчатую постобработку (подробное описание есть в оригинальной статье<ref name="LPSB18"/>):
# Переведём изображение в [https://en.wikipedia.org/wiki/CIELAB_color_space CIELAB] и применим [https://en.wikipedia.org/wiki/Guided_filter Guided filter] для a и b каналов.
# С помощью алгоритма PatchMatch<ref name="BSFG09">https://www.researchgate.net/profile/Eli_Shechtman/publication/220184392_PatchMatch_A_Randomized_Correspondence_Algorithm_for_Structural_Image_Editing/links/02e7e520897b12bf0f000000.pdf Connelly Barnes, Eli Shechtman, Adam Finkelstein, Dan B Goldman (2009)</ref> и того же Guided filter делаем так чтобы все патчи выходного изображения присутсвовали в стилевом (чтобы не было новых объектов или структур)

===Подбор гиперпараметров===

[[Файл:LPSB18_Figure_4.png|400px|thumb|right|Влияние $l_{ref}$ на результат]]

Возьмём $l_{ref}$ = conv4_1.
Выберем следующие веса для слоёв:

{| class="wikitable"
|+ Первый проход
|-
! Параметр
! conv1_1
! conv2_1
! conv3_1
! conv4_1
! conv5_1
|-
! $\alpha$
| $0$
| $0$
| $0$
| $1$
| $0$
|-
! $\beta$
| $0$
| $0$
| $1/3$
| $1/3$
| $1/3$
|}

{| class="wikitable"
|+ Второй проход
|-
! Параметр
! conv1_1
! conv2_1
! conv3_1
! conv4_1
! conv5_1
|-
! $\alpha$
| $0$
| $0$
| $0$
| $1$
| $0$
|-
! $\beta$
| $1/4$
| $1/4$
| $1/4$
| $1/4$
| $0$
|-
! $\gamma$
| $1/2$
| $0$
| $0$
| $1/2$
| $0$
|}

Введём гиперпараметр $\tau$ и возьмём $w_{style} = w_{hist} = \tau$, $w_{tv} = \tau\frac{10}{1 + \exp(10^4 * noise(S) - 25)}$, где $noise(S) = \underset{i,j}{\mathrm{med}}\left\{\left(O^l_{i, j} - O^l_{i-1, j}\right)^2 + \left(O^l_{i, j} - O^l_{i, j-1}\right)^2\right\}$<ref>[https://github.com/luanfujun/deep-painterly-harmonization/blob/a33a9a70366b6baff1cc0291f857b5895b271fc1/neural_paint.lua#L470 код функции $noise$</ref>

Для того чтобы подбирать $\tau$ авторы статьи использовали классификатор стилей изображений. Они взяли VGG-19, обучили её классифицировать 18 различных стилей. Эти стили были разделены на 3 категории с разными $\tau$. Используя Softmax можно интерполировать необходимый $\tau$ по следующей таблице:

{| class="wikitable"
|-
! Категория стиля
! Примеры стилей
! $\tau$
|-
! Слабый
| Барокко, Высокое Возрождение
| $1$
|-
! Средний
| Абстрактное Искусство, Постимпрессионизм
| $5$
|-
! Сильный
| Кубизм, Экспрессионизм
| $10$
|}

===Примеры===

{|
! Исходное изображение
! Простая вставка
! Результат
! Постобработка
|-
| [[Файл:5_target.jpg|300px]]
| [[Файл:5_naive.jpg|300px]]
| [[Файл:5_final_res.png|300px]]
| [[Файл:5_final_res2.png|300px]]
|-
| [[Файл:6_target.jpg|300px]]
| [[Файл:6_naive.jpg|300px]]
| [[Файл:6_final_res.png|300px]]
| [[Файл:6_final_res2.png|300px]]
|-
| [[Файл:10_target.jpg|300px]]
| [[Файл:10_naive.jpg|300px]]
| [[Файл:10_final_res.png|300px]]
| [[Файл:10_final_res2.png|300px]]
|}

==Глубокий блендинг==



Алгоритм глубокого блендинга состоит из двух этапов. На первом этапе на стилевое изображения $S$ бесшовно накладывается входное изображение $I$, получается подготовительное блендинг-изображение $B$. На втором этапе $B$ модифицируется таким образом, чтобы результат по стилю был похож на $S$.

Будем считать, что на вход подаются изображения, прошедшие предварительную обработку:
* Используемая для вставки часть $I$ вырезана с помощью маски
* $M$ и $I$ выровнены относительно $S$
* Размеры матриц, задающих $M, S, I$ совпадают

'''Примеры входных данных:'''
{| class="wikitable" style="background-color:#FFF; text-align:center"
|-
! '''Стилевое изображение $S$'''
| [[Файл:Deep bl s1.png|150px]]
| [[Файл:Deep bl s2.png|150px]]
| [[Файл:Deep bl s3.png|150px]]
|-
! '''Накладываемое изображение $I$'''
| [[Файл:Deep bl i1.png|150px]]
| [[Файл:Deep bl i2.png|150px]]
| [[Файл:Deep bl i3.png|150px]]
|}

На обоих этапах алгоритм минимизирует взвешенную сумму следующих функций потерь:
* [[Блендинг_изображений#content_loss_def|Функция потерь содержания]] $\mathcal{L}_{cont}$ для сохранения содержания накладываемого изображения $I$
* [[Блендинг_изображений#style_loss_def|Функция потерь стиля]] $\mathcal{L}_{style}$ для переноса стиля изображения $S$ на $I$
* [[Блендинг_изображений#hist_loss_def|Гистограмная функция потерь]] $\mathcal{L}_{hist}$ для стабилизации переноса стиля
* [[Блендинг_изображений#tv_loss_def|Функция потерь полного отклонения]] $\mathcal{L}_{tv}$ для удаления шумов
* [[Блендинг_изображений#grad_loss_def|Градиентная функция потерь]] $\mathcal{L}_{grad}$ для бесшовности наложения

Для подсчета $\mathcal{L}_{style}$ и $\mathcal{L}_{content}$ авторами статьи<ref name='ZWS20'>[https://openaccess.thecvf.com/content_WACV_2020/papers/Zhang_Deep_Image_Blending_WACV_2020_paper.pdf Deep Image Blending] Lingzhi Zhang, Tarmily Wen, Jianbo Shi (2020)</ref> использовалась сеть VGG-19<ref name="SZ14"/>, обученная на ImageNet<ref name="ImageNet">https://image-net.org/papers/imagenet_cvpr09.pdf J. Deng, W. Dong, R. Socher, L.-J. Li, K. Li, and L. FeiFei. Imagenet: A large-scale hierarchical image database</ref>.

{{Определение
|definition =
'''Простой вставкой''' (англ. ''copy and paste'') $CAP(M, S, I)$ будем назвать изображение, полученное наложением части изображения $I$, заданной маской $M$, на изображение $S$.
$CAP(M, S, I) = I \odot M + S \odot (1 - M)$, где $\odot$ {{---}} покомпонентное умножение. }}

{{Определение
|id=grad_loss_def
|definition =
$\mathcal{L}_{grad}(S, I, M, O) = \displaystyle\frac{1}{2HW}\displaystyle\sum_{m=1}^H \displaystyle\sum_{n=1}^W \left[\nabla^2 f(B) - \left(\nabla^2 f(S) + \nabla^2 f(I)\right) \right]^2_{mn}$ {{---}} градиентная функция потерь (англ. ''Possion gradient loss''). $\nabla^2$ {{---}} оператор Лапласа. $H, W$ {{---}} высота и ширина изображений. $B = CAP(M, S, O)$ {{---}} блендинговое изображение, оптимизируемое относительно $O$. }}

Чтобы комбинировать решение задачи бесшовного наложения [[Блендинг изображений#Блендинг Пуассона|методом Пуассона]] с остальными ограничениями, авторы статьи<ref name='ZWS20'/> предлагают использовать функцию потерь $\mathcal{L}_{grad}$, являющуюся приближением уравнения Пуассона $(2)$. $\mathcal{L}_{grad}$ минимизирует разность градиента искомого изображения $B$ и суммы градиентов входных изображений $S$ и $I$.

Рассмотрим область $\overline{\Omega} = \{\;p \;| \;M_p = 0\; \}$. Заметим, что градиент $I$ в $\overline{\Omega}$ равен нулю. Тогда градиенты $S$ и $B$ совпадают, и задача минимизации $\mathcal{L}_{grad}$ решается только в области вставки.

=== Первый этап ===

<div class="tright" style="clear:none">[[Файл:Deep bl 2stage.png|thumb|none|200px|Результат после обоих этапов]]</div>
<div class="tright" style="clear:none">[[Файл:Deep bl 1stage.png|thumb|none|200px|Результат первого этапа]]</div>

На первом этапе изображение $I$ накладывается на фоновое изображение $S$ таким образом, чтобы были незаметны швы.
Построение начинается с белого шума $Z$, который оптимизируется в области вставки путем минимизации суммарной функции потерь $\mathcal{L}_{total}$, представленной взвешенной суммой всех функций потерь, описанных выше:
$$ \mathcal{L}_{total}(Z) = w_{grad}\mathcal{L}_{grad}(I, S, B) + w_{cont}\mathcal{L}_{cont}(I, M, Z) + w_{style}\mathcal{L}_{style}(S, B) + w_{tv}\mathcal{L}_{tv}(B) + w_{hist}\mathcal{L}_{hist}(S, B) $$
Отметим, что $\mathcal{L}_{cont}$ зависит от маски и отвечает за сохранение содержания $I$ в области вставки.

Отличительной чертой этого этапа является использование функции потерь $\mathcal{L}_{grad}$, приближающей градиент результата к градиенту $I$ в области наложения, за счет чего достигается бесшовность. Для вычисления производных второго порядка используется фильтр Лапласа.

В результате получается подготовительное блендинг-изображение $B$:
$$
B_p =
\begin{cases}
Z_p,\; \text{если } M_p = 1 \\
S_p,\; \text{иначе }
\end{cases}
$$


'''fun''' $SeamlessBlending$(
$I$, // Входное изображение 
$M$, // Маска 
$S$ // Стилевое изображение 
):
// Инициализируем первое приближение белым шумом 
$Z \leftarrow RandomNoise() $
$B \leftarrow CAP(M, S, Z)$
// Определим суммарную функцию потерь с весами слагаемых $w$
$\mathcal{L}_{total}(Z) \leftarrow w_{grad}\mathcal{L}_{grad}(I, S, B) + w_{cont}\mathcal{L}_{cont}(I, M, Z) + w_{style}\mathcal{L}_{style}(S, B) + w_{tv}\mathcal{L}_{tv}(B) + w_{hist}\mathcal{L}_{hist}(S, B)$
// С помощью алгоритма L-BFGS ищем изображение $Z$, которое минимизирует $\mathcal{L}_{total}$ 
$Z \leftarrow Reconstruct(\mathcal{L}_{total}, Z)$
'''return''' $CAP(M, S, Z)$


=== Второй этап ===

Второй этап алгоритма представляет собой модификацию полученного на первом этапе блендинг-изображения $B$ таким образом, чтобы стиль изображения был наиболее близок к стилю $S$.

В отличие от предыдущего этапа, функция потерь не включает в себя $\mathcal{L}_{grad}$:
$$\mathcal{L}_{total}(O) = w_{cont}\mathcal{L}_{cont}(B, O) + w_{style}\mathcal{L}_{style}(S, O) + w_{tv}\mathcal{L}_{tv}(O) + w_{hist}\mathcal{L}_{hist}(S, O)$$

Минимизация происходит относительно результата алгоритма $O$, которой инициализируется изображением $B$.


'''fun''' $StyleRefinement$(
$B$, // Подготовительное блендинг-изображение, результат первого этапа 
$M$, // Маска 
$S$ // Стилевое изображение 
):
$O \leftarrow B$
// Определим суммарную функцию потерь с весами слагаемых $w$
$\mathcal{L}_{total}(O) \leftarrow w_{cont}\mathcal{L}_{cont}(B, O) + w_{style}\mathcal{L}_{style}(S, O) + w_{tv}\mathcal{L}_{tv}(O) + w_{hist}\mathcal{L}_{hist}(S, O)$
// С помощью алгоритма L-BFGS ищем изображение $O$, которое минимизирует $\mathcal{L}_{total}$ 
$O \leftarrow Reconstruct(\mathcal{L}_{total}, O)$
'''return''' $O$


===Детали реализации===

{| class="wikitable"
|+ Веса функций потерь
|-
! Этап
! $w_{grad}$
! $w_{cont}$
! $w_{style}$
! $w_{hist}$
! $w_{tv}$
|-
! $1$
| $10^5$
| $1$
| $10^5$
| $1$
| $10^{-6}$
|-
! $2$
| $0$
| $1$
| $10^7$
| $1$
| $10^{-6}$
|}

Для подсчета $\mathcal{L}_{style}$ используются слои $conv{1_2}, conv{2_2}, conv{3_3}, conv{4_3}$ $VGG$, для $\mathcal{L}_{cont}$ {{---}} $conv{2_2}$.

На обоих этапах максимальное количество итераций алгоритма L-BFGS {{---}} $1000$.

=== Примеры ===
[[Файл:МЛ блендинг пример.png|1000px]]

==Ссылки==

[https://en.wikipedia.org/wiki/Gramian_matrix Матрица Грама (англ.)]

==Примечания==

Блендинг изображений

2021-01-11T15:55:16Z

Npostnikova: /* Блендинг Пуассона */

{{Определение
|definition =
'''Блендинг изображений''' (англ. ''image blending'') {{---}} метод, позволяющий вставить часть одного изображения в другое таким образом, чтобы композиция изображений выглядела естественно, без швов на границах вставки и соответсвующими цветами и текстурами. }}

==Блендинг Пуассона==
[[Файл:Poisson int1.png|thumb|right|300px|Рис. $1.1$. Пример перепада яркости при простой вставке]]
[[Файл:Poisson int2.png|thumb|right|300px|Рис. $1.2$. Результат применения блендинга Пуассона]]

Простая вставка одного изображения поверх другого нередко влечет заметный перепад яркости на границе вставки (рис. $1.1$). Метод Пуассона заключается в сглаживании этого перепада (рис. $1.2$) с целью сделать дефект менее заметным, используя градиент вставляемого изображения и значения пикселей фонового изображения на границе вставки.

'''Замечание:''' Для RGB изображений задача минимизации решается для каждого цветового канала отдельно.

Давайте обозначим за $S$ изображение, которое служит фоном, а за $I$ {{---}} изображение, вставляемое поверх $S$. Область вставки будем задавать двоичной маской $M$, содержащей единицы в области наложения. Например:
{| class="wikitable" style="background-color:#FFF; text-align:center"
|-
! Фоновое изображение $S$
! Накладываемое изображение $I$
! Маска $M$
|-
| [[Файл:Poisson_cat.jpg|200px]]
| [[Файл:Poisson_cherry.jpg|200px]]
| [[Файл:Poisson_cherry_mask.png|200px]]
|}

=== Идея подхода ===
Пусть замкнутое множество $P \subset \mathbb{R}^2$ {{---}} область, на которой определено изображение $S$, а замкнутое множество $\Omega \subset P$ с границей $\partial\Omega$ и внутренностью $int(\Omega)$ {{---}} область вставки изображения $I$.

Пусть $f_S$ {{---}} скалярная функция, определенная на $P \setminus int(\Omega)$, задает фоновое изображение $S$; $f$ {{---}} неизвестная скалярная функция, определенная на $int(\Omega)$, задает, каким образом должно выглядеть результат блендинга в области вставки.

$v_I$ {{---}} векторное поле, определенное на $\Omega$. В качестве $v_I$ возьмем градиент вставляемого изображения $I$: $v_I = \nabla f_I$

Нашей задачей является поиск такой функции $f$, чтобы блендинговое изображение выглядело реалистично. Для этого минимизируем разность градиента функции $f$ и векторного поля $v_I$, считая, что $f = f_S$ на границе $\Omega$.
$$
\underset{f}{\mathrm{min}} \underset{\Omega}{\iint} |\nabla f - v_I|^2, \text{где } f|_{\partial \Omega} = f_S|_{\partial \Omega}
$$
Решение задачи минимизации является единственным решением уравнения Пуассона для граничных условий Дирихле.
$$\nabla^2 f = \nabla^2 f_I \text{ на } \Omega, f|_{\partial \Omega} = f_S|_{\partial \Omega}, \text{где } \nabla^2 \text{{{---}} оператор Лапласа.}$$

=== Дискретный случай ===
Пусть $p$ {{---}} координаты $(x, y)$ пикселя двухмерного изображения. За $Img_p$ обозначим значение пикселя с координатами $p$ изображения $Img$. Пусть $\Omega = \left\{ p\;|\;M_p = 1 \right\}$. Тогда $\partial \Omega$ {{---}} координаты границы вставляемой области, а $int(\Omega)$ {{---}} внутренность области.

Пусть $N_p$ {{---}} множество соседей $p$ (максимум четыре пикселя, имеющих общую границу с $p$, т.е. пиксели со следующими координатами: $(x + 1, y), (x - 1, y), (x, y + 1), (x, y - 1)$). Для всех пар $(p, q)$ таких, что $q \in N_p$, введем $v_{pq} = I_p - I_q$

Введем переменные $O_p, p \in \Omega$. Так как мы хотим сделать результат бесшовным, пиксели $O_p, p \in \partial\Omega$, сделаем равными $S_p$. Для $p, q \in int(\Omega),\; q \in N_p$ постараемся найти такие значения $O_p, O_q$, чтобы их разность была близка к $v_{pq}$. Для этого решим задачу минимизации:

$$
\underset{f_p,\; p \in \Omega}{\mathrm{min}}\; \underset{p, q \in \Omega}{\sum}\; \left(O_p - O_q - v_{pq}\right)^2, \text{где } O_p = S_p, p \in \partial \Omega
$$

Заметим, что функция, которую мы хотим минимизировать, квадратична относительно переменных $O_p, p \in int(\Omega)$. Для решения задачи минимизации вычислим частные производные по этим переменным и найдем значения переменных, при которых частные производные будут равны нулю.
$$\frac{\partial{\underset{p, q \in \Omega}{\sum}\; \left(O_p - O_q - v_{pq}\right)^2}}{\partial O_p} = \underset{q \in N_p}{\sum} 2 \left(O_p - O_q - v_{pq}\right) - \underset{q \in N_p}{\sum} 2 \left(O_q - O_p - v_{qp}\right) = 2 \underset{q \in N_p}{\sum} 2 \left(O_p - O_q - v_{pq}\right)$$.

Приравнивая к нулю, получаем: $|N_p| O_p - \underset{q \in N_p}{\sum} O_q = \underset{q \in N_p}{\sum} v_{pq}$.

Для точек, граничащих с $\partial \Omega$: $\;|N_p| O_p - \underset{q \in N_p \cap \Omega}{\sum} O_q = \underset{q \in N_p \cap \partial \Omega}{\sum} S_q + \underset{q \in N_p}{\sum} v_{pq}$.

Для решения систем уравнений такого вида могут быть использованы итеративные алгоритмы Gauss-Seidel и V-cycle multigrid<ref name="PGB03">[https://www.cs.jhu.edu/~misha/Fall07/Papers/Perez03.pdf Poisson Image Editing] Patrick Perez, Michel Gangnet, Andrew Blake (2003)</ref>.

Получаем значения пикселей $O_p$, $p \in int(\Omega)$. Тогда результат $B$ блендинга Пуассона будет следующим:
$$
B_p =
\begin{cases}
O_p,\; \text{если } p \in int(\Omega) \\
S_p,\; \text{иначе }
\end{cases}
$$

Mетод Пуассона сдвигает цвета накладываемого изображения, сохраняя свойства градиента (т.е. если пиксель $I_{p1}$ был меньше $I_{p2}$, то после преобразования $I_{p1}$ не станет больше $I_{p2}$), однако само значение градиета может получиться другим.<ref name='clear_poisson'>https://erkaman.github.io/posts/poisson_blending.html Poisson blending для самых маленьких</ref>

==Трансфер стиля==
{{main|Neural Style Transfer}}
Прежде чем переходить к гармонизации картин, рассмотрим задачу трансфера стиля с изображения $S$ на изображение $I$. Для этого используются выходы скрытых слоёв [[Сверточные нейронные сети | свёрточной нейронной сети]] VGG-19<ref name="SZ14">[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition] Karen Simonyan, Andrew Zisserman (2014)</ref>.

Основная идея генерации изображения {{---}} решение оптимизационной задачи $\mathcal{L}(O, I, S) \xrightarrow[O]{} min$, где $O$ {{---}} итоговое изображение, $\mathcal{L}(O, I, S)$ {{---}} [[Функция потерь и эмпирический риск | функция потерь]]. Такую задачу можно решать градиентным спуском в пространстве изображений используя [[обратное распространение ошибки | метод обратного распространения ошибки]].
{{Определение
|definition =
Пусть $F^l\left[I\right] \in \mathcal{R}^{N_l \times M_l}$ {{---}} выход $l$-го слоя сети на изображении $I$. Представим его как матрицу $N_l \times M_l$,
где $N_l$ {{---}} количество фильтров в $l$-ом слое,
$M_l$ {{---}} количество признаков (высота, умноженная на ширину). Тогда $F^l_{ij}\left[I\right]$ {{---}} $j$-ый признак $i$-го фильтра в $l$-ом слое.}}
{{Определение
|definition =
'''Матрица Грама''' (англ. ''Gram matrix'') {{---}} матрица попарных скалярных произведений. В нашем случае матрица отражает корреляцию между выходами фильтров. $G^l\left[I\right] \in \mathcal{R}^{N_l \times N_l} = F^l\left[I\right]F^l\left[I\right]^T$.}}

===Алгоритм Гатиса<ref name="GEB16">[https://rn-unison.github.io/articulos/style_transfer.pdf Image Style Transfer Using Convolutional Neural Networks] Leon A. Gatys, Alexander S. Ecker, Matthias Bethge (2016)</ref>===

{{Определение
|id=content_loss_def
|definition =
$\mathcal{L}^{\alpha}_{content}(I, O) = \displaystyle\sum_l \frac{\alpha_l}{2 N_l M_l}\displaystyle\sum_{i, j} \left(F^l_{ij}\left[I\right] - F^l_{ij}\left[O\right]\right)^2$ {{---}} функция потерь содержания, где
$\alpha_l$ {{---}} вклад $l$-го слоя в функцию потерь<ref name="NotOriginalDef">Здесь используется определение функции потерь, которое отличается от статьи Гатиса, но используется в таком виде в статье про гармонизацию.</ref>.}}
{{Определение
|id=style_loss_def
|definition =
$\mathcal{L}^{\beta}_{style}(I, O) = \displaystyle\sum_l \frac{\beta_l}{2N_l^2} \displaystyle\sum_{i, j} \left(G^l_{ij}\left[I\right] - G^l_{ij}\left[O\right]\right)^2$ {{---}} функция потерь стиля, где
$\beta_l$ {{---}} вклад $l$-го слоя в функцию потерь<ref name="NotOriginalDef"/>.}}

Итоговой функцией потерь будет $\mathcal{L}_{Gatys} = \mathcal{L}^{\alpha}_{content}(I, O) + w_{style}\mathcal{L}^{\beta}_{style}(I, O)$<ref name="NotOriginalDef"/>. Вес $w_{style}$, векторы $\alpha$ и $\beta$ являются, в некотором смысле, гиперпараметрами алгоритма, которые нужно подбирать.

Авторы статьи показывают, что в качестве начальной инициализации можно брать изображение $I$, изображение $S$ или белый шум {{---}} алгоритм даёт похожие результаты в этих случаях.

[[Файл:GEB16_Figure_6.png|1000px|thumb|center|Начальная инициализация: '''A)''' $O_0 = I$; '''B)''' $O_0 = S$; '''C)''' $O_0 = random$, $4$ примера инициализированы различными белыми шумами ]]

===Histogram Loss===

Авторы другой статьи<ref name="WRB17">[https://arxiv.org/pdf/1701.08893.pdf Stable and Controllable Neural Texture Synthesis and Style Transfer Using Histogram Losses] Eric Risser, Pierre Wilmot, Connelly Barnes (2017)</ref> показывают, что результаты, полученные с помощью $\mathcal{L}_{Gatys}$ нестабильны и предложили другую функцию потерь, основанную на ''сопоставлении гистограмм''.
{{Определение
|definition =
'''Сопоставление гистограмм''' (англ. ''Histogram matching'') {{---}} метод обработки изображения, после которого гистограмма изображения совпадает с целевой гистограммой<ref name="HistMatch">https://en.wikipedia.org/wiki/Histogram_matching</ref>.}}
{{Определение
|definition =
Пусть $R = histmatch(S, O)$ {{---}} отображение пикселей такое, что гистограмма $S$ совпадает с гистограммой $R(O)$.}}
{{Определение
|id=hist_loss_def
|definition =
$\mathcal{L}^{\gamma}_{hist}(S, O) = \displaystyle\sum_l \gamma_l \displaystyle\sum_{i, j} \left(F^l_{ij}\left[O\right] - R\left(F^l_{ij}\left[O\right]\right)\right)^2$ {{---}} функция потерь гистограмм, где
$\gamma_l$ {{---}} вклад $l$-го слоя в функцию потерь}}

'''Замечание:''' Если в случае остальных функций потерь нетрудно посчитать производную, то здесь могут возникнуть проблемы. Но поскольку $\displaystyle\frac{\partial \mathcal{L}_{hist}}{\partial F^l_{ij}\left[O\right]}$ является нулём почти везде, авторы предлагают при подсчёте производной считать $R\left(F^l_{ij}\left[O\right]\right)$ константой, которая не зависит от $O$.

===Total variation loss===

Также добавим ещё одну функцию потерь, которая удаляет шумы, при этом сохраняя важные детали изображения<ref name="MV15">[https://arxiv.org/pdf/1412.0035.pdf Understanding Deep Image Representations by Inverting Them] Aravindh Mahendran, Andrea Vedaldi (2015)</ref><ref name="JAFF16">[https://arxiv.org/pdf/1603.08155.pdf Perceptual Losses for Real-Time Style Transfer and Super-Resolution] Justin Johnson, Alexandre Alahi, Li Fei-Fei (2016)</ref>.
{{Определение
|id=tv_loss_def
|definition =
$\mathcal{L}_{tv}(O) = \displaystyle\sum_{i, j} \left(O^l_{i, j} - O^l_{i-1, j}\right)^2 + \left(O^l_{i, j} - O^l_{i, j-1}\right)^2$ {{---}} общая вариационная потеря (англ. ''Total variation loss'').}}

==Глубокая гармонизация картин<ref name="LPSB18">https://arxiv.org/pdf/1804.03189.pdf Fujun Luan, Sylvain Paris, Eli Shechtman, Kavita Bala (2018)</ref>==

Для того чтобы вставить изображение в картину или рисунок нужно не только сделать бесшовный переход и изменить цвета, но ещё и изменить текстуру вставляемого изображения, например сымитировать мазки кистью. Используем для этого комбинацию подходов из других статей<ref name="GEB16"/><ref name="JAFF16"/><ref name="WRB17"/>.

[[Файл:LPSB18_Figure_1.png|1000px|thumb|center|Пример работы алгоритма ''Deep Image Analogy''<ref name="LYY*17">[https://arxiv.org/pdf/1705.01088.pdf Visual Attribute Transfer through Deep Image Analogy] Jing Liao, Yuan Yao, Lu Yuan, Gang Hua, Sing Bing Kang (2017)</ref> (3 картинка) и ''Deep Painterly Harmonization''<ref name="LPSB18"/> (4 картинка)]]
Алгоритм будет состоять из двух проходов. Первый проход будет делать грубую гармонизацию, а второй {{---}} более тщательную. Отличаться они будут '''стилевым маппингом''' и функциями потерь.

{{Определение
|definition =
'''Стилевым маппингом''' мы будем называть отображение $P : \mathcal{R}^{N_l \times M_l} \rightarrow \mathcal{R}^{N_l \times M_l}$, которое некоторым образом переставляет столбцы матрицы (не обязательно обратимо, то есть столбцы могут теряться и копироваться). Более формально, пусть $p(j)$ {{---}} новая позиция столбца $j$, тогда $P(Q)_{i, p(j)} = Q_{ij}$.}}

Один проход будет состоять из $3$ частей:
# Входное $I$ и стилевое $S$ изображения подаются на вход нейронной сети VGG-19, так мы получаем $F^l_{ij}\left[I\right]$ и $F^l_{ij}\left[S\right]$.
# Для каждого слоя $l$ некоторым алгоритмом $\pi$ cтроится стилевой маппинг $P_l$, который сопоставляет столбцам из $F_l[I]$ столбцы из $F_l[S]$.
# Изображение $O$ восстанавливается градиентным спуском по пространству изображений, используя некоторую функцию потерь $\mathcal{L}$.

'''fun''' $SinglePassHarmonization$(
$I$,// Входное изображение 
$M$,// Маска 
$S$,// Стилевое изображение 
$\pi$,// Алгоритм построения стилевого маппинга 
$\mathcal{L}$// Функция потерь 
):
// Строим матрицы $F[I]$ и $F[S]$ с помощью свёрточной сети VGG-19 
$F[I] \leftarrow ComputeNeuralActivations(I)$
$F[S] \leftarrow ComputeNeuralActivations(S)$
// Строим стилевой маппинг 
$P \leftarrow \pi(F[I], M, F[S])$
// Градиентным спуском ищем изображение $O$, которое минимизирует $\mathcal{L}$ 
$O \leftarrow Reconstruct(I, M, S, P, \mathcal{L})$

'''return''' $O$


===Первый проход===

{{Определение
|definition =
'''Вектор активации''' (англ. ''activation vector'') {{---}} это вектор значений функции активации для каждого фильтра свёрточного слоя. Заметим, что столбцы $F_l$ являются векторами активации.}}

{{Определение
|definition =
'''Патчем''' (англ. ''patch'') для столбца $j$ будем называть тензор $3 \times 3 \times N_l$, который состоит из соседних векторов активации в тензоре свёрточного слоя, с центром в столбце $j$}}



<div class="tright" style="clear:none">[[Файл:LPSB18_Figure_2c.png|250px|thumb|none|Результаты после второго прохода]]</div>
<div class="tright" style="clear:none">[[Файл:LPSB18_Figure_2b.png|250px|thumb|none|Результаты после первого прохода]]</div>

Первый проход делает грубую гармонизацию, но при этом он хорошо работает с любыми стилями. Здесь используется алгоритм <code>IndependentMapping</code> для построения стилевого маппинга. Этот алгоритм для каждого столбца $j$ в $F_l[I]$ ищет столбец $p(j)$ в $F_l[S]$, такой что евклидово расстояние между патчем $F_l[I]$ с центром $j$ и патчем $F_l[S]$ с центром $p(j)$ минимально (метод ближайшего соседа).


'''fun''' $IndependentMapping$(
$F[I]$,// Выходы слоёв после входного изображения 
$Mask$,// Маска 
$F[S]$// Выходы слоёв после стилевого изображения 
):
// Для всех слоёв от $1$ до $L$ 
'''for''' $l \in [1 : L]$:
// Для всех столбцов от $1$ до $M_l$ 
'''for''' $j \in [1 : M_l]$:
// Рассматриваем патчи только внутри маски, которую нужно масштабировать в соответсвии с размером слоя $l$ 
'''if''' $j \in Resize(Mask, l)$:
// Берём самый похожий стилевой патч и записываем его в маппинг. 
$P_l(j) \leftarrow NearestNeighborIndex(F[I], j, F[S])$
'''return''' $P$


В первом проходе используется модифицированная функция потерь $\mathcal{L}_{Gatys}$, с тем лишь отличием, что к $F_l[S]$ применяется стилевой маппинг $P_l$.

$$\mathcal{L}_1(I, S, O, P) = \mathcal{L}^{\alpha}_{content}(I, O) + w_{style}\mathcal{L}^{\beta}_{style}(S, O, P) \text{, где } w_{style} \text{ {{---}} вес стилевой функции потерь}$$

'''Замечание:''' при посчёте градиента $\mathcal{L}^{\alpha}_{content}$ используются только пиксели внутри маски<ref>https://github.com/luanfujun/deep-painterly-harmonization/blob/a33a9a70366b6baff1cc0291f857b5895b271fc1/neural_gram.lua#L349</ref>.

===Второй проход===



Второй проход делает более качественную гармонизацию после первого прохода. Здесь мы будем использовать более сложный алгоритм $ConsistentMapping$ построения стилевого маппинга и более сложную функцию потерь. Суть этого алгоритма в том, чтобы найти стилевой мапинг на некотором слое $l_{ref}$ и перенести этот маппинг на остальные слои. Также, мы будем предпочитать маппинги, в которых смежные патчи в $F_l[S]$ остаются смежными после мапинга, чтобы обеспечить пространсвенную согласованность (видимо таким образом мы хотим переносить сложные текстуры более качественно, например мазки кистью).


'''fun''' $ConsistentMapping$(
$F[I]$,// Выходы слоёв после входного изображения 
$Mask$,// Маска 
$F[S]$// Выходы слоёв после стилевого изображения 
):
// Сначала посчитаем маппинг как в IndependentMapping только для слоя $l_{ref}$ 
'''for''' $j \in [1 : M_{l_{ref}}]$:
'''if''' $j \in Resize(Mask, l_{ref})$:
$P_0(j) \leftarrow NearestNeighborIndex(F[I], j, F[S])$

// Далее обеспечиваем пространсвенную согласованность 
'''for''' $j \in [1 : M_{l_{ref}}]$:
'''if''' $j \in Resize(Mask, l_{ref})$:
$q \leftarrow P_0(j)$
// Инициализируем множество кандидатов на новый маппинг 
$CSet \leftarrow \{q\}$
// Перебираем все смежные патчи 
'''for''' $o \in {N, NE, E, SE, S, SW, W, NW}$:
// Добавляем в кандидаты патч, сосед которого является маппингом для нашего соседа в соответсвующем направлении 
$CSet \leftarrow CSet \cup \left\{P_0(j + o) - o\right\}$
// Среди всех кандидатов выбираем тот, который ближе всего к маппингам наших соседей 
$P_{l_{ref}}(j) \leftarrow \underset{c \in CSet}{\mathrm{argmin}}\displaystyle\sum_o \left\|(F_{l_{ref}}[S]_c - F_{l_{ref}}[S]_{P_0(j + o)}\right\|^2$

// Теперь нужно перенести маппинг для $l_{ref}$ на остальные слои 
'''for''' $l \in [1 : L] \setminus \{l_{ref}\}$:
'''for''' $j \in [1 : M_l]$:
'''if''' $j \in Resize(Mask, l)$:
// Вычисляем позицию $j'$ на слое $l_{ref}$ соответствующую позиции $j$ на слое $l$
$j' \leftarrow ChangeResolution(l, l_{ref}, j)$
// Берём маппинг для позиции $j'$
$q \leftarrow P_{l_{ref}}(j')$
// Переносим позицию $q$ обратно на слой $l$
$P_l(j) \leftarrow ChangeResolution(l_{ref}, l, q)$
'''return''' P


При вычислении стилевого маппинга появляется очень много дублирующихся векторов, что даёт не очень хорошие результаты. Поэтому при вычислении матрицы Грама выкинем повторяющиеся векторы. Назовём эту функцию потерь $\mathcal{L}_{s1}$.

$$\mathcal{L}_2(I, S, O, P) = \mathcal{L}^{\alpha}_{content}(I, O) + w_{style}\mathcal{L}^{\beta}_{s1}(S, O, P) + w_{hist}\mathcal{L}^{\gamma}_{hist}(S, O) + w_{tv}\mathcal{L}_{tv}(O) \text{, где } w_{style}, w_{hist}, w_{tv} \text{ {{---}} веса соответсвующих функций потерь}$$

{|
| [[Файл:LPSB18_Figure_5c.png|250px|thumb|none|Только второй проход]]
| [[Файл:LPSB18_Figure_5d.png|250px|thumb|none|Только первый проход]]
| [[Файл:LPSB18_Figure_5f.png|250px|thumb|none|Результат с $\mathcal{L}_{style}$ вместо $\mathcal{L}_{s1}$]]
|}

===Итоговый алгоритм===

Теперь осталось запустить две стадии


'''fun''' $Harmonization$(
$I$,// Входное изображение 
$Mask$,// Маска 
$S$// Стилевое изображение 
):
// Грубый проход алгоритма. Каждый слой рассматривается отдельно при построении стилевого маппинга. 
$I' \leftarrow SinglePassHarmonization(I, Mask, S, IndependentMapping, \mathcal{L}_1)$
// Улучшение результата. Стилевой маппинг строится консистентно для всех слоёв. 
$O \leftarrow SinglePassHarmonization(I', Mask, S, ConsistentMapping, \mathcal{L}_2)$
'''return''' $O$


===Постобработка===

[[Файл:LPSB18_Figure_6abc.png|400px|thumb|right|Результат постобработки (без постобработки, после первой стадии, после второй стадии)]]

Описанный алгоритм даёт хорошие результаты в целом, но при ближайшем рассмотрении могут быть артефакты. Поэтому сделаем двухступенчатую постобработку (подробное описание есть в оригинальной статье<ref name="LPSB18"/>):
# Переведём изображение в [https://en.wikipedia.org/wiki/CIELAB_color_space CIELAB] и применим [https://en.wikipedia.org/wiki/Guided_filter Guided filter] для a и b каналов.
# С помощью алгоритма PatchMatch<ref name="BSFG09">https://www.researchgate.net/profile/Eli_Shechtman/publication/220184392_PatchMatch_A_Randomized_Correspondence_Algorithm_for_Structural_Image_Editing/links/02e7e520897b12bf0f000000.pdf Connelly Barnes, Eli Shechtman, Adam Finkelstein, Dan B Goldman (2009)</ref> и того же Guided filter делаем так чтобы все патчи выходного изображения присутсвовали в стилевом (чтобы не было новых объектов или структур)

===Подбор гиперпараметров===

[[Файл:LPSB18_Figure_4.png|400px|thumb|right|Влияние $l_{ref}$ на результат]]

Возьмём $l_{ref}$ = conv4_1.
Выберем следующие веса для слоёв:

{| class="wikitable"
|+ Первый проход
|-
! Параметр
! conv1_1
! conv2_1
! conv3_1
! conv4_1
! conv5_1
|-
! $\alpha$
| $0$
| $0$
| $0$
| $1$
| $0$
|-
! $\beta$
| $0$
| $0$
| $1/3$
| $1/3$
| $1/3$
|}

{| class="wikitable"
|+ Второй проход
|-
! Параметр
! conv1_1
! conv2_1
! conv3_1
! conv4_1
! conv5_1
|-
! $\alpha$
| $0$
| $0$
| $0$
| $1$
| $0$
|-
! $\beta$
| $1/4$
| $1/4$
| $1/4$
| $1/4$
| $0$
|-
! $\gamma$
| $1/2$
| $0$
| $0$
| $1/2$
| $0$
|}

Введём гиперпараметр $\tau$ и возьмём $w_{style} = w_{hist} = \tau$, $w_{tv} = \tau\frac{10}{1 + \exp(10^4 * noise(S) - 25)}$, где $noise(S) = \underset{i,j}{\mathrm{med}}\left\{\left(O^l_{i, j} - O^l_{i-1, j}\right)^2 + \left(O^l_{i, j} - O^l_{i, j-1}\right)^2\right\}$<ref>[https://github.com/luanfujun/deep-painterly-harmonization/blob/a33a9a70366b6baff1cc0291f857b5895b271fc1/neural_paint.lua#L470 код функции $noise$</ref>

Для того чтобы подбирать $\tau$ авторы статьи использовали классификатор стилей изображений. Они взяли VGG-19, обучили её классифицировать 18 различных стилей. Эти стили были разделены на 3 категории с разными $\tau$. Используя Softmax можно интерполировать необходимый $\tau$ по следующей таблице:

{| class="wikitable"
|-
! Категория стиля
! Примеры стилей
! $\tau$
|-
! Слабый
| Барокко, Высокое Возрождение
| $1$
|-
! Средний
| Абстрактное Искусство, Постимпрессионизм
| $5$
|-
! Сильный
| Кубизм, Экспрессионизм
| $10$
|}

===Примеры===

{|
! Исходное изображение
! Простая вставка
! Результат
! Постобработка
|-
| [[Файл:5_target.jpg|300px]]
| [[Файл:5_naive.jpg|300px]]
| [[Файл:5_final_res.png|300px]]
| [[Файл:5_final_res2.png|300px]]
|-
| [[Файл:6_target.jpg|300px]]
| [[Файл:6_naive.jpg|300px]]
| [[Файл:6_final_res.png|300px]]
| [[Файл:6_final_res2.png|300px]]
|-
| [[Файл:10_target.jpg|300px]]
| [[Файл:10_naive.jpg|300px]]
| [[Файл:10_final_res.png|300px]]
| [[Файл:10_final_res2.png|300px]]
|}

==Глубокий блендинг==



Алгоритм глубокого блендинга состоит из двух этапов. На первом этапе на стилевое изображения $S$ бесшовно накладывается входное изображение $I$, получается подготовительное блендинг-изображение $B$. На втором этапе $B$ модифицируется таким образом, чтобы результат по стилю был похож на $S$.

Будем считать, что на вход подаются изображения, прошедшие предварительную обработку:
* Используемая для вставки часть $I$ вырезана с помощью маски
* $M$ и $I$ выровнены относительно $S$
* Размеры матриц, задающих $M, S, I$ совпадают

'''Примеры входных данных:'''
{| class="wikitable" style="background-color:#FFF; text-align:center"
|-
! '''Стилевое изображение $S$'''
| [[Файл:Deep bl s1.png|150px]]
| [[Файл:Deep bl s2.png|150px]]
| [[Файл:Deep bl s3.png|150px]]
|-
! '''Накладываемое изображение $I$'''
| [[Файл:Deep bl i1.png|150px]]
| [[Файл:Deep bl i2.png|150px]]
| [[Файл:Deep bl i3.png|150px]]
|}

На обоих этапах алгоритм минимизирует взвешенную сумму следующих функций потерь:
* [[Блендинг_изображений#content_loss_def|Функция потерь содержания]] $\mathcal{L}_{cont}$ для сохранения содержания накладываемого изображения $I$
* [[Блендинг_изображений#style_loss_def|Функция потерь стиля]] $\mathcal{L}_{style}$ для переноса стиля изображения $S$ на $I$
* [[Блендинг_изображений#hist_loss_def|Гистограмная функция потерь]] $\mathcal{L}_{hist}$ для стабилизации переноса стиля
* [[Блендинг_изображений#tv_loss_def|Функция потерь полного отклонения]] $\mathcal{L}_{tv}$ для удаления шумов
* [[Блендинг_изображений#grad_loss_def|Градиентная функция потерь]] $\mathcal{L}_{grad}$ для бесшовности наложения

Для подсчета $\mathcal{L}_{style}$ и $\mathcal{L}_{content}$ авторами статьи<ref name='ZWS20'>[https://openaccess.thecvf.com/content_WACV_2020/papers/Zhang_Deep_Image_Blending_WACV_2020_paper.pdf Deep Image Blending] Lingzhi Zhang, Tarmily Wen, Jianbo Shi (2020)</ref> использовалась сеть VGG-19<ref name="SZ14"/>, обученная на ImageNet<ref name="ImageNet">https://image-net.org/papers/imagenet_cvpr09.pdf J. Deng, W. Dong, R. Socher, L.-J. Li, K. Li, and L. FeiFei. Imagenet: A large-scale hierarchical image database</ref>.

{{Определение
|definition =
'''Простой вставкой''' (англ. ''copy and paste'') $CAP(M, S, I)$ будем назвать изображение, полученное наложением части изображения $I$, заданной маской $M$, на изображение $S$.
$CAP(M, S, I) = I \odot M + S \odot (1 - M)$, где $\odot$ {{---}} покомпонентное умножение. }}

{{Определение
|id=grad_loss_def
|definition =
$\mathcal{L}_{grad}(S, I, M, O) = \displaystyle\frac{1}{2HW}\displaystyle\sum_{m=1}^H \displaystyle\sum_{n=1}^W \left[\nabla^2 f(B) - \left(\nabla^2 f(S) + \nabla^2 f(I)\right) \right]^2_{mn}$ {{---}} градиентная функция потерь (англ. ''Possion gradient loss''). $\nabla^2$ {{---}} оператор Лапласа. $H, W$ {{---}} высота и ширина изображений. $B = CAP(M, S, O)$ {{---}} блендинговое изображение, оптимизируемое относительно $O$. }}

Чтобы комбинировать решение задачи бесшовного наложения [[Блендинг изображений#Блендинг Пуассона|методом Пуассона]] с остальными ограничениями, авторы статьи<ref name='ZWS20'/> предлагают использовать функцию потерь $\mathcal{L}_{grad}$, являющуюся приближением уравнения Пуассона $(2)$. $\mathcal{L}_{grad}$ минимизирует разность градиента искомого изображения $B$ и суммы градиентов входных изображений $S$ и $I$.

Рассмотрим область $\overline{\Omega} = \{\;p \;| \;M_p = 0\; \}$. Заметим, что градиент $I$ в $\overline{\Omega}$ равен нулю. Тогда градиенты $S$ и $B$ совпадают, и задача минимизации $\mathcal{L}_{grad}$ решается только в области вставки.

=== Первый этап ===

<div class="tright" style="clear:none">[[Файл:Deep bl 2stage.png|thumb|none|200px|Результат после обоих этапов]]</div>
<div class="tright" style="clear:none">[[Файл:Deep bl 1stage.png|thumb|none|200px|Результат первого этапа]]</div>

На первом этапе изображение $I$ накладывается на фоновое изображение $S$ таким образом, чтобы были незаметны швы.
Построение начинается с белого шума $Z$, который оптимизируется в области вставки путем минимизации суммарной функции потерь $\mathcal{L}_{total}$, представленной взвешенной суммой всех функций потерь, описанных выше:
$$ \mathcal{L}_{total}(Z) = w_{grad}\mathcal{L}_{grad}(I, S, B) + w_{cont}\mathcal{L}_{cont}(I, M, Z) + w_{style}\mathcal{L}_{style}(S, B) + w_{tv}\mathcal{L}_{tv}(B) + w_{hist}\mathcal{L}_{hist}(S, B) $$
Отметим, что $\mathcal{L}_{cont}$ зависит от маски и отвечает за сохранение содержания $I$ в области вставки.

Отличительной чертой этого этапа является использование функции потерь $\mathcal{L}_{grad}$, приближающей градиент результата к градиенту $I$ в области наложения, за счет чего достигается бесшовность. Для вычисления производных второго порядка используется фильтр Лапласа.

В результате получается подготовительное блендинг-изображение $B$:
$$
B_p =
\begin{cases}
Z_p,\; \text{если } M_p = 1 \\
S_p,\; \text{иначе }
\end{cases}
$$


'''fun''' $SeamlessBlending$(
$I$, // Входное изображение 
$M$, // Маска 
$S$ // Стилевое изображение 
):
// Инициализируем первое приближение белым шумом 
$Z \leftarrow RandomNoise() $
$B \leftarrow CAP(M, S, Z)$
// Определим суммарную функцию потерь с весами слагаемых $w$
$\mathcal{L}_{total}(Z) \leftarrow w_{grad}\mathcal{L}_{grad}(I, S, B) + w_{cont}\mathcal{L}_{cont}(I, M, Z) + w_{style}\mathcal{L}_{style}(S, B) + w_{tv}\mathcal{L}_{tv}(B) + w_{hist}\mathcal{L}_{hist}(S, B)$
// С помощью алгоритма L-BFGS ищем изображение $Z$, которое минимизирует $\mathcal{L}_{total}$ 
$Z \leftarrow Reconstruct(\mathcal{L}_{total}, Z)$
'''return''' $CAP(M, S, Z)$


=== Второй этап ===

Второй этап алгоритма представляет собой модификацию полученного на первом этапе блендинг-изображения $B$ таким образом, чтобы стиль изображения был наиболее близок к стилю $S$.

В отличие от предыдущего этапа, функция потерь не включает в себя $\mathcal{L}_{grad}$:
$$\mathcal{L}_{total}(O) = w_{cont}\mathcal{L}_{cont}(B, O) + w_{style}\mathcal{L}_{style}(S, O) + w_{tv}\mathcal{L}_{tv}(O) + w_{hist}\mathcal{L}_{hist}(S, O)$$

Минимизация происходит относительно результата алгоритма $O$, которой инициализируется изображением $B$.


'''fun''' $StyleRefinement$(
$B$, // Подготовительное блендинг-изображение, результат первого этапа 
$M$, // Маска 
$S$ // Стилевое изображение 
):
$O \leftarrow B$
// Определим суммарную функцию потерь с весами слагаемых $w$
$\mathcal{L}_{total}(O) \leftarrow w_{cont}\mathcal{L}_{cont}(B, O) + w_{style}\mathcal{L}_{style}(S, O) + w_{tv}\mathcal{L}_{tv}(O) + w_{hist}\mathcal{L}_{hist}(S, O)$
// С помощью алгоритма L-BFGS ищем изображение $O$, которое минимизирует $\mathcal{L}_{total}$ 
$O \leftarrow Reconstruct(\mathcal{L}_{total}, O)$
'''return''' $O$


===Детали реализации===

{| class="wikitable"
|+ Веса функций потерь
|-
! Этап
! $w_{grad}$
! $w_{cont}$
! $w_{style}$
! $w_{hist}$
! $w_{tv}$
|-
! $1$
| $10^5$
| $1$
| $10^5$
| $1$
| $10^{-6}$
|-
! $2$
| $0$
| $1$
| $10^7$
| $1$
| $10^{-6}$
|}

Для подсчета $\mathcal{L}_{style}$ используются слои $conv{1_2}, conv{2_2}, conv{3_3}, conv{4_3}$ $VGG$, для $\mathcal{L}_{cont}$ {{---}} $conv{2_2}$.

На обоих этапах максимальное количество итераций алгоритма L-BFGS {{---}} $1000$.

=== Примеры ===
[[Файл:МЛ блендинг пример.png|1000px]]

==Ссылки==

[https://en.wikipedia.org/wiki/Gramian_matrix Матрица Грама (англ.)]

==Примечания==

Блендинг изображений

2021-01-11T15:15:07Z

Npostnikova: Определение блендинга

{{Определение
|definition =
'''Блендинг изображений''' (англ. ''image blending'') {{---}} метод, позволяющий вставить часть одного изображения в другое таким образом, чтобы композиция изображений выглядела естественно, без швов на границах вставки и соответсвующими цветами и текстурами. }}

==Блендинг Пуассона==
[[Файл:Poisson int1.png|thumb|right|300px|Рис. $1.1$. Пример перепада яркости при простой вставке]]
[[Файл:Poisson int2.png|thumb|right|300px|Рис. $1.2$. Результат применения блендинга Пуассона]]

Блендинг Пуассона на самом деле является гармонизацией, так как требует маску заменяемых пикселей. Почему-то в статьях его называют блендингом (Poisson blending), хотя оригинальная статья называлась Poisson Image Editing<ref name="PGB03">[https://www.cs.jhu.edu/~misha/Fall07/Papers/Perez03.pdf Poisson Image Editing] Patrick Perez, Michel Gangnet, Andrew Blake (2003)</ref>

Простая вставка одного изображения поверх другого нередко влечет заметный перепад яркости на границе вставки (рис. $1.1$). Метод Пуассона заключается в сглаживании этого перепада (рис. $1.2$) с целью сделать дефект менее заметным, используя градиент вставляемого изображения и значения пикселей фонового изображения на границе вставки.

'''Замечание:''' Для RGB изображений задача минимизации решается для каждого цветового канала отдельно.

Давайте обозначим за $S$ изображение, которое служит фоном, а за $I$ {{---}} изображение, вставляемое поверх $S$. Область вставки будем задавать двоичной маской $M$, содержащей единицы в области наложения. Например:
{| class="wikitable" style="background-color:#FFF; text-align:center"
|-
! Фоновое изображение $S$
! Накладываемое изображение $I$
! Маска $M$
|-
| [[Файл:Poisson_cat.jpg|200px]]
| [[Файл:Poisson_cherry.jpg|200px]]
| [[Файл:Poisson_cherry_mask.png|200px]]
|}

=== TODO заголовок ===
Пусть замкнутое множество $P \subset \mathbb{R}^2$ {{---}} область, на которой определено изображение $S$, а замкнутое множество $\Omega \subset P$ с границей $\partial\Omega$ и внутренностью $int(\Omega)$ {{---}} область вставки изображения $I$.

Пусть $f_S$ {{---}} скалярная функция, определенная на $P \setminus int(\Omega)$, задает фоновое изображение $S$; $f$ {{---}} неизвестная скалярная функция, определенная на $int(\Omega)$, задает, каким образом должно выглядеть результат блендинга в области вставки.

$v_I$ {{---}} векторное поле, определенное на $\Omega$. В качестве $v_I$ возьмем градиент вставляемого изображения $I$: $v_I = \nabla f_I$

Нашей задачей является поиск такой функции $f$, чтобы блендинговое изображение выглядело реалистично. Для этого минимизируем разность градиента функции $f$ и векторного поля $v_I$, считая, что $f = f_S$ на границе $\Omega$.
$$
\underset{f}{\mathrm{min}} \int\int_{\Omega} |\nabla f - v_I|^2, \text{где } f|_{\partial \Omega} = f_S|_{\partial \Omega}
$$
Решение задачи минимизации является единственным решением уравнения Пуассона для граничных условий Дирихле.
$$\nabla^2 f = \nabla^2 f_I \text{ на } \Omega, f|_{\partial \Omega} = f_S|_{\partial \Omega}, \text{где } \nabla^2 \text{{{---}} оператор Лапласа.}$$

=== Дискретный случай ===
Пусть $p$ {{---}} координаты $(x, y)$ пикселя двухмерного изображения. За $Img_p$ обозначим значение пикселя с координатами $p$ изображения $Img$. Пусть $\Omega = \left\{ p\;|\;M_p = 1 \right\}$. Тогда $\partial \Omega$ {{---}} координаты границы вставляемой области, а $int(\Omega)$ {{---}} внутренность области.

Пусть $N_p$ {{---}} множество соседей $p$ (максимум четыре пикселя, имеющих общую границу с $p$, т.е. пиксели со следующими координатами: $(x + 1, y), (x - 1, y), (x, y + 1), (x, y - 1)$). Для всех пар $(p, q)$ таких, что $q \in N_p$, введем $v_{pq} = I_p - I_q$

Введем переменные $O_p, p \in \Omega$. Так как мы хотим сделать результат бесшовным, пиксели $O_p, p \in \partial\Omega$, сделаем равными $S_p$. Для $p, q \in int(\Omega),\; q \in N_p$ постараемся найти такие значения $O_p, O_q$, чтобы их разность была близка к $v_{pq}$. Для этого решим задачу минимизации:

$$
\underset{f_p,\; p \in \Omega}{\mathrm{min}}\; \underset{p, q \in \Omega}{\sum}\; \left(O_p - O_q - v_{pq}\right)^2, \text{где } O_p = S_p, p \in \partial \Omega
$$

Заметим, что функция, которую мы хотим минимизировать, квадратична относительно переменных $O_p, p \in int(\Omega)$. Для решения задачи минимизации вычислим частные производные по этим переменным и найдем значения переменных, при которых частные производные будут равны нулю.
$$\frac{\partial{\underset{p, q \in \Omega}{\sum}\; \left(O_p - O_q - v_{pq}\right)^2}}{\partial O_p} = \underset{q \in N_p}{\sum} 2 \left(O_p - O_q - v_{pq}\right) - \underset{q \in N_p}{\sum} 2 \left(O_q - O_p - v_{qp}\right) = 2 \underset{q \in N_p}{\sum} 2 \left(O_p - O_q - v_{pq}\right)$$.

Приравнивая к нулю, получаем: $|N_p| O_p - \underset{q \in N_p}{\sum} O_q = \underset{q \in N_p}{\sum} v_{pq}$.

Для точек, граничащих с $\partial \Omega$: $\;|N_p| O_p - \underset{q \in N_p \cap \Omega}{\sum} O_q = \underset{q \in N_p \cap \partial \Omega}{\sum} S_q + \underset{q \in N_p}{\sum} v_{pq}$.

Для решения систем уравнений такого вида могут быть использованы итеративные алгоритмы Gauss-Seidel и V-cycle multigrid<ref name="PGB03"/>.

Получаем значения пикселей $O_p$, $p \in int(\Omega)$. Тогда результат $B$ блендинга Пуассона будет следующим:
$$
B_p =
\begin{cases}
O_p,\; \text{если } p \in int(\Omega) \\
S_p,\; \text{иначе }
\end{cases}
$$

Mетод Пуассона сдвигает цвета накладываемого изображения, сохраняя свойства градиента (т.е. если пиксель $I_{p1}$ был меньше $I_{p2}$, то после преобразования $I_{p1}$ не станет больше $I_{p2}$), однако само значение градиета может получиться другим.<ref name='clear_poisson'>https://erkaman.github.io/posts/poisson_blending.html Poisson blending для самых маленьких</ref>

==Трансфер стиля==
{{main|Neural Style Transfer}}
Прежде чем переходить к гармонизации картин, рассмотрим задачу трансфера стиля с изображения $S$ на изображение $I$. Для этого используются выходы скрытых слоёв [[Сверточные нейронные сети | свёрточной нейронной сети]] VGG-19<ref name="SZ14">[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition] Karen Simonyan, Andrew Zisserman (2014)</ref>.

Основная идея генерации изображения {{---}} решение оптимизационной задачи $\mathcal{L}(O, I, S) \xrightarrow[O]{} min$, где $O$ {{---}} итоговое изображение, $\mathcal{L}(O, I, S)$ {{---}} [[Функция потерь и эмпирический риск | функция потерь]]. Такую задачу можно решать градиентным спуском в пространстве изображений используя [[обратное распространение ошибки | метод обратного распространения ошибки]].
{{Определение
|definition =
Пусть $F^l\left[I\right] \in \mathcal{R}^{N_l \times M_l}$ {{---}} выход $l$-го слоя сети на изображении $I$. Представим его как матрицу $N_l \times M_l$,
где $N_l$ {{---}} количество фильтров в $l$-ом слое,
$M_l$ {{---}} количество признаков (высота, умноженная на ширину). Тогда $F^l_{ij}\left[I\right]$ {{---}} $j$-ый признак $i$-го фильтра в $l$-ом слое.}}
{{Определение
|definition =
'''Матрица Грама''' (англ. ''Gram matrix'') {{---}} матрица попарных скалярных произведений. В нашем случае матрица отражает корреляцию между выходами фильтров. $G^l\left[I\right] \in \mathcal{R}^{N_l \times N_l} = F^l\left[I\right]F^l\left[I\right]^T$.}}

===Алгоритм Гатиса<ref name="GEB16">[https://rn-unison.github.io/articulos/style_transfer.pdf Image Style Transfer Using Convolutional Neural Networks] Leon A. Gatys, Alexander S. Ecker, Matthias Bethge (2016)</ref>===

{{Определение
|id=content_loss_def
|definition =
$\mathcal{L}^{\alpha}_{content}(I, O) = \displaystyle\sum_l \frac{\alpha_l}{2 N_l M_l}\displaystyle\sum_{i, j} \left(F^l_{ij}\left[I\right] - F^l_{ij}\left[O\right]\right)^2$ {{---}} функция потерь содержания, где
$\alpha_l$ {{---}} вклад $l$-го слоя в функцию потерь<ref name="NotOriginalDef">Здесь используется определение функции потерь, которое отличается от статьи Гатиса, но используется в таком виде в статье про гармонизацию.</ref>.}}
{{Определение
|id=style_loss_def
|definition =
$\mathcal{L}^{\beta}_{style}(I, O) = \displaystyle\sum_l \frac{\beta_l}{2N_l^2} \displaystyle\sum_{i, j} \left(G^l_{ij}\left[I\right] - G^l_{ij}\left[O\right]\right)^2$ {{---}} функция потерь стиля, где
$\beta_l$ {{---}} вклад $l$-го слоя в функцию потерь<ref name="NotOriginalDef"/>.}}

Итоговой функцией потерь будет $\mathcal{L}_{Gatys} = \mathcal{L}^{\alpha}_{content}(I, O) + w_{style}\mathcal{L}^{\beta}_{style}(I, O)$<ref name="NotOriginalDef"/>. Вес $w_{style}$, векторы $\alpha$ и $\beta$ являются, в некотором смысле, гиперпараметрами алгоритма, которые нужно подбирать.

Авторы статьи показывают, что в качестве начальной инициализации можно брать изображение $I$, изображение $S$ или белый шум {{---}} алгоритм даёт похожие результаты в этих случаях.

[[Файл:GEB16_Figure_6.png|1000px|thumb|center|Начальная инициализация: '''A)''' $O_0 = I$; '''B)''' $O_0 = S$; '''C)''' $O_0 = random$, $4$ примера инициализированы различными белыми шумами ]]

===Histogram Loss===

Авторы другой статьи<ref name="WRB17">[https://arxiv.org/pdf/1701.08893.pdf Stable and Controllable Neural Texture Synthesis and Style Transfer Using Histogram Losses] Eric Risser, Pierre Wilmot, Connelly Barnes (2017)</ref> показывают, что результаты, полученные с помощью $\mathcal{L}_{Gatys}$ нестабильны и предложили другую функцию потерь, основанную на ''сопоставлении гистограмм''.
{{Определение
|definition =
'''Сопоставление гистограмм''' (англ. ''Histogram matching'') {{---}} метод обработки изображения, после которого гистограмма изображения совпадает с целевой гистограммой<ref name="HistMatch">https://en.wikipedia.org/wiki/Histogram_matching</ref>.}}
{{Определение
|definition =
Пусть $R = histmatch(S, O)$ {{---}} отображение пикселей такое, что гистограмма $S$ совпадает с гистограммой $R(O)$.}}
{{Определение
|id=hist_loss_def
|definition =
$\mathcal{L}^{\gamma}_{hist}(S, O) = \displaystyle\sum_l \gamma_l \displaystyle\sum_{i, j} \left(F^l_{ij}\left[O\right] - R\left(F^l_{ij}\left[O\right]\right)\right)^2$ {{---}} функция потерь гистограмм, где
$\gamma_l$ {{---}} вклад $l$-го слоя в функцию потерь}}

'''Замечание:''' Если в случае остальных функций потерь нетрудно посчитать производную, то здесь могут возникнуть проблемы. Но поскольку $\displaystyle\frac{\partial \mathcal{L}_{hist}}{\partial F^l_{ij}\left[O\right]}$ является нулём почти везде, авторы предлагают при подсчёте производной считать $R\left(F^l_{ij}\left[O\right]\right)$ константой, которая не зависит от $O$.

===Total variation loss===

Также добавим ещё одну функцию потерь, которая удаляет шумы, при этом сохраняя важные детали изображения<ref name="MV15">[https://arxiv.org/pdf/1412.0035.pdf Understanding Deep Image Representations by Inverting Them] Aravindh Mahendran, Andrea Vedaldi (2015)</ref><ref name="JAFF16">[https://arxiv.org/pdf/1603.08155.pdf Perceptual Losses for Real-Time Style Transfer and Super-Resolution] Justin Johnson, Alexandre Alahi, Li Fei-Fei (2016)</ref>.
{{Определение
|id=tv_loss_def
|definition =
$\mathcal{L}_{tv}(O) = \displaystyle\sum_{i, j} \left(O^l_{i, j} - O^l_{i-1, j}\right)^2 + \left(O^l_{i, j} - O^l_{i, j-1}\right)^2$ {{---}} общая вариационная потеря (англ. ''Total variation loss'').}}

==Глубокая гармонизация картин<ref name="LPSB18">https://arxiv.org/pdf/1804.03189.pdf Fujun Luan, Sylvain Paris, Eli Shechtman, Kavita Bala (2018)</ref>==

Для того чтобы вставить изображение в картину или рисунок нужно не только сделать бесшовный переход и изменить цвета, но ещё и изменить текстуру вставляемого изображения, например сымитировать мазки кистью. Используем для этого комбинацию подходов из других статей<ref name="GEB16"/><ref name="JAFF16"/><ref name="WRB17"/>.

[[Файл:LPSB18_Figure_1.png|1000px|thumb|center|Пример работы алгоритма ''Deep Image Analogy''<ref name="LYY*17">[https://arxiv.org/pdf/1705.01088.pdf Visual Attribute Transfer through Deep Image Analogy] Jing Liao, Yuan Yao, Lu Yuan, Gang Hua, Sing Bing Kang (2017)</ref> (3 картинка) и ''Deep Painterly Harmonization''<ref name="LPSB18"/> (4 картинка)]]
Алгоритм будет состоять из двух проходов. Первый проход будет делать грубую гармонизацию, а второй {{---}} более тщательную. Отличаться они будут '''стилевым маппингом''' и функциями потерь.

{{Определение
|definition =
'''Стилевым маппингом''' мы будем называть отображение $P : \mathcal{R}^{N_l \times M_l} \rightarrow \mathcal{R}^{N_l \times M_l}$, которое некоторым образом переставляет столбцы матрицы (не обязательно обратимо, то есть столбцы могут теряться и копироваться). Более формально, пусть $p(j)$ {{---}} новая позиция столбца $j$, тогда $P(Q)_{i, p(j)} = Q_{ij}$.}}

Один проход будет состоять из $3$ частей:
# Входное $I$ и стилевое $S$ изображения подаются на вход нейронной сети VGG-19, так мы получаем $F^l_{ij}\left[I\right]$ и $F^l_{ij}\left[S\right]$.
# Для каждого слоя $l$ некоторым алгоритмом $\pi$ cтроится стилевой маппинг $P_l$, который сопоставляет столбцам из $F_l[I]$ столбцы из $F_l[S]$.
# Изображение $O$ восстанавливается градиентным спуском по пространству изображений, используя некоторую функцию потерь $\mathcal{L}$.

'''fun''' $SinglePassHarmonization$(
$I$,// Входное изображение 
$M$,// Маска 
$S$,// Стилевое изображение 
$\pi$,// Алгоритм построения стилевого маппинга 
$\mathcal{L}$// Функция потерь 
):
// Строим матрицы $F[I]$ и $F[S]$ с помощью свёрточной сети VGG-19 
$F[I] \leftarrow ComputeNeuralActivations(I)$
$F[S] \leftarrow ComputeNeuralActivations(S)$
// Строим стилевой маппинг 
$P \leftarrow \pi(F[I], M, F[S])$
// Градиентным спуском ищем изображение $O$, которое минимизирует $\mathcal{L}$ 
$O \leftarrow Reconstruct(I, M, S, P, \mathcal{L})$

'''return''' $O$


===Первый проход===

{{Определение
|definition =
'''Вектор активации''' (англ. ''activation vector'') {{---}} это вектор значений функции активации для каждого фильтра свёрточного слоя. Заметим, что столбцы $F_l$ являются векторами активации.}}

{{Определение
|definition =
'''Патчем''' (англ. ''patch'') для столбца $j$ будем называть тензор $3 \times 3 \times N_l$, который состоит из соседних векторов активации в тензоре свёрточного слоя, с центром в столбце $j$}}



<div class="tright" style="clear:none">[[Файл:LPSB18_Figure_2c.png|250px|thumb|none|Результаты после второго прохода]]</div>
<div class="tright" style="clear:none">[[Файл:LPSB18_Figure_2b.png|250px|thumb|none|Результаты после первого прохода]]</div>

Первый проход делает грубую гармонизацию, но при этом он хорошо работает с любыми стилями. Здесь используется алгоритм <code>IndependentMapping</code> для построения стилевого маппинга. Этот алгоритм для каждого столбца $j$ в $F_l[I]$ ищет столбец $p(j)$ в $F_l[S]$, такой что евклидово расстояние между патчем $F_l[I]$ с центром $j$ и патчем $F_l[S]$ с центром $p(j)$ минимально (метод ближайшего соседа).


'''fun''' $IndependentMapping$(
$F[I]$,// Выходы слоёв после входного изображения 
$Mask$,// Маска 
$F[S]$// Выходы слоёв после стилевого изображения 
):
// Для всех слоёв от $1$ до $L$ 
'''for''' $l \in [1 : L]$:
// Для всех столбцов от $1$ до $M_l$ 
'''for''' $j \in [1 : M_l]$:
// Рассматриваем патчи только внутри маски, которую нужно масштабировать в соответсвии с размером слоя $l$ 
'''if''' $j \in Resize(Mask, l)$:
// Берём самый похожий стилевой патч и записываем его в маппинг. 
$P_l(j) \leftarrow NearestNeighborIndex(F[I], j, F[S])$
'''return''' $P$


В первом проходе используется модифицированная функция потерь $\mathcal{L}_{Gatys}$, с тем лишь отличием, что к $F_l[S]$ применяется стилевой маппинг $P_l$.

$$\mathcal{L}_1(I, S, O, P) = \mathcal{L}^{\alpha}_{content}(I, O) + w_{style}\mathcal{L}^{\beta}_{style}(S, O, P) \text{, где } w_{style} \text{ {{---}} вес стилевой функции потерь}$$

'''Замечание:''' при посчёте градиента $\mathcal{L}^{\alpha}_{content}$ используются только пиксели внутри маски<ref>https://github.com/luanfujun/deep-painterly-harmonization/blob/a33a9a70366b6baff1cc0291f857b5895b271fc1/neural_gram.lua#L349</ref>.

===Второй проход===



Второй проход делает более качественную гармонизацию после первого прохода. Здесь мы будем использовать более сложный алгоритм $ConsistentMapping$ построения стилевого маппинга и более сложную функцию потерь. Суть этого алгоритма в том, чтобы найти стилевой мапинг на некотором слое $l_{ref}$ и перенести этот маппинг на остальные слои. Также, мы будем предпочитать маппинги, в которых смежные патчи в $F_l[S]$ остаются смежными после мапинга, чтобы обеспечить пространсвенную согласованность (видимо таким образом мы хотим переносить сложные текстуры более качественно, например мазки кистью).


'''fun''' $ConsistentMapping$(
$F[I]$,// Выходы слоёв после входного изображения 
$Mask$,// Маска 
$F[S]$// Выходы слоёв после стилевого изображения 
):
// Сначала посчитаем маппинг как в IndependentMapping только для слоя $l_{ref}$ 
'''for''' $j \in [1 : M_{l_{ref}}]$:
'''if''' $j \in Resize(Mask, l_{ref})$:
$P_0(j) \leftarrow NearestNeighborIndex(F[I], j, F[S])$

// Далее обеспечиваем пространсвенную согласованность 
'''for''' $j \in [1 : M_{l_{ref}}]$:
'''if''' $j \in Resize(Mask, l_{ref})$:
$q \leftarrow P_0(j)$
// Инициализируем множество кандидатов на новый маппинг 
$CSet \leftarrow \{q\}$
// Перебираем все смежные патчи 
'''for''' $o \in {N, NE, E, SE, S, SW, W, NW}$:
// Добавляем в кандидаты патч, сосед которого является маппингом для нашего соседа в соответсвующем направлении 
$CSet \leftarrow CSet \cup \left\{P_0(j + o) - o\right\}$
// Среди всех кандидатов выбираем тот, который ближе всего к маппингам наших соседей 
$P_{l_{ref}}(j) \leftarrow \underset{c \in CSet}{\mathrm{argmin}}\displaystyle\sum_o \left\|(F_{l_{ref}}[S]_c - F_{l_{ref}}[S]_{P_0(j + o)}\right\|^2$

// Теперь нужно перенести маппинг для $l_{ref}$ на остальные слои 
'''for''' $l \in [1 : L] \setminus \{l_{ref}\}$:
'''for''' $j \in [1 : M_l]$:
'''if''' $j \in Resize(Mask, l)$:
// Вычисляем позицию $j'$ на слое $l_{ref}$ соответствующую позиции $j$ на слое $l$
$j' \leftarrow ChangeResolution(l, l_{ref}, j)$
// Берём маппинг для позиции $j'$
$q \leftarrow P_{l_{ref}}(j')$
// Переносим позицию $q$ обратно на слой $l$
$P_l(j) \leftarrow ChangeResolution(l_{ref}, l, q)$
'''return''' P


При вычислении стилевого маппинга появляется очень много дублирующихся векторов, что даёт не очень хорошие результаты. Поэтому при вычислении матрицы Грама выкинем повторяющиеся векторы. Назовём эту функцию потерь $\mathcal{L}_{s1}$.

$$\mathcal{L}_2(I, S, O, P) = \mathcal{L}^{\alpha}_{content}(I, O) + w_{style}\mathcal{L}^{\beta}_{s1}(S, O, P) + w_{hist}\mathcal{L}^{\gamma}_{hist}(S, O) + w_{tv}\mathcal{L}_{tv}(O) \text{, где } w_{style}, w_{hist}, w_{tv} \text{ {{---}} веса соответсвующих функций потерь}$$

{|
| [[Файл:LPSB18_Figure_5c.png|250px|thumb|none|Только второй проход]]
| [[Файл:LPSB18_Figure_5d.png|250px|thumb|none|Только первый проход]]
| [[Файл:LPSB18_Figure_5f.png|250px|thumb|none|Результат с $\mathcal{L}_{style}$ вместо $\mathcal{L}_{s1}$]]
|}

===Итоговый алгоритм===

Теперь осталось запустить две стадии


'''fun''' $Harmonization$(
$I$,// Входное изображение 
$Mask$,// Маска 
$S$// Стилевое изображение 
):
// Грубый проход алгоритма. Каждый слой рассматривается отдельно при построении стилевого маппинга. 
$I' \leftarrow SinglePassHarmonization(I, Mask, S, IndependentMapping, \mathcal{L}_1)$
// Улучшение результата. Стилевой маппинг строится консистентно для всех слоёв. 
$O \leftarrow SinglePassHarmonization(I', Mask, S, ConsistentMapping, \mathcal{L}_2)$
'''return''' $O$


===Постобработка===

[[Файл:LPSB18_Figure_6abc.png|400px|thumb|right|Результат постобработки (без постобработки, после первой стадии, после второй стадии)]]

Описанный алгоритм даёт хорошие результаты в целом, но при ближайшем рассмотрении могут быть артефакты. Поэтому сделаем двухступенчатую постобработку (подробное описание есть в оригинальной статье<ref name="LPSB18"/>):
# Переведём изображение в [https://en.wikipedia.org/wiki/CIELAB_color_space CIELAB] и применим [https://en.wikipedia.org/wiki/Guided_filter Guided filter] для a и b каналов.
# С помощью алгоритма PatchMatch<ref name="BSFG09">https://www.researchgate.net/profile/Eli_Shechtman/publication/220184392_PatchMatch_A_Randomized_Correspondence_Algorithm_for_Structural_Image_Editing/links/02e7e520897b12bf0f000000.pdf Connelly Barnes, Eli Shechtman, Adam Finkelstein, Dan B Goldman (2009)</ref> и того же Guided filter делаем так чтобы все патчи выходного изображения присутсвовали в стилевом (чтобы не было новых объектов или структур)

===Подбор гиперпараметров===

[[Файл:LPSB18_Figure_4.png|400px|thumb|right|Влияние $l_{ref}$ на результат]]

Возьмём $l_{ref}$ = conv4_1.
Выберем следующие веса для слоёв:

{| class="wikitable"
|+ Первый проход
|-
! Параметр
! conv1_1
! conv2_1
! conv3_1
! conv4_1
! conv5_1
|-
! $\alpha$
| $0$
| $0$
| $0$
| $1$
| $0$
|-
! $\beta$
| $0$
| $0$
| $1/3$
| $1/3$
| $1/3$
|}

{| class="wikitable"
|+ Второй проход
|-
! Параметр
! conv1_1
! conv2_1
! conv3_1
! conv4_1
! conv5_1
|-
! $\alpha$
| $0$
| $0$
| $0$
| $1$
| $0$
|-
! $\beta$
| $1/4$
| $1/4$
| $1/4$
| $1/4$
| $0$
|-
! $\gamma$
| $1/2$
| $0$
| $0$
| $1/2$
| $0$
|}

Введём гиперпараметр $\tau$ и возьмём $w_{style} = w_{hist} = \tau$, $w_{tv} = \tau\frac{10}{1 + \exp(10^4 * noise(S) - 25)}$, где $noise(S) = \underset{i,j}{\mathrm{med}}\left\{\left(O^l_{i, j} - O^l_{i-1, j}\right)^2 + \left(O^l_{i, j} - O^l_{i, j-1}\right)^2\right\}$<ref>[https://github.com/luanfujun/deep-painterly-harmonization/blob/a33a9a70366b6baff1cc0291f857b5895b271fc1/neural_paint.lua#L470 код функции $noise$</ref>

Для того чтобы подбирать $\tau$ авторы статьи использовали классификатор стилей изображений. Они взяли VGG-19, обучили её классифицировать 18 различных стилей. Эти стили были разделены на 3 категории с разными $\tau$. Используя Softmax можно интерполировать необходимый $\tau$ по следующей таблице:

{| class="wikitable"
|-
! Категория стиля
! Примеры стилей
! $\tau$
|-
! Слабый
| Барокко, Высокое Возрождение
| $1$
|-
! Средний
| Абстрактное Искусство, Постимпрессионизм
| $5$
|-
! Сильный
| Кубизм, Экспрессионизм
| $10$
|}

===Примеры===

{|
! Исходное изображение
! Простая вставка
! Результат
! Постобработка
|-
| [[Файл:5_target.jpg|300px]]
| [[Файл:5_naive.jpg|300px]]
| [[Файл:5_final_res.png|300px]]
| [[Файл:5_final_res2.png|300px]]
|-
| [[Файл:6_target.jpg|300px]]
| [[Файл:6_naive.jpg|300px]]
| [[Файл:6_final_res.png|300px]]
| [[Файл:6_final_res2.png|300px]]
|-
| [[Файл:10_target.jpg|300px]]
| [[Файл:10_naive.jpg|300px]]
| [[Файл:10_final_res.png|300px]]
| [[Файл:10_final_res2.png|300px]]
|}

==Глубокий блендинг==



Алгоритм глубокого блендинга состоит из двух этапов. На первом этапе на стилевое изображения $S$ бесшовно накладывается входное изображение $I$, получается подготовительное блендинг-изображение $B$. На втором этапе $B$ модифицируется таким образом, чтобы результат по стилю был похож на $S$.

Будем считать, что на вход подаются изображения, прошедшие предварительную обработку:
* Используемая для вставки часть $I$ вырезана с помощью маски
* $M$ и $I$ выровнены относительно $S$
* Размеры матриц, задающих $M, S, I$ совпадают

'''Примеры входных данных:'''
{| class="wikitable" style="background-color:#FFF; text-align:center"
|-
! '''Стилевое изображение $S$'''
| [[Файл:Deep bl s1.png|150px]]
| [[Файл:Deep bl s2.png|150px]]
| [[Файл:Deep bl s3.png|150px]]
|-
! '''Накладываемое изображение $I$'''
| [[Файл:Deep bl i1.png|150px]]
| [[Файл:Deep bl i2.png|150px]]
| [[Файл:Deep bl i3.png|150px]]
|}

На обоих этапах алгоритм минимизирует взвешенную сумму следующих функций потерь:
* [[Блендинг_изображений#content_loss_def|Функция потерь содержания]] $\mathcal{L}_{cont}$ для сохранения содержания накладываемого изображения $I$
* [[Блендинг_изображений#style_loss_def|Функция потерь стиля]] $\mathcal{L}_{style}$ для переноса стиля изображения $S$ на $I$
* [[Блендинг_изображений#hist_loss_def|Гистограмная функция потерь]] $\mathcal{L}_{hist}$ для стабилизации переноса стиля
* [[Блендинг_изображений#tv_loss_def|Функция потерь полного отклонения]] $\mathcal{L}_{tv}$ для удаления шумов
* [[Блендинг_изображений#grad_loss_def|Градиентная функция потерь]] $\mathcal{L}_{grad}$ для бесшовности наложения

Для подсчета $\mathcal{L}_{style}$ и $\mathcal{L}_{content}$ авторами статьи<ref name='ZWS20'>[https://openaccess.thecvf.com/content_WACV_2020/papers/Zhang_Deep_Image_Blending_WACV_2020_paper.pdf Deep Image Blending] Lingzhi Zhang, Tarmily Wen, Jianbo Shi (2020)</ref> использовалась сеть VGG-19<ref name="SZ14"/>, обученная на ImageNet<ref name="ImageNet">https://image-net.org/papers/imagenet_cvpr09.pdf J. Deng, W. Dong, R. Socher, L.-J. Li, K. Li, and L. FeiFei. Imagenet: A large-scale hierarchical image database</ref>.

{{Определение
|definition =
'''Простой вставкой''' (англ. ''copy and paste'') $CAP(M, S, I)$ будем назвать изображение, полученное наложением части изображения $I$, заданной маской $M$, на изображение $S$.
$CAP(M, S, I) = I \odot M + S \odot (1 - M)$, где $\odot$ {{---}} покомпонентное умножение. }}

{{Определение
|id=grad_loss_def
|definition =
$\mathcal{L}_{grad}(S, I, M, O) = \displaystyle\frac{1}{2HW}\displaystyle\sum_{m=1}^H \displaystyle\sum_{n=1}^W \left[\nabla^2 f(B) - \left(\nabla^2 f(S) + \nabla^2 f(I)\right) \right]^2_{mn}$ {{---}} градиентная функция потерь (англ. ''Possion gradient loss''). $\nabla^2$ {{---}} оператор Лапласа. $H, W$ {{---}} высота и ширина изображений. $B = CAP(M, S, O)$ {{---}} блендинговое изображение, оптимизируемое относительно $O$. }}

Чтобы комбинировать решение задачи бесшовного наложения [[Блендинг изображений#Блендинг Пуассона|методом Пуассона]] с остальными ограничениями, авторы статьи<ref name='ZWS20'/> предлагают использовать функцию потерь $\mathcal{L}_{grad}$, являющуюся приближением уравнения Пуассона $(2)$. $\mathcal{L}_{grad}$ минимизирует разность градиента искомого изображения $B$ и суммы градиентов входных изображений $S$ и $I$.

Рассмотрим область $\overline{\Omega} = \{\;p \;| \;M_p = 0\; \}$. Заметим, что градиент $I$ в $\overline{\Omega}$ равен нулю. Тогда градиенты $S$ и $B$ совпадают, и задача минимизации $\mathcal{L}_{grad}$ решается только в области вставки.

=== Первый этап ===

<div class="tright" style="clear:none">[[Файл:Deep bl 2stage.png|thumb|none|200px|Результат после обоих этапов]]</div>
<div class="tright" style="clear:none">[[Файл:Deep bl 1stage.png|thumb|none|200px|Результат первого этапа]]</div>

На первом этапе изображение $I$ накладывается на фоновое изображение $S$ таким образом, чтобы были незаметны швы.
Построение начинается с белого шума $Z$, который оптимизируется в области вставки путем минимизации суммарной функции потерь $\mathcal{L}_{total}$, представленной взвешенной суммой всех функций потерь, описанных выше:
$$ \mathcal{L}_{total}(Z) = w_{grad}\mathcal{L}_{grad}(I, S, B) + w_{cont}\mathcal{L}_{cont}(I, M, Z) + w_{style}\mathcal{L}_{style}(S, B) + w_{tv}\mathcal{L}_{tv}(B) + w_{hist}\mathcal{L}_{hist}(S, B) $$
Отметим, что $\mathcal{L}_{cont}$ зависит от маски и отвечает за сохранение содержания $I$ в области вставки.

Отличительной чертой этого этапа является использование функции потерь $\mathcal{L}_{grad}$, приближающей градиент результата к градиенту $I$ в области наложения, за счет чего достигается бесшовность. Для вычисления производных второго порядка используется фильтр Лапласа.

В результате получается подготовительное блендинг-изображение $B$:
$$
B_p =
\begin{cases}
Z_p,\; \text{если } M_p = 1 \\
S_p,\; \text{иначе }
\end{cases}
$$


'''fun''' $SeamlessBlending$(
$I$, // Входное изображение 
$M$, // Маска 
$S$ // Стилевое изображение 
):
// Инициализируем первое приближение белым шумом 
$Z \leftarrow RandomNoise() $
$B \leftarrow CAP(M, S, Z)$
// Определим суммарную функцию потерь с весами слагаемых $w$
$\mathcal{L}_{total}(Z) \leftarrow w_{grad}\mathcal{L}_{grad}(I, S, B) + w_{cont}\mathcal{L}_{cont}(I, M, Z) + w_{style}\mathcal{L}_{style}(S, B) + w_{tv}\mathcal{L}_{tv}(B) + w_{hist}\mathcal{L}_{hist}(S, B)$
// С помощью алгоритма L-BFGS ищем изображение $Z$, которое минимизирует $\mathcal{L}_{total}$ 
$Z \leftarrow Reconstruct(\mathcal{L}_{total}, Z)$
'''return''' $CAP(M, S, Z)$


=== Второй этап ===

Второй этап алгоритма представляет собой модификацию полученного на первом этапе блендинг-изображения $B$ таким образом, чтобы стиль изображения был наиболее близок к стилю $S$.

В отличие от предыдущего этапа, функция потерь не включает в себя $\mathcal{L}_{grad}$:
$$\mathcal{L}_{total}(O) = w_{cont}\mathcal{L}_{cont}(B, O) + w_{style}\mathcal{L}_{style}(S, O) + w_{tv}\mathcal{L}_{tv}(O) + w_{hist}\mathcal{L}_{hist}(S, O)$$

Минимизация происходит относительно результата алгоритма $O$, которой инициализируется изображением $B$.


'''fun''' $StyleRefinement$(
$B$, // Подготовительное блендинг-изображение, результат первого этапа 
$M$, // Маска 
$S$ // Стилевое изображение 
):
$O \leftarrow B$
// Определим суммарную функцию потерь с весами слагаемых $w$
$\mathcal{L}_{total}(O) \leftarrow w_{cont}\mathcal{L}_{cont}(B, O) + w_{style}\mathcal{L}_{style}(S, O) + w_{tv}\mathcal{L}_{tv}(O) + w_{hist}\mathcal{L}_{hist}(S, O)$
// С помощью алгоритма L-BFGS ищем изображение $O$, которое минимизирует $\mathcal{L}_{total}$ 
$O \leftarrow Reconstruct(\mathcal{L}_{total}, O)$
'''return''' $O$


===Детали реализации===

{| class="wikitable"
|+ Веса функций потерь
|-
! Этап
! $w_{grad}$
! $w_{cont}$
! $w_{style}$
! $w_{hist}$
! $w_{tv}$
|-
! $1$
| $10^5$
| $1$
| $10^5$
| $1$
| $10^{-6}$
|-
! $2$
| $0$
| $1$
| $10^7$
| $1$
| $10^{-6}$
|}

Для подсчета $\mathcal{L}_{style}$ используются слои $conv{1_2}, conv{2_2}, conv{3_3}, conv{4_3}$ $VGG$, для $\mathcal{L}_{cont}$ {{---}} $conv{2_2}$.

На обоих этапах максимальное количество итераций алгоритма L-BFGS {{---}} $1000$.

=== Примеры ===
[[Файл:МЛ блендинг пример.png|1000px]]

==Ссылки==

[https://en.wikipedia.org/wiki/Gramian_matrix Матрица Грама (англ.)]

==Примечания==