Викиконспекты - Вклад участника [ru]

Классификация текстов и анализ тональности

2019-04-09T10:03:53Z

KirillTim: typo

'''Классификация текстов (документов)''' (''Document classification'') {{---}} задача компьютерной лингвистики<ref>[https://ru.wikipedia.org/wiki/%D0%9A%D0%BE%D0%BC%D0%BF%D1%8C%D1%8E%D1%82%D0%B5%D1%80%D0%BD%D0%B0%D1%8F_%D0%BB%D0%B8%D0%BD%D0%B3%D0%B2%D0%B8%D1%81%D1%82%D0%B8%D0%BA%D0%B0 Компьютерная лингвистика]</ref>, заключающаяся в отнесении документа к одной из нескольких категорий на основании содержания документа.

'''Анализ тональности текста''' (''Sentiment analysis'') {{---}} задача компьютерной лингвистики, заключающаяся в определении эмоциональной окраски (тональности) текста и, в частности, в выявлении эмоциональной оценки авторов по отношению к объектам, описываемым в тексте.

== Задачи классификации текстов ==
Классификация текстов применяется, в том числе, для:
* Разделения веб страниц и сайтов по тематическим каталогам;
* Борьбы со спамом;
* Определение языка текста;
* Показа более релевантной рекламы;

== Задачи анализа тональности текста ==
Основной задачей анализа тональности текста является определение его эмоциональной окраски. Это необходимо, в том числе, для:
* Анализа отзывов о товарах и услугах;
* Определение языка вражды<ref>[https://ru.wikipedia.org/wiki/%D0%AF%D0%B7%D1%8B%D0%BA_%D0%B2%D1%80%D0%B0%D0%B6%D0%B4%D1%8B Язык Вражды]</ref>;
В общем случае, задача анализа тональности текста эквивалентна задаче классификации текста, где категориями текстов могут быть тональные оценки.
Примеры тональных оценок:
* позитивная;
* негативная;
* нейтральная;
Под «нейтральной» подразумевается, что текст не содержит эмоциональной окраски.

== Классификация текстов методами машинного обучения ==
=== Постановка задачи ===
Имеется множество категорий (классов, меток) <math>\mathfrak{C}=\{c_1,...,c_{\left|\mathfrak{C}\right|}\}</math>.

Имеется множество документов <math>\mathfrak{D}= \{ d_1, ... , d_{ \left| \mathfrak{D} \right| } \}</math>.

Неизвестная целевая функция <math>\Phi\colon \mathfrak{C} \times \mathfrak{D} \rightarrow \{ 0, 1 \}</math>.

Необходимо построить классификатор <math> \Phi^\prime </math>, максимально близкий к <math>\Phi</math>.

Имеется некоторая начальная коллекция размеченных документов <math>\mathfrak{R} \subset \mathfrak{C} \times \mathfrak{D}</math>, для которых известны значения <math>\Phi</math>. Обычно её делят на «обучающую» и «проверочную» части. Первая используется для обучения классификатора, вторая — для независимой проверки качества его работы.

Классификатор может выдавать точный ответ <math>\Phi^\prime\colon \mathfrak{C} \times \mathfrak{D} \rightarrow \{ 0, 1 \}</math> или степень подобия <math>\Phi^\prime\colon \mathfrak{C} \times \mathfrak{D} \rightarrow [ 0, 1 ]</math>.

=== Этапы подготовки ===
==== Предобработка текста ====
Предобработка текста переводит текст на естественном языке в формат удобный для дальнейшей работы. Применяются следующие операции:
* Перевод всех букв в тексте в нижний или верхний регистры;
* Удаление чисел или замена на текстовый эквивалент;
* Удаление пунктуации;
* Удаление редких и слишком частых слов;
* [http://neerc.ifmo.ru/wiki/index.php?title=%D0%9E%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B0_%D0%B5%D1%81%D1%82%D0%B5%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D0%BE%D0%B3%D0%BE_%D1%8F%D0%B7%D1%8B%D0%BA%D0%B0#.D0.A1.D1.82.D0.B5.D0.BC.D0.BC.D0.B8.D0.BD.D0.B3 Стемминг] или [http://neerc.ifmo.ru/wiki/index.php?title=%D0%9E%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B0_%D0%B5%D1%81%D1%82%D0%B5%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D0%BE%D0%B3%D0%BE_%D1%8F%D0%B7%D1%8B%D0%BA%D0%B0#.D0.9B.D0.B5.D0.BC.D0.BC.D0.B0.D1.82.D0.B8.D0.B7.D0.B0.D1.86.D0.B8.D1.8F Лемматизация];
==== Извлечение признаков из текстов ====
Большинство математических моделей работают в векторных пространствах больших размерностей, поэтому необходимо отобразить текст в векторном пространстве. Основным походом является мешок слов (bag-of-words): для документа формируется вектор размерности словаря, для каждого слова выделяется своя размерность, для документа записывается признак насколько часто слово встречается в нем, получаем вектор. Наиболее распространенным методом для вычисления признака является TF-IDF[4] (TF — частота слова, term frequency, IDF — обратная частота документа, inverse document frequency). Плюсами мешка слов является простая реализация, однако данный метод теряет часть информации, например, порядок слов. Для уменьшения потери информации можно использовать мешок N-грамм (добавлять не только слова, но и словосочетания), или использовать методы векторных представлений слов это, например, позволяет снизить ошибку на словах с одинаковыми написаниями, но разными значениями.
=== Алгоритмы классификации ===
==== Наивная байесовская модель ====
Пусть <math>P(c_i|d)</math> {{---}} вероятность того, что документ, представленный вектором <math>d = (t_1, ..., t_n)</math>, соответствует категории <math>c_i</math> для <math>i = 1, ..., |C|</math>. Задача классификатора заключается в том, чтобы подобрать такие значения <math>c_i</math> и <math>d</math>, при которых значение вероятности <math>P(c_i|d)</math> будет максимальным:

<math>c_m = \underset{c \in C}{\operatorname{argmax}} \, P(c|d)</math>

Для вычисления значений <math>P(c_i|d)</math> пользуются теоремой Байеса:

<math>P(c_i|d) = \frac{P(d|c_i)P(c_i)}{P(d)}</math>

где <math>P(c_i)</math> – априорная вероятность того, что документ отнесен к категории <math>c_i</math>; <math>P(d | c_i)</math> – вероятность найти документ, представленный вектором <math>d = (t_1, ..., t_n)</math>, в категории <math>c_i</math>; <math>P(d)</math> – вероятность того, что произвольно взятый документ можно представить в виде вектора признаков <math>d = (t_1, ..., t_n)</math>.

По сути <math>P(c_i)</math> является отношением количества документов из обучающей выборки <math>L</math>, отнесенных в категорию c_i , к количеству всех документов из <math>L</math>.

<math>P(d)</math> не зависит от категории <math>c_i</math>, а значения <math>t_1, ..., t_n</math> заданы заранее, поэтому знаменатель {{---}} это константа, не влияющая на выбор наибольшего из значений <math>P(c_i|d)</math>.

Вычисление <math>P(d | c_i)</math> затруднительно из-за большого количества признаков <math>t_1, ..., t_n</math> , поэтому делают «наивное» предположение о том, что любые две координаты, рассматриваемые как случайные величины, статистически не зависят друг от друга. Тогда можно воспользоваться формулой

<math>P(d|c_i) = \prod_{k=1}^{n} P(t_k|c)</math>

Далее все вероятности подсчитываются по методу максимального правдоподобия.

Преимущества метода:
* высокая скорость работы;
* простая реализация алгоритма;
* легкая интерпретируемость результатов работы алгоритма.

Недостатками являются относительно низкое качество классификации и неспособность учитывать зависимость результата классификации от сочетания признаков.

==== [[Метод опорных векторов (SVM)]] ====
Будем представлять каждый документ, как вектор, задаваемый своим содержимым в общем векторном пространстве. После этого будем строить [http://neerc.ifmo.ru/wiki/index.php?title=%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%BE%D0%BF%D0%BE%D1%80%D0%BD%D1%8B%D1%85_%D0%B2%D0%B5%D0%BA%D1%82%D0%BE%D1%80%D0%BE%D0%B2_(SVM)#.D0.A0.D0.B0.D0.B7.D0.B4.D0.B5.D0.BB.D1.8F.D1.8E.D1.89.D0.B0.D1.8F_.D0.B3.D0.B8.D0.BF.D0.B5.D1.80.D0.BF.D0.BB.D0.BE.D1.81.D0.BA.D0.BE.D1.81.D1.82.D1.8C разделяющую гиперплоскость] для каждого известного класса.

Преимущества метода:
* один из наиболее качественных методов;
* возможность работы с небольшим набором данных для обучения;
* сводимость к задаче выпуклой оптимизации, имеющей единственное решение.

Недостатки метода: сложная интерпретируемость параметров алгоритма и неустойчивость по отношению к выбросам в исходных данных.

=== Оценка качества классификации ===
Для оценки качества классификации, как и для оценки качества работы многих других алгоритмов машинного обучения вычисляется [https://ru.wikipedia.org/wiki/%D0%98%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D0%BE%D0%BD%D0%BD%D1%8B%D0%B9_%D0%BF%D0%BE%D0%B8%D1%81%D0%BA#%D0%A2%D0%BE%D1%87%D0%BD%D0%BE%D1%81%D1%82%D1%8C_(precision) точность] и [https://ru.wikipedia.org/wiki/%D0%98%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D0%BE%D0%BD%D0%BD%D1%8B%D0%B9_%D0%BF%D0%BE%D0%B8%D1%81%D0%BA#%D0%9F%D0%BE%D0%BB%D0%BD%D0%BE%D1%82%D0%B0_(recall) полнота].

== Применение семантических тезаурусов для анализа тональности текстов ==
Существуют тезаурусы<ref>[https://ru.wikipedia.org/wiki/%D0%A2%D0%B5%D0%B7%D0%B0%D1%83%D1%80%D1%83%D1%81 Тезаурус]</ref>, размеченные силами людей с учётом эмоциональной окраски слов, содержащихся в них. Такие словари позволяют определять тональность текста без применения алгоритмов машинного обучения. Тональность текста определяется как сумма тональностей слов, содержащихся в размеченных словарях.

Основной проблемой методов, основанных на словарях является трудоёмкость построения словаря: отдельного для каждого нового языка и каждой новой тематики.

Известные тезаурусы:
* [http://wndomains.fbk.eu/wnaffect.html WordNet-Affect];
* [http://nmis.isti.cnr.it/sebastiani/Publications/LREC10.pdf SentiWordNet];
* [http://sentic.net/ SenticNet]

== Примечания ==
<references/>

Классификация текстов и анализ тональности

2019-04-09T09:56:56Z

KirillTim: ...

'''Классификация текстов (документов)''' (''Document classification'') {{---}} задача компьютерной лингвистики<ref>[https://ru.wikipedia.org/wiki/%D0%9A%D0%BE%D0%BC%D0%BF%D1%8C%D1%8E%D1%82%D0%B5%D1%80%D0%BD%D0%B0%D1%8F_%D0%BB%D0%B8%D0%BD%D0%B3%D0%B2%D0%B8%D1%81%D1%82%D0%B8%D0%BA%D0%B0 Компьютерная лингвистика]</ref>, заключающаяся в отнесении документа к одной из нескольких категорий на основании содержания документа.

'''Анализ тональности текста''' (''Sentiment analysis'') {{---}} задача компьютерной лингвистики, заключающаяся в определении эмоциональной окраски (тональности) текста и, в частности, в выявлении эмоциональной оценки авторов по отношению к объектам, описываемым в тексте.

== Задачи классификации текстов ==
Классификация текстов применяется, в том числе, для:
* Разделения веб страниц и сайтов по тематическим каталогам;
* Борьбы со спамом;
* Определение языка текста;
* Показа более релевантной рекламы;

== Задачи анализа тональности текста ==
Основной задачей анализа тональности текста является определение его эмоциональной окраски. Это необходимо, в том числе, для:
* Анализа отзывов о товарах и услугах;
* Определение языка вражды<ref>[https://ru.wikipedia.org/wiki/%D0%AF%D0%B7%D1%8B%D0%BA_%D0%B2%D1%80%D0%B0%D0%B6%D0%B4%D1%8B Язык Вражды]</ref>;
В общем случае, задача анализа тональности текста эквивалентна задаче классификации текста, где категориями текстов могут быть тональные оценки.
Примеры тональных оценок:
* позитивня;
* негативня;
* нейтральная;
Под «нейтральной» подразумевается, что текст не содержит эмоциональной окраски.

== Классификация текстов методами машинного обучения ==
=== Постановка задачи ===
Имеется множество категорий (классов, меток) <math>\mathfrak{C}=\{c_1,...,c_{\left|\mathfrak{C}\right|}\}</math>.

Имеется множество документов <math>\mathfrak{D}= \{ d_1, ... , d_{ \left| \mathfrak{D} \right| } \}</math>.

Неизвестная целевая функция <math>\Phi\colon \mathfrak{C} \times \mathfrak{D} \rightarrow \{ 0, 1 \}</math>.

Необходимо построить классификатор <math> \Phi^\prime </math>, максимально близкий к <math>\Phi</math>.

Имеется некоторая начальная коллекция размеченных документов <math>\mathfrak{R} \subset \mathfrak{C} \times \mathfrak{D}</math>, для которых известны значения <math>\Phi</math>. Обычно её делят на «обучающую» и «проверочную» части. Первая используется для обучения классификатора, вторая — для независимой проверки качества его работы.

Классификатор может выдавать точный ответ <math>\Phi^\prime\colon \mathfrak{C} \times \mathfrak{D} \rightarrow \{ 0, 1 \}</math> или степень подобия <math>\Phi^\prime\colon \mathfrak{C} \times \mathfrak{D} \rightarrow [ 0, 1 ]</math>.

=== Этапы подготовки ===
==== Предобработка текста ====
Предобработка текста переводит текст на естественном языке в формат удобный для дальнейшей работы. Применяются следующие операции:
* Перевод всех букв в тексте в нижний или верхний регистры;
* Удаление чисел или замена на текстовый эквивалент;
* Удаление пунктуации;
* Удаление редких и слишком частых слов;
* [http://neerc.ifmo.ru/wiki/index.php?title=%D0%9E%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B0_%D0%B5%D1%81%D1%82%D0%B5%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D0%BE%D0%B3%D0%BE_%D1%8F%D0%B7%D1%8B%D0%BA%D0%B0#.D0.A1.D1.82.D0.B5.D0.BC.D0.BC.D0.B8.D0.BD.D0.B3 Стемминг] или [http://neerc.ifmo.ru/wiki/index.php?title=%D0%9E%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B0_%D0%B5%D1%81%D1%82%D0%B5%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D0%BE%D0%B3%D0%BE_%D1%8F%D0%B7%D1%8B%D0%BA%D0%B0#.D0.9B.D0.B5.D0.BC.D0.BC.D0.B0.D1.82.D0.B8.D0.B7.D0.B0.D1.86.D0.B8.D1.8F Лемматизация];
==== Извлечение признаков из текстов ====
Большинство математических моделей работают в векторных пространствах больших размерностей, поэтому необходимо отобразить текст в векторном пространстве. Основным походом является мешок слов (bag-of-words): для документа формируется вектор размерности словаря, для каждого слова выделяется своя размерность, для документа записывается признак насколько часто слово встречается в нем, получаем вектор. Наиболее распространенным методом для вычисления признака является TF-IDF[4] (TF — частота слова, term frequency, IDF — обратная частота документа, inverse document frequency). Плюсами мешка слов является простая реализация, однако данный метод теряет часть информации, например, порядок слов. Для уменьшения потери информации можно использовать мешок N-грамм (добавлять не только слова, но и словосочетания), или использовать методы векторных представлений слов это, например, позволяет снизить ошибку на словах с одинаковыми написаниями, но разными значениями.
=== Алгоритмы классификации ===
==== Наивная байесовская модель ====
Пусть <math>P(c_i|d)</math> {{---}} вероятность того, что документ, представленный вектором <math>d = (t_1, ..., t_n)</math>, соответствует категории <math>c_i</math> для <math>i = 1, ..., |C|</math>. Задача классификатора заключается в том, чтобы подобрать такие значения <math>c_i</math> и <math>d</math>, при которых значение вероятности <math>P(c_i|d)</math> будет максимальным:

<math>c_m = \underset{c \in C}{\operatorname{argmax}} \, P(c|d)</math>

Для вычисления значений <math>P(c_i|d)</math> пользуются теоремой Байеса:

<math>P(c_i|d) = \frac{P(d|c_i)P(c_i)}{P(d)}</math>

где <math>P(c_i)</math> – априорная вероятность того, что документ отнесен к категории <math>c_i</math>; <math>P(d | c_i)</math> – вероятность найти документ, представленный вектором <math>d = (t_1, ..., t_n)</math>, в категории <math>c_i</math>; <math>P(d)</math> – вероятность того, что произвольно взятый документ можно представить в виде вектора признаков <math>d = (t_1, ..., t_n)</math>.

По сути <math>P(c_i)</math> является отношением количества документов из обучающей выборки <math>L</math>, отнесенных в категорию c_i , к количеству всех документов из <math>L</math>.

<math>P(d)</math> не зависит от категории <math>c_i</math>, а значения <math>t_1, ..., t_n</math> заданы заранее, поэтому знаменатель {{---}} это константа, не влияющая на выбор наибольшего из значений <math>P(c_i|d)</math>.

Вычисление <math>P(d | c_i)</math> затруднительно из-за большого количества признаков <math>t_1, ..., t_n</math> , поэтому делают «наивное» предположение о том, что любые две координаты, рассматриваемые как случайные величины, статистически не зависят друг от друга. Тогда можно воспользоваться формулой

<math>P(d|c_i) = \prod_{k=1}^{n} P(t_k|c)</math>

Далее все вероятности подсчитываются по методу максимального правдоподобия.

Преимущества метода:
* высокая скорость работы;
* простая реализация алгоритма;
* легкая интерпретируемость результатов работы алгоритма.

Недостатками являются относительно низкое качество классификации и неспособность учитывать зависимость результата классификации от сочетания признаков.

==== [[Метод опорных векторов (SVM)]] ====
Будем представлять каждый документ, как вектор, задаваемый своим содержимым в общем векторном пространстве. После этого будем строить [http://neerc.ifmo.ru/wiki/index.php?title=%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%BE%D0%BF%D0%BE%D1%80%D0%BD%D1%8B%D1%85_%D0%B2%D0%B5%D0%BA%D1%82%D0%BE%D1%80%D0%BE%D0%B2_(SVM)#.D0.A0.D0.B0.D0.B7.D0.B4.D0.B5.D0.BB.D1.8F.D1.8E.D1.89.D0.B0.D1.8F_.D0.B3.D0.B8.D0.BF.D0.B5.D1.80.D0.BF.D0.BB.D0.BE.D1.81.D0.BA.D0.BE.D1.81.D1.82.D1.8C разделяющую гиперплоскость] для каждого известного класса.

Преимущества метода:
* один из наиболее качественных методов;
* возможность работы с небольшим набором данных для обучения;
* сводимость к задаче выпуклой оптимизации, имеющей единственное решение.

Недостатки метода: сложная интерпретируемость параметров алгоритма и неустойчивость по отношению к выбросам в исходных данных.

=== Оценка качества классификации ===
Для оценки качества классификации, как и для оценки качества работы многих других алгоритмов машинного обучения вычисляется [https://ru.wikipedia.org/wiki/%D0%98%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D0%BE%D0%BD%D0%BD%D1%8B%D0%B9_%D0%BF%D0%BE%D0%B8%D1%81%D0%BA#%D0%A2%D0%BE%D1%87%D0%BD%D0%BE%D1%81%D1%82%D1%8C_(precision) точность] и [https://ru.wikipedia.org/wiki/%D0%98%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D0%BE%D0%BD%D0%BD%D1%8B%D0%B9_%D0%BF%D0%BE%D0%B8%D1%81%D0%BA#%D0%9F%D0%BE%D0%BB%D0%BD%D0%BE%D1%82%D0%B0_(recall) полнота].

== Применение семантических тезаурусов для анализа тональности текстов ==
Существуют тезаурусы<ref>[https://ru.wikipedia.org/wiki/%D0%A2%D0%B5%D0%B7%D0%B0%D1%83%D1%80%D1%83%D1%81 Тезаурус]</ref>, размеченные силами людей с учётом эмоциональной окраски слов, содержащихся в них. Такие словари позволяют определять тональность текста без применения алгоритмов машинного обучения. Тональность текста определяется как сумма тональностей слов, содержащихся в размеченных словарях.

Основной проблемой методов, основанных на словарях является трудоёмкость построения словаря: отдельного для каждого нового языка и каждой новой тематики.

Известные тезаурусы:
* [http://wndomains.fbk.eu/wnaffect.html WordNet-Affect];
* [http://nmis.isti.cnr.it/sebastiani/Publications/LREC10.pdf SentiWordNet];
* [http://sentic.net/ SenticNet]

== Примечания ==
<references/>

Классификация текстов и анализ тональности

2019-04-09T09:54:07Z

KirillTim: + метод опорных векторов

'''Классификация текстов (документов)''' (''Document classification'') {{---}} задача компьютерной лингвистики<ref>[https://ru.wikipedia.org/wiki/%D0%9A%D0%BE%D0%BC%D0%BF%D1%8C%D1%8E%D1%82%D0%B5%D1%80%D0%BD%D0%B0%D1%8F_%D0%BB%D0%B8%D0%BD%D0%B3%D0%B2%D0%B8%D1%81%D1%82%D0%B8%D0%BA%D0%B0 Компьютерная лингвистика]</ref>, заключающаяся в отнесении документа к одной из нескольких категорий на основании содержания документа.

'''Анализ тональности текста''' (''Sentiment analysis'') {{---}} задача компьютерной лингвистики, заключающаяся в определении эмоциональной окраски (тональности) текста и, в частности, в выявлении эмоциональной оценки авторов по отношению к объектам, описываемым в тексте.

== Задачи классификации текстов ==
Классификация текстов применяется, в том числе, для:
* Разделения веб страниц и сайтов по тематическим каталогам;
* Борьбы со спамом;
* Определение языка текста;
* Показа более релевантной рекламы;

== Задачи анализа тональности текста ==
Основной задачей анализа тональности текста является определение его эмоциональной окраски. Это необходимо, в том числе, для:
* Анализа отзывов о товарах и услугах;
* Определение языка вражды<ref>[https://ru.wikipedia.org/wiki/%D0%AF%D0%B7%D1%8B%D0%BA_%D0%B2%D1%80%D0%B0%D0%B6%D0%B4%D1%8B Язык Вражды]</ref>;
В общем случае, задача анализа тональности текста эквивалентна задаче классификации текста, где категориями текстов могут быть тональные оценки.
Примеры тональных оценок:
* позитивня;
* негативня;
* нейтральная;
Под «нейтральной» подразумевается, что текст не содержит эмоциональной окраски.

== Классификация текстов методами машинного обучения ==
=== Постановка задачи ===
Имеется множество категорий (классов, меток) <math>\mathfrak{C}=\{c_1,...,c_{\left|\mathfrak{C}\right|}\}</math>.

Имеется множество документов <math>\mathfrak{D}= \{ d_1, ... , d_{ \left| \mathfrak{D} \right| } \}</math>.

Неизвестная целевая функция <math>\Phi\colon \mathfrak{C} \times \mathfrak{D} \rightarrow \{ 0, 1 \}</math>.

Необходимо построить классификатор <math> \Phi^\prime </math>, максимально близкий к <math>\Phi</math>.

Имеется некоторая начальная коллекция размеченных документов <math>\mathfrak{R} \subset \mathfrak{C} \times \mathfrak{D}</math>, для которых известны значения <math>\Phi</math>. Обычно её делят на «обучающую» и «проверочную» части. Первая используется для обучения классификатора, вторая — для независимой проверки качества его работы.

Классификатор может выдавать точный ответ <math>\Phi^\prime\colon \mathfrak{C} \times \mathfrak{D} \rightarrow \{ 0, 1 \}</math> или степень подобия <math>\Phi^\prime\colon \mathfrak{C} \times \mathfrak{D} \rightarrow [ 0, 1 ]</math>.

=== Этапы подготовки ===
==== Предобработка текста ====
Предобработка текста переводит текст на естественном языке в формат удобный для дальнейшей работы. Применяются следующие операции:
* Перевод всех букв в тексте в нижний или верхний регистры;
* Удаление чисел или замена на текстовый эквивалент;
* Удаление пунктуации;
* Удаление редких и слишком частых слов;
* [http://neerc.ifmo.ru/wiki/index.php?title=%D0%9E%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B0_%D0%B5%D1%81%D1%82%D0%B5%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D0%BE%D0%B3%D0%BE_%D1%8F%D0%B7%D1%8B%D0%BA%D0%B0#.D0.A1.D1.82.D0.B5.D0.BC.D0.BC.D0.B8.D0.BD.D0.B3 Стемминг] или [http://neerc.ifmo.ru/wiki/index.php?title=%D0%9E%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B0_%D0%B5%D1%81%D1%82%D0%B5%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D0%BE%D0%B3%D0%BE_%D1%8F%D0%B7%D1%8B%D0%BA%D0%B0#.D0.9B.D0.B5.D0.BC.D0.BC.D0.B0.D1.82.D0.B8.D0.B7.D0.B0.D1.86.D0.B8.D1.8F Лемматизация];
==== Извлечение признаков из текстов ====
Большинство математических моделей работают в векторных пространствах больших размерностей, поэтому необходимо отобразить текст в векторном пространстве. Основным походом является мешок слов (bag-of-words): для документа формируется вектор размерности словаря, для каждого слова выделяется своя размерность, для документа записывается признак насколько часто слово встречается в нем, получаем вектор. Наиболее распространенным методом для вычисления признака является TF-IDF[4] (TF — частота слова, term frequency, IDF — обратная частота документа, inverse document frequency). Плюсами мешка слов является простая реализация, однако данный метод теряет часть информации, например, порядок слов. Для уменьшения потери информации можно использовать мешок N-грамм (добавлять не только слова, но и словосочетания), или использовать методы векторных представлений слов это, например, позволяет снизить ошибку на словах с одинаковыми написаниями, но разными значениями.
=== Алгоритмы классификации ===
==== Наивная байесовская модель ====
Пусть <math>P(c_i|d)</math> {{---}} вероятность того, что документ, представленный вектором <math>d = (t_1, ..., t_n)</math>, соответствует категории <math>c_i</math> для <math>i = 1, ..., |C|</math>. Задача классификатора заключается в том, чтобы подобрать такие значения <math>c_i</math> и <math>d</math>, при которых значение вероятности <math>P(c_i|d)</math> будет максимальным:

<math>c_m = \underset{c \in C}{\operatorname{argmax}} \, P(c|d)</math>

Для вычисления значений <math>P(c_i|d)</math> пользуются теоремой Байеса:

<math>P(c_i|d) = \frac{P(d|c_i)P(c_i)}{P(d)}</math>

где <math>P(c_i)</math> – априорная вероятность того, что документ отнесен к категории <math>c_i</math>; <math>P(d | c_i)</math> – вероятность найти документ, представленный вектором <math>d = (t_1, ..., t_n)</math>, в категории <math>c_i</math>; <math>P(d)</math> – вероятность того, что произвольно взятый документ можно представить в виде вектора признаков <math>d = (t_1, ..., t_n)</math>.

По сути <math>P(c_i)</math> является отношением количества документов из обучающей выборки <math>L</math>, отнесенных в категорию c_i , к количеству всех документов из <math>L</math>.

<math>P(d)</math> не зависит от категории <math>c_i</math>, а значения <math>t_1, ..., t_n</math> заданы заранее, поэтому знаменатель {{---}} это константа, не влияющая на выбор наибольшего из значений <math>P(c_i|d)</math>.

Вычисление <math>P(d | c_i)</math> затруднительно из-за большого количества признаков <math>t_1, ..., t_n</math> , поэтому делают «наивное» предположение о том, что любые две координаты, рассматриваемые как случайные величины, статистически не зависят друг от друга. Тогда можно воспользоваться формулой

<math>P(d|c_i) = \prod_{k=1}^{n} P(t_k|c)</math>

Далее все вероятности подсчитываются по методу максимального правдоподобия.

Преимущества метода:
* высокая скорость работы;
* простая реализация алгоритма;
* легкая интерпретируемость результатов работы алгоритма.

Недостатками являются относительно низкое качество классификации и неспособность учитывать зависимость результата классификации от сочетания признаков.

==== Метод K ближайших соседей ====

==== [[Метод опорных векторов (SVM)]] ====
Будем представлять каждый документ, как вектор, задаваемый своим содержимым в общем векторном пространстве. После этого будем строить [http://neerc.ifmo.ru/wiki/index.php?title=%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%BE%D0%BF%D0%BE%D1%80%D0%BD%D1%8B%D1%85_%D0%B2%D0%B5%D0%BA%D1%82%D0%BE%D1%80%D0%BE%D0%B2_(SVM)#.D0.A0.D0.B0.D0.B7.D0.B4.D0.B5.D0.BB.D1.8F.D1.8E.D1.89.D0.B0.D1.8F_.D0.B3.D0.B8.D0.BF.D0.B5.D1.80.D0.BF.D0.BB.D0.BE.D1.81.D0.BA.D0.BE.D1.81.D1.82.D1.8C разделяющую гиперплоскость] для каждого известного класса.

Преимущества метода:
* один из наиболее качественных методов;
* возможность работы с небольшим набором данных для обучения;
* сводимость к задаче выпуклой оптимизации, имеющей единственное решение.

Недостатки метода: сложная интерпретируемость параметров алгоритма и неустойчивость по отношению к выбросам в исходных данных.

==== Свёрточная нейронная сеть ====
=== Оценка качества классификации ===
Для оценки качества классификации, как и для оценки качества работы многих других алгоритмов машинного обучения вычисляется [https://ru.wikipedia.org/wiki/%D0%98%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D0%BE%D0%BD%D0%BD%D1%8B%D0%B9_%D0%BF%D0%BE%D0%B8%D1%81%D0%BA#%D0%A2%D0%BE%D1%87%D0%BD%D0%BE%D1%81%D1%82%D1%8C_(precision) точность] и [https://ru.wikipedia.org/wiki/%D0%98%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D0%BE%D0%BD%D0%BD%D1%8B%D0%B9_%D0%BF%D0%BE%D0%B8%D1%81%D0%BA#%D0%9F%D0%BE%D0%BB%D0%BD%D0%BE%D1%82%D0%B0_(recall) полнота].

== Применение семантических тезаурусов для анализа тональности текстов ==
Существуют тезаурусы<ref>[https://ru.wikipedia.org/wiki/%D0%A2%D0%B5%D0%B7%D0%B0%D1%83%D1%80%D1%83%D1%81 Тезаурус]</ref>, размеченные силами людей с учётом эмоциональной окраски слов, содержащихся в них. Такие словари позволяют определять тональность текста без применения алгоритмов машинного обучения. Тональность текста определяется как сумма тональностей слов, содержащихся в размеченных словарях.

Основной проблемой методов, основанных на словарях является трудоёмкость построения словаря: отдельного для каждого нового языка и каждой новой тематики.

Известные тезаурусы:
* [http://wndomains.fbk.eu/wnaffect.html WordNet-Affect];
* [http://nmis.isti.cnr.it/sebastiani/Publications/LREC10.pdf SentiWordNet];
* [http://sentic.net/ SenticNet]

== Примечания ==
<references/>

Классификация текстов и анализ тональности

2019-04-09T09:37:19Z

KirillTim: + Наивная байесовская модель

'''Классификация текстов (документов)''' (''Document classification'') {{---}} задача компьютерной лингвистики<ref>[https://ru.wikipedia.org/wiki/%D0%9A%D0%BE%D0%BC%D0%BF%D1%8C%D1%8E%D1%82%D0%B5%D1%80%D0%BD%D0%B0%D1%8F_%D0%BB%D0%B8%D0%BD%D0%B3%D0%B2%D0%B8%D1%81%D1%82%D0%B8%D0%BA%D0%B0 Компьютерная лингвистика]</ref>, заключающаяся в отнесении документа к одной из нескольких категорий на основании содержания документа.

'''Анализ тональности текста''' (''Sentiment analysis'') {{---}} задача компьютерной лингвистики, заключающаяся в определении эмоциональной окраски (тональности) текста и, в частности, в выявлении эмоциональной оценки авторов по отношению к объектам, описываемым в тексте.

== Задачи классификации текстов ==
Классификация текстов применяется, в том числе, для:
* Разделения веб страниц и сайтов по тематическим каталогам;
* Борьбы со спамом;
* Определение языка текста;
* Показа более релевантной рекламы;

== Задачи анализа тональности текста ==
Основной задачей анализа тональности текста является определение его эмоциональной окраски. Это необходимо, в том числе, для:
* Анализа отзывов о товарах и услугах;
* Определение языка вражды<ref>[https://ru.wikipedia.org/wiki/%D0%AF%D0%B7%D1%8B%D0%BA_%D0%B2%D1%80%D0%B0%D0%B6%D0%B4%D1%8B Язык Вражды]</ref>;
В общем случае, задача анализа тональности текста эквивалентна задаче классификации текста, где категориями текстов могут быть тональные оценки.
Примеры тональных оценок:
* позитивня;
* негативня;
* нейтральная;
Под «нейтральной» подразумевается, что текст не содержит эмоциональной окраски.

== Классификация текстов методами машинного обучения ==
=== Постановка задачи ===
Имеется множество категорий (классов, меток) <math>\mathfrak{C}=\{c_1,...,c_{\left|\mathfrak{C}\right|}\}</math>.

Имеется множество документов <math>\mathfrak{D}= \{ d_1, ... , d_{ \left| \mathfrak{D} \right| } \}</math>.

Неизвестная целевая функция <math>\Phi\colon \mathfrak{C} \times \mathfrak{D} \rightarrow \{ 0, 1 \}</math>.

Необходимо построить классификатор <math> \Phi^\prime </math>, максимально близкий к <math>\Phi</math>.

Имеется некоторая начальная коллекция размеченных документов <math>\mathfrak{R} \subset \mathfrak{C} \times \mathfrak{D}</math>, для которых известны значения <math>\Phi</math>. Обычно её делят на «обучающую» и «проверочную» части. Первая используется для обучения классификатора, вторая — для независимой проверки качества его работы.

Классификатор может выдавать точный ответ <math>\Phi^\prime\colon \mathfrak{C} \times \mathfrak{D} \rightarrow \{ 0, 1 \}</math> или степень подобия <math>\Phi^\prime\colon \mathfrak{C} \times \mathfrak{D} \rightarrow [ 0, 1 ]</math>.

=== Этапы подготовки ===
==== Предобработка текста ====
Предобработка текста переводит текст на естественном языке в формат удобный для дальнейшей работы. Применяются следующие операции:
* Перевод всех букв в тексте в нижний или верхний регистры;
* Удаление чисел или замена на текстовый эквивалент;
* Удаление пунктуации;
* Удаление редких и слишком частых слов;
* [http://neerc.ifmo.ru/wiki/index.php?title=%D0%9E%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B0_%D0%B5%D1%81%D1%82%D0%B5%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D0%BE%D0%B3%D0%BE_%D1%8F%D0%B7%D1%8B%D0%BA%D0%B0#.D0.A1.D1.82.D0.B5.D0.BC.D0.BC.D0.B8.D0.BD.D0.B3 Стемминг] или [http://neerc.ifmo.ru/wiki/index.php?title=%D0%9E%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B0_%D0%B5%D1%81%D1%82%D0%B5%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D0%BE%D0%B3%D0%BE_%D1%8F%D0%B7%D1%8B%D0%BA%D0%B0#.D0.9B.D0.B5.D0.BC.D0.BC.D0.B0.D1.82.D0.B8.D0.B7.D0.B0.D1.86.D0.B8.D1.8F Лемматизация];
==== Извлечение признаков из текстов ====
Большинство математических моделей работают в векторных пространствах больших размерностей, поэтому необходимо отобразить текст в векторном пространстве. Основным походом является мешок слов (bag-of-words): для документа формируется вектор размерности словаря, для каждого слова выделяется своя размерность, для документа записывается признак насколько часто слово встречается в нем, получаем вектор. Наиболее распространенным методом для вычисления признака является TF-IDF[4] (TF — частота слова, term frequency, IDF — обратная частота документа, inverse document frequency). Плюсами мешка слов является простая реализация, однако данный метод теряет часть информации, например, порядок слов. Для уменьшения потери информации можно использовать мешок N-грамм (добавлять не только слова, но и словосочетания), или использовать методы векторных представлений слов это, например, позволяет снизить ошибку на словах с одинаковыми написаниями, но разными значениями.
=== Алгоритмы классификации ===
==== Наивная байесовская модель ====
Пусть <math>P(c_i|d)</math> {{---}} вероятность того, что документ, представленный вектором <math>d = (t_1, ..., t_n)</math>, соответствует категории <math>c_i</math> для <math>i = 1, ..., |C|</math>. Задача классификатора заключается в том, чтобы подобрать такие значения <math>c_i</math> и <math>d</math>, при которых значение вероятности <math>P(c_i|d)</math> будет максимальным:

<math>c_m = \underset{c \in C}{\operatorname{argmax}} \, P(c|d)</math>

Для вычисления значений <math>P(c_i|d)</math> пользуются теоремой Байеса:

<math>P(c_i|d) = \frac{P(d|c_i)P(c_i)}{P(d)}</math>

где <math>P(c_i)</math> – априорная вероятность того, что документ отнесен к категории <math>c_i</math>; <math>P(d | c_i)</math> – вероятность найти документ, представленный вектором <math>d = (t_1, ..., t_n)</math>, в категории <math>c_i</math>; <math>P(d)</math> – вероятность того, что произвольно взятый документ можно представить в виде вектора признаков <math>d = (t_1, ..., t_n)</math>.

По сути <math>P(c_i)</math> является отношением количества документов из обучающей выборки <math>L</math>, отнесенных в категорию c_i , к количеству всех документов из <math>L</math>.

<math>P(d)</math> не зависит от категории <math>c_i</math>, а значения <math>t_1, ..., t_n</math> заданы заранее, поэтому знаменатель {{---}} это константа, не влияющая на выбор наибольшего из значений <math>P(c_i|d)</math>.

Вычисление <math>P(d | c_i)</math> затруднительно из-за большого количества признаков <math>t_1, ..., t_n</math> , поэтому делают «наивное» предположение о том, что любые две координаты, рассматриваемые как случайные величины, статистически не зависят друг от друга. Тогда можно воспользоваться формулой

<math>P(d|c_i) = \prod_{k=1}^{n} P(t_k|c)</math>

Далее все вероятности подсчитываются по методу максимального правдоподобия.

Преимущества метода:
* высокая скорость работы;
* простая реализация алгоритма;
* легкая интерпретируемость результатов работы алгоритма.

Недостатками являются относительно низкое качество классификации и неспособность учитывать зависимость результата классификации от сочетания признаков.

==== Метод K ближайших соседей ====
==== Метод опорных векторов ====
==== Свёрточная нейронная сеть ====
=== Оценка качества классификации ===
Для оценки качества классификации, как и для оценки качества работы многих других алгоритмов машинного обучения вычисляется [https://ru.wikipedia.org/wiki/%D0%98%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D0%BE%D0%BD%D0%BD%D1%8B%D0%B9_%D0%BF%D0%BE%D0%B8%D1%81%D0%BA#%D0%A2%D0%BE%D1%87%D0%BD%D0%BE%D1%81%D1%82%D1%8C_(precision) точность] и [https://ru.wikipedia.org/wiki/%D0%98%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D0%BE%D0%BD%D0%BD%D1%8B%D0%B9_%D0%BF%D0%BE%D0%B8%D1%81%D0%BA#%D0%9F%D0%BE%D0%BB%D0%BD%D0%BE%D1%82%D0%B0_(recall) полнота].

== Применение семантических тезаурусов для анализа тональности текстов ==
Существуют тезаурусы<ref>[https://ru.wikipedia.org/wiki/%D0%A2%D0%B5%D0%B7%D0%B0%D1%83%D1%80%D1%83%D1%81 Тезаурус]</ref>, размеченные силами людей с учётом эмоциональной окраски слов, содержащихся в них. Такие словари позволяют определять тональность текста без применения алгоритмов машинного обучения. Тональность текста определяется как сумма тональностей слов, содержащихся в размеченных словарях.

Основной проблемой методов, основанных на словарях является трудоёмкость построения словаря: отдельного для каждого нового языка и каждой новой тематики.

Известные тезаурусы:
* [http://wndomains.fbk.eu/wnaffect.html WordNet-Affect];
* [http://nmis.isti.cnr.it/sebastiani/Publications/LREC10.pdf SentiWordNet];
* [http://sentic.net/ SenticNet]

== Примечания ==
<references/>

Классификация текстов и анализ тональности

2019-04-09T09:08:58Z

KirillTim: + оценка качества

Классификация текстов и анализ тональности

2019-04-09T08:56:19Z

KirillTim: fix links

Классификация текстов и анализ тональности

2019-04-09T08:51:11Z

KirillTim: + line breaks

Классификация текстов и анализ тональности

2019-04-09T08:42:28Z

KirillTim: + алгоритмы список + тезаурусы

Классификация текстов и анализ тональности

2019-04-09T08:06:46Z

KirillTim: + предобработка

Классификация текстов и анализ тональности

2019-04-08T23:49:03Z

KirillTim: + постановка задачи

Классификация текстов и анализ тональности

2019-04-08T22:48:17Z

KirillTim: + задачи

Классификация текстов и анализ тональности

2019-04-08T22:31:36Z

KirillTim: init

Машинное обучение

2019-04-03T19:43:08Z

KirillTim: /* Обработка естественного языка */

[[Категория: Машинное обучение]]

=Общие понятия=
*[[Общие понятия]]
*[[Модель алгоритма и ее выбор]]
*[[Переобучение]]
*[[Кросс-валидация]]
*[[Выброс]]
*[[Ранжирование]]
*[[Стохастический градиентный спуск]]
*[[Обучение с частичным привлечением учителя]]

=Классификация и регрессия=
*[[Метрический классификатор и метод ближайших соседей]]
*[[Нейронные сети, перцептрон]]
*[[Дерево решений и случайный лес]]
*[[Вариации регрессии]]
*[[Линейная регрессия]]
*[[Логистическая регрессия]]
*[[Байесовская классификация]]
*[[Байесовские сети]]
*[[Поиск ближайших соседей с помощью иерархического маленького мира]]<tex>^\star</tex>

=Кластеризация=
*[[Кластеризация]]
*[[Иерархическая кластеризация]]
*[[Оценка качества в задаче кластеризации]]<tex>^\star</tex>

=Ансамбли=
*[[Виды ансамблей]]
*[[Бустинг, AdaBoost]]
*[[XGBoost]]<tex>^\star</tex>
*[[CatBoost]]<tex>^\star</tex>

=Глубокое обучение=
*[[Глубокое обучение]]
*[[Настройка глубокой сети]]
*[[Batch-normalization]]
*[[Практики реализации нейронных сетей]]
*[[Рекуррентные нейронные сети]]
*[[Сегментация изображений]]
==Сверточные сети==
*[[Сверточные нейронные сети]]
==Порождающие модели==
*[[Generative Adversarial Nets (GAN)]]<tex>^\star</tex>
*[[Автокодировщик]]
*[[Вариационный автокодировщик]]

==Обработка естественного языка==
*[[Распознавание речи]]
*[[Обработка естественного языка]]
*[[Векторное представление слов]]
*[[Классификация текстов и анализ тональности]]

=Уменьшение размерности=
*[[Уменьшение размерности]]

=Обучение с подкреплением=
*[[Обучение с подкреплением]]
*[[Методы policy gradient и алгоритм асинхронного актора-критика]]

=Примеры кода=
*[[Обзор библиотек для машинного обучения на Python]]
*[[Примеры кода на Scala]]

=В разработке=
*[[Мета-обучение]]
*[[Оценка качества в задачах классификации и регрессии]]
*[[Задача нахождения объектов на изображении]]<tex>^\star</tex>
*[[Neural Style Transfer]]<tex>^\star</tex>
*[[Долгая краткосрочная память]]
*[[Метод опорных векторов (SVM)]]
*[[EM-алгоритм]]
*[[Рекомендательные системы]]
*[[Настройка гиперпараметров]]
*[[Активное обучение]]
*[[Примеры кода на R]]
*[[Примеры кода на Java]]
*[[Регуляризация]]
*[[Обратное распространение ошибки]]
*[[Порождающие модели]]
*[[Ядра]]
*[[Известные наборы данных]]

IPsec

2016-12-12T13:58:00Z

KirillTim: style fixes

= История =
чуть-чуть
= Архитектура =
картинки
= Режимы =
=== Transport mode ===
=== Tunnel mode ===

= Использование =
= Источники информации =
* [[wikipedia:IPsec|Wikipedia {{---}} IPsec]]
* [http://www.ixbt.com/comm/ipsecure.shtml IPSec — протокол защиты сетевого трафика на IP-уровне]
* [http://unixwiz.net/techtips/iguide-ipsec.html An Illustrated Guide to IPsec ]
* [https://tools.ietf.org/html/rfc4301 Security Architecture for the Internet Protocol]

TLS. IPsec. Основы, отличия. IPv6 и шифрование

2016-12-12T13:55:26Z

KirillTim: ссылка на правильную страницу

http://neerc.ifmo.ru/wiki/index.php?title=IPsec

TLS. IPsec. Основы, отличия. IPv6 и шифрование

2016-12-12T13:52:33Z

KirillTim: удалил

IPsec

2016-12-12T13:48:02Z

KirillTim: Новая страница: «==== История ==== чуть-чуть ==== Архитектура ==== картинки ==== Режимы ==== === Transport mode === === Tunnel mode === ===...»

==== История ====
чуть-чуть
==== Архитектура ====
картинки
==== Режимы ====
=== Transport mode ===
=== Tunnel mode ===
==== Использование ====
==== Источники информации ====
* [[wikipedia:IPsec|Wikipedia {{---}} IPsec]]
* [http://www.ixbt.com/comm/ipsecure.shtml IPSec — протокол защиты сетевого трафика на IP-уровне]
* [http://unixwiz.net/techtips/iguide-ipsec.html An Illustrated Guide to IPsec ]
* [https://tools.ietf.org/html/rfc4301 Security Architecture for the Internet Protocol]

Компьютерные сети

2016-12-12T13:46:50Z

KirillTim: /* Блок 3 */ IPsec

=Блок 1=
* [[Коммутация на канальном уровне]]
* [[Сети с общей средой передачи данных (подуровень MAC, протоколы)]]
* [[Физическое кодирование]]
* [[Канальный уровень]]
* [[Физический уровень]]
* [[Ethernet]]
* [[Bluetooth]]
* [[Виртуальные локальные сети]]
* [[Протоколы стандарта 802.11]]
* [[Data link layer - LLC]]
* [[Data link layer - Flow control]]
* [[Data link layer - MAC - Aloha, CSMA]]

=Блок 2=
* [[Сетевой уровень]]
* [[Broadcast. Broadcast routing.]]
* [[Мультикаст. Мультикаст маршрутизация]]
* [[IP]]
* [[Управляющие протоколы Internet]]
* [[Протоколы внешнего и внутреннего шлюза]]
* [[IPv6]]
* [[Транспортный уровень]]
* [[Протоколы транспортного уровня (TCP, UDP, SCTP)]]

=Блок 3=
* [[DHCP]]
* [[Служба DNS. Пространство имен в Internet]]
* [[Служба электронной почты]]
* [[WWW. HTTP. Основы и развитие]]
* [[FTP. Telnet. SSH]]
* [[Авторизация. Аутентификация. Аудит. Radius. Diameter]]
* [[Шифрование]]
* [[SSL/TLS]]
* [[IPsec]]
* [[Протоколы аутентификации]]
* [[Firewall. Концепция, примеры]]
* [[SIP. Телефония поверх IP]]
* [[Одноранговые сети]]
* [[Сетевые атаки. Классификация, описания]]
* [[Мультимедиа поверх IP. RTSP]]
* [[NAT]]
* [[LTE и WiFi]]
* [[WAN - особенности, принципы построения сетей]]
* [[Wireless networks - WAN]]
* [[LAN - особенности топологии]]

TLS. IPsec. Основы, отличия. IPv6 и шифрование

2016-12-12T13:45:41Z

KirillTim: План + источники

NP-полнота задачи о сумме подмножества

2016-05-17T18:36:40Z

KirillTim: /* Доказательство принадлежности NPH */

{{Задача
|definition = Дано множество <tex>S</tex>, содержащие <tex>n</tex> целых чисел и целое число <tex>s</tex>. Требуется выяснить, возможно ли выбрать подмножество <tex>S' \subseteq S</tex> с суммой <tex>s</tex>: 
<tex>\exists S' \subseteq S: \sum\limits_{s_{i} \in S'}{s_{i}} = s</tex>
}}

==Доказательство NP-полноты==
Для доказательства того, что '''задаче о сумме подмножества''' (англ. ''Subset sum problem'', <tex>\mathrm{SSP}</tex>) [[NPC | NP-полной]], необходимо доказать два факта:
*<tex>\mathrm{SSP} \in</tex> [[NP | <tex>\mathrm{NP}</tex>]]
*<tex>\mathrm{SSP} \in</tex> [[NPH | <tex>\mathrm{NPH}</tex>]]

===Доказательство принадлежности NP===
В качестве сертификата возьмем удовлетворяющее условию задачи множество <tex>S'</tex> с суммой <tex>s</tex>. Оно удовлетворяет всем требованиям, налагаемым на сертификат. Проверяющая функция проверит вхождение всех элементов <tex>S'</tex> в множество <tex>S</tex> за время <tex>\left\vert{S'}\right\vert \times \left\vert{S}\right\vert</tex>.

===Доказательство принадлежности NPH===
Сведем [[NP-полнота_задачи_о_выполнимости_булевой_формулы_в_форме_3-КНФ|<tex>\mathrm{3CNFSAT}</tex>]] к задаче о сумме подмножества. Пусть задана <tex>\mathrm{3CNF}</tex> формула <tex>\varphi</tex> от <tex>n</tex>
переменных <tex>x_{i}</tex>, состоящая из <tex>k</tex> пар скобок <tex>C_{i}</tex>. Будем считать, не умаляя общности, что ни одна пара скобок не содержит одновременно переменную и ее отрицание. Также предположим, что каждая переменная входит хотя бы в одну пару скобок. Построим сводящую функцию <tex>f\!\!:\varphi \to (S,s)</tex>.

====Построение сводящей функции====
Для каждой переменной <tex>x_{i}</tex> и каждой пары скобок <tex>C_{j}</tex> создадим по два числа в десятичной системе счисления, каждое длиной <tex>n+k</tex> цифр. Эти числа образуют <tex>S</tex>. Также создадим число <tex>s</tex> длиной <tex>n+k</tex> цифр. Присвоим каждому разряду полученных чисел (одинаковую для всех чисел) метку, соответствующую либо переменной, либо паре скобок.
Метки, соответствующие парам скобок, присвоены <tex>k</tex> младшим разрядам чисел.
*В числе <tex>s</tex> все разряды, соответствующие переменным, установим <tex>1</tex>, а оставшиеся сделаем равными <tex>4</tex>.
*Каждой переменной <tex>x_{i}</tex> соответствуют два числа из <tex>S</tex>: <tex>v_{i}</tex> и <tex>u_{i}</tex>. Опишем создание этих чисел. Разряд, соответствующий <tex>x_{i}</tex> установим равным <tex>1</tex>, а все остальные разряды, соответствующие переменным, установим равными <tex>0</tex>. Далее, для числа <tex>v_{i}</tex> установим все разряды, соответствующие парам скобок, содержащих <tex>x_{i}</tex>, равными <tex>1</tex>. Во все остальные "скобочные" разряды поставим <tex>0</tex>. В числе <tex>w_{i}</tex> установим все разряды, соответствующие парам скобок, содержащих <tex>\neg x_{i}</tex>, равными <tex>1</tex>, а во все остальные "скобочные" разряды поставим <tex>0</tex>.
*Каждой паре скобок <tex>C_{j}</tex> соответствуют два числа из <tex>S</tex>: <tex>d_{i}</tex> и <tex>e_{i}</tex>. Оба этих числа содержат <tex>0</tex> во всех разрядах, кроме соответствующего <tex>C_{j}</tex>. В этом разряде у <tex>d_{i}</tex> поставим <tex>1</tex>, а у <tex>e_{i}</tex> {{---}} <tex>2</tex>.
====Корректность сводящей функции====
*Получаемое сводящей функцией множество <tex>S</tex> состоит из <tex>2(n+k)</tex> десятичных чисел длиной <tex>(n+k)</tex> каждое, выставление каждого разряда занимает полиномиальное время. Таким образом, сведение выполняется за полиномиальное время.
*Пусть формула <tex>\varphi</tex> выполнима, то есть существует набор значений <tex>\{y_{i}\}^{n}_{i=1}:~\varphi(y_{1}\ldots y_{n})=1 </tex>. И пусть <tex>(S,s) = f(\varphi)</tex>. Тогда в полученном множестве <tex>S</tex> существует подмножество с суммой <tex>s</tex>. Действительно, для каждой переменной, если <tex>y_{k} = 1</tex>, то добавим <tex>v_{i}</tex> в <tex>S'</tex>. Иначе добавим <tex>w_{i}</tex>. Теперь <tex>S'</tex> содержит уже <tex>n</tex> чисел. Заметим, что для каждого "скобочного" разряда в уже набранной части <tex>S'</tex> есть не менее одного и не более трех чисел, у которых в данном разряде стоит <tex>1</tex>. Значит для каждого соответствующего паре скобок <tex>C_{j}</tex> разряда мы сможем выбрать одно или оба числа <tex>d_{j}</tex> и <tex>e_{j}</tex> так, чтобы сумма в данном разряде совпадала с требуемой (стала равна <tex>4</tex>). Добавим их в <tex>S'</tex>. Также заметим, что суммы во всех "переменных" разрядах равны <tex>1</tex>, так как для каждого <tex>i</tex> выбиралось строго одно число из <tex>v_{i}</tex> и <tex>u_{i}</tex>. Значит, <tex> \sum\limits_{s_{k} \in S'}{s_{k}} = s</tex>.
*Пусть теперь в наборе <tex>S</tex> есть подмножество <tex>S':~ \sum\limits_{s_{k} \in S'}{s_{k}} = s</tex>. Тогда исходная формула <tex>\varphi</tex> выполнима. Действительно, если <tex>v_{i} \in S'</tex>, то установим переменную <tex>x_{i}=1</tex>. Если же <tex>w_{i} \in S'</tex>, то <tex>x_{i}=0</tex>. Покажем, что <tex>\varphi(x_{1}\ldots x_{n}) = 1 </tex>. Действительно, так как <tex> \sum\limits_{s_{k} \in S'}{s_{k}} = s</tex>, в каждой паре скобок хотя бы один терм равен <tex>1</tex>. Значит каждый терм равен <tex>1</tex>. А тогда и вся <tex>\varphi = 1</tex>.
====Пример сведения====
Пусть исходная функция <tex>\varphi(x_{1} \ldots x_{4}) = (x_{1} \lor x_{2} \lor \neg x_{3}) \land (\neg x_{1} \lor x_{2} \lor x_{4})</tex>.
Пометим разряды следующим образом (слева направо): <tex>x_{1},x_{2},x_{3},x_{4},C_{1},C_{2}</tex>. Тогда:
*<tex>v_{1} = 100010</tex>
*<tex>w_{1} = 100001</tex>

*<tex>v_{2} = 010011 = 10011</tex>
*<tex>w_{2} = 010000 = 10000</tex>

*<tex>v_{3} = 001000 = 1000</tex>
*<tex>w_{3} = 001010 = 1010</tex>

*<tex>v_{4} = 000101 = 101</tex>
*<tex>w_{4} = 000100 = 100</tex>

*<tex>d_{1} = 000010 = 10</tex>
*<tex>e_{1} = 000020 = 20</tex>

*<tex>d_{2} = 000001 = 1</tex>
*<tex>e_{2} = 000002 = 2</tex>

*<tex>s = 111144</tex>

<tex>S = (\bigcup\limits_{i=1}^{4} v_{i}) \cup (\bigcup\limits_{i=1}^{4} w_{i}) \cup (\bigcup\limits_{i=1}^{2} d_{i}) \cup (\bigcup\limits_{i=1}^{2} e_{i})</tex>

Тогда набору значений <tex>Y = (0,0,0,1):~ \varphi(Y) = 1</tex> соответствует <tex>S' = \{w_{1},~w_{2},~w_{3},~v_{4},~d_{1},~e_{1},~e_{2}\}</tex>. И действительно, <tex>100001 + 10000 + 1010 + 101 + 10 + 20 + 2 = 111144</tex>.

==См. также==
* [[NP]]
* [[NPH]]
* [[NPC]]
* [[Классы NP и Σ₁]]
* [[3CNFSAT]]
* [[Примеры NP-полных языков]]

==Источники информации==
* Thomas H. Cormen, Charles E. Leiserson, Ronald L. Rivest, Clifford Stein "Introduction to Algorithms, 3rd Edition" {{---}} Издательство MIT Press, 2009. {{---}} 1086 c. {{---}} ISBN 978-0-262-03384-8 (англ.)
* Хопкрофт Дж., Мотвани Р., Ульман Дж. Введение в теорию автоматов, языков и вычислений. 2-е издание. {{---}} М.: Издательский дом "Вильямс", 2002. {{---}} 423 с. {{---}} ISBN 5-8459-0261-4 (рус.)

[[Категория: Теория сложности]]
[[Категория: Детерминированные и недетерминированные вычисления, сложность по времени и по памяти]]
[[Категория: Примеры NP-полных языков]]

NP-полнота задачи о сумме подмножества

2016-05-17T18:34:49Z

KirillTim: /* Доказательство принадлежности NPH */

{{Задача
|definition = Дано множество <tex>S</tex>, содержащие <tex>n</tex> целых чисел и целое число <tex>s</tex>. Требуется выяснить, возможно ли выбрать подмножество <tex>S' \subseteq S</tex> с суммой <tex>s</tex>: 
<tex>\exists S' \subseteq S: \sum\limits_{s_{i} \in S'}{s_{i}} = s</tex>
}}

==Доказательство NP-полноты==
Для доказательства того, что '''задаче о сумме подмножества''' (англ. ''Subset sum problem'', <tex>\mathrm{SSP}</tex>) [[NPC | NP-полной]], необходимо доказать два факта:
*<tex>\mathrm{SSP} \in</tex> [[NP | <tex>\mathrm{NP}</tex>]]
*<tex>\mathrm{SSP} \in</tex> [[NPH | <tex>\mathrm{NPH}</tex>]]

===Доказательство принадлежности NP===
В качестве сертификата возьмем удовлетворяющее условию задачи множество <tex>S'</tex> с суммой <tex>s</tex>. Оно удовлетворяет всем требованиям, налагаемым на сертификат. Проверяющая функция проверит вхождение всех элементов <tex>S'</tex> в множество <tex>S</tex> за время <tex>\left\vert{S'}\right\vert \times \left\vert{S}\right\vert</tex>.

===Доказательство принадлежности NPH===
Сведем [[NP-полнота_задачи_о_выполнимости_булевой_формулы_в_форме_3-КНФ|<tex>\mathrm{3CNFSAT}</tex>]] к задаче о сумме подмножества. Пусть задана <tex>\mathrm{3-CNF}</tex> формула <tex>\varphi</tex> от <tex>n</tex>
переменных <tex>x_{i}</tex>, состоящая из <tex>k</tex> пар скобок <tex>C_{i}</tex>. Будем считать, не умаляя общности, что ни одна пара скобок не содержит одновременно переменную и ее отрицание. Также предположим, что каждая переменная входит хотя бы в одну пару скобок. Построим сводящую функцию <tex>f\!\!:\varphi \to (S,s)</tex>.

====Построение сводящей функции====
Для каждой переменной <tex>x_{i}</tex> и каждой пары скобок <tex>C_{j}</tex> создадим по два числа в десятичной системе счисления, каждое длиной <tex>n+k</tex> цифр. Эти числа образуют <tex>S</tex>. Также создадим число <tex>s</tex> длиной <tex>n+k</tex> цифр. Присвоим каждому разряду полученных чисел (одинаковую для всех чисел) метку, соответствующую либо переменной, либо паре скобок.
Метки, соответствующие парам скобок, присвоены <tex>k</tex> младшим разрядам чисел.
*В числе <tex>s</tex> все разряды, соответствующие переменным, установим <tex>1</tex>, а оставшиеся сделаем равными <tex>4</tex>.
*Каждой переменной <tex>x_{i}</tex> соответствуют два числа из <tex>S</tex>: <tex>v_{i}</tex> и <tex>u_{i}</tex>. Опишем создание этих чисел. Разряд, соответствующий <tex>x_{i}</tex> установим равным <tex>1</tex>, а все остальные разряды, соответствующие переменным, установим равными <tex>0</tex>. Далее, для числа <tex>v_{i}</tex> установим все разряды, соответствующие парам скобок, содержащих <tex>x_{i}</tex>, равными <tex>1</tex>. Во все остальные "скобочные" разряды поставим <tex>0</tex>. В числе <tex>w_{i}</tex> установим все разряды, соответствующие парам скобок, содержащих <tex>\neg x_{i}</tex>, равными <tex>1</tex>, а во все остальные "скобочные" разряды поставим <tex>0</tex>.
*Каждой паре скобок <tex>C_{j}</tex> соответствуют два числа из <tex>S</tex>: <tex>d_{i}</tex> и <tex>e_{i}</tex>. Оба этих числа содержат <tex>0</tex> во всех разрядах, кроме соответствующего <tex>C_{j}</tex>. В этом разряде у <tex>d_{i}</tex> поставим <tex>1</tex>, а у <tex>e_{i}</tex> {{---}} <tex>2</tex>.
====Корректность сводящей функции====
*Получаемое сводящей функцией множество <tex>S</tex> состоит из <tex>2(n+k)</tex> десятичных чисел длиной <tex>(n+k)</tex> каждое, выставление каждого разряда занимает полиномиальное время. Таким образом, сведение выполняется за полиномиальное время.
*Пусть формула <tex>\varphi</tex> выполнима, то есть существует набор значений <tex>\{y_{i}\}^{n}_{i=1}:~\varphi(y_{1}\ldots y_{n})=1 </tex>. И пусть <tex>(S,s) = f(\varphi)</tex>. Тогда в полученном множестве <tex>S</tex> существует подмножество с суммой <tex>s</tex>. Действительно, для каждой переменной, если <tex>y_{k} = 1</tex>, то добавим <tex>v_{i}</tex> в <tex>S'</tex>. Иначе добавим <tex>w_{i}</tex>. Теперь <tex>S'</tex> содержит уже <tex>n</tex> чисел. Заметим, что для каждого "скобочного" разряда в уже набранной части <tex>S'</tex> есть не менее одного и не более трех чисел, у которых в данном разряде стоит <tex>1</tex>. Значит для каждого соответствующего паре скобок <tex>C_{j}</tex> разряда мы сможем выбрать одно или оба числа <tex>d_{j}</tex> и <tex>e_{j}</tex> так, чтобы сумма в данном разряде совпадала с требуемой (стала равна <tex>4</tex>). Добавим их в <tex>S'</tex>. Также заметим, что суммы во всех "переменных" разрядах равны <tex>1</tex>, так как для каждого <tex>i</tex> выбиралось строго одно число из <tex>v_{i}</tex> и <tex>u_{i}</tex>. Значит, <tex> \sum\limits_{s_{k} \in S'}{s_{k}} = s</tex>.
*Пусть теперь в наборе <tex>S</tex> есть подмножество <tex>S':~ \sum\limits_{s_{k} \in S'}{s_{k}} = s</tex>. Тогда исходная формула <tex>\varphi</tex> выполнима. Действительно, если <tex>v_{i} \in S'</tex>, то установим переменную <tex>x_{i}=1</tex>. Если же <tex>w_{i} \in S'</tex>, то <tex>x_{i}=0</tex>. Покажем, что <tex>\varphi(x_{1}\ldots x_{n}) = 1 </tex>. Действительно, так как <tex> \sum\limits_{s_{k} \in S'}{s_{k}} = s</tex>, в каждой паре скобок хотя бы один терм равен <tex>1</tex>. Значит каждый терм равен <tex>1</tex>. А тогда и вся <tex>\varphi = 1</tex>.
====Пример сведения====
Пусть исходная функция <tex>\varphi(x_{1} \ldots x_{4}) = (x_{1} \lor x_{2} \lor \neg x_{3}) \land (\neg x_{1} \lor x_{2} \lor x_{4})</tex>.
Пометим разряды следующим образом (слева направо): <tex>x_{1},x_{2},x_{3},x_{4},C_{1},C_{2}</tex>. Тогда:
*<tex>v_{1} = 100010</tex>
*<tex>w_{1} = 100001</tex>

*<tex>v_{2} = 010011 = 10011</tex>
*<tex>w_{2} = 010000 = 10000</tex>

*<tex>v_{3} = 001000 = 1000</tex>
*<tex>w_{3} = 001010 = 1010</tex>

*<tex>v_{4} = 000101 = 101</tex>
*<tex>w_{4} = 000100 = 100</tex>

*<tex>d_{1} = 000010 = 10</tex>
*<tex>e_{1} = 000020 = 20</tex>

*<tex>d_{2} = 000001 = 1</tex>
*<tex>e_{2} = 000002 = 2</tex>

*<tex>s = 111144</tex>

<tex>S = (\bigcup\limits_{i=1}^{4} v_{i}) \cup (\bigcup\limits_{i=1}^{4} w_{i}) \cup (\bigcup\limits_{i=1}^{2} d_{i}) \cup (\bigcup\limits_{i=1}^{2} e_{i})</tex>

Тогда набору значений <tex>Y = (0,0,0,1):~ \varphi(Y) = 1</tex> соответствует <tex>S' = \{w_{1},~w_{2},~w_{3},~v_{4},~d_{1},~e_{1},~e_{2}\}</tex>. И действительно, <tex>100001 + 10000 + 1010 + 101 + 10 + 20 + 2 = 111144</tex>.

==См. также==
* [[NP]]
* [[NPH]]
* [[NPC]]
* [[Классы NP и Σ₁]]
* [[3CNFSAT]]
* [[Примеры NP-полных языков]]

==Источники информации==
* Thomas H. Cormen, Charles E. Leiserson, Ronald L. Rivest, Clifford Stein "Introduction to Algorithms, 3rd Edition" {{---}} Издательство MIT Press, 2009. {{---}} 1086 c. {{---}} ISBN 978-0-262-03384-8 (англ.)
* Хопкрофт Дж., Мотвани Р., Ульман Дж. Введение в теорию автоматов, языков и вычислений. 2-е издание. {{---}} М.: Издательский дом "Вильямс", 2002. {{---}} 423 с. {{---}} ISBN 5-8459-0261-4 (рус.)

[[Категория: Теория сложности]]
[[Категория: Детерминированные и недетерминированные вычисления, сложность по времени и по памяти]]
[[Категория: Примеры NP-полных языков]]

NP-полнота задачи о сумме подмножества

2016-05-17T18:17:58Z

KirillTim: mathrm 3-CNFSAT

{{Задача
|definition = Дано множество <tex>S</tex>, содержащие <tex>n</tex> целых чисел и целое число <tex>s</tex>. Требуется выяснить, возможно ли выбрать подмножество <tex>S' \subseteq S</tex> с суммой <tex>s</tex>: 
<tex>\exists S' \subseteq S: \sum\limits_{s_{i} \in S'}{s_{i}} = s</tex>
}}

==Доказательство NP-полноты==
Для доказательства того, что '''задаче о сумме подмножества''' (англ. ''Subset sum problem'', <tex>\mathrm{SSP}</tex>) [[NPC | NP-полной]], необходимо доказать два факта:
*<tex>\mathrm{SSP} \in</tex> [[NP | <tex>\mathrm{NP}</tex>]]
*<tex>\mathrm{SSP} \in</tex> [[NPH | <tex>\mathrm{NPH}</tex>]]

===Доказательство принадлежности NP===
В качестве сертификата возьмем удовлетворяющее условию задачи множество <tex>S'</tex> с суммой <tex>s</tex>. Оно удовлетворяет всем требованиям, налагаемым на сертификат. Проверяющая функция проверит вхождение всех элементов <tex>S'</tex> в множество <tex>S</tex> за время <tex>\left\vert{S'}\right\vert \times \left\vert{S}\right\vert</tex>.

===Доказательство принадлежности NPH===
Сведем [[NP-полнота_задачи_о_выполнимости_булевой_формулы_в_форме_3-КНФ|<tex>\mathrm{3-CNFSAT}</tex>]] к задаче о сумме подмножества. Пусть задана 3-CNF формула <tex>\varphi</tex> от <tex>n</tex>
переменных <tex>x_{i}</tex>, состоящая из <tex>k</tex> пар скобок <tex>C_{i}</tex>. Будем считать, не умаляя общности, что ни одна пара скобок не содержит одновременно переменную и ее отрицание. Также предположим, что каждая переменная входит хотя бы в одну пару скобок. Построим сводящую функцию <tex>f\!\!:\varphi \to (S,s)</tex>.

====Построение сводящей функции====
Для каждой переменной <tex>x_{i}</tex> и каждой пары скобок <tex>C_{j}</tex> создадим по два числа в десятичной системе счисления, каждое длиной <tex>n+k</tex> цифр. Эти числа образуют <tex>S</tex>. Также создадим число <tex>s</tex> длиной <tex>n+k</tex> цифр. Присвоим каждому разряду полученных чисел (одинаковую для всех чисел) метку, соответствующую либо переменной, либо паре скобок.
Метки, соответствующие парам скобок, присвоены <tex>k</tex> младшим разрядам чисел.
*В числе <tex>s</tex> все разряды, соответствующие переменным, установим <tex>1</tex>, а оставшиеся сделаем равными <tex>4</tex>.
*Каждой переменной <tex>x_{i}</tex> соответствуют два числа из <tex>S</tex>: <tex>v_{i}</tex> и <tex>u_{i}</tex>. Опишем создание этих чисел. Разряд, соответствующий <tex>x_{i}</tex> установим равным <tex>1</tex>, а все остальные разряды, соответствующие переменным, установим равными <tex>0</tex>. Далее, для числа <tex>v_{i}</tex> установим все разряды, соответствующие парам скобок, содержащих <tex>x_{i}</tex>, равными <tex>1</tex>. Во все остальные "скобочные" разряды поставим <tex>0</tex>. В числе <tex>w_{i}</tex> установим все разряды, соответствующие парам скобок, содержащих <tex>\neg x_{i}</tex>, равными <tex>1</tex>, а во все остальные "скобочные" разряды поставим <tex>0</tex>.
*Каждой паре скобок <tex>C_{j}</tex> соответствуют два числа из <tex>S</tex>: <tex>d_{i}</tex> и <tex>e_{i}</tex>. Оба этих числа содержат <tex>0</tex> во всех разрядах, кроме соответствующего <tex>C_{j}</tex>. В этом разряде у <tex>d_{i}</tex> поставим <tex>1</tex>, а у <tex>e_{i}</tex> {{---}} <tex>2</tex>.
====Корректность сводящей функции====
*Получаемое сводящей функцией множество <tex>S</tex> состоит из <tex>2(n+k)</tex> десятичных чисел длиной <tex>(n+k)</tex> каждое, выставление каждого разряда занимает полиномиальное время. Таким образом, сведение выполняется за полиномиальное время.
*Пусть формула <tex>\varphi</tex> выполнима, то есть существует набор значений <tex>\{y_{i}\}^{n}_{i=1}:~\varphi(y_{1}\ldots y_{n})=1 </tex>. И пусть <tex>(S,s) = f(\varphi)</tex>. Тогда в полученном множестве <tex>S</tex> существует подмножество с суммой <tex>s</tex>. Действительно, для каждой переменной, если <tex>y_{k} = 1</tex>, то добавим <tex>v_{i}</tex> в <tex>S'</tex>. Иначе добавим <tex>w_{i}</tex>. Теперь <tex>S'</tex> содержит уже <tex>n</tex> чисел. Заметим, что для каждого "скобочного" разряда в уже набранной части <tex>S'</tex> есть не менее одного и не более трех чисел, у которых в данном разряде стоит <tex>1</tex>. Значит для каждого соответствующего паре скобок <tex>C_{j}</tex> разряда мы сможем выбрать одно или оба числа <tex>d_{j}</tex> и <tex>e_{j}</tex> так, чтобы сумма в данном разряде совпадала с требуемой (стала равна <tex>4</tex>). Добавим их в <tex>S'</tex>. Также заметим, что суммы во всех "переменных" разрядах равны <tex>1</tex>, так как для каждого <tex>i</tex> выбиралось строго одно число из <tex>v_{i}</tex> и <tex>u_{i}</tex>. Значит, <tex> \sum\limits_{s_{k} \in S'}{s_{k}} = s</tex>.
*Пусть теперь в наборе <tex>S</tex> есть подмножество <tex>S':~ \sum\limits_{s_{k} \in S'}{s_{k}} = s</tex>. Тогда исходная формула <tex>\varphi</tex> выполнима. Действительно, если <tex>v_{i} \in S'</tex>, то установим переменную <tex>x_{i}=1</tex>. Если же <tex>w_{i} \in S'</tex>, то <tex>x_{i}=0</tex>. Покажем, что <tex>\varphi(x_{1}\ldots x_{n}) = 1 </tex>. Действительно, так как <tex> \sum\limits_{s_{k} \in S'}{s_{k}} = s</tex>, в каждой паре скобок хотя бы один терм равен <tex>1</tex>. Значит каждый терм равен <tex>1</tex>. А тогда и вся <tex>\varphi = 1</tex>.
====Пример сведения====
Пусть исходная функция <tex>\varphi(x_{1} \ldots x_{4}) = (x_{1} \lor x_{2} \lor \neg x_{3}) \land (\neg x_{1} \lor x_{2} \lor x_{4})</tex>.
Пометим разряды следующим образом (слева направо): <tex>x_{1},x_{2},x_{3},x_{4},C_{1},C_{2}</tex>. Тогда:
*<tex>v_{1} = 100010</tex>
*<tex>w_{1} = 100001</tex>

*<tex>v_{2} = 010011 = 10011</tex>
*<tex>w_{2} = 010000 = 10000</tex>

*<tex>v_{3} = 001000 = 1000</tex>
*<tex>w_{3} = 001010 = 1010</tex>

*<tex>v_{4} = 000101 = 101</tex>
*<tex>w_{4} = 000100 = 100</tex>

*<tex>d_{1} = 000010 = 10</tex>
*<tex>e_{1} = 000020 = 20</tex>

*<tex>d_{2} = 000001 = 1</tex>
*<tex>e_{2} = 000002 = 2</tex>

*<tex>s = 111144</tex>

<tex>S = (\bigcup\limits_{i=1}^{4} v_{i}) \cup (\bigcup\limits_{i=1}^{4} w_{i}) \cup (\bigcup\limits_{i=1}^{2} d_{i}) \cup (\bigcup\limits_{i=1}^{2} e_{i})</tex>

Тогда набору значений <tex>Y = (0,0,0,1):~ \varphi(Y) = 1</tex> соответствует <tex>S' = \{w_{1},~w_{2},~w_{3},~v_{4},~d_{1},~e_{1},~e_{2}\}</tex>. И действительно, <tex>100001 + 10000 + 1010 + 101 + 10 + 20 + 2 = 111144</tex>.

==См. также==
* [[NP]]
* [[NPH]]
* [[NPC]]
* [[Классы NP и Σ₁]]
* [[3CNFSAT]]
* [[Примеры NP-полных языков]]

==Источники информации==
* Thomas H. Cormen, Charles E. Leiserson, Ronald L. Rivest, Clifford Stein "Introduction to Algorithms, 3rd Edition" {{---}} Издательство MIT Press, 2009. {{---}} 1086 c. {{---}} ISBN 978-0-262-03384-8 (англ.)
* Хопкрофт Дж., Мотвани Р., Ульман Дж. Введение в теорию автоматов, языков и вычислений. 2-е издание. {{---}} М.: Издательский дом "Вильямс", 2002. {{---}} 423 с. {{---}} ISBN 5-8459-0261-4 (рус.)

[[Категория: Теория сложности]]
[[Категория: Детерминированные и недетерминированные вычисления, сложность по времени и по памяти]]
[[Категория: Примеры NP-полных языков]]

NP-полнота задачи о сумме подмножества

2016-05-17T18:14:59Z

KirillTim: math -> tex

{{Задача
|definition = Дано множество <tex>S</tex>, содержащие <tex>n</tex> целых чисел и целое число <tex>s</tex>. Требуется выяснить, возможно ли выбрать подмножество <tex>S' \subseteq S</tex> с суммой <tex>s</tex>: 
<tex>\exists S' \subseteq S: \sum\limits_{s_{i} \in S'}{s_{i}} = s</tex>
}}

==Доказательство NP-полноты==
Для доказательства того, что '''задаче о сумме подмножества''' (англ. ''Subset sum problem'', <tex>\mathrm{SSP}</tex>) [[NPC | NP-полной]], необходимо доказать два факта:
*<tex>\mathrm{SSP} \in</tex> [[NP | <tex>\mathrm{NP}</tex>]]
*<tex>\mathrm{SSP} \in</tex> [[NPH | <tex>\mathrm{NPH}</tex>]]

===Доказательство принадлежности NP===
В качестве сертификата возьмем удовлетворяющее условию задачи множество <tex>S'</tex> с суммой <tex>s</tex>. Оно удовлетворяет всем требованиям, налагаемым на сертификат. Проверяющая функция проверит вхождение всех элементов <tex>S'</tex> в множество <tex>S</tex> за время <tex>\left\vert{S'}\right\vert \times \left\vert{S}\right\vert</tex>.

===Доказательство принадлежности NPH===
Сведем [[NP-полнота_задачи_о_выполнимости_булевой_формулы_в_форме_3-КНФ|3-CNF_Sat]] к задаче о сумме подмножества. Пусть задана 3-CNF формула <tex>\varphi</tex> от <tex>n</tex>
переменных <tex>x_{i}</tex>, состоящая из <tex>k</tex> пар скобок <tex>C_{i}</tex>. Будем считать, не умаляя общности, что ни одна пара скобок не содержит одновременно переменную и ее отрицание. Также предположим, что каждая переменная входит хотя бы в одну пару скобок. Построим сводящую функцию <tex>f\!\!:\varphi \to (S,s)</tex>.

====Построение сводящей функции====
Для каждой переменной <tex>x_{i}</tex> и каждой пары скобок <tex>C_{j}</tex> создадим по два числа в десятичной системе счисления, каждое длиной <tex>n+k</tex> цифр. Эти числа образуют <tex>S</tex>. Также создадим число <tex>s</tex> длиной <tex>n+k</tex> цифр. Присвоим каждому разряду полученных чисел (одинаковую для всех чисел) метку, соответствующую либо переменной, либо паре скобок.
Метки, соответствующие парам скобок, присвоены <tex>k</tex> младшим разрядам чисел.
*В числе <tex>s</tex> все разряды, соответствующие переменным, установим <tex>1</tex>, а оставшиеся сделаем равными <tex>4</tex>.
*Каждой переменной <tex>x_{i}</tex> соответствуют два числа из <tex>S</tex>: <tex>v_{i}</tex> и <tex>u_{i}</tex>. Опишем создание этих чисел. Разряд, соответствующий <tex>x_{i}</tex> установим равным <tex>1</tex>, а все остальные разряды, соответствующие переменным, установим равными <tex>0</tex>. Далее, для числа <tex>v_{i}</tex> установим все разряды, соответствующие парам скобок, содержащих <tex>x_{i}</tex>, равными <tex>1</tex>. Во все остальные "скобочные" разряды поставим <tex>0</tex>. В числе <tex>w_{i}</tex> установим все разряды, соответствующие парам скобок, содержащих <tex>\neg x_{i}</tex>, равными <tex>1</tex>, а во все остальные "скобочные" разряды поставим <tex>0</tex>.
*Каждой паре скобок <tex>C_{j}</tex> соответствуют два числа из <tex>S</tex>: <tex>d_{i}</tex> и <tex>e_{i}</tex>. Оба этих числа содержат <tex>0</tex> во всех разрядах, кроме соответствующего <tex>C_{j}</tex>. В этом разряде у <tex>d_{i}</tex> поставим <tex>1</tex>, а у <tex>e_{i}</tex> {{---}} <tex>2</tex>.
====Корректность сводящей функции====
*Получаемое сводящей функцией множество <tex>S</tex> состоит из <tex>2(n+k)</tex> десятичных чисел длиной <tex>(n+k)</tex> каждое, выставление каждого разряда занимает полиномиальное время. Таким образом, сведение выполняется за полиномиальное время.
*Пусть формула <tex>\varphi</tex> выполнима, то есть существует набор значений <tex>\{y_{i}\}^{n}_{i=1}:~\varphi(y_{1}\ldots y_{n})=1 </tex>. И пусть <tex>(S,s) = f(\varphi)</tex>. Тогда в полученном множестве <tex>S</tex> существует подмножество с суммой <tex>s</tex>. Действительно, для каждой переменной, если <tex>y_{k} = 1</tex>, то добавим <tex>v_{i}</tex> в <tex>S'</tex>. Иначе добавим <tex>w_{i}</tex>. Теперь <tex>S'</tex> содержит уже <tex>n</tex> чисел. Заметим, что для каждого "скобочного" разряда в уже набранной части <tex>S'</tex> есть не менее одного и не более трех чисел, у которых в данном разряде стоит <tex>1</tex>. Значит для каждого соответствующего паре скобок <tex>C_{j}</tex> разряда мы сможем выбрать одно или оба числа <tex>d_{j}</tex> и <tex>e_{j}</tex> так, чтобы сумма в данном разряде совпадала с требуемой (стала равна <tex>4</tex>). Добавим их в <tex>S'</tex>. Также заметим, что суммы во всех "переменных" разрядах равны <tex>1</tex>, так как для каждого <tex>i</tex> выбиралось строго одно число из <tex>v_{i}</tex> и <tex>u_{i}</tex>. Значит, <tex> \sum\limits_{s_{k} \in S'}{s_{k}} = s</tex>.
*Пусть теперь в наборе <tex>S</tex> есть подмножество <tex>S':~ \sum\limits_{s_{k} \in S'}{s_{k}} = s</tex>. Тогда исходная формула <tex>\varphi</tex> выполнима. Действительно, если <tex>v_{i} \in S'</tex>, то установим переменную <tex>x_{i}=1</tex>. Если же <tex>w_{i} \in S'</tex>, то <tex>x_{i}=0</tex>. Покажем, что <tex>\varphi(x_{1}\ldots x_{n}) = 1 </tex>. Действительно, так как <tex> \sum\limits_{s_{k} \in S'}{s_{k}} = s</tex>, в каждой паре скобок хотя бы один терм равен <tex>1</tex>. Значит каждый терм равен <tex>1</tex>. А тогда и вся <tex>\varphi = 1</tex>.
====Пример сведения====
Пусть исходная функция <tex>\varphi(x_{1} \ldots x_{4}) = (x_{1} \lor x_{2} \lor \neg x_{3}) \land (\neg x_{1} \lor x_{2} \lor x_{4})</tex>.
Пометим разряды следующим образом (слева направо): <tex>x_{1},x_{2},x_{3},x_{4},C_{1},C_{2}</tex>. Тогда:
*<tex>v_{1} = 100010</tex>
*<tex>w_{1} = 100001</tex>

*<tex>v_{2} = 010011 = 10011</tex>
*<tex>w_{2} = 010000 = 10000</tex>

*<tex>v_{3} = 001000 = 1000</tex>
*<tex>w_{3} = 001010 = 1010</tex>

*<tex>v_{4} = 000101 = 101</tex>
*<tex>w_{4} = 000100 = 100</tex>

*<tex>d_{1} = 000010 = 10</tex>
*<tex>e_{1} = 000020 = 20</tex>

*<tex>d_{2} = 000001 = 1</tex>
*<tex>e_{2} = 000002 = 2</tex>

*<tex>s = 111144</tex>

<tex>S = (\bigcup\limits_{i=1}^{4} v_{i}) \cup (\bigcup\limits_{i=1}^{4} w_{i}) \cup (\bigcup\limits_{i=1}^{2} d_{i}) \cup (\bigcup\limits_{i=1}^{2} e_{i})</tex>

Тогда набору значений <tex>Y = (0,0,0,1):~ \varphi(Y) = 1</tex> соответствует <tex>S' = \{w_{1},~w_{2},~w_{3},~v_{4},~d_{1},~e_{1},~e_{2}\}</tex>. И действительно, <tex>100001 + 10000 + 1010 + 101 + 10 + 20 + 2 = 111144</tex>.

==См. также==
* [[NP]]
* [[NPH]]
* [[NPC]]
* [[Классы NP и Σ₁]]
* [[3CNFSAT]]
* [[Примеры NP-полных языков]]

==Источники информации==
* Thomas H. Cormen, Charles E. Leiserson, Ronald L. Rivest, Clifford Stein "Introduction to Algorithms, 3rd Edition" {{---}} Издательство MIT Press, 2009. {{---}} 1086 c. {{---}} ISBN 978-0-262-03384-8 (англ.)
* Хопкрофт Дж., Мотвани Р., Ульман Дж. Введение в теорию автоматов, языков и вычислений. 2-е издание. {{---}} М.: Издательский дом "Вильямс", 2002. {{---}} 423 с. {{---}} ISBN 5-8459-0261-4 (рус.)

[[Категория: Теория сложности]]
[[Категория: Детерминированные и недетерминированные вычисления, сложность по времени и по памяти]]
[[Категория: Примеры NP-полных языков]]

NP-полнота задачи о сумме подмножества

2016-05-17T18:11:52Z

KirillTim: br

{{Задача
|definition = Дано множество <math>S</math>, содержащие <math>n</math> целых чисел и целое число <math>s</math>. Требуется выяснить, возможно ли выбрать подмножество <math>S' \subseteq S</math> с суммой <math>s</math>: 
<math>\exists S' \subseteq S: \sum\limits_{s_{i} \in S'}{s_{i}} = s</math>
}}

==Доказательство NP-полноты==
Для доказательства того, что '''задаче о сумме подмножества''' (англ. ''Subset sum problem'', <math>\mathrm{SSP}</math>) [[NPC | NP-полной]], необходимо доказать два факта:
*<math>\mathrm{SSP} \in</math> [[NP | <math>\mathrm{NP}</math>]]
*<math>\mathrm{SSP} \in</math> [[NPH | <math>\mathrm{NPH}</math>]]

===Доказательство принадлежности NP===
В качестве сертификата возьмем удовлетворяющее условию задачи множество <math>S'</math> с суммой <math>s</math>. Оно удовлетворяет всем требованиям, налагаемым на сертификат. Проверяющая функция проверит вхождение всех элементов <math>S'</math> в множество <math>S</math> за время <math>\left\vert{S'}\right\vert \times \left\vert{S}\right\vert</math>.

===Доказательство принадлежности NPH===
Сведем [[NP-полнота_задачи_о_выполнимости_булевой_формулы_в_форме_3-КНФ|3-CNF_Sat]] к задаче о сумме подмножества. Пусть задана 3-CNF формула <math>\varphi</math> от <math>n</math>
переменных <math>x_{i}</math>, состоящая из <math>k</math> пар скобок <math>C_{i}</math>. Будем считать, не умаляя общности, что ни одна пара скобок не содержит одновременно переменную и ее отрицание. Также предположим, что каждая переменная входит хотя бы в одну пару скобок. Построим сводящую функцию <math>f\!\!:\varphi \to (S,s)</math>.

====Построение сводящей функции====
Для каждой переменной <math>x_{i}</math> и каждой пары скобок <math>C_{j}</math> создадим по два числа в десятичной системе счисления, каждое длиной <math>n+k</math> цифр. Эти числа образуют <math>S</math>. Также создадим число <math>s</math> длиной <math>n+k</math> цифр. Присвоим каждому разряду полученных чисел (одинаковую для всех чисел) метку, соответствующую либо переменной, либо паре скобок.
Метки, соответствующие парам скобок, присвоены <math>k</math> младшим разрядам чисел.
*В числе <math>s</math> все разряды, соответствующие переменным, установим <math>1</math>, а оставшиеся сделаем равными <math>4</math>.
*Каждой переменной <math>x_{i}</math> соответствуют два числа из <math>S</math>: <math>v_{i}</math> и <math>u_{i}</math>. Опишем создание этих чисел. Разряд, соответствующий <math>x_{i}</math> установим равным <math>1</math>, а все остальные разряды, соответствующие переменным, установим равными <math>0</math>. Далее, для числа <math>v_{i}</math> установим все разряды, соответствующие парам скобок, содержащих <math>x_{i}</math>, равными <math>1</math>. Во все остальные "скобочные" разряды поставим <math>0</math>. В числе <math>w_{i}</math> установим все разряды, соответствующие парам скобок, содержащих <math>\neg x_{i}</math>, равными <math>1</math>, а во все остальные "скобочные" разряды поставим <math>0</math>.
*Каждой паре скобок <math>C_{j}</math> соответствуют два числа из <math>S</math>: <math>d_{i}</math> и <math>e_{i}</math>. Оба этих числа содержат <math>0</math> во всех разрядах, кроме соответствующего <math>C_{j}</math>. В этом разряде у <math>d_{i}</math> поставим <math>1</math>, а у <math>e_{i}</math> {{---}} <math>2</math>.
====Корректность сводящей функции====
*Получаемое сводящей функцией множество <math>S</math> состоит из <math>2(n+k)</math> десятичных чисел длиной <math>(n+k)</math> каждое, выставление каждого разряда занимает полиномиальное время. Таким образом, сведение выполняется за полиномиальное время.
*Пусть формула <math>\varphi</math> выполнима, то есть существует набор значений <math>\{y_{i}\}^{n}_{i=1}:~\varphi(y_{1}\ldots y_{n})=1 </math>. И пусть <math>(S,s) = f(\varphi)</math>. Тогда в полученном множестве <math>S</math> существует подмножество с суммой <math>s</math>. Действительно, для каждой переменной, если <math>y_{k} = 1</math>, то добавим <math>v_{i}</math> в <math>S'</math>. Иначе добавим <math>w_{i}</math>. Теперь <math>S'</math> содержит уже <math>n</math> чисел. Заметим, что для каждого "скобочного" разряда в уже набранной части <math>S'</math> есть не менее одного и не более трех чисел, у которых в данном разряде стоит <math>1</math>. Значит для каждого соответствующего паре скобок <math>C_{j}</math> разряда мы сможем выбрать одно или оба числа <math>d_{j}</math> и <math>e_{j}</math> так, чтобы сумма в данном разряде совпадала с требуемой (стала равна <math>4</math>). Добавим их в <math>S'</math>. Также заметим, что суммы во всех "переменных" разрядах равны <math>1</math>, так как для каждого <math>i</math> выбиралось строго одно число из <math>v_{i}</math> и <math>u_{i}</math>. Значит, <math> \sum\limits_{s_{k} \in S'}{s_{k}} = s</math>.
*Пусть теперь в наборе <math>S</math> есть подмножество <math>S':~ \sum\limits_{s_{k} \in S'}{s_{k}} = s</math>. Тогда исходная формула <math>\varphi</math> выполнима. Действительно, если <math>v_{i} \in S'</math>, то установим переменную <math>x_{i}=1</math>. Если же <math>w_{i} \in S'</math>, то <math>x_{i}=0</math>. Покажем, что <math>\varphi(x_{1}\ldots x_{n}) = 1 </math>. Действительно, так как <math> \sum\limits_{s_{k} \in S'}{s_{k}} = s</math>, в каждой паре скобок хотя бы один терм равен <math>1</math>. Значит каждый терм равен <math>1</math>. А тогда и вся <math>\varphi = 1</math>.
====Пример сведения====
Пусть исходная функция <math>\varphi(x_{1} \ldots x_{4}) = (x_{1} \lor x_{2} \lor \neg x_{3}) \land (\neg x_{1} \lor x_{2} \lor x_{4})</math>.
Пометим разряды следующим образом (слева направо): <math>x_{1},x_{2},x_{3},x_{4},C_{1},C_{2}</math>. Тогда:
*<math>v_{1} = 100010</math>
*<math>w_{1} = 100001</math>

*<math>v_{2} = 010011 = 10011</math>
*<math>w_{2} = 010000 = 10000</math>

*<math>v_{3} = 001000 = 1000</math>
*<math>w_{3} = 001010 = 1010</math>

*<math>v_{4} = 000101 = 101</math>
*<math>w_{4} = 000100 = 100</math>

*<math>d_{1} = 000010 = 10</math>
*<math>e_{1} = 000020 = 20</math>

*<math>d_{2} = 000001 = 1</math>
*<math>e_{2} = 000002 = 2</math>

*<math>s = 111144</math>

<math>S = (\bigcup\limits_{i=1}^{4} v_{i}) \cup (\bigcup\limits_{i=1}^{4} w_{i}) \cup (\bigcup\limits_{i=1}^{2} d_{i}) \cup (\bigcup\limits_{i=1}^{2} e_{i})</math>

Тогда набору значений <math>Y = (0,0,0,1):~ \varphi(Y) = 1</math> соответствует <math>S' = \{w_{1},~w_{2},~w_{3},~v_{4},~d_{1},~e_{1},~e_{2}\}</math>. И действительно, <math>100001 + 10000 + 1010 + 101 + 10 + 20 + 2 = 111144</math>.

==См. также==
* [[NP]]
* [[NPH]]
* [[NPC]]
* [[Классы NP и Σ₁]]
* [[3CNFSAT]]
* [[Примеры NP-полных языков]]

==Источники информации==
* Thomas H. Cormen, Charles E. Leiserson, Ronald L. Rivest, Clifford Stein "Introduction to Algorithms, 3rd Edition" {{---}} Издательство MIT Press, 2009. {{---}} 1086 c. {{---}} ISBN 978-0-262-03384-8 (англ.)
* Хопкрофт Дж., Мотвани Р., Ульман Дж. Введение в теорию автоматов, языков и вычислений. 2-е издание. {{---}} М.: Издательский дом "Вильямс", 2002. {{---}} 423 с. {{---}} ISBN 5-8459-0261-4 (рус.)

[[Категория: Теория сложности]]
[[Категория: Детерминированные и недетерминированные вычисления, сложность по времени и по памяти]]
[[Категория: Примеры NP-полных языков]]

NP-полнота задачи о сумме подмножества

2016-05-17T17:55:16Z

KirillTim: Страницы, описание времени работы

{{Задача
|definition = Дано множество <math>S</math>, содержащие <math>n</math> целых чисел и целое число <math>s</math>. Требуется выяснить, возможно ли выбрать подмножество <math>S' \subseteq S</math> с суммой <math>s</math>:

<math>\exists S' \subseteq S: \sum\limits_{s_{i} \in S'}{s_{i}} = s</math>
}}

==Доказательство NP-полноты==
Для доказательства того, что '''задаче о сумме подмножества''' (англ. ''Subset sum problem'', <math>\mathrm{SSP}</math>) [[NPC | NP-полной]], необходимо доказать два факта:
*<math>\mathrm{SSP} \in</math> [[NP | <math>\mathrm{NP}</math>]]
*<math>\mathrm{SSP} \in</math> [[NPH | <math>\mathrm{NPH}</math>]]

===Доказательство принадлежности NP===
В качестве сертификата возьмем удовлетворяющее условию задачи множество <math>S'</math> с суммой <math>s</math>. Оно удовлетворяет всем требованиям, налагаемым на сертификат. Проверяющая функция проверит вхождение всех элементов <math>S'</math> в множество <math>S</math> за время <math>\left\vert{S'}\right\vert \times \left\vert{S}\right\vert</math>.

===Доказательство принадлежности NPH===
Сведем [[NP-полнота_задачи_о_выполнимости_булевой_формулы_в_форме_3-КНФ|3-CNF_Sat]] к задаче о сумме подмножества. Пусть задана 3-CNF формула <math>\varphi</math> от <math>n</math>
переменных <math>x_{i}</math>, состоящая из <math>k</math> пар скобок <math>C_{i}</math>. Будем считать, не умаляя общности, что ни одна пара скобок не содержит одновременно переменную и ее отрицание. Также предположим, что каждая переменная входит хотя бы в одну пару скобок. Построим сводящую функцию <math>f\!\!:\varphi \to (S,s)</math>.

====Построение сводящей функции====
Для каждой переменной <math>x_{i}</math> и каждой пары скобок <math>C_{j}</math> создадим по два числа в десятичной системе счисления, каждое длиной <math>n+k</math> цифр. Эти числа образуют <math>S</math>. Также создадим число <math>s</math> длиной <math>n+k</math> цифр. Присвоим каждому разряду полученных чисел (одинаковую для всех чисел) метку, соответствующую либо переменной, либо паре скобок.
Метки, соответствующие парам скобок, присвоены <math>k</math> младшим разрядам чисел.
*В числе <math>s</math> все разряды, соответствующие переменным, установим <math>1</math>, а оставшиеся сделаем равными <math>4</math>.
*Каждой переменной <math>x_{i}</math> соответствуют два числа из <math>S</math>: <math>v_{i}</math> и <math>u_{i}</math>. Опишем создание этих чисел. Разряд, соответствующий <math>x_{i}</math> установим равным <math>1</math>, а все остальные разряды, соответствующие переменным, установим равными <math>0</math>. Далее, для числа <math>v_{i}</math> установим все разряды, соответствующие парам скобок, содержащих <math>x_{i}</math>, равными <math>1</math>. Во все остальные "скобочные" разряды поставим <math>0</math>. В числе <math>w_{i}</math> установим все разряды, соответствующие парам скобок, содержащих <math>\neg x_{i}</math>, равными <math>1</math>, а во все остальные "скобочные" разряды поставим <math>0</math>.
*Каждой паре скобок <math>C_{j}</math> соответствуют два числа из <math>S</math>: <math>d_{i}</math> и <math>e_{i}</math>. Оба этих числа содержат <math>0</math> во всех разрядах, кроме соответствующего <math>C_{j}</math>. В этом разряде у <math>d_{i}</math> поставим <math>1</math>, а у <math>e_{i}</math> {{---}} <math>2</math>.
====Корректность сводящей функции====
*Получаемое сводящей функцией множество <math>S</math> состоит из <math>2(n+k)</math> десятичных чисел длиной <math>(n+k)</math> каждое, выставление каждого разряда занимает полиномиальное время. Таким образом, сведение выполняется за полиномиальное время.
*Пусть формула <math>\varphi</math> выполнима, то есть существует набор значений <math>\{y_{i}\}^{n}_{i=1}:~\varphi(y_{1}\ldots y_{n})=1 </math>. И пусть <math>(S,s) = f(\varphi)</math>. Тогда в полученном множестве <math>S</math> существует подмножество с суммой <math>s</math>. Действительно, для каждой переменной, если <math>y_{k} = 1</math>, то добавим <math>v_{i}</math> в <math>S'</math>. Иначе добавим <math>w_{i}</math>. Теперь <math>S'</math> содержит уже <math>n</math> чисел. Заметим, что для каждого "скобочного" разряда в уже набранной части <math>S'</math> есть не менее одного и не более трех чисел, у которых в данном разряде стоит <math>1</math>. Значит для каждого соответствующего паре скобок <math>C_{j}</math> разряда мы сможем выбрать одно или оба числа <math>d_{j}</math> и <math>e_{j}</math> так, чтобы сумма в данном разряде совпадала с требуемой (стала равна <math>4</math>). Добавим их в <math>S'</math>. Также заметим, что суммы во всех "переменных" разрядах равны <math>1</math>, так как для каждого <math>i</math> выбиралось строго одно число из <math>v_{i}</math> и <math>u_{i}</math>. Значит, <math> \sum\limits_{s_{k} \in S'}{s_{k}} = s</math>.
*Пусть теперь в наборе <math>S</math> есть подмножество <math>S':~ \sum\limits_{s_{k} \in S'}{s_{k}} = s</math>. Тогда исходная формула <math>\varphi</math> выполнима. Действительно, если <math>v_{i} \in S'</math>, то установим переменную <math>x_{i}=1</math>. Если же <math>w_{i} \in S'</math>, то <math>x_{i}=0</math>. Покажем, что <math>\varphi(x_{1}\ldots x_{n}) = 1 </math>. Действительно, так как <math> \sum\limits_{s_{k} \in S'}{s_{k}} = s</math>, в каждой паре скобок хотя бы один терм равен <math>1</math>. Значит каждый терм равен <math>1</math>. А тогда и вся <math>\varphi = 1</math>.
====Пример сведения====
Пусть исходная функция <math>\varphi(x_{1} \ldots x_{4}) = (x_{1} \lor x_{2} \lor \neg x_{3}) \land (\neg x_{1} \lor x_{2} \lor x_{4})</math>.
Пометим разряды следующим образом (слева направо): <math>x_{1},x_{2},x_{3},x_{4},C_{1},C_{2}</math>. Тогда:
*<math>v_{1} = 100010</math>
*<math>w_{1} = 100001</math>

*<math>v_{2} = 010011 = 10011</math>
*<math>w_{2} = 010000 = 10000</math>

*<math>v_{3} = 001000 = 1000</math>
*<math>w_{3} = 001010 = 1010</math>

*<math>v_{4} = 000101 = 101</math>
*<math>w_{4} = 000100 = 100</math>

*<math>d_{1} = 000010 = 10</math>
*<math>e_{1} = 000020 = 20</math>

*<math>d_{2} = 000001 = 1</math>
*<math>e_{2} = 000002 = 2</math>

*<math>s = 111144</math>

<math>S = (\bigcup\limits_{i=1}^{4} v_{i}) \cup (\bigcup\limits_{i=1}^{4} w_{i}) \cup (\bigcup\limits_{i=1}^{2} d_{i}) \cup (\bigcup\limits_{i=1}^{2} e_{i})</math>

Тогда набору значений <math>Y = (0,0,0,1):~ \varphi(Y) = 1</math> соответствует <math>S' = \{w_{1},~w_{2},~w_{3},~v_{4},~d_{1},~e_{1},~e_{2}\}</math>. И действительно, <math>100001 + 10000 + 1010 + 101 + 10 + 20 + 2 = 111144</math>.

==См. также==
* [[NP]]
* [[NPH]]
* [[NPC]]
* [[Классы NP и Σ₁]]
* [[3CNFSAT]]
* [[Примеры NP-полных языков]]

==Источники информации==
* Thomas H. Cormen, Charles E. Leiserson, Ronald L. Rivest, Clifford Stein "Introduction to Algorithms, 3rd Edition" {{---}} Издательство MIT Press, 2009. {{---}} 1086 c. {{---}} ISBN 978-0-262-03384-8 (англ.)
* Хопкрофт Дж., Мотвани Р., Ульман Дж. Введение в теорию автоматов, языков и вычислений. 2-е издание. {{---}} М.: Издательский дом "Вильямс", 2002. {{---}} 423 с. {{---}} ISBN 5-8459-0261-4 (рус.)

[[Категория: Теория сложности]]
[[Категория: Детерминированные и недетерминированные вычисления, сложность по времени и по памяти]]
[[Категория: Примеры NP-полных языков]]

NP-полнота задачи о сумме подмножества

2016-05-17T17:45:35Z

KirillTim: опечатки

{{Задача
|definition = Дано множество <math>S</math>, содержащие <math>n</math> целых чисел и целое число <math>s</math>. Требуется выяснить, возможно ли выбрать подмножество <math>S' \subseteq S</math> с суммой <math>s</math>:

<math>\exists S' \subseteq S: \sum\limits_{s_{i} \in S'}{s_{i}} = s</math>
}}

==Доказательство NP-полноты==
Для доказательства того, что '''задаче о сумме подмножества''' (англ. ''Subset sum problem'', <math>\mathrm{SSP}</math>) [[NPC | NP-полной]], необходимо доказать два факта:
*<math>\mathrm{SSP} \in</math> [[NP | <math>\mathrm{NP}</math>]]
*<math>\mathrm{SSP} \in</math> [[NPH | <math>\mathrm{NPH}</math>]]

===Доказательство принадлежности NP===
В качестве сертификата возьмем удовлетворяющее условию задачи множество <math>S'</math> с суммой <math>s</math>. Оно удовлетворяет всем требованиям, налагаемым на сертификат. Проверяющая функция проверит вхождение всех элементов <math>S'</math> в множество <math>S</math>.

===Доказательство принадлежности к NPH===
Сведем [[NP-полнота_задачи_о_выполнимости_булевой_формулы_в_форме_3-КНФ|3-CNF_Sat]] к задаче о сумме подмножества. Пусть задана 3-CNF формула <math>\varphi</math> от <math>n</math>
переменных <math>x_{i}</math>, состоящая из <math>k</math> пар скобок <math>C_{i}</math>. Будем считать, не умаляя общности, что ни одна пара скобок не содержит одновременно переменную и ее отрицание. Также предположим, что каждая переменная входит хотя бы в одну пару скобок. Построим сводящую функцию <math>f\!\!:\varphi \to (S,s)</math>.

====Построение сводящей функции====
Для каждой переменной <math>x_{i}</math> и каждой пары скобок <math>C_{j}</math> создадим по два числа в десятичной системе счисления, каждое длиной <math>n+k</math> цифр. Эти числа образуют <math>S</math>. Также создадим число <math>s</math> длиной <math>n+k</math> цифр. Присвоим каждому разряду полученных чисел (одинаковую для всех чисел) метку, соответствующую либо переменной, либо паре скобок.
Метки, соответствующие парам скобок, присвоены <math>k</math> младшим разрядам чисел.
*В числе <math>s</math> все разряды, соответствующие переменным, установим <math>1</math>, а оставшиеся сделаем равными <math>4</math>.
*Каждой переменной <math>x_{i}</math> соответствуют два числа из <math>S</math>: <math>v_{i}</math> и <math>u_{i}</math>. Опишем создание этих чисел. Разряд, соответствующий <math>x_{i}</math> установим равным <math>1</math>, а все остальные разряды, соответствующие переменным, установим равными <math>0</math>. Далее, для числа <math>v_{i}</math> установим все разряды, соответствующие парам скобок, содержащих <math>x_{i}</math>, равными <math>1</math>. Во все остальные "скобочные" разряды поставим <math>0</math>. В числе <math>w_{i}</math> установим все разряды, соответствующие парам скобок, содержащих <math>\neg x_{i}</math>, равными <math>1</math>, а во все остальные "скобочные" разряды поставим <math>0</math>.
*Каждой паре скобок <math>C_{j}</math> соответствуют два числа из <math>S</math>: <math>d_{i}</math> и <math>e_{i}</math>. Оба этих числа содержат <math>0</math> во всех разрядах, кроме соответствующего <math>C_{j}</math>. В этом разряде у <math>d_{i}</math> поставим <math>1</math>, а у <math>e_{i}</math> {{---}} <math>2</math>.
====Корректность сводящей функции====
*Получаемое сводящей функцией множество <math>S</math> состоит из <math>2(n+k)</math> десятичных чисел длиной <math>(n+k)</math> каждое, выставление каждого разряда занимает полиномиальное время. Таким образом, сведение выполняется за полиномиальное время.
*Пусть формула <math>\varphi</math> выполнима, то есть существует набор значений <math>\{y_{i}\}^{n}_{i=1}:~\varphi(y_{1}\ldots y_{n})=1 </math>. И пусть <math>(S,s) = f(\varphi)</math>. Тогда в полученном множестве <math>S</math> существует подмножество с суммой <math>s</math>. Действительно, для каждой переменной, если <math>y_{k} = 1</math>, то добавим <math>v_{i}</math> в <math>S'</math>. Иначе добавим <math>w_{i}</math>. Теперь <math>S'</math> содержит уже <math>n</math> чисел. Заметим, что для каждого "скобочного" разряда в уже набранной части <math>S'</math> есть не менее одного и не более трех чисел, у которых в данном разряде стоит <math>1</math>. Значит для каждого соответствующего паре скобок <math>C_{j}</math> разряда мы сможем выбрать одно или оба числа <math>d_{j}</math> и <math>e_{j}</math> так, чтобы сумма в данном разряде совпадала с требуемой (стала равна <math>4</math>). Добавим их в <math>S'</math>. Также заметим, что суммы во всех "переменных" разрядах равны <math>1</math>, так как для каждого <math>i</math> выбиралось строго одно число из <math>v_{i}</math> и <math>u_{i}</math>. Значит, <math> \sum\limits_{s_{k} \in S'}{s_{k}} = s</math>.
*Пусть теперь в наборе <math>S</math> есть подмножество <math>S':~ \sum\limits_{s_{k} \in S'}{s_{k}} = s</math>. Тогда исходная формула <math>\varphi</math> выполнима. Действительно, если <math>v_{i} \in S'</math>, то установим переменную <math>x_{i}=1</math>. Если же <math>w_{i} \in S'</math>, то <math>x_{i}=0</math>. Покажем, что <math>\varphi(x_{1}\ldots x_{n}) = 1 </math>. Действительно, так как <math> \sum\limits_{s_{k} \in S'}{s_{k}} = s</math>, в каждой паре скобок хотя бы один терм равен <math>1</math>. Значит каждый терм равен <math>1</math>. А тогда и вся <math>\varphi = 1</math>.
====Пример сведения====
Пусть исходная функция <math>\varphi(x_{1} \ldots x_{4}) = (x_{1} \lor x_{2} \lor \neg x_{3}) \land (\neg x_{1} \lor x_{2} \lor x_{4})</math>.
Пометим разряды следующим образом (слева направо): <math>x_{1},x_{2},x_{3},x_{4},C_{1},C_{2}</math>. Тогда:
*<math>v_{1} = 100010</math>
*<math>w_{1} = 100001</math>

*<math>v_{2} = 010011 = 10011</math>
*<math>w_{2} = 010000 = 10000</math>

*<math>v_{3} = 001000 = 1000</math>
*<math>w_{3} = 001010 = 1010</math>

*<math>v_{4} = 000101 = 101</math>
*<math>w_{4} = 000100 = 100</math>

*<math>d_{1} = 000010 = 10</math>
*<math>e_{1} = 000020 = 20</math>

*<math>d_{2} = 000001 = 1</math>
*<math>e_{2} = 000002 = 2</math>

*<math>s = 111144</math>

<math>S = (\bigcup\limits_{i=1}^{4} v_{i}) \cup (\bigcup\limits_{i=1}^{4} w_{i}) \cup (\bigcup\limits_{i=1}^{2} d_{i}) \cup (\bigcup\limits_{i=1}^{2} e_{i})</math>

Тогда набору значений <math>Y = (0,0,0,1):~ \varphi(Y) = 1</math> соответствует <math>S' = \{w_{1},~w_{2},~w_{3},~v_{4},~d_{1},~e_{1},~e_{2}\}</math>. И действительно, <math>100001 + 10000 + 1010 + 101 + 10 + 20 + 2 = 111144</math>.

==См. также==
* [[NP]]
* [[NPH]]
* [[NPC]]
* [[Классы NP и Σ₁]]
* [[3CNFSAT]]
* [[Примеры NP-полных языков]]

==Источники информации==
* Thomas H. Cormen, Charles E. Leiserson, Ronald L. Rivest, Clifford Stein "Introduction to Algorithms, 3rd Edition" {{---}} Издательство MIT Press, 2009. {{---}} 1292 с. {{---}} ISBN 978-0-262-03384-8 (англ.)
* Хопкрофт Дж., Мотвани Р., Ульман Дж. Введение в теорию автоматов, языков и вычислений. 2-е издание. {{---}} М.: Издательский дом "Вильямс", 2002. {{---}} 528 с. {{---}} ISBN 5-8459-0261-4 (рус.)

[[Категория: Теория сложности]]
[[Категория: Детерминированные и недетерминированные вычисления, сложность по времени и по памяти]]
[[Категория: Примеры NP-полных языков]]

NP-полнота задачи о сумме подмножества

2016-05-17T17:42:30Z

KirillTim: Задача, знаки сумм

{{Задача
|definition = Дан набор из <math>n</math> целых чисел <math>S</math> и целое число <math>s</math>. Требуется выяснить, возможно ли выбрать подмножество <math>S' \subseteq S</math> с суммой <math>s</math>:

<math>\exists S' \subseteq S: \sum\limits_{s_{i} \in S'}{s_{i}} = s</math>
}}

==Доказательство NP-полноты==
Для доказательства того, что '''задаче о сумме подмножества''' (англ. ''Subset sum problem'', <math>\mathrm{SSP}</math>) [[NPC | NP-полной]], необходимо доказать два факта:
*<math>\mathrm{SSP} \in</math> [[NP | <math>\mathrm{NP}</math>]]
*<math>\mathrm{SSP} \in</math> [[NPH | <math>\mathrm{NPH}</math>]]

===Доказательство принадлежности к NP===
В качестве сертификата возьмем удовлетворяющее условию задачи множество <math>S'</math> с суммой <math>s</math>. Оно удовлетворяет всем требованиям, налагаемым на сертификат. Проверяющая функция проверит вхождение всех элементов <math>S'</math> в множество <math>S</math>.

===Доказательство принадлежности к NPH===
Сведем [[NP-полнота_задачи_о_выполнимости_булевой_формулы_в_форме_3-КНФ|3-CNF_Sat]] к задаче о сумме подмножества. Пусть задана 3-CNF формула <math>\varphi</math> от <math>n</math>
переменных <math>x_{i}</math>, состоящая из <math>k</math> пар скобок <math>C_{i}</math>. Будем считать, не умаляя общности, что ни одна пара скобок не содержит одновременно переменную и ее отрицание. Также предположим, что каждая переменная входит хотя бы в одну пару скобок. Построим сводящую функцию <math>f\!\!:\varphi \to (S,s)</math>.

====Построение сводящей функции====
Для каждой переменной <math>x_{i}</math> и каждой пары скобок <math>C_{j}</math> создадим по два числа в десятичной системе счисления, каждое длиной <math>n+k</math> цифр. Эти числа образуют <math>S</math>. Также создадим число <math>s</math> длиной <math>n+k</math> цифр. Присвоим каждому разряду полученных чисел (одинаковую для всех чисел) метку, соответствующую либо переменной, либо паре скобок.
Метки, соответствующие парам скобок, присвоены <math>k</math> младшим разрядам чисел.
*В числе <math>s</math> все разряды, соответствующие переменным, установим <math>1</math>, а оставшиеся сделаем равными <math>4</math>.
*Каждой переменной <math>x_{i}</math> соответствуют два числа из <math>S</math>: <math>v_{i}</math> и <math>u_{i}</math>. Опишем создание этих чисел. Разряд, соответствующий <math>x_{i}</math> установим равным <math>1</math>, а все остальные разряды, соответствующие переменным, установим равными <math>0</math>. Далее, для числа <math>v_{i}</math> установим все разряды, соответствующие парам скобок, содержащих <math>x_{i}</math>, равными <math>1</math>. Во все остальные "скобочные" разряды поставим <math>0</math>. В числе <math>w_{i}</math> установим все разряды, соответствующие парам скобок, содержащих <math>\neg x_{i}</math>, равными <math>1</math>, а во все остальные "скобочные" разряды поставим <math>0</math>.
*Каждой паре скобок <math>C_{j}</math> соответствуют два числа из <math>S</math>: <math>d_{i}</math> и <math>e_{i}</math>. Оба этих числа содержат <math>0</math> во всех разрядах, кроме соответствующего <math>C_{j}</math>. В этом разряде у <math>d_{i}</math> поставим <math>1</math>, а у <math>e_{i}</math> {{---}} <math>2</math>.
====Корректность сводящей функции====
*Получаемое сводящей функцией множество <math>S</math> состоит из <math>2(n+k)</math> десятичных чисел длиной <math>(n+k)</math> каждое, выставление каждого разряда занимает полиномиальное время. Таким образом, сведение выполняется за полиномиальное время.
*Пусть формула <math>\varphi</math> выполнима, то есть существует набор значений <math>\{y_{i}\}^{n}_{i=1}:~\varphi(y_{1}\ldots y_{n})=1 </math>. И пусть <math>(S,s) = f(\varphi)</math>. Тогда в полученном множестве <math>S</math> существует подмножество с суммой <math>s</math>. Действительно, для каждой переменной, если <math>y_{k} = 1</math>, то добавим <math>v_{i}</math> в <math>S'</math>. Иначе добавим <math>w_{i}</math>. Теперь <math>S'</math> содержит уже <math>n</math> чисел. Заметим, что для каждого "скобочного" разряда в уже набранной части <math>S'</math> есть не менее одного и не более трех чисел, у которых в данном разряде стоит <math>1</math>. Значит для каждого соответствующего паре скобок <math>C_{j}</math> разряда мы сможем выбрать одно или оба числа <math>d_{j}</math> и <math>e_{j}</math> так, чтобы сумма в данном разряде совпадала с требуемой (стала равна <math>4</math>). Добавим их в <math>S'</math>. Также заметим, что суммы во всех "переменных" разрядах равны <math>1</math>, так как для каждого <math>i</math> выбиралось строго одно число из <math>v_{i}</math> и <math>u_{i}</math>. Значит, <math> \sum\limits_{s_{k} \in S'}{s_{k}} = s</math>.
*Пусть теперь в наборе <math>S</math> есть подмножество <math>S':~ \sum\limits_{s_{k} \in S'}{s_{k}} = s</math>. Тогда исходная формула <math>\varphi</math> выполнима. Действительно, если <math>v_{i} \in S'</math>, то установим переменную <math>x_{i}=1</math>. Если же <math>w_{i} \in S'</math>, то <math>x_{i}=0</math>. Покажем, что <math>\varphi(x_{1}\ldots x_{n}) = 1 </math>. Действительно, так как <math> \sum\limits_{s_{k} \in S'}{s_{k}} = s</math>, в каждой паре скобок хотя бы один терм равен <math>1</math>. Значит каждый терм равен <math>1</math>. А тогда и вся <math>\varphi = 1</math>.
====Пример сведения====
Пусть исходная функция <math>\varphi(x_{1} \ldots x_{4}) = (x_{1} \lor x_{2} \lor \neg x_{3}) \land (\neg x_{1} \lor x_{2} \lor x_{4})</math>.
Пометим разряды следующим образом (слева направо): <math>x_{1},x_{2},x_{3},x_{4},C_{1},C_{2}</math>. Тогда:
*<math>v_{1} = 100010</math>
*<math>w_{1} = 100001</math>

*<math>v_{2} = 010011 = 10011</math>
*<math>w_{2} = 010000 = 10000</math>

*<math>v_{3} = 001000 = 1000</math>
*<math>w_{3} = 001010 = 1010</math>

*<math>v_{4} = 000101 = 101</math>
*<math>w_{4} = 000100 = 100</math>

*<math>d_{1} = 000010 = 10</math>
*<math>e_{1} = 000020 = 20</math>

*<math>d_{2} = 000001 = 1</math>
*<math>e_{2} = 000002 = 2</math>

*<math>s = 111144</math>

<math>S = (\bigcup\limits_{i=1}^{4} v_{i}) \cup (\bigcup\limits_{i=1}^{4} w_{i}) \cup (\bigcup\limits_{i=1}^{2} d_{i}) \cup (\bigcup\limits_{i=1}^{2} e_{i})</math>

Тогда набору значений <math>Y = (0,0,0,1):~ \varphi(Y) = 1</math> соответствует <math>S' = \{w_{1},~w_{2},~w_{3},~v_{4},~d_{1},~e_{1},~e_{2}\}</math>. И действительно, <math>100001 + 10000 + 1010 + 101 + 10 + 20 + 2 = 111144</math>.

==См. также==
* [[NP]]
* [[NPH]]
* [[NPC]]
* [[Классы NP и Σ₁]]
* [[3CNFSAT]]
* [[Примеры NP-полных языков]]

==Источники информации==
* Thomas H. Cormen, Charles E. Leiserson, Ronald L. Rivest, Clifford Stein "Introduction to Algorithms, 3rd Edition" {{---}} Издательство MIT Press, 2009. {{---}} 1292 с. {{---}} ISBN 978-0-262-03384-8 (англ.)
* Хопкрофт Дж., Мотвани Р., Ульман Дж. Введение в теорию автоматов, языков и вычислений. 2-е издание. {{---}} М.: Издательский дом "Вильямс", 2002. {{---}} 528 с. {{---}} ISBN 5-8459-0261-4 (рус.)

[[Категория: Теория сложности]]
[[Категория: Детерминированные и недетерминированные вычисления, сложность по времени и по памяти]]
[[Категория: Примеры NP-полных языков]]

NP-полнота задачи о сумме подмножества

2016-05-17T17:26:33Z

KirillTim: \phi -> \varphi

==Формулировка задачи==
В '''задаче о сумме подмножества''' (англ. ''Subset sum problem'') входными данными являются набор из <math>n</math> целых чисел <math>S</math> и целое число <math>s</math>. Требуется выяснить, возможно ли выбрать подмножество <math>S' \subseteq S</math> с суммой <math>s</math>:

<math>\exists S' \subseteq S: \sum_{s_{i} \in S'}{s_{i}} = s</math>

==Доказательство NP-полноты==
Для доказательства того, что задачи о сумме подмножества является [[NPC | NP-полной]], необходимо доказать два факта:
*Задачи о сумме подмножества <math>\in</math> [[NP]]
*Задачи о сумме подмножества <math>\in</math> [[NPH]]

===Доказательство принадлежности к NP===
В качестве сертификата возьмем удовлетворяющее условию задачи множество <math>S'</math> с суммой <math>s</math>. Оно удовлетворяет всем требованиям, налагаемым на сертификат. Проверяющая функция проверит вхождение всех элементов <math>S'</math> в множество <math>S</math>.

===Доказательство принадлежности к NPH===
Сведем [[NP-полнота_задачи_о_выполнимости_булевой_формулы_в_форме_3-КНФ|3-CNF_Sat]] к задаче о сумме подмножества. Пусть задана 3-CNF формула <math>\varphi</math> от <math>n</math>
переменных <math>x_{i}</math>, состоящая из <math>k</math> пар скобок <math>C_{i}</math>. Будем считать, не умаляя общности, что ни одна пара скобок не содержит одновременно переменную и ее отрицание. Также предположим, что каждая переменная входит хотя бы в одну пару скобок. Построим сводящую функцию <math>f\!\!:\varphi \to (S,s)</math>.

====Построение сводящей функции====
Для каждой переменной <math>x_{i}</math> и каждой пары скобок <math>C_{j}</math> создадим по два числа в десятичной системе счисления, каждое длиной <math>n+k</math> цифр. Эти числа образуют <math>S</math>. Также создадим число <math>s</math> длиной <math>n+k</math> цифр. Присвоим каждому разряду полученных чисел (одинаковую для всех чисел) метку, соответствующую либо переменной, либо паре скобок.
Метки, соответствующие парам скобок, присвоены <math>k</math> младшим разрядам чисел.
*В числе <math>s</math> все разряды, соответствующие переменным, установим <math>1</math>, а оставшиеся сделаем равными <math>4</math>.
*Каждой переменной <math>x_{i}</math> соответствуют два числа из <math>S</math>: <math>v_{i}</math> и <math>u_{i}</math>. Опишем создание этих чисел. Разряд, соответствующий <math>x_{i}</math> установим равным <math>1</math>, а все остальные разряды, соответствующие переменным, установим равными <math>0</math>. Далее, для числа <math>v_{i}</math> установим все разряды, соответствующие парам скобок, содержащих <math>x_{i}</math>, равными <math>1</math>. Во все остальные "скобочные" разряды поставим <math>0</math>. В числе <math>w_{i}</math> установим все разряды, соответствующие парам скобок, содержащих <math>\neg x_{i}</math>, равными <math>1</math>, а во все остальные "скобочные" разряды поставим <math>0</math>.
*Каждой паре скобок <math>C_{j}</math> соответствуют два числа из <math>S</math>: <math>d_{i}</math> и <math>e_{i}</math>. Оба этих числа содержат <math>0</math> во всех разрядах, кроме соответствующего <math>C_{j}</math>. В этом разряде у <math>d_{i}</math> поставим <math>1</math>, а у <math>e_{i}</math> {{---}} <math>2</math>.
====Корректность сводящей функции====
*Получаемое сводящей функцией множество <math>S</math> состоит из <math>2(n+k)</math> десятичных чисел длиной <math>(n+k)</math> каждое, выставление каждого разряда занимает полиномиальное время. Таким образом, сведение выполняется за полиномиальное время.
*Пусть формула <math>\varphi</math> выполнима, то есть существует набор значений <math>\{y_{i}\}^{n}_{i=1}:~\varphi(y_{1}\ldots y_{n})=1 </math>. И пусть <math>(S,s) = f(\varphi)</math>. Тогда в полученном множестве <math>S</math> существует подмножество с суммой <math>s</math>. Действительно, для каждой переменной, если <math>y_{k} = 1</math>, то добавим <math>v_{i}</math> в <math>S'</math>. Иначе добавим <math>w_{i}</math>. Теперь <math>S'</math> содержит уже <math>n</math> чисел. Заметим, что для каждого "скобочного" разряда в уже набранной части <math>S'</math> есть не менее одного и не более трех чисел, у которых в данном разряде стоит <math>1</math>. Значит для каждого соответствующего паре скобок <math>C_{j}</math> разряда мы сможем выбрать одно или оба числа <math>d_{j}</math> и <math>e_{j}</math> так, чтобы сумма в данном разряде совпадала с требуемой (стала равна <math>4</math>). Добавим их в <math>S'</math>. Также заметим, что суммы во всех "переменных" разрядах равны <math>1</math>, так как для каждого <math>i</math> выбиралось строго одно число из <math>v_{i}</math> и <math>u_{i}</math>. Значит, <math> \sum_{s_{k} \in S'}{s_{k}} = s</math>.
*Пусть теперь в наборе <math>S</math> есть подмножество <math>S':~ \sum_{s_{k} \in S'}{s_{k}} = s</math>. Тогда исходная формула <math>\varphi</math> выполнима. Действительно, если <math>v_{i} \in S'</math>, то установим переменную <math>x_{i}=1</math>. Если же <math>w_{i} \in S'</math>, то <math>x_{i}=0</math>. Покажем, что <math>\varphi(x_{1}\ldots x_{n}) = 1 </math>. Действительно, так как <math> \sum_{s_{k} \in S'}{s_{k}} = s</math>, в каждой паре скобок хотя бы один терм равен <math>1</math>. Значит каждый терм равен <math>1</math>. А тогда и вся <math>\varphi = 1</math>.
====Пример сведения====
Пусть исходная функция <math>\varphi(x_{1} \ldots x_{4}) = (x_{1} \lor x_{2} \lor \neg x_{3}) \land (\neg x_{1} \lor x_{2} \lor x_{4})</math>.
Пометим разряды следующим образом (слева направо): <math>x_{1},x_{2},x_{3},x_{4},C_{1},C_{2}</math>. Тогда:
*<math>v_{1} = 100010</math>
*<math>w_{1} = 100001</math>

*<math>v_{2} = 010011 = 10011</math>
*<math>w_{2} = 010000 = 10000</math>

*<math>v_{3} = 001000 = 1000</math>
*<math>w_{3} = 001010 = 1010</math>

*<math>v_{4} = 000101 = 101</math>
*<math>w_{4} = 000100 = 100</math>

*<math>d_{1} = 000010 = 10</math>
*<math>e_{1} = 000020 = 20</math>

*<math>d_{2} = 000001 = 1</math>
*<math>e_{2} = 000002 = 2</math>

*<math>s = 111144</math>

<math>S = (\bigcup\limits_{i=1}^{4} v_{i}) \cup (\bigcup\limits_{i=1}^{4} w_{i}) \cup (\bigcup\limits_{i=1}^{2} d_{i}) \cup (\bigcup\limits_{i=1}^{2} e_{i})</math>

Тогда набору значений <math>Y = (0,0,0,1):~ \varphi(Y) = 1</math> соответствует <math>S' = \{w_{1},~w_{2},~w_{3},~v_{4},~d_{1},~e_{1},~e_{2}\}</math>. И действительно, <math>100001 + 10000 + 1010 + 101 + 10 + 20 + 2 = 111144</math>.

==См. также==
* [[NP]]
* [[NPH]]
* [[NPC]]
* [[Классы NP и Σ₁]]
* [[3CNFSAT]]
* [[Примеры NP-полных языков]]

==Источники информации==
* Thomas H. Cormen, Charles E. Leiserson, Ronald L. Rivest, Clifford Stein "Introduction to Algorithms, 3rd Edition" {{---}} Издательство MIT Press, 2009. {{---}} 1292 с. {{---}} ISBN 978-0-262-03384-8 (англ.)
* Хопкрофт Дж., Мотвани Р., Ульман Дж. Введение в теорию автоматов, языков и вычислений. 2-е издание. {{---}} М.: Издательский дом "Вильямс", 2002. {{---}} 528 с. {{---}} ISBN 5-8459-0261-4 (рус.)

[[Категория: Теория сложности]]
[[Категория: Детерминированные и недетерминированные вычисления, сложность по времени и по памяти]]
[[Категория: Примеры NP-полных языков]]

NP-полнота задачи о сумме подмножества

2016-05-17T17:23:18Z

KirillTim: big union symbols

==Формулировка задачи==
В '''задаче о сумме подмножества''' (англ. ''Subset sum problem'') входными данными являются набор из <math>n</math> целых чисел <math>S</math> и целое число <math>s</math>. Требуется выяснить, возможно ли выбрать подмножество <math>S' \subseteq S</math> с суммой <math>s</math>:

<math>\exists S' \subseteq S: \sum_{s_{i} \in S'}{s_{i}} = s</math>

==Доказательство NP-полноты==
Для доказательства того, что задачи о сумме подмножества является [[NPC | NP-полной]], необходимо доказать два факта:
*Задачи о сумме подмножества <math>\in</math> [[NP]]
*Задачи о сумме подмножества <math>\in</math> [[NPH]]

===Доказательство принадлежности к NP===
В качестве сертификата возьмем удовлетворяющее условию задачи множество <math>S'</math> с суммой <math>s</math>. Оно удовлетворяет всем требованиям, налагаемым на сертификат. Проверяющая функция проверит вхождение всех элементов <math>S'</math> в множество <math>S</math>.

===Доказательство принадлежности к NPH===
Сведем [[NP-полнота_задачи_о_выполнимости_булевой_формулы_в_форме_3-КНФ|3-CNF_Sat]] к задаче о сумме подмножества. Пусть задана 3-CNF формула <math>\phi</math> от <math>n</math>
переменных <math>x_{i}</math>, состоящая из <math>k</math> пар скобок <math>C_{i}</math>. Будем считать, не умаляя общности, что ни одна пара скобок не содержит одновременно переменную и ее отрицание. Также предположим, что каждая переменная входит хотя бы в одну пару скобок. Построим сводящую функцию <math>f\!\!:\phi \to (S,s)</math>.

====Построение сводящей функции====
Для каждой переменной <math>x_{i}</math> и каждой пары скобок <math>C_{j}</math> создадим по два числа в десятичной системе счисления, каждое длиной <math>n+k</math> цифр. Эти числа образуют <math>S</math>. Также создадим число <math>s</math> длиной <math>n+k</math> цифр. Присвоим каждому разряду полученных чисел (одинаковую для всех чисел) метку, соответствующую либо переменной, либо паре скобок.
Метки, соответствующие парам скобок, присвоены <math>k</math> младшим разрядам чисел.
*В числе <math>s</math> все разряды, соответствующие переменным, установим <math>1</math>, а оставшиеся сделаем равными <math>4</math>.
*Каждой переменной <math>x_{i}</math> соответствуют два числа из <math>S</math>: <math>v_{i}</math> и <math>u_{i}</math>. Опишем создание этих чисел. Разряд, соответствующий <math>x_{i}</math> установим равным <math>1</math>, а все остальные разряды, соответствующие переменным, установим равными <math>0</math>. Далее, для числа <math>v_{i}</math> установим все разряды, соответствующие парам скобок, содержащих <math>x_{i}</math>, равными <math>1</math>. Во все остальные "скобочные" разряды поставим <math>0</math>. В числе <math>w_{i}</math> установим все разряды, соответствующие парам скобок, содержащих <math>\neg x_{i}</math>, равными <math>1</math>, а во все остальные "скобочные" разряды поставим <math>0</math>.
*Каждой паре скобок <math>C_{j}</math> соответствуют два числа из <math>S</math>: <math>d_{i}</math> и <math>e_{i}</math>. Оба этих числа содержат <math>0</math> во всех разрядах, кроме соответствующего <math>C_{j}</math>. В этом разряде у <math>d_{i}</math> поставим <math>1</math>, а у <math>e_{i}</math> {{---}} <math>2</math>.
====Корректность сводящей функции====
*Получаемое сводящей функцией множество <math>S</math> состоит из <math>2(n+k)</math> десятичных чисел длиной <math>(n+k)</math> каждое, выставление каждого разряда занимает полиномиальное время. Таким образом, сведение выполняется за полиномиальное время.
*Пусть формула <math>\phi</math> выполнима, то есть существует набор значений <math>\{y_{i}\}^{n}_{i=1}:~\phi(y_{1}\ldots y_{n})=1 </math>. И пусть <math>(S,s) = f(\phi)</math>. Тогда в полученном множестве <math>S</math> существует подмножество с суммой <math>s</math>. Действительно, для каждой переменной, если <math>y_{k} = 1</math>, то добавим <math>v_{i}</math> в <math>S'</math>. Иначе добавим <math>w_{i}</math>. Теперь <math>S'</math> содержит уже <math>n</math> чисел. Заметим, что для каждого "скобочного" разряда в уже набранной части <math>S'</math> есть не менее одного и не более трех чисел, у которых в данном разряде стоит <math>1</math>. Значит для каждого соответствующего паре скобок <math>C_{j}</math> разряда мы сможем выбрать одно или оба числа <math>d_{j}</math> и <math>e_{j}</math> так, чтобы сумма в данном разряде совпадала с требуемой (стала равна <math>4</math>). Добавим их в <math>S'</math>. Также заметим, что суммы во всех "переменных" разрядах равны <math>1</math>, так как для каждого <math>i</math> выбиралось строго одно число из <math>v_{i}</math> и <math>u_{i}</math>. Значит, <math> \sum_{s_{k} \in S'}{s_{k}} = s</math>.
*Пусть теперь в наборе <math>S</math> есть подмножество <math>S':~ \sum_{s_{k} \in S'}{s_{k}} = s</math>. Тогда исходная формула <math>\phi</math> выполнима. Действительно, если <math>v_{i} \in S'</math>, то установим переменную <math>x_{i}=1</math>. Если же <math>w_{i} \in S'</math>, то <math>x_{i}=0</math>. Покажем, что <math>\phi(x_{1}\ldots x_{n}) = 1 </math>. Действительно, так как <math> \sum_{s_{k} \in S'}{s_{k}} = s</math>, в каждой паре скобок хотя бы один терм равен <math>1</math>. Значит каждый терм равен <math>1</math>. А тогда и вся <math>\phi = 1</math>.
====Пример сведения====
Пусть исходная функция <math>\phi(x_{1} \ldots x_{4}) = (x_{1} \lor x_{2} \lor \neg x_{3}) \land (\neg x_{1} \lor x_{2} \lor x_{4})</math>.
Пометим разряды следующим образом (слева направо): <math>x_{1},x_{2},x_{3},x_{4},C_{1},C_{2}</math>. Тогда:
*<math>v_{1} = 100010</math>
*<math>w_{1} = 100001</math>

*<math>v_{2} = 010011 = 10011</math>
*<math>w_{2} = 010000 = 10000</math>

*<math>v_{3} = 001000 = 1000</math>
*<math>w_{3} = 001010 = 1010</math>

*<math>v_{4} = 000101 = 101</math>
*<math>w_{4} = 000100 = 100</math>

*<math>d_{1} = 000010 = 10</math>
*<math>e_{1} = 000020 = 20</math>

*<math>d_{2} = 000001 = 1</math>
*<math>e_{2} = 000002 = 2</math>

*<math>s = 111144</math>

<math>S = (\bigcup\limits_{i=1}^{4} v_{i}) \cup (\bigcup\limits_{i=1}^{4} w_{i}) \cup (\bigcup\limits_{i=1}^{2} d_{i}) \cup (\bigcup\limits_{i=1}^{2} e_{i})</math>

Тогда набору значений <math>Y = (0,0,0,1):~ \phi(Y) = 1</math> соответствует <math>S' = \{w_{1},~w_{2},~w_{3},~v_{4},~d_{1},~e_{1},~e_{2}\}</math>. И действительно, <math>100001 + 10000 + 1010 + 101 + 10 + 20 + 2 = 111144</math>.

==См. также==
* [[NP]]
* [[NPH]]
* [[NPC]]
* [[Классы NP и Σ₁]]
* [[3CNFSAT]]
* [[Примеры NP-полных языков]]

==Источники информации==
* Thomas H. Cormen, Charles E. Leiserson, Ronald L. Rivest, Clifford Stein "Introduction to Algorithms, 3rd Edition" {{---}} Издательство MIT Press, 2009. {{---}} 1292 с. {{---}} ISBN 978-0-262-03384-8 (англ.)
* Хопкрофт Дж., Мотвани Р., Ульман Дж. Введение в теорию автоматов, языков и вычислений. 2-е издание. {{---}} М.: Издательский дом "Вильямс", 2002. {{---}} 528 с. {{---}} ISBN 5-8459-0261-4 (рус.)

[[Категория: Теория сложности]]
[[Категория: Детерминированные и недетерминированные вычисления, сложность по времени и по памяти]]
[[Категория: Примеры NP-полных языков]]

NP-полнота задачи о сумме подмножества

2016-05-16T19:17:58Z

KirillTim: /* Формулировка задачи */

==Формулировка задачи==
В '''задаче о сумме подмножества''' (англ. ''Subset sum problem'') входными данными являются набор из <math>n</math> целых чисел <math>S</math> и целое число <math>s</math>. Требуется выяснить, возможно ли выбрать подмножество <math>S' \subseteq S</math> с суммой <math>s</math>:

<math>\exists S' \subseteq S: \sum_{s_{i} \in S'}{s_{i}} = s</math>

==Доказательство NP-полноты==
Для доказательства того, что задачи о сумме подмножества является [[NPC | NP-полной]], необходимо доказать два факта:
*Задачи о сумме подмножества <math>\in</math> [[NP]]
*Задачи о сумме подмножества <math>\in</math> [[NPH]]

===Доказательство принадлежности к NP===
В качестве сертификата возьмем удовлетворяющее условию задачи множество <math>S'</math> с суммой <math>s</math>. Оно удовлетворяет всем требованиям, налагаемым на сертификат. Проверяющая функция проверит вхождение всех элементов <math>S'</math> в множество <math>S</math>.

===Доказательство принадлежности к NPH===
Сведем [[NP-полнота_задачи_о_выполнимости_булевой_формулы_в_форме_3-КНФ|3-CNF_Sat]] к задаче о сумме подмножества. Пусть задана 3-CNF формула <math>\phi</math> от <math>n</math>
переменных <math>x_{i}</math>, состоящая из <math>k</math> пар скобок <math>C_{i}</math>. Будем считать, не умаляя общности, что ни одна пара скобок не содержит одновременно переменную и ее отрицание. Также предположим, что каждая переменная входит хотя бы в одну пару скобок. Построим сводящую функцию <math>f\!\!:\phi \to (S,s)</math>.

====Построение сводящей функции====
Для каждой переменной <math>x_{i}</math> и каждой пары скобок <math>C_{j}</math> создадим по два числа в десятичной системе счисления, каждое длиной <math>n+k</math> цифр. Эти числа образуют <math>S</math>. Также создадим число <math>s</math> длиной <math>n+k</math> цифр. Присвоим каждому разряду полученных чисел (одинаковую для всех чисел) метку, соответствующую либо переменной, либо паре скобок.
Метки, соответствующие парам скобок, присвоены <math>k</math> младшим разрядам чисел.
*В числе <math>s</math> все разряды, соответствующие переменным, установим <math>1</math>, а оставшиеся сделаем равными <math>4</math>.
*Каждой переменной <math>x_{i}</math> соответствуют два числа из <math>S</math>: <math>v_{i}</math> и <math>u_{i}</math>. Опишем создание этих чисел. Разряд, соответствующий <math>x_{i}</math> установим равным <math>1</math>, а все остальные разряды, соответствующие переменным, установим равными <math>0</math>. Далее, для числа <math>v_{i}</math> установим все разряды, соответствующие парам скобок, содержащих <math>x_{i}</math>, равными <math>1</math>. Во все остальные "скобочные" разряды поставим <math>0</math>. В числе <math>w_{i}</math> установим все разряды, соответствующие парам скобок, содержащих <math>\neg x_{i}</math>, равными <math>1</math>, а во все остальные "скобочные" разряды поставим <math>0</math>.
*Каждой паре скобок <math>C_{j}</math> соответствуют два числа из <math>S</math>: <math>d_{i}</math> и <math>e_{i}</math>. Оба этих числа содержат <math>0</math> во всех разрядах, кроме соответствующего <math>C_{j}</math>. В этом разряде у <math>d_{i}</math> поставим <math>1</math>, а у <math>e_{i}</math> {{---}} <math>2</math>.
====Корректность сводящей функции====
*Получаемое сводящей функцией множество <math>S</math> состоит из <math>2(n+k)</math> десятичных чисел длиной <math>(n+k)</math> каждое, выставление каждого разряда занимает полиномиальное время. Таким образом, сведение выполняется за полиномиальное время.
*Пусть формула <math>\phi</math> выполнима, то есть существует набор значений <math>\{y_{i}\}^{n}_{i=1}:~\phi(y_{1}\ldots y_{n})=1 </math>. И пусть <math>(S,s) = f(\phi)</math>. Тогда в полученном множестве <math>S</math> существует подмножество с суммой <math>s</math>. Действительно, для каждой переменной, если <math>y_{k} = 1</math>, то добавим <math>v_{i}</math> в <math>S'</math>. Иначе добавим <math>w_{i}</math>. Теперь <math>S'</math> содержит уже <math>n</math> чисел. Заметим, что для каждого "скобочного" разряда в уже набранной части <math>S'</math> есть не менее одного и не более трех чисел, у которых в данном разряде стоит <math>1</math>. Значит для каждого соответствующего паре скобок <math>C_{j}</math> разряда мы сможем выбрать одно или оба числа <math>d_{j}</math> и <math>e_{j}</math> так, чтобы сумма в данном разряде совпадала с требуемой (стала равна <math>4</math>). Добавим их в <math>S'</math>. Также заметим, что суммы во всех "переменных" разрядах равны <math>1</math>, так как для каждого <math>i</math> выбиралось строго одно число из <math>v_{i}</math> и <math>u_{i}</math>. Значит, <math> \sum_{s_{k} \in S'}{s_{k}} = s</math>.
*Пусть теперь в наборе <math>S</math> есть подмножество <math>S':~ \sum_{s_{k} \in S'}{s_{k}} = s</math>. Тогда исходная формула <math>\phi</math> выполнима. Действительно, если <math>v_{i} \in S'</math>, то установим переменную <math>x_{i}=1</math>. Если же <math>w_{i} \in S'</math>, то <math>x_{i}=0</math>. Покажем, что <math>\phi(x_{1}\ldots x_{n}) = 1 </math>. Действительно, так как <math> \sum_{s_{k} \in S'}{s_{k}} = s</math>, в каждой паре скобок хотя бы один терм равен <math>1</math>. Значит каждый терм равен <math>1</math>. А тогда и вся <math>\phi = 1</math>.
====Пример сведения====
Пусть исходная функция <math>\phi(x_{1} \ldots x_{4}) = (x_{1} \lor x_{2} \lor \neg x_{3}) \land (\neg x_{1} \lor x_{2} \lor x_{4})</math>.
Пометим разряды следующим образом (слева направо): <math>x_{1},x_{2},x_{3},x_{4},C_{1},C_{2}</math>. Тогда:
*<math>v_{1} = 100010</math>
*<math>w_{1} = 100001</math>

*<math>v_{2} = 010011 = 10011</math>
*<math>w_{2} = 010000 = 10000</math>

*<math>v_{3} = 001000 = 1000</math>
*<math>w_{3} = 001010 = 1010</math>

*<math>v_{4} = 000101 = 101</math>
*<math>w_{4} = 000100 = 100</math>

*<math>d_{1} = 000010 = 10</math>
*<math>e_{1} = 000020 = 20</math>

*<math>d_{2} = 000001 = 1</math>
*<math>e_{2} = 000002 = 2</math>

*<math>s = 111144</math>

<math>S = (\cup_{i=1 \ldots 4} v_{i}) \cup (\cup_{i=1 \ldots 4} w_{i}) \cup (\cup_{i=1 \ldots 2} d_{i}) \cup (\cup_{i=1 \ldots 2} e_{i})</math>

Тогда набору значений <math>Y = (0,0,0,1):~ \phi(Y) = 1</math> соответствует <math>S' = \{w_{1},~w_{2},~w_{3},~v_{4},~d_{1},~e_{1},~e_{2}\}</math>. И действительно, <math>100001 + 10000 + 1010 + 101 + 10 + 20 + 2 = 111144</math>.

==См. также==
* [[NP]]
* [[NPH]]
* [[NPC]]
* [[Классы NP и Σ₁]]
* [[3CNFSAT]]
* [[Примеры NP-полных языков]]

==Источники информации==
* Thomas H. Cormen, Charles E. Leiserson, Ronald L. Rivest, Clifford Stein "Introduction to Algorithms, 3rd Edition" {{---}} Издательство MIT Press, 2009. {{---}} 1292 с. {{---}} ISBN 978-0-262-03384-8 (англ.)
* Хопкрофт Дж., Мотвани Р., Ульман Дж. Введение в теорию автоматов, языков и вычислений. 2-е издание. {{---}} М.: Издательский дом "Вильямс", 2002. {{---}} 528 с. {{---}} ISBN 5-8459-0261-4 (рус.)

[[Категория: Теория сложности]]
[[Категория: Детерминированные и недетерминированные вычисления, сложность по времени и по памяти]]
[[Категория: Примеры NP-полных языков]]

NP-полнота задачи о сумме подмножества

2016-05-16T19:17:10Z

KirillTim: /* Формулировка задачи */

==Формулировка задачи==
В '''задаче о сумме подмножества''' (англ. Subset sum problem) входными данными являются набор из <math>n</math> целых чисел <math>S</math> и целое число <math>s</math>. Требуется выяснить, возможно ли выбрать подмножество <math>S' \subseteq S</math> с суммой <math>s</math>:

<math>\exists S' \subseteq S: \sum_{s_{i} \in S'}{s_{i}} = s</math>

==Доказательство NP-полноты==
Для доказательства того, что задачи о сумме подмножества является [[NPC | NP-полной]], необходимо доказать два факта:
*Задачи о сумме подмножества <math>\in</math> [[NP]]
*Задачи о сумме подмножества <math>\in</math> [[NPH]]

===Доказательство принадлежности к NP===
В качестве сертификата возьмем удовлетворяющее условию задачи множество <math>S'</math> с суммой <math>s</math>. Оно удовлетворяет всем требованиям, налагаемым на сертификат. Проверяющая функция проверит вхождение всех элементов <math>S'</math> в множество <math>S</math>.

===Доказательство принадлежности к NPH===
Сведем [[NP-полнота_задачи_о_выполнимости_булевой_формулы_в_форме_3-КНФ|3-CNF_Sat]] к задаче о сумме подмножества. Пусть задана 3-CNF формула <math>\phi</math> от <math>n</math>
переменных <math>x_{i}</math>, состоящая из <math>k</math> пар скобок <math>C_{i}</math>. Будем считать, не умаляя общности, что ни одна пара скобок не содержит одновременно переменную и ее отрицание. Также предположим, что каждая переменная входит хотя бы в одну пару скобок. Построим сводящую функцию <math>f\!\!:\phi \to (S,s)</math>.

====Построение сводящей функции====
Для каждой переменной <math>x_{i}</math> и каждой пары скобок <math>C_{j}</math> создадим по два числа в десятичной системе счисления, каждое длиной <math>n+k</math> цифр. Эти числа образуют <math>S</math>. Также создадим число <math>s</math> длиной <math>n+k</math> цифр. Присвоим каждому разряду полученных чисел (одинаковую для всех чисел) метку, соответствующую либо переменной, либо паре скобок.
Метки, соответствующие парам скобок, присвоены <math>k</math> младшим разрядам чисел.
*В числе <math>s</math> все разряды, соответствующие переменным, установим <math>1</math>, а оставшиеся сделаем равными <math>4</math>.
*Каждой переменной <math>x_{i}</math> соответствуют два числа из <math>S</math>: <math>v_{i}</math> и <math>u_{i}</math>. Опишем создание этих чисел. Разряд, соответствующий <math>x_{i}</math> установим равным <math>1</math>, а все остальные разряды, соответствующие переменным, установим равными <math>0</math>. Далее, для числа <math>v_{i}</math> установим все разряды, соответствующие парам скобок, содержащих <math>x_{i}</math>, равными <math>1</math>. Во все остальные "скобочные" разряды поставим <math>0</math>. В числе <math>w_{i}</math> установим все разряды, соответствующие парам скобок, содержащих <math>\neg x_{i}</math>, равными <math>1</math>, а во все остальные "скобочные" разряды поставим <math>0</math>.
*Каждой паре скобок <math>C_{j}</math> соответствуют два числа из <math>S</math>: <math>d_{i}</math> и <math>e_{i}</math>. Оба этих числа содержат <math>0</math> во всех разрядах, кроме соответствующего <math>C_{j}</math>. В этом разряде у <math>d_{i}</math> поставим <math>1</math>, а у <math>e_{i}</math> {{---}} <math>2</math>.
====Корректность сводящей функции====
*Получаемое сводящей функцией множество <math>S</math> состоит из <math>2(n+k)</math> десятичных чисел длиной <math>(n+k)</math> каждое, выставление каждого разряда занимает полиномиальное время. Таким образом, сведение выполняется за полиномиальное время.
*Пусть формула <math>\phi</math> выполнима, то есть существует набор значений <math>\{y_{i}\}^{n}_{i=1}:~\phi(y_{1}\ldots y_{n})=1 </math>. И пусть <math>(S,s) = f(\phi)</math>. Тогда в полученном множестве <math>S</math> существует подмножество с суммой <math>s</math>. Действительно, для каждой переменной, если <math>y_{k} = 1</math>, то добавим <math>v_{i}</math> в <math>S'</math>. Иначе добавим <math>w_{i}</math>. Теперь <math>S'</math> содержит уже <math>n</math> чисел. Заметим, что для каждого "скобочного" разряда в уже набранной части <math>S'</math> есть не менее одного и не более трех чисел, у которых в данном разряде стоит <math>1</math>. Значит для каждого соответствующего паре скобок <math>C_{j}</math> разряда мы сможем выбрать одно или оба числа <math>d_{j}</math> и <math>e_{j}</math> так, чтобы сумма в данном разряде совпадала с требуемой (стала равна <math>4</math>). Добавим их в <math>S'</math>. Также заметим, что суммы во всех "переменных" разрядах равны <math>1</math>, так как для каждого <math>i</math> выбиралось строго одно число из <math>v_{i}</math> и <math>u_{i}</math>. Значит, <math> \sum_{s_{k} \in S'}{s_{k}} = s</math>.
*Пусть теперь в наборе <math>S</math> есть подмножество <math>S':~ \sum_{s_{k} \in S'}{s_{k}} = s</math>. Тогда исходная формула <math>\phi</math> выполнима. Действительно, если <math>v_{i} \in S'</math>, то установим переменную <math>x_{i}=1</math>. Если же <math>w_{i} \in S'</math>, то <math>x_{i}=0</math>. Покажем, что <math>\phi(x_{1}\ldots x_{n}) = 1 </math>. Действительно, так как <math> \sum_{s_{k} \in S'}{s_{k}} = s</math>, в каждой паре скобок хотя бы один терм равен <math>1</math>. Значит каждый терм равен <math>1</math>. А тогда и вся <math>\phi = 1</math>.
====Пример сведения====
Пусть исходная функция <math>\phi(x_{1} \ldots x_{4}) = (x_{1} \lor x_{2} \lor \neg x_{3}) \land (\neg x_{1} \lor x_{2} \lor x_{4})</math>.
Пометим разряды следующим образом (слева направо): <math>x_{1},x_{2},x_{3},x_{4},C_{1},C_{2}</math>. Тогда:
*<math>v_{1} = 100010</math>
*<math>w_{1} = 100001</math>

*<math>v_{2} = 010011 = 10011</math>
*<math>w_{2} = 010000 = 10000</math>

*<math>v_{3} = 001000 = 1000</math>
*<math>w_{3} = 001010 = 1010</math>

*<math>v_{4} = 000101 = 101</math>
*<math>w_{4} = 000100 = 100</math>

*<math>d_{1} = 000010 = 10</math>
*<math>e_{1} = 000020 = 20</math>

*<math>d_{2} = 000001 = 1</math>
*<math>e_{2} = 000002 = 2</math>

*<math>s = 111144</math>

<math>S = (\cup_{i=1 \ldots 4} v_{i}) \cup (\cup_{i=1 \ldots 4} w_{i}) \cup (\cup_{i=1 \ldots 2} d_{i}) \cup (\cup_{i=1 \ldots 2} e_{i})</math>

Тогда набору значений <math>Y = (0,0,0,1):~ \phi(Y) = 1</math> соответствует <math>S' = \{w_{1},~w_{2},~w_{3},~v_{4},~d_{1},~e_{1},~e_{2}\}</math>. И действительно, <math>100001 + 10000 + 1010 + 101 + 10 + 20 + 2 = 111144</math>.

==См. также==
* [[NP]]
* [[NPH]]
* [[NPC]]
* [[Классы NP и Σ₁]]
* [[3CNFSAT]]
* [[Примеры NP-полных языков]]

==Источники информации==
* Thomas H. Cormen, Charles E. Leiserson, Ronald L. Rivest, Clifford Stein "Introduction to Algorithms, 3rd Edition" {{---}} Издательство MIT Press, 2009. {{---}} 1292 с. {{---}} ISBN 978-0-262-03384-8 (англ.)
* Хопкрофт Дж., Мотвани Р., Ульман Дж. Введение в теорию автоматов, языков и вычислений. 2-е издание. {{---}} М.: Издательский дом "Вильямс", 2002. {{---}} 528 с. {{---}} ISBN 5-8459-0261-4 (рус.)

[[Категория: Теория сложности]]
[[Категория: Детерминированные и недетерминированные вычисления, сложность по времени и по памяти]]
[[Категория: Примеры NP-полных языков]]

NP-полнота задачи о сумме подмножества

2016-05-16T19:09:42Z

KirillTim: /* Доказательство NP-полноты */ опечатки

==Формулировка задачи==
В '''задаче о сумме подмножества''' (Subset sum problem) входными данными являются набор из <math>n</math> целых чисел <math>S</math> и целое число <math>s</math>. Требуется выяснить, возможно ли выбрать подмножество <math>S' \subseteq S</math> с суммой <math>s</math>:

<math>\exists S' \subseteq S: \sum_{s_{i} \in S'}{s_{i}} = s</math>

==Доказательство NP-полноты==
Для доказательства того, что задачи о сумме подмножества является [[NPC | NP-полной]], необходимо доказать два факта:
*Задачи о сумме подмножества <math>\in</math> [[NP]]
*Задачи о сумме подмножества <math>\in</math> [[NPH]]

===Доказательство принадлежности к NP===
В качестве сертификата возьмем удовлетворяющее условию задачи множество <math>S'</math> с суммой <math>s</math>. Оно удовлетворяет всем требованиям, налагаемым на сертификат. Проверяющая функция проверит вхождение всех элементов <math>S'</math> в множество <math>S</math>.

===Доказательство принадлежности к NPH===
Сведем [[NP-полнота_задачи_о_выполнимости_булевой_формулы_в_форме_3-КНФ|3-CNF_Sat]] к задаче о сумме подмножества. Пусть задана 3-CNF формула <math>\phi</math> от <math>n</math>
переменных <math>x_{i}</math>, состоящая из <math>k</math> пар скобок <math>C_{i}</math>. Будем считать, не умаляя общности, что ни одна пара скобок не содержит одновременно переменную и ее отрицание. Также предположим, что каждая переменная входит хотя бы в одну пару скобок. Построим сводящую функцию <math>f\!\!:\phi \to (S,s)</math>.

====Построение сводящей функции====
Для каждой переменной <math>x_{i}</math> и каждой пары скобок <math>C_{j}</math> создадим по два числа в десятичной системе счисления, каждое длиной <math>n+k</math> цифр. Эти числа образуют <math>S</math>. Также создадим число <math>s</math> длиной <math>n+k</math> цифр. Присвоим каждому разряду полученных чисел (одинаковую для всех чисел) метку, соответствующую либо переменной, либо паре скобок.
Метки, соответствующие парам скобок, присвоены <math>k</math> младшим разрядам чисел.
*В числе <math>s</math> все разряды, соответствующие переменным, установим <math>1</math>, а оставшиеся сделаем равными <math>4</math>.
*Каждой переменной <math>x_{i}</math> соответствуют два числа из <math>S</math>: <math>v_{i}</math> и <math>u_{i}</math>. Опишем создание этих чисел. Разряд, соответствующий <math>x_{i}</math> установим равным <math>1</math>, а все остальные разряды, соответствующие переменным, установим равными <math>0</math>. Далее, для числа <math>v_{i}</math> установим все разряды, соответствующие парам скобок, содержащих <math>x_{i}</math>, равными <math>1</math>. Во все остальные "скобочные" разряды поставим <math>0</math>. В числе <math>w_{i}</math> установим все разряды, соответствующие парам скобок, содержащих <math>\neg x_{i}</math>, равными <math>1</math>, а во все остальные "скобочные" разряды поставим <math>0</math>.
*Каждой паре скобок <math>C_{j}</math> соответствуют два числа из <math>S</math>: <math>d_{i}</math> и <math>e_{i}</math>. Оба этих числа содержат <math>0</math> во всех разрядах, кроме соответствующего <math>C_{j}</math>. В этом разряде у <math>d_{i}</math> поставим <math>1</math>, а у <math>e_{i}</math> {{---}} <math>2</math>.
====Корректность сводящей функции====
*Получаемое сводящей функцией множество <math>S</math> состоит из <math>2(n+k)</math> десятичных чисел длиной <math>(n+k)</math> каждое, выставление каждого разряда занимает полиномиальное время. Таким образом, сведение выполняется за полиномиальное время.
*Пусть формула <math>\phi</math> выполнима, то есть существует набор значений <math>\{y_{i}\}^{n}_{i=1}:~\phi(y_{1}\ldots y_{n})=1 </math>. И пусть <math>(S,s) = f(\phi)</math>. Тогда в полученном множестве <math>S</math> существует подмножество с суммой <math>s</math>. Действительно, для каждой переменной, если <math>y_{k} = 1</math>, то добавим <math>v_{i}</math> в <math>S'</math>. Иначе добавим <math>w_{i}</math>. Теперь <math>S'</math> содержит уже <math>n</math> чисел. Заметим, что для каждого "скобочного" разряда в уже набранной части <math>S'</math> есть не менее одного и не более трех чисел, у которых в данном разряде стоит <math>1</math>. Значит для каждого соответствующего паре скобок <math>C_{j}</math> разряда мы сможем выбрать одно или оба числа <math>d_{j}</math> и <math>e_{j}</math> так, чтобы сумма в данном разряде совпадала с требуемой (стала равна <math>4</math>). Добавим их в <math>S'</math>. Также заметим, что суммы во всех "переменных" разрядах равны <math>1</math>, так как для каждого <math>i</math> выбиралось строго одно число из <math>v_{i}</math> и <math>u_{i}</math>. Значит, <math> \sum_{s_{k} \in S'}{s_{k}} = s</math>.
*Пусть теперь в наборе <math>S</math> есть подмножество <math>S':~ \sum_{s_{k} \in S'}{s_{k}} = s</math>. Тогда исходная формула <math>\phi</math> выполнима. Действительно, если <math>v_{i} \in S'</math>, то установим переменную <math>x_{i}=1</math>. Если же <math>w_{i} \in S'</math>, то <math>x_{i}=0</math>. Покажем, что <math>\phi(x_{1}\ldots x_{n}) = 1 </math>. Действительно, так как <math> \sum_{s_{k} \in S'}{s_{k}} = s</math>, в каждой паре скобок хотя бы один терм равен <math>1</math>. Значит каждый терм равен <math>1</math>. А тогда и вся <math>\phi = 1</math>.
====Пример сведения====
Пусть исходная функция <math>\phi(x_{1} \ldots x_{4}) = (x_{1} \lor x_{2} \lor \neg x_{3}) \land (\neg x_{1} \lor x_{2} \lor x_{4})</math>.
Пометим разряды следующим образом (слева направо): <math>x_{1},x_{2},x_{3},x_{4},C_{1},C_{2}</math>. Тогда:
*<math>v_{1} = 100010</math>
*<math>w_{1} = 100001</math>

*<math>v_{2} = 010011 = 10011</math>
*<math>w_{2} = 010000 = 10000</math>

*<math>v_{3} = 001000 = 1000</math>
*<math>w_{3} = 001010 = 1010</math>

*<math>v_{4} = 000101 = 101</math>
*<math>w_{4} = 000100 = 100</math>

*<math>d_{1} = 000010 = 10</math>
*<math>e_{1} = 000020 = 20</math>

*<math>d_{2} = 000001 = 1</math>
*<math>e_{2} = 000002 = 2</math>

*<math>s = 111144</math>

<math>S = (\cup_{i=1 \ldots 4} v_{i}) \cup (\cup_{i=1 \ldots 4} w_{i}) \cup (\cup_{i=1 \ldots 2} d_{i}) \cup (\cup_{i=1 \ldots 2} e_{i})</math>

Тогда набору значений <math>Y = (0,0,0,1):~ \phi(Y) = 1</math> соответствует <math>S' = \{w_{1},~w_{2},~w_{3},~v_{4},~d_{1},~e_{1},~e_{2}\}</math>. И действительно, <math>100001 + 10000 + 1010 + 101 + 10 + 20 + 2 = 111144</math>.

==См. также==
* [[NP]]
* [[NPH]]
* [[NPC]]
* [[Классы NP и Σ₁]]
* [[3CNFSAT]]
* [[Примеры NP-полных языков]]

==Источники информации==
* Thomas H. Cormen, Charles E. Leiserson, Ronald L. Rivest, Clifford Stein "Introduction to Algorithms, 3rd Edition" {{---}} Издательство MIT Press, 2009. {{---}} 1292 с. {{---}} ISBN 978-0-262-03384-8 (англ.)
* Хопкрофт Дж., Мотвани Р., Ульман Дж. Введение в теорию автоматов, языков и вычислений. 2-е издание. {{---}} М.: Издательский дом "Вильямс", 2002. {{---}} 528 с. {{---}} ISBN 5-8459-0261-4 (рус.)

[[Категория: Теория сложности]]
[[Категория: Детерминированные и недетерминированные вычисления, сложность по времени и по памяти]]
[[Категория: Примеры NP-полных языков]]

NP-полнота задачи о сумме подмножества

2016-05-16T18:26:22Z

KirillTim: См. также

==Формулировка задачи==
В '''задаче о сумме подмножества''' (Subset sum problem) входными данными являются набор из <math>n</math> целых чисел <math>S</math> и целое число <math>s</math>. Требуется выяснить, возможно ли выбрать подмножество <math>S' \subseteq S</math> с суммой <math>s</math>:

<math>\exists S' \subseteq S: \sum_{s_{i} \in S'}{s_{i}} = s</math>

==Доказательство NP-полноты==
Для доказательства того, что Subset sum problem <math>\in</math> [[NPC]], необходимо доказать два факта:
*Subset sum problem <math>\in</math> [[NP]]
*Subset sum problem <math>\in</math>[[NPH]]
===Доказательство принадлежности к NP===
В качестве сертификата возьмем удовлетворяющее условию задачи множество <math>S'</math> с суммой <math>s</math>. Очевидно, оно удовлетворяет всем требованиям, налагаемым на сертификат. Проверяющая функция строится очевидным образом, работает за полиномиальное от размера входа время.
===Доказательство принадлежности к NPH===
Сведем [[NP-полнота_задачи_о_выполнимости_булевой_формулы_в_форме_3-КНФ|3-CNF_Sat]] к задаче о сумме подмножества. Пусть задана 3-CNF формула <math>\phi</math> от <math>n</math>
переменных <math>x_{i}</math>, состоящая из <math>k</math> пар скобок <math>C_{i}</math>. Будем считать, не умаляя общности, что ни одна пара скобок не содержит одновременно переменную и ее отрицание. Также предположим, что каждая переменная входит хотя бы в одну пару скобок. Построим сводящую функцию <math>f\!\!:\phi \to (S,s)</math>.
====Построение сводящей функции====
Для каждой переменной <math>x_{i}</math> и каждой пары скобок <math>C_{j}</math> создадим по два числа в десятичной системе счисления, каждое длиной <math>n+k</math> цифр. Эти числа образуют <math>S</math>. Также создадим число <math>s</math> длиной <math>n+k</math> цифр. Присвоим каждому разряду полученных чисел (одинаковую для всех чисел) метку, соответствующую либо переменной, либо паре скобок.
Метки, соответствующие парам скобок, присвоены <math>k</math> младшим разрядам чисел.
*В числе <math>s</math> все разряды, соответствующие переменным, установим <math>1</math>, а оставшиеся сделаем равными <math>4</math>.
*Каждой переменной <math>x_{i}</math> соответствуют два числа из <math>S</math>: <math>v_{i}</math> и <math>u_{i}</math>. Опишем создание этих чисел. Разряд, соответствующий <math>x_{i}</math> установим равным <math>1</math>, а все остальные разряды, соответствующие переменным, установим равными <math>0</math>. Далее, для числа <math>v_{i}</math> установим все разряды, соответствующие парам скобок, содержащих <math>x_{i}</math>, равными <math>1</math>. Во все остальные "скобочные" разряды поставим <math>0</math>. В числе <math>w_{i}</math> установим все разряды, соответствующие парам скобок, содержащих <math>\neg x_{i}</math>, равными <math>1</math>, а во все остальные "скобочные" разряды поставим <math>0</math>.
*Каждой паре скобок <math>C_{j}</math> соответствуют два числа из <math>S</math>: <math>d_{i}</math> и <math>e_{i}</math>. Оба этих числа содержат <math>0</math> во всех разрядах, кроме соответствующего <math>C_{j}</math>. В этом разряде у <math>d_{i}</math> поставим <math>1</math>, а у <math>e_{i}</math> поставим <math>2</math>.
====Корректность сводящей функции====
*Получаемое сводящей функцией множество <math>S</math> состоит из <math>2(n+k)</math> десятичных чисел длиной <math>(n+k)</math> каждое, выставление каждого разряда занимает полиномиальное время. Таким образом, сведение выполняется за полиномиальное время.
*Пусть формула <math>\phi</math> выполнима, то есть существует набор значений <math>\{y_{i}\}^{n}_{i=1}:~\phi(y_{1}\ldots y_{n})=1 </math>. И пусть <math>(S,s) = f(\phi)</math>. Тогда в полученном множестве <math>S</math> существует подмножество с суммой <math>s</math>. Действительно, для каждой переменной, если <math>y_{k} = 1</math>, то добавим в <math>S'~ v_{i}</math>. Иначе добавим <math>w_{i}</math>. Теперь <math>S'</math> содержит уже <math>n</math> чисел. Заметим, что для каждого "скобочного"разряда в уже набранной части <math>S'</math> есть не менее одного и не более трех чисел, у которых в данном разряде стоит <math>1</math>. Значит для каждого соответствующего паре скобок <math>C_{j}</math> разряда мы сможем выбрать одно или оба числа <math>d_{j}</math> и <math>e_{j}</math> так, чтобы сумма в данном разряде совпадала с требуемой (стала равна <math>4</math>). Добавим их в <math>S'</math>. Также заметим, что суммы во всех "переменных" разрядах равны <math>1</math>, так как для каждого <math>i</math> выбиралось строго одно число из <math>v_{i}</math> и <math>u_{i}</math>. Значит, <math> \sum_{s_{k} \in S'}{s_{k}} = s</math>.
*Пусть теперь в наборе <math>S</math> есть подмножество <math>S':~ \sum_{s_{k} \in S'}{s_{k}} = s</math>. Тогда исходная формула <math>\phi</math> выполнима. Действительно, если <math>v_{i} \in S'</math>, то установим переменную <math>x_{i}=1</math>. Если же <math>w_{i} \in S'</math>, то <math>x_{i}=0</math>. Покажем, что <math>\phi(x_{1}\ldots x_{n}) = 1 </math>. Действительно, так как <math> \sum_{s_{k} \in S'}{s_{k}} = s</math>, в каждой паре скобок хотя бы один терм равен <math>1</math>. Значит каждый терм равен <math>1</math>. А тогда и вся <math>\phi = 1</math>.
====Пример сведения====
Пусть исходная функция <math>\phi(x_{1} \ldots x_{4}) = (x_{1} \lor x_{2} \lor \neg x_{3}) \land (\neg x_{1} \lor x_{2} \lor x_{4})</math>.
Пометим разряды следующим образом (слева направо): <math>x_{1},x_{2},x_{3},x_{4},C_{1},C_{2}</math>. Тогда:
*<math>v_{1} = 100010</math>
*<math>w_{1} = 100001</math>

*<math>v_{2} = 010011 = 10011</math>
*<math>w_{2} = 010000 = 10000</math>

*<math>v_{3} = 001000 = 1000</math>
*<math>w_{3} = 001010 = 1010</math>

*<math>v_{4} = 000101 = 101</math>
*<math>w_{4} = 000100 = 100</math>

*<math>d_{1} = 000010 = 10</math>
*<math>e_{1} = 000020 = 20</math>

*<math>d_{2} = 000001 = 1</math>
*<math>e_{2} = 000002 = 2</math>

*<math>s = 111144</math>

<math>S = (\cup_{i=1 \ldots 4} v_{i}) \cup (\cup_{i=1 \ldots 4} w_{i}) \cup (\cup_{i=1 \ldots 2} d_{i}) \cup (\cup_{i=1 \ldots 2} e_{i})</math>

Тогда набору значений <math>Y = (0,0,0,1):~ \phi(Y) = 1</math> соответствует <math>S' = \{w_{1},~w_{2},~w_{3},~v_{4},~d_{1},~e_{1},~e_{2}\}</math>. И действительно, <math>100001 + 10000 + 1010 + 101 + 10 + 20 + 2 = 111144</math>.

==См. также==
* [[NP]]
* [[NPH]]
* [[NPC]]
* [[Классы NP и Σ₁]]
* [[3CNFSAT]]
* [[Примеры NP-полных языков]]

==Источники информации==
* Thomas H. Cormen, Charles E. Leiserson, Ronald L. Rivest, Clifford Stein "Introduction to Algorithms, 3rd Edition" {{---}} Издательство MIT Press, 2009. {{---}} 1292 с. {{---}} ISBN 978-0-262-03384-8 (англ.)
* Хопкрофт Дж., Мотвани Р., Ульман Дж. Введение в теорию автоматов, языков и вычислений. 2-е издание. {{---}} М.: Издательский дом "Вильямс", 2002. {{---}} 528 с. {{---}} ISBN 5-8459-0261-4 (рус.)

[[Категория: Теория сложности]]
[[Категория: Детерминированные и недетерминированные вычисления, сложность по времени и по памяти]]
[[Категория: Примеры NP-полных языков]]

NP-полнота задачи о сумме подмножества

2016-05-16T18:25:35Z

KirillTim: Источники информации

==Формулировка задачи==
В '''задаче о сумме подмножества''' (Subset sum problem) входными данными являются набор из <math>n</math> целых чисел <math>S</math> и целое число <math>s</math>. Требуется выяснить, возможно ли выбрать подмножество <math>S' \subseteq S</math> с суммой <math>s</math>:

<math>\exists S' \subseteq S: \sum_{s_{i} \in S'}{s_{i}} = s</math>

==Доказательство NP-полноты==
Для доказательства того, что Subset sum problem <math>\in</math> [[NPC]], необходимо доказать два факта:
*Subset sum problem <math>\in</math> [[NP]]
*Subset sum problem <math>\in</math>[[NPH]]
===Доказательство принадлежности к NP===
В качестве сертификата возьмем удовлетворяющее условию задачи множество <math>S'</math> с суммой <math>s</math>. Очевидно, оно удовлетворяет всем требованиям, налагаемым на сертификат. Проверяющая функция строится очевидным образом, работает за полиномиальное от размера входа время.
===Доказательство принадлежности к NPH===
Сведем [[NP-полнота_задачи_о_выполнимости_булевой_формулы_в_форме_3-КНФ|3-CNF_Sat]] к задаче о сумме подмножества. Пусть задана 3-CNF формула <math>\phi</math> от <math>n</math>
переменных <math>x_{i}</math>, состоящая из <math>k</math> пар скобок <math>C_{i}</math>. Будем считать, не умаляя общности, что ни одна пара скобок не содержит одновременно переменную и ее отрицание. Также предположим, что каждая переменная входит хотя бы в одну пару скобок. Построим сводящую функцию <math>f\!\!:\phi \to (S,s)</math>.
====Построение сводящей функции====
Для каждой переменной <math>x_{i}</math> и каждой пары скобок <math>C_{j}</math> создадим по два числа в десятичной системе счисления, каждое длиной <math>n+k</math> цифр. Эти числа образуют <math>S</math>. Также создадим число <math>s</math> длиной <math>n+k</math> цифр. Присвоим каждому разряду полученных чисел (одинаковую для всех чисел) метку, соответствующую либо переменной, либо паре скобок.
Метки, соответствующие парам скобок, присвоены <math>k</math> младшим разрядам чисел.
*В числе <math>s</math> все разряды, соответствующие переменным, установим <math>1</math>, а оставшиеся сделаем равными <math>4</math>.
*Каждой переменной <math>x_{i}</math> соответствуют два числа из <math>S</math>: <math>v_{i}</math> и <math>u_{i}</math>. Опишем создание этих чисел. Разряд, соответствующий <math>x_{i}</math> установим равным <math>1</math>, а все остальные разряды, соответствующие переменным, установим равными <math>0</math>. Далее, для числа <math>v_{i}</math> установим все разряды, соответствующие парам скобок, содержащих <math>x_{i}</math>, равными <math>1</math>. Во все остальные "скобочные" разряды поставим <math>0</math>. В числе <math>w_{i}</math> установим все разряды, соответствующие парам скобок, содержащих <math>\neg x_{i}</math>, равными <math>1</math>, а во все остальные "скобочные" разряды поставим <math>0</math>.
*Каждой паре скобок <math>C_{j}</math> соответствуют два числа из <math>S</math>: <math>d_{i}</math> и <math>e_{i}</math>. Оба этих числа содержат <math>0</math> во всех разрядах, кроме соответствующего <math>C_{j}</math>. В этом разряде у <math>d_{i}</math> поставим <math>1</math>, а у <math>e_{i}</math> поставим <math>2</math>.
====Корректность сводящей функции====
*Получаемое сводящей функцией множество <math>S</math> состоит из <math>2(n+k)</math> десятичных чисел длиной <math>(n+k)</math> каждое, выставление каждого разряда занимает полиномиальное время. Таким образом, сведение выполняется за полиномиальное время.
*Пусть формула <math>\phi</math> выполнима, то есть существует набор значений <math>\{y_{i}\}^{n}_{i=1}:~\phi(y_{1}\ldots y_{n})=1 </math>. И пусть <math>(S,s) = f(\phi)</math>. Тогда в полученном множестве <math>S</math> существует подмножество с суммой <math>s</math>. Действительно, для каждой переменной, если <math>y_{k} = 1</math>, то добавим в <math>S'~ v_{i}</math>. Иначе добавим <math>w_{i}</math>. Теперь <math>S'</math> содержит уже <math>n</math> чисел. Заметим, что для каждого "скобочного"разряда в уже набранной части <math>S'</math> есть не менее одного и не более трех чисел, у которых в данном разряде стоит <math>1</math>. Значит для каждого соответствующего паре скобок <math>C_{j}</math> разряда мы сможем выбрать одно или оба числа <math>d_{j}</math> и <math>e_{j}</math> так, чтобы сумма в данном разряде совпадала с требуемой (стала равна <math>4</math>). Добавим их в <math>S'</math>. Также заметим, что суммы во всех "переменных" разрядах равны <math>1</math>, так как для каждого <math>i</math> выбиралось строго одно число из <math>v_{i}</math> и <math>u_{i}</math>. Значит, <math> \sum_{s_{k} \in S'}{s_{k}} = s</math>.
*Пусть теперь в наборе <math>S</math> есть подмножество <math>S':~ \sum_{s_{k} \in S'}{s_{k}} = s</math>. Тогда исходная формула <math>\phi</math> выполнима. Действительно, если <math>v_{i} \in S'</math>, то установим переменную <math>x_{i}=1</math>. Если же <math>w_{i} \in S'</math>, то <math>x_{i}=0</math>. Покажем, что <math>\phi(x_{1}\ldots x_{n}) = 1 </math>. Действительно, так как <math> \sum_{s_{k} \in S'}{s_{k}} = s</math>, в каждой паре скобок хотя бы один терм равен <math>1</math>. Значит каждый терм равен <math>1</math>. А тогда и вся <math>\phi = 1</math>.
====Пример сведения====
Пусть исходная функция <math>\phi(x_{1} \ldots x_{4}) = (x_{1} \lor x_{2} \lor \neg x_{3}) \land (\neg x_{1} \lor x_{2} \lor x_{4})</math>.
Пометим разряды следующим образом (слева направо): <math>x_{1},x_{2},x_{3},x_{4},C_{1},C_{2}</math>. Тогда:
*<math>v_{1} = 100010</math>
*<math>w_{1} = 100001</math>

*<math>v_{2} = 010011 = 10011</math>
*<math>w_{2} = 010000 = 10000</math>

*<math>v_{3} = 001000 = 1000</math>
*<math>w_{3} = 001010 = 1010</math>

*<math>v_{4} = 000101 = 101</math>
*<math>w_{4} = 000100 = 100</math>

*<math>d_{1} = 000010 = 10</math>
*<math>e_{1} = 000020 = 20</math>

*<math>d_{2} = 000001 = 1</math>
*<math>e_{2} = 000002 = 2</math>

*<math>s = 111144</math>

<math>S = (\cup_{i=1 \ldots 4} v_{i}) \cup (\cup_{i=1 \ldots 4} w_{i}) \cup (\cup_{i=1 \ldots 2} d_{i}) \cup (\cup_{i=1 \ldots 2} e_{i})</math>

Тогда набору значений <math>Y = (0,0,0,1):~ \phi(Y) = 1</math> соответствует <math>S' = \{w_{1},~w_{2},~w_{3},~v_{4},~d_{1},~e_{1},~e_{2}\}</math>. И действительно, <math>100001 + 10000 + 1010 + 101 + 10 + 20 + 2 = 111144</math>.

==Источники информации==
* Thomas H. Cormen, Charles E. Leiserson, Ronald L. Rivest, Clifford Stein "Introduction to Algorithms, 3rd Edition" {{---}} Издательство MIT Press, 2009. {{---}} 1292 с. {{---}} ISBN 978-0-262-03384-8 (англ.)
* Хопкрофт Дж., Мотвани Р., Ульман Дж. Введение в теорию автоматов, языков и вычислений. 2-е издание. {{---}} М.: Издательский дом "Вильямс", 2002. {{---}} 528 с. {{---}} ISBN 5-8459-0261-4 (рус.)

[[Категория: Теория сложности]]
[[Категория: Детерминированные и недетерминированные вычисления, сложность по времени и по памяти]]
[[Категория: Примеры NP-полных языков]]

NP-полнота задачи о сумме подмножества

2016-05-16T17:34:58Z

KirillTim: Добавил категории

==Формулировка задачи==
В '''задаче о сумме подмножества''' (Subset sum problem) входными данными являются набор из <math>n</math> целых чисел <math>S</math> и целое число <math>s</math>. Требуется выяснить, возможно ли выбрать подмножество <math>S' \subseteq S</math> с суммой <math>s</math>:

<math>\exists S' \subseteq S: \sum_{s_{i} \in S'}{s_{i}} = s</math>

==Доказательство NP-полноты==
Для доказательства того, что Subset sum problem <math>\in</math> [[NPC]], необходимо доказать два факта:
*Subset sum problem <math>\in</math> [[NP]]
*Subset sum problem <math>\in</math>[[NPH]]
===Доказательство принадлежности к NP===
В качестве сертификата возьмем удовлетворяющее условию задачи множество <math>S'</math> с суммой <math>s</math>. Очевидно, оно удовлетворяет всем требованиям, налагаемым на сертификат. Проверяющая функция строится очевидным образом, работает за полиномиальное от размера входа время.
===Доказательство принадлежности к NPH===
Сведем [[NP-полнота_задачи_о_выполнимости_булевой_формулы_в_форме_3-КНФ|3-CNF_Sat]] к задаче о сумме подмножества. Пусть задана 3-CNF формула <math>\phi</math> от <math>n</math>
переменных <math>x_{i}</math>, состоящая из <math>k</math> пар скобок <math>C_{i}</math>. Будем считать, не умаляя общности, что ни одна пара скобок не содержит одновременно переменную и ее отрицание. Также предположим, что каждая переменная входит хотя бы в одну пару скобок. Построим сводящую функцию <math>f\!\!:\phi \to (S,s)</math>.
====Построение сводящей функции====
Для каждой переменной <math>x_{i}</math> и каждой пары скобок <math>C_{j}</math> создадим по два числа в десятичной системе счисления, каждое длиной <math>n+k</math> цифр. Эти числа образуют <math>S</math>. Также создадим число <math>s</math> длиной <math>n+k</math> цифр. Присвоим каждому разряду полученных чисел (одинаковую для всех чисел) метку, соответствующую либо переменной, либо паре скобок.
Метки, соответствующие парам скобок, присвоены <math>k</math> младшим разрядам чисел.
*В числе <math>s</math> все разряды, соответствующие переменным, установим <math>1</math>, а оставшиеся сделаем равными <math>4</math>.
*Каждой переменной <math>x_{i}</math> соответствуют два числа из <math>S</math>: <math>v_{i}</math> и <math>u_{i}</math>. Опишем создание этих чисел. Разряд, соответствующий <math>x_{i}</math> установим равным <math>1</math>, а все остальные разряды, соответствующие переменным, установим равными <math>0</math>. Далее, для числа <math>v_{i}</math> установим все разряды, соответствующие парам скобок, содержащих <math>x_{i}</math>, равными <math>1</math>. Во все остальные "скобочные" разряды поставим <math>0</math>. В числе <math>w_{i}</math> установим все разряды, соответствующие парам скобок, содержащих <math>\neg x_{i}</math>, равными <math>1</math>, а во все остальные "скобочные" разряды поставим <math>0</math>.
*Каждой паре скобок <math>C_{j}</math> соответствуют два числа из <math>S</math>: <math>d_{i}</math> и <math>e_{i}</math>. Оба этих числа содержат <math>0</math> во всех разрядах, кроме соответствующего <math>C_{j}</math>. В этом разряде у <math>d_{i}</math> поставим <math>1</math>, а у <math>e_{i}</math> поставим <math>2</math>.
====Корректность сводящей функции====
*Получаемое сводящей функцией множество <math>S</math> состоит из <math>2(n+k)</math> десятичных чисел длиной <math>(n+k)</math> каждое, выставление каждого разряда занимает полиномиальное время. Таким образом, сведение выполняется за полиномиальное время.
*Пусть формула <math>\phi</math> выполнима, то есть существует набор значений <math>\{y_{i}\}^{n}_{i=1}:~\phi(y_{1}\ldots y_{n})=1 </math>. И пусть <math>(S,s) = f(\phi)</math>. Тогда в полученном множестве <math>S</math> существует подмножество с суммой <math>s</math>. Действительно, для каждой переменной, если <math>y_{k} = 1</math>, то добавим в <math>S'~ v_{i}</math>. Иначе добавим <math>w_{i}</math>. Теперь <math>S'</math> содержит уже <math>n</math> чисел. Заметим, что для каждого "скобочного"разряда в уже набранной части <math>S'</math> есть не менее одного и не более трех чисел, у которых в данном разряде стоит <math>1</math>. Значит для каждого соответствующего паре скобок <math>C_{j}</math> разряда мы сможем выбрать одно или оба числа <math>d_{j}</math> и <math>e_{j}</math> так, чтобы сумма в данном разряде совпадала с требуемой (стала равна <math>4</math>). Добавим их в <math>S'</math>. Также заметим, что суммы во всех "переменных" разрядах равны <math>1</math>, так как для каждого <math>i</math> выбиралось строго одно число из <math>v_{i}</math> и <math>u_{i}</math>. Значит, <math> \sum_{s_{k} \in S'}{s_{k}} = s</math>.
*Пусть теперь в наборе <math>S</math> есть подмножество <math>S':~ \sum_{s_{k} \in S'}{s_{k}} = s</math>. Тогда исходная формула <math>\phi</math> выполнима. Действительно, если <math>v_{i} \in S'</math>, то установим переменную <math>x_{i}=1</math>. Если же <math>w_{i} \in S'</math>, то <math>x_{i}=0</math>. Покажем, что <math>\phi(x_{1}\ldots x_{n}) = 1 </math>. Действительно, так как <math> \sum_{s_{k} \in S'}{s_{k}} = s</math>, в каждой паре скобок хотя бы один терм равен <math>1</math>. Значит каждый терм равен <math>1</math>. А тогда и вся <math>\phi = 1</math>.
====Пример сведения====
Пусть исходная функция <math>\phi(x_{1} \ldots x_{4}) = (x_{1} \lor x_{2} \lor \neg x_{3}) \land (\neg x_{1} \lor x_{2} \lor x_{4})</math>.
Пометим разряды следующим образом (слева направо): <math>x_{1},x_{2},x_{3},x_{4},C_{1},C_{2}</math>. Тогда:
*<math>v_{1} = 100010</math>
*<math>w_{1} = 100001</math>

*<math>v_{2} = 010011 = 10011</math>
*<math>w_{2} = 010000 = 10000</math>

*<math>v_{3} = 001000 = 1000</math>
*<math>w_{3} = 001010 = 1010</math>

*<math>v_{4} = 000101 = 101</math>
*<math>w_{4} = 000100 = 100</math>

*<math>d_{1} = 000010 = 10</math>
*<math>e_{1} = 000020 = 20</math>

*<math>d_{2} = 000001 = 1</math>
*<math>e_{2} = 000002 = 2</math>

*<math>s = 111144</math>

<math>S = (\cup_{i=1 \ldots 4} v_{i}) \cup (\cup_{i=1 \ldots 4} w_{i}) \cup (\cup_{i=1 \ldots 2} d_{i}) \cup (\cup_{i=1 \ldots 2} e_{i})</math>

Тогда набору значений <math>Y = (0,0,0,1):~ \phi(Y) = 1</math> соответствует <math>S' = \{w_{1},~w_{2},~w_{3},~v_{4},~d_{1},~e_{1},~e_{2}\}</math>. И действительно, <math>100001 + 10000 + 1010 + 101 + 10 + 20 + 2 = 111144</math>.

[[Категория: Теория сложности]]
[[Категория: Детерминированные и недетерминированные вычисления, сложность по времени и по памяти]]
[[Категория: Примеры NP-полных языков]]

Устранение левой рекурсии

2016-01-17T15:05:09Z

KirillTim: заменил скобки на большие

__TOC__
{{Определение
|definition=Говорят, что [[Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора|контекстно-свободная (КС) грамматика]] <tex>\Gamma</tex> содержит '''непосредственную левую рекурсию''' (англ. ''direct left recursion''), если она содержит правило вида <tex>A \to A\alpha</tex>.
}}
{{Определение
|definition=Говорят, что КС-грамматика <tex>\Gamma</tex> содержит '''левую рекурсию''' (англ. ''left recursion''), если в ней существует вывод вида <tex>A \Rightarrow^* A\alpha</tex>.
}}

[[Методы трансляции#Нисходящий разбор|Методы нисходящего разбора]] не в состоянии работать с леворекурсивными грамматиками. Проблема в том, что продукция вида <tex>A \Rightarrow^* A\alpha</tex> может применяться бесконечно долго, так и не выработав некий терминальный символ, который можно было бы сравнить со строкой. Поэтому требуется преобразование грамматики, которое бы устранило левую рекурсию.

==Устранение непосредственной левой рекурсии==
Опишем процедуру, устраняющую все правила вида <tex>A \to A\alpha</tex>, для фиксированного нетерминала <tex>A</tex>.

<ol>
<li>Запишем все правила вывода из <tex>A</tex> в виде:
<tex>A \to A\alpha_1 \mid \ldots \mid A\alpha_n \mid \beta_1 \mid \ldots \mid \beta_m </tex>, где
<ul>
<li> <tex>\alpha</tex> {{---}} непустая последовательность терминалов и нетерминалов (<tex>\alpha \nrightarrow \varepsilon </tex>);</li>
<li> <tex>\beta</tex> {{---}} непустая последовательность терминалов и нетерминалов, не начинающаяся с <tex>A</tex>.</li>
</ul>
<li>Заменим правила вывода из <tex>A</tex> на <tex>A \to\beta_1A^\prime \mid \ldots\ \mid \beta_mA^\prime \mid \beta_1 \mid \ldots \mid \beta_m</tex>.</li>

<li>Создадим новый нетерминал <tex>{A^\prime} \to \alpha_1{A^\prime} \mid \ldots \mid \alpha_n{A^\prime} \mid \alpha_1 \mid \ldots \mid \alpha_n</tex>. </li>
</li>
</ol>

Изначально нетерминал <tex>A</tex> порождает сроки вида <tex>\beta\alpha_{i0}\alpha_{i1} \ldots \alpha_{ik}</tex>. В новой грамматике нетерминал <tex>A</tex> порождает <tex>\beta{A^\prime}</tex>, а <tex>A^\prime</tex> порождает строки вида <tex>\alpha_{i0}\alpha_{i1} \ldots \alpha_{ik}</tex>. Из этого очевидно, что изначальная грамматика эквивалентна новой.

===Пример===
<tex>A \to S\alpha \mid A\alpha</tex>

<tex>S \to A\beta</tex>

Есть непосредственная левая рекурсия <tex>A \to A\alpha</tex>. Добавим нетерминал <tex>A^\prime</tex> и добавим правила <tex>A \to S\alpha{A^{\prime}}</tex>, <tex> A^{\prime} \to \alpha{A^{\prime}} </tex>.

Новая грамматика:

<tex>A \to S\alpha{A^{\prime}} \mid S\alpha</tex>

<tex>A^{\prime} \to \alpha{A^{\prime}}</tex>

<tex>S \to A\beta</tex>

В новой грамматике нет непосредственной левой рекурсии, но нетерминал <tex>A</tex> леворекурсивен, так как есть <tex> A \Rightarrow S\alpha{A^{\prime}} \Rightarrow A\beta\alpha{A^{\prime}} </tex>

==Алгоритм устранения произвольной левой рекурсии==
Воспользуемся [[Удаление_eps-правил_из_грамматики | алгоритмом удаления <tex> \varepsilon </tex>-правил]]. Получим грамматику без <tex> \varepsilon </tex>-правил для языка <tex>L(\Gamma) \setminus \lbrace \varepsilon \rbrace</tex>.

Упорядочим нетерминалы, например по возрастанию индексов, и будем добиваться того, чтобы не было правил вида <tex>A_i \to A_j\alpha</tex>, где <tex>j \leqslant i</tex>.
Если данное условие выполняется для всех <tex>A_i</tex>, то в грамматике нет <tex>A_i \Rightarrow^* A_i</tex>, а значит не будет левой рекурсии.

Пусть <tex>N = \lbrace A_1, A_2, \ldots , A_n \rbrace</tex> {{---}} упорядоченное множество всех нетерминалов.

'''for''' <tex>A_i \in N</tex>
'''for''' <tex>A_j \in \{ N \mid 1 \leqslant j 
'''for''' <tex>p \in \{ P \mid A_i \to A_j\gamma \}</tex>
удалить продукцию <tex>p</tex>
'''for''' <tex>Q \to x_i \in \{A_j \to \delta_1 \mid \ldots \mid \delta_k\}</tex>
добавить правило <tex>A_i \to x_i\gamma</tex>
устранить непосредственную левую рекурсию для <tex>A_i</tex>

Если <tex>\varepsilon</tex> присутствовал в языке исходной грамматики, добавим новый начальный символ <tex>S'</tex> и правила <tex>S' \to S \, \mid \, \varepsilon </tex>.

После <tex>i</tex> итерации внешнего цикла в любой продукции внешнего цикла в любой продукции вида <tex>A_k \to A_l\alpha, k < i</tex>, должно быть <tex>l > k</tex>. В результате при следующей итерации внутреннего цикла растет нижний предел <tex>m</tex> всех продукций вида <tex>A_i \to A_m\alpha</tex> до тех пор, пока не будет достигнуто <tex>i \leqslant m </tex>.

После <tex>i</tex> итерации внешнего цикла в грамматике будут только правила вида <tex>A_i \to A_j\alpha</tex>, где <tex>j > i</tex>.
Можно заметить, что неравенство становится строгим только после применения алгоритма устранения непосредственной левой рекурсии. При этом добавляются новые нетерминалы. Пусть <tex>{A^\prime}_i </tex> новый нетерминал. Можно заметить, что нет правила вида <tex>\ldots \to {A^\prime}_i</tex>, где <tex>{A^\prime}_i</tex> самый левый нетерминал, а значит новые нетерминалы можно не рассматривать во внешнем цикле.

На <tex>i</tex> итерации внешнего цикла все правила вида <tex>A_i \to A_j \gamma</tex> где <tex> j заменяются на <tex>A_i \to \delta_1\gamma \mid \ldots \mid \delta_k\gamma</tex> где <tex>A_j \to \delta_1 \mid \ldots \mid \delta_k</tex>. Очевидно, что одна итерация алгоритма не меняет язык, а значит язык получившийся в итоге грамматики совпадает с исходным.

===Оценка времени работы===
Пусть <tex>a_i</tex> количество правил для нетерминала <tex>A_i</tex>.
Тогда <tex>i</tex> итерация внешнего цикла будет выполняться за <tex>O\left(\sum\limits_{A_i \to A_j, j < i} a_j\right) + O(a_i)</tex>, что меньше чем <tex>O\left(\sum\limits_{i=1}^n a_j\right)</tex>, значит асимптотика алгоритма <tex>O\left(n\sum\limits_{i=1}^n a_j\right)</tex>.

===Худший случай===
Проблема этого алгоритма в том, что в зависимости от порядка нетерминалов в множестве размер грамматки может получиться экспоненциальным.

Пример грамматики для которой имеет значение порядок нетерминалов

<tex>A_1 \to 0 \mid 1</tex>

<tex>A_{i+1} \to {A_i}0 \mid {A_i}1 </tex> для <tex>1 \leqslant i < n</tex>

Упорядочим множество нетерминалов по возрастанию индексов. Легко заметить, что правила для <tex>A_i</tex> будут представлять из себя все двоичные вектора длины <tex>i</tex>, а значит размер грамматики будет экспоненциальным.
===Порядок выбора нетерминалов===
{{Определение
|definition=Говорят, что нетерминал <tex>X</tex> {{---}} '''прямой левый вывод''' (англ. ''direct left corner'') из <tex>A</tex>, если существует правило вида <tex>A \to X\alpha</tex>.
}}

{{Определение
|definition='''Левый вывод''' (англ. ''left corner'') {{---}} [[Транзитивное_отношение|транзитивное]], [[Рефлексивное_отношение|рефлексивное]] замыкание отношения «быть прямым левым выводом».
}}

Во внутреннем цикле алгоритма для всех нетерминалов <tex>A_i</tex> и <tex>A_j</tex>, таких что <tex>j < i</tex> и <tex>A_j</tex> {{---}} прямой левый вывод из <tex>A_i</tex> заменяем все прямые левые выводы <tex>A_j</tex> из <tex>A_i</tex> на все выводы из <tex>A_j</tex>.

Это действие удаляет левую рекурсию только если <tex>A_i</tex> {{---}} леворекурсивный нетерминал и <tex>A_j</tex> содержится в выводе <tex>A_i</tex> (то есть <tex>A_i</tex> {{---}} левый вывод из <tex>A_j</tex>,в то время как <tex>A_j</tex> {{---}} левый вывод из <tex>A_i</tex>).

Перестанем добавлять бесполезные выводы, которые не участвуют в удалении левой рекурсии, упорядочив нетерминалы так: если <tex>j < i</tex> и <tex>A_j</tex> {{---}} прямой левый вывод из <tex>A_i</tex>, то <tex>A_i</tex> {{---}} левый вывод из <tex>A_j</tex>.
Упорядочим их по уменьшению количества различных прямых левых выводов из них.

Так как отношение «быть левым выводом» транзитивно,то если <tex>C</tex> {{---}} прямой левый вывод из <tex>B</tex>, то каждый левый вывод из С также будет левым выводом из <tex>B</tex>. А так как отношение «быть левым выводом» рефлексивно, <tex>B</tex> явлеяется своим левым выводом, а значит если <tex>C</tex> {{---}} прямой левый вывод из <tex>B</tex> {{---}} он должен следовать за <tex>B</tex> в упорядоченном множестве, если только <tex>B</tex> не является левым выводом из <tex>C</tex>.

==Пример==
Дана грамматика:

<tex>A \to S\alpha </tex>

<tex>S \to S\beta \mid A\gamma \mid \beta</tex>

Среди правил <tex>A</tex> непосредственной рекурсии нет, поэтому во время первой итерации внешнего цикла ничего не происходит.
Во время второй итерации внешнего цикла правило <tex> S \to A\gamma </tex> переходит в <tex> S \to S\alpha\gamma </tex>.

Грамматика имеет вид

<tex>A \to S\alpha </tex>

<tex>S \to{S}{\beta} \mid {S}{\alpha}{\gamma} \mid \beta</tex>

Устраняем левую рекурсию для <tex>S</tex>

<tex> S \to\beta{S_1}</tex>

<tex> {S_1} \to\beta{S_1} \mid \alpha\gamma{S_1} \mid {\beta} \mid {\alpha}{\gamma} </tex>

== См. также ==
* [[Контекстно-свободные_грамматики,_вывод,_лево-_и_правосторонний_вывод,_дерево_разбора|Контекстно-свободные грамматики]]
* [[Нормальная_форма_Хомского|Нормальная форма Хомского]]
* [[Удаление_eps-правил_из_грамматики | Удаления <tex> \varepsilon </tex>-правил из грамматики]]

== Источники информации ==
* ''Хопкрофт Д., Мотвани Р., Ульман Д.'' — '''Введение в теорию автоматов, языков и вычислений''', 2-е изд. : Пер. с англ. — Москва, Издательский дом «Вильямс», 2002. — 528 с. : ISBN 5-8459-0261-4 (рус.)
* ''Robert C. Moore'' — [http://aclweb.org/anthology-new/A/A00/A00-2033.pdf Removing Left Recursion from Context-Free Grammars ]

[[Категория: Теория формальных языков]]
[[Категория: Контекстно-свободные грамматики]]
[[Категория: Нормальные формы КС-грамматик]]

Устранение левой рекурсии

2016-01-17T15:02:02Z

KirillTim: поменял кавычки, добавил интервики

__TOC__
{{Определение
|definition=Говорят, что [[Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора|контекстно-свободная (КС) грамматика]] <tex>\Gamma</tex> содержит '''непосредственную левую рекурсию''' (англ. ''direct left recursion''), если она содержит правило вида <tex>A \to A\alpha</tex>.
}}
{{Определение
|definition=Говорят, что КС-грамматика <tex>\Gamma</tex> содержит '''левую рекурсию''' (англ. ''left recursion''), если в ней существует вывод вида <tex>A \Rightarrow^* A\alpha</tex>.
}}

[[Методы трансляции#Нисходящий разбор|Методы нисходящего разбора]] не в состоянии работать с леворекурсивными грамматиками. Проблема в том, что продукция вида <tex>A \Rightarrow^* A\alpha</tex> может применяться бесконечно долго, так и не выработав некий терминальный символ, который можно было бы сравнить со строкой. Поэтому требуется преобразование грамматики, которое бы устранило левую рекурсию.

==Устранение непосредственной левой рекурсии==
Опишем процедуру, устраняющую все правила вида <tex>A \to A\alpha</tex>, для фиксированного нетерминала <tex>A</tex>.

<ol>
<li>Запишем все правила вывода из <tex>A</tex> в виде:
<tex>A \to A\alpha_1 \mid \ldots \mid A\alpha_n \mid \beta_1 \mid \ldots \mid \beta_m </tex>, где
<ul>
<li> <tex>\alpha</tex> {{---}} непустая последовательность терминалов и нетерминалов (<tex>\alpha \nrightarrow \varepsilon </tex>);</li>
<li> <tex>\beta</tex> {{---}} непустая последовательность терминалов и нетерминалов, не начинающаяся с <tex>A</tex>.</li>
</ul>
<li>Заменим правила вывода из <tex>A</tex> на <tex>A \to\beta_1A^\prime \mid \ldots\ \mid \beta_mA^\prime \mid \beta_1 \mid \ldots \mid \beta_m</tex>.</li>

<li>Создадим новый нетерминал <tex>{A^\prime} \to \alpha_1{A^\prime} \mid \ldots \mid \alpha_n{A^\prime} \mid \alpha_1 \mid \ldots \mid \alpha_n</tex>. </li>
</li>
</ol>

Изначально нетерминал <tex>A</tex> порождает сроки вида <tex>\beta\alpha_{i0}\alpha_{i1} \ldots \alpha_{ik}</tex>. В новой грамматике нетерминал <tex>A</tex> порождает <tex>\beta{A^\prime}</tex>, а <tex>A^\prime</tex> порождает строки вида <tex>\alpha_{i0}\alpha_{i1} \ldots \alpha_{ik}</tex>. Из этого очевидно, что изначальная грамматика эквивалентна новой.

===Пример===
<tex>A \to S\alpha \mid A\alpha</tex>

<tex>S \to A\beta</tex>

Есть непосредственная левая рекурсия <tex>A \to A\alpha</tex>. Добавим нетерминал <tex>A^\prime</tex> и добавим правила <tex>A \to S\alpha{A^{\prime}}</tex>, <tex> A^{\prime} \to \alpha{A^{\prime}} </tex>.

Новая грамматика:

<tex>A \to S\alpha{A^{\prime}} \mid S\alpha</tex>

<tex>A^{\prime} \to \alpha{A^{\prime}}</tex>

<tex>S \to A\beta</tex>

В новой грамматике нет непосредственной левой рекурсии, но нетерминал <tex>A</tex> леворекурсивен, так как есть <tex> A \Rightarrow S\alpha{A^{\prime}} \Rightarrow A\beta\alpha{A^{\prime}} </tex>

==Алгоритм устранения произвольной левой рекурсии==
Воспользуемся [[Удаление_eps-правил_из_грамматики | алгоритмом удаления <tex> \varepsilon </tex>-правил]]. Получим грамматику без <tex> \varepsilon </tex>-правил для языка <tex>L(\Gamma) \setminus \lbrace \varepsilon \rbrace</tex>.

Упорядочим нетерминалы, например по возрастанию индексов, и будем добиваться того, чтобы не было правил вида <tex>A_i \to A_j\alpha</tex>, где <tex>j \leqslant i</tex>.
Если данное условие выполняется для всех <tex>A_i</tex>, то в грамматике нет <tex>A_i \Rightarrow^* A_i</tex>, а значит не будет левой рекурсии.

Пусть <tex>N = \lbrace A_1, A_2, \ldots , A_n \rbrace</tex> {{---}} упорядоченное множество всех нетерминалов.

'''for''' <tex>A_i \in N</tex>
'''for''' <tex>A_j \in \{ N \mid 1 \leqslant j 
'''for''' <tex>p \in \{ P \mid A_i \to A_j\gamma \}</tex>
удалить продукцию <tex>p</tex>
'''for''' <tex>Q \to x_i \in \{A_j \to \delta_1 \mid \ldots \mid \delta_k\}</tex>
добавить правило <tex>A_i \to x_i\gamma</tex>
устранить непосредственную левую рекурсию для <tex>A_i</tex>

Если <tex>\varepsilon</tex> присутствовал в языке исходной грамматики, добавим новый начальный символ <tex>S'</tex> и правила <tex>S' \to S \, \mid \, \varepsilon </tex>.

После <tex>i</tex> итерации внешнего цикла в любой продукции внешнего цикла в любой продукции вида <tex>A_k \to A_l\alpha, k < i</tex>, должно быть <tex>l > k</tex>. В результате при следующей итерации внутреннего цикла растет нижний предел <tex>m</tex> всех продукций вида <tex>A_i \to A_m\alpha</tex> до тех пор, пока не будет достигнуто <tex>i \leqslant m </tex>.

После <tex>i</tex> итерации внешнего цикла в грамматике будут только правила вида <tex>A_i \to A_j\alpha</tex>, где <tex>j > i</tex>.
Можно заметить, что неравенство становится строгим только после применения алгоритма устранения непосредственной левой рекурсии. При этом добавляются новые нетерминалы. Пусть <tex>{A^\prime}_i </tex> новый нетерминал. Можно заметить, что нет правила вида <tex>\ldots \to {A^\prime}_i</tex>, где <tex>{A^\prime}_i</tex> самый левый нетерминал, а значит новые нетерминалы можно не рассматривать во внешнем цикле.

На <tex>i</tex> итерации внешнего цикла все правила вида <tex>A_i \to A_j \gamma</tex> где <tex> j заменяются на <tex>A_i \to \delta_1\gamma \mid \ldots \mid \delta_k\gamma</tex> где <tex>A_j \to \delta_1 \mid \ldots \mid \delta_k</tex>. Очевидно, что одна итерация алгоритма не меняет язык, а значит язык получившийся в итоге грамматики совпадает с исходным.

===Оценка времени работы===
Пусть <tex>a_i</tex> количество правил для нетерминала <tex>A_i</tex>.
Тогда <tex>i</tex> итерация внешнего цикла будет выполняться за <tex>O(\sum\limits_{A_i \to A_j, j < i} a_j) + O(a_i)</tex>, что меньше чем <tex>O(\sum\limits_{i=1}^n a_j)</tex>, значит асимптотика алгоритма <tex>O(n\sum\limits_{i=1}^n a_j)</tex>.

===Худший случай===
Проблема этого алгоритма в том, что в зависимости от порядка нетерминалов в множестве размер грамматки может получиться экспоненциальным.

Пример грамматики для которой имеет значение порядок нетерминалов

<tex>A_1 \to 0 \mid 1</tex>

<tex>A_{i+1} \to {A_i}0 \mid {A_i}1 </tex> для <tex>1 \leqslant i < n</tex>

Упорядочим множество нетерминалов по возрастанию индексов. Легко заметить, что правила для <tex>A_i</tex> будут представлять из себя все двоичные вектора длины <tex>i</tex>, а значит размер грамматики будет экспоненциальным.
===Порядок выбора нетерминалов===
{{Определение
|definition=Говорят, что нетерминал <tex>X</tex> {{---}} '''прямой левый вывод''' (англ. ''direct left corner'') из <tex>A</tex>, если существует правило вида <tex>A \to X\alpha</tex>.
}}

{{Определение
|definition='''Левый вывод''' (англ. ''left corner'') {{---}} [[Транзитивное_отношение|транзитивное]], [[Рефлексивное_отношение|рефлексивное]] замыкание отношения «быть прямым левым выводом».
}}

Во внутреннем цикле алгоритма для всех нетерминалов <tex>A_i</tex> и <tex>A_j</tex>, таких что <tex>j < i</tex> и <tex>A_j</tex> {{---}} прямой левый вывод из <tex>A_i</tex> заменяем все прямые левые выводы <tex>A_j</tex> из <tex>A_i</tex> на все выводы из <tex>A_j</tex>.

Это действие удаляет левую рекурсию только если <tex>A_i</tex> {{---}} леворекурсивный нетерминал и <tex>A_j</tex> содержится в выводе <tex>A_i</tex> (то есть <tex>A_i</tex> {{---}} левый вывод из <tex>A_j</tex>,в то время как <tex>A_j</tex> {{---}} левый вывод из <tex>A_i</tex>).

Перестанем добавлять бесполезные выводы, которые не участвуют в удалении левой рекурсии, упорядочив нетерминалы так: если <tex>j < i</tex> и <tex>A_j</tex> {{---}} прямой левый вывод из <tex>A_i</tex>, то <tex>A_i</tex> {{---}} левый вывод из <tex>A_j</tex>.
Упорядочим их по уменьшению количества различных прямых левых выводов из них.

Так как отношение «быть левым выводом» транзитивно,то если <tex>C</tex> {{---}} прямой левый вывод из <tex>B</tex>, то каждый левый вывод из С также будет левым выводом из <tex>B</tex>. А так как отношение «быть левым выводом» рефлексивно, <tex>B</tex> явлеяется своим левым выводом, а значит если <tex>C</tex> {{---}} прямой левый вывод из <tex>B</tex> {{---}} он должен следовать за <tex>B</tex> в упорядоченном множестве, если только <tex>B</tex> не является левым выводом из <tex>C</tex>.

==Пример==
Дана грамматика:

<tex>A \to S\alpha </tex>

<tex>S \to S\beta \mid A\gamma \mid \beta</tex>

Среди правил <tex>A</tex> непосредственной рекурсии нет, поэтому во время первой итерации внешнего цикла ничего не происходит.
Во время второй итерации внешнего цикла правило <tex> S \to A\gamma </tex> переходит в <tex> S \to S\alpha\gamma </tex>.

Грамматика имеет вид

<tex>A \to S\alpha </tex>

<tex>S \to{S}{\beta} \mid {S}{\alpha}{\gamma} \mid \beta</tex>

Устраняем левую рекурсию для <tex>S</tex>

<tex> S \to\beta{S_1}</tex>

<tex> {S_1} \to\beta{S_1} \mid \alpha\gamma{S_1} \mid {\beta} \mid {\alpha}{\gamma} </tex>

== См. также ==
* [[Контекстно-свободные_грамматики,_вывод,_лево-_и_правосторонний_вывод,_дерево_разбора|Контекстно-свободные грамматики]]
* [[Нормальная_форма_Хомского|Нормальная форма Хомского]]
* [[Удаление_eps-правил_из_грамматики | Удаления <tex> \varepsilon </tex>-правил из грамматики]]

== Источники информации ==
* ''Хопкрофт Д., Мотвани Р., Ульман Д.'' — '''Введение в теорию автоматов, языков и вычислений''', 2-е изд. : Пер. с англ. — Москва, Издательский дом «Вильямс», 2002. — 528 с. : ISBN 5-8459-0261-4 (рус.)
* ''Robert C. Moore'' — [http://aclweb.org/anthology-new/A/A00/A00-2033.pdf Removing Left Recursion from Context-Free Grammars ]

[[Категория: Теория формальных языков]]
[[Категория: Контекстно-свободные грамматики]]
[[Категория: Нормальные формы КС-грамматик]]

Устранение левой рекурсии

2016-01-17T14:54:33Z

KirillTim: много мелких правок

__TOC__
{{Определение
|definition=Говорят, что [[Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора|контекстно-свободная (КС) грамматика]] <tex>\Gamma</tex> содержит '''непосредственную левую рекурсию''' (англ. ''direct left recursion''), если она содержит правило вида <tex>A \to A\alpha</tex>.
}}
{{Определение
|definition=Говорят, что КС-грамматика <tex>\Gamma</tex> содержит '''левую рекурсию''' (англ. ''left recursion''), если в ней существует вывод вида <tex>A \Rightarrow^* A\alpha</tex>.
}}

[[Методы трансляции#Нисходящий разбор|Методы нисходящего разбора]] не в состоянии работать с леворекурсивными грамматиками. Проблема в том, что продукция вида <tex>A \Rightarrow^* A\alpha</tex> может применяться бесконечно долго, так и не выработав некий терминальный символ, который можно было бы сравнить со строкой. Поэтому требуется преобразование грамматики, которое бы устранило левую рекурсию.

==Устранение непосредственной левой рекурсии==
Опишем процедуру, устраняющую все правила вида <tex>A \to A\alpha</tex>, для фиксированного нетерминала <tex>A</tex>.

<ol>
<li>Запишем все правила вывода из <tex>A</tex> в виде:
<tex>A \to A\alpha_1 \mid \ldots \mid A\alpha_n \mid \beta_1 \mid \ldots \mid \beta_m </tex>, где
<ul>
<li> <tex>\alpha</tex> {{---}} непустая последовательность терминалов и нетерминалов (<tex>\alpha \nrightarrow \varepsilon </tex>);</li>
<li> <tex>\beta</tex> {{---}} непустая последовательность терминалов и нетерминалов, не начинающаяся с <tex>A</tex>.</li>
</ul>
<li>Заменим правила вывода из <tex>A</tex> на <tex>A \to\beta_1A^\prime \mid \ldots\ \mid \beta_mA^\prime \mid \beta_1 \mid \ldots \mid \beta_m</tex>.</li>

<li>Создадим новый нетерминал <tex>{A^\prime} \to \alpha_1{A^\prime} \mid \ldots \mid \alpha_n{A^\prime} \mid \alpha_1 \mid \ldots \mid \alpha_n</tex>. </li>
</li>
</ol>

Изначально нетерминал <tex>A</tex> порождает сроки вида <tex>\beta\alpha_{i0}\alpha_{i1} \ldots \alpha_{ik}</tex>. В новой грамматике нетерминал <tex>A</tex> порождает <tex>\beta{A^\prime}</tex>, а <tex>A^\prime</tex> порождает строки вида <tex>\alpha_{i0}\alpha_{i1} \ldots \alpha_{ik}</tex>. Из этого очевидно, что изначальная грамматика эквивалентна новой.

===Пример===
<tex>A \to S\alpha \mid A\alpha</tex>

<tex>S \to A\beta</tex>

Есть непосредственная левая рекурсия <tex>A \to A\alpha</tex>. Добавим нетерминал <tex>A^\prime</tex> и добавим правила <tex>A \to S\alpha{A^{\prime}}</tex>, <tex> A^{\prime} \to \alpha{A^{\prime}} </tex>.

Новая грамматика:

<tex>A \to S\alpha{A^{\prime}} \mid S\alpha</tex>

<tex>A^{\prime} \to \alpha{A^{\prime}}</tex>

<tex>S \to A\beta</tex>

В новой грамматике нет непосредственной левой рекурсии, но нетерминал <tex>A</tex> леворекурсивен, так как есть <tex> A \Rightarrow S\alpha{A^{\prime}} \Rightarrow A\beta\alpha{A^{\prime}} </tex>

==Алгоритм устранения произвольной левой рекурсии==
Воспользуемся [[Удаление_eps-правил_из_грамматики | алгоритмом удаления <tex> \varepsilon </tex>-правил]]. Получим грамматику без <tex> \varepsilon </tex>-правил для языка <tex>L(\Gamma) \setminus \lbrace \varepsilon \rbrace</tex>.

Упорядочим нетерминалы, например по возрастанию индексов, и будем добиваться того, чтобы не было правил вида <tex>A_i \to A_j\alpha</tex>, где <tex>j \leqslant i</tex>.
Если данное условие выполняется для всех <tex>A_i</tex>, то в грамматике нет <tex>A_i \Rightarrow^* A_i</tex>, а значит не будет левой рекурсии.

Пусть <tex>N = \lbrace A_1, A_2, \ldots , A_n \rbrace</tex> {{---}} упорядоченное множество всех нетерминалов.

'''for''' <tex>A_i \in N</tex>
'''for''' <tex>A_j \in \{ N \mid 1 \leqslant j 
'''for''' <tex>p \in \{ P \mid A_i \to A_j\gamma \}</tex>
удалить продукцию <tex>p</tex>
'''for''' <tex>Q \to x_i \in \{A_j \to \delta_1 \mid \ldots \mid \delta_k\}</tex>
добавить правило <tex>A_i \to x_i\gamma</tex>
устранить непосредственную левую рекурсию для <tex>A_i</tex>

Если <tex>\varepsilon</tex> присутствовал в языке исходной грамматики, добавим новый начальный символ <tex>S'</tex> и правила <tex>S' \to S \, \mid \, \varepsilon </tex>.

После <tex>i</tex> итерации внешнего цикла в любой продукции внешнего цикла в любой продукции вида <tex>A_k \to A_l\alpha, k < i</tex>, должно быть <tex>l > k</tex>. В результате при следующей итерации внутреннего цикла растет нижний предел <tex>m</tex> всех продукций вида <tex>A_i \to A_m\alpha</tex> до тех пор, пока не будет достигнуто <tex>i \leqslant m </tex>.

После <tex>i</tex> итерации внешнего цикла в грамматике будут только правила вида <tex>A_i \to A_j\alpha</tex>, где <tex>j > i</tex>.
Можно заметить, что неравенство становится строгим только после применения алгоритма устранения непосредственной левой рекурсии. При этом добавляются новые нетерминалы. Пусть <tex>{A^\prime}_i </tex> новый нетерминал. Можно заметить, что нет правила вида <tex>\ldots \to {A^\prime}_i</tex>, где <tex>{A^\prime}_i</tex> самый левый нетерминал, а значит новые нетерминалы можно не рассматривать во внешнем цикле.

На <tex>i</tex> итерации внешнего цикла все правила вида <tex>A_i \to A_j \gamma</tex> где <tex> j заменяются на <tex>A_i \to \delta_1\gamma \mid \ldots \mid \delta_k\gamma</tex> где <tex>A_j \to \delta_1 \mid \ldots \mid \delta_k</tex>. Очевидно, что одна итерация алгоритма не меняет язык, а значит язык получившийся в итоге грамматики совпадает с исходным.

===Оценка времени работы===
Пусть <tex>a_i</tex> количество правил для нетерминала <tex>A_i</tex>.
Тогда <tex>i</tex> итерация внешнего цикла будет выполняться за <tex>O(\sum\limits_{A_i \to A_j, j < i} a_j) + O(a_i)</tex>, что меньше чем <tex>O(\sum\limits_{i=1}^n a_j)</tex>, значит асимптотика алгоритма <tex>O(n\sum\limits_{i=1}^n a_j)</tex>.

===Худший случай===
Проблема этого алгоритма в том, что в зависимости от порядка нетерминалов в множестве размер грамматки может получиться экспоненциальным.

Пример грамматики для которой имеет значение порядок нетерминалов

<tex>A_1 \to 0 \mid 1</tex>

<tex>A_{i+1} \to {A_i}0 \mid {A_i}1 </tex> для <tex>1 \leqslant i < n</tex>

Упорядочим множество нетерминалов по возрастанию индексов. Легко заметить, что правила для <tex>A_i</tex> будут представлять из себя все двоичные вектора длины <tex>i</tex>, а значит размер грамматики будет экспоненциальным.
===Порядок выбора нетерминалов===
{{Определение
|definition=Говорят, что нетерминал <tex>X</tex> {{---}} '''прямой левый вывод''' (англ. ''direct left corner'') из <tex>A</tex>, если существует правило вида <tex>A \to X\alpha</tex>.
}}

{{Определение
|definition='''Левый вывод''' (англ. ''left corner'') {{---}} транзитивное, рефлексивное замыкание отношения "быть прямым левым выводом".
}}

Во внутреннем цикле алгоритма для всех нетерминалов <tex>A_i</tex> и <tex>A_j</tex>, таких что <tex>j < i</tex> и <tex>A_j</tex> {{---}} прямой левый вывод из <tex>A_i</tex> заменяем все прямые левые выводы <tex>A_j</tex> из <tex>A_i</tex> на все выводы из <tex>A_j</tex>.

Это действие удаляет левую рекурсию только если <tex>A_i</tex> {{---}} леворекурсивный нетерминал и <tex>A_j</tex> содержится в выводе <tex>A_i</tex> (то есть <tex>A_i</tex> {{---}} левый вывод из <tex>A_j</tex>,в то время как <tex>A_j</tex> {{---}} левый вывод из <tex>A_i</tex>).

Перестанем добавлять бесполезные выводы, которые не участвуют в удалении левой рекурсии, упорядочив нетерминалы так: если <tex>j < i</tex> и <tex>A_j</tex> {{---}} прямой левый вывод из <tex>A_i</tex>, то <tex>A_i</tex> {{---}} левый вывод из <tex>A_j</tex>.
Упорядочим их по уменьшению количества различных прямых левых выводов из них.

Так как отношение "быть левым выводом" транзитивно,то если <tex>C</tex> {{---}} прямой левый вывод из <tex>B</tex>, то каждый левый вывод из С также будет левым выводом из <tex>B</tex>. А так как отношение "быть левым выводом" рефлексивно, <tex>B</tex> явлеяется своим левым выводом, а значит если <tex>C</tex> {{---}} прямой левый вывод из <tex>B</tex> {{---}} он должен следовать за <tex>B</tex> в упорядоченном множестве, если только <tex>B</tex> не является левым выводом из <tex>C</tex>.

==Пример==
Дана грамматика:

<tex>A \to S\alpha </tex>

<tex>S \to S\beta \mid A\gamma \mid \beta</tex>

Среди правил <tex>A</tex> непосредственной рекурсии нет, поэтому во время первой итерации внешнего цикла ничего не происходит.
Во время второй итерации внешнего цикла правило <tex> S \to A\gamma </tex> переходит в <tex> S \to S\alpha\gamma </tex>.

Грамматика имеет вид

<tex>A \to S\alpha </tex>

<tex>S \to{S}{\beta} \mid {S}{\alpha}{\gamma} \mid \beta</tex>

Устраняем левую рекурсию для <tex>S</tex>

<tex> S \to\beta{S_1}</tex>

<tex> {S_1} \to\beta{S_1} \mid \alpha\gamma{S_1} \mid {\beta} \mid {\alpha}{\gamma} </tex>

== См. также ==
* [[Контекстно-свободные_грамматики,_вывод,_лево-_и_правосторонний_вывод,_дерево_разбора|Контекстно-свободные грамматики]]
* [[Нормальная_форма_Хомского|Нормальная форма Хомского]]
* [[Удаление_eps-правил_из_грамматики | Удаления <tex> \varepsilon </tex>-правил из грамматики]]

== Источники информации ==
* ''Хопкрофт Д., Мотвани Р., Ульман Д.'' — '''Введение в теорию автоматов, языков и вычислений''', 2-е изд. : Пер. с англ. — Москва, Издательский дом «Вильямс», 2002. — 528 с. : ISBN 5-8459-0261-4 (рус.)
* ''Robert C. Moore'' — [http://aclweb.org/anthology-new/A/A00/A00-2033.pdf Removing Left Recursion from Context-Free Grammars ]

[[Категория: Теория формальных языков]]
[[Категория: Контекстно-свободные грамматики]]
[[Категория: Нормальные формы КС-грамматик]]

Устранение левой рекурсии

2016-01-17T14:39:53Z

KirillTim: улучшил всевдокод

__TOC__
{{Определение
|definition=Говорят, что [[Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора|контекстно-свободная (КС) грамматика]] <tex>\Gamma</tex> содержит '''непосредственную левую рекурсию''' (англ. ''direct left recursion''), если она содержит правило вида <tex>A \to A\alpha</tex>.
}}
{{Определение
|definition=Говорят, что КС-грамматика <tex>\Gamma</tex> содержит '''левую рекурсию''' (англ. ''left recursion''), если в ней существует вывод вида <tex>A \Rightarrow^* A\alpha</tex>.
}}

[[Методы трансляции#Нисходящий разбор|Методы нисходящего разбора]] не в состоянии работать с леворекурсивными грамматиками. Проблема в том, что продукция вида <tex>A \Rightarrow^* A\alpha</tex> может применяться бесконечно долго, так и не выработав некий терминальный символ, который можно было бы сравнить со строкой. Поэтому требуется преобразование грамматики, которое бы устранило левую рекурсию.

==Устранение непосредственной левой рекурсии==
Опишем процедуру, устраняющую все правила вида <tex>A \to A\alpha</tex>, для фиксированного нетерминала <tex>A</tex>.

<ol>
<li>Запишем все правила вывода из <tex>A</tex> в виде:
<tex>A \to A\alpha_1\,|\,\ldots\,|\,A\alpha_n\,|\,\beta_1\,|\,\ldots\,|\,\beta_m </tex>, где
<ul>
<li> <tex>\alpha</tex> {{---}} непустая последовательность терминалов и нетерминалов (<tex>\alpha \nrightarrow \varepsilon </tex>);</li>
<li> <tex>\beta</tex> {{---}} непустая последовательность терминалов и нетерминалов, не начинающаяся с <tex>A</tex>.</li>
</ul>
<li>Заменим правила вывода из <tex>A</tex> на <tex>A \to\beta_1A^\prime\, |\, \ldots\, |\, \beta_mA^\prime \,|\, \beta_1 \,|\, \ldots \,|\, \beta_m</tex>.</li>

<li>Создадим новый нетерминал <tex>{A^\prime} \to \alpha_1{A^\prime}, |\, \ldots\, |\, \alpha_n{A^\prime} | \alpha_1\, |\, \ldots\, |\, \alpha_n</tex>. </li>
</li>
</ol>

Изначально нетерминал <tex>A</tex> порождает сроки вида <tex>\beta\alpha_{i0}\alpha_{i1} \ldots \alpha_{ik}</tex>. В новой грамматике нетерминал <tex>A</tex> порождает <tex>\beta{A^\prime}</tex>, а <tex>A^\prime</tex> порождает строки вида <tex>\alpha_{i0}\alpha_{i1} \ldots \alpha_{ik}</tex>. Из этого очевидно, что изначальная грамматика эквивалентна новой.

===Пример===
<tex>A \to S\alpha | A\alpha</tex>

<tex>S \to A\beta</tex>

Есть непосредственная левая рекурсия <tex>A \to A\alpha</tex>. Добавим нетерминал <tex>A^\prime</tex> и добавим правила <tex>A \to S\alpha{A^{\prime}}</tex>, <tex> A^{\prime} \to \alpha{A^{\prime}} </tex>.

Новая грамматика:

<tex>A \to S\alpha{A^{\prime}} | S\alpha</tex>

<tex>A^{\prime} \to \alpha{A^{\prime}}</tex>

<tex>S \to A\beta</tex>

В новой грамматике нет непосредственной левой рекурсии, но нетерминал <tex>A</tex> леворекурсивен, так как есть <tex> A \Rightarrow S\alpha{A^{\prime}} \Rightarrow A\beta\alpha{A^{\prime}} </tex>

==Алгоритм устранения произвольной левой рекурсии==
Воспользуемся [[Удаление_eps-правил_из_грамматики | алгоритмом удаления <tex> \varepsilon </tex>-правил]]. Получим грамматику без <tex> \varepsilon </tex>-правил для языка <tex>L(\Gamma) \setminus \lbrace \varepsilon \rbrace</tex>.

Упорядочим нетерминалы, например по возрастанию индексов, и будем добиваться того, чтобы не было правил вида <tex>A_i \to A_j\alpha</tex>, где <tex>j \leqslant i</tex>.
Если данное условие выполняется для всех <tex>A_i</tex>, то в грамматике нет <tex>A_i \to^* A_i</tex>, а значит не будет левой рекурсии.

Пусть <tex>N = \lbrace A_1, A_2, \ldots , A_n \rbrace</tex> {{---}} упорядоченное множество всех нетерминалов.

'''for''' <tex>A_i \in N</tex>
'''for''' <tex>A_j \in \{ N \mid 1 \leqslant j 
'''for''' <tex>p \in \{ P \mid A_i \to A_j\gamma \}</tex>
удалить продукцию <tex>p</tex>
'''for''' <tex>Q \to x_i \in \{A_j \to \delta_1 | \ldots | \delta_k\}</tex>
добавить правило <tex>A_i \to x_i\gamma</tex>
устранить непосредственную левую рекурсию для <tex>A_i</tex>

Если <tex>\varepsilon</tex> присутствовал в языке исходной грамматики, добавим новый начальный символ <tex>S'</tex> и правила <tex>S' \to S \, | \, \varepsilon </tex>.

После <tex>i</tex> итерации внешнего цикла в любой продукции внешнего цикла в любой продукции вида <tex>A_k \to A_l\alpha, k < i</tex>, должно быть <tex>l > k</tex>. В результате при следующей итерации внутреннего цикла растет нижний предел <tex>m</tex> всех продукций вида <tex>A_i \to A_m\alpha</tex> до тех пор, пока не будет достигнуто <tex>i \leqslant m </tex>.

После <tex>i</tex> итерации внешнего цикла в грамматике будут только правила вида <tex>A_i \to A_j\alpha</tex>, где <tex>j > i</tex>.
Можно заметить, что неравенство становится строгим только после применения алгоритма устранения непосредственной левой рекурсии. При этом добавляются новые нетерминалы. Пусть <tex>{A^\prime}_i </tex> новый нетерминал. Можно заметить, что нет правила вида <tex>\ldots \to {A^\prime}_i</tex>, где <tex>{A^\prime}_i</tex> самый левый нетерминал, а значит новые нетерминалы можно не рассматривать во внешнем цикле.

На <tex>i</tex> итерации внешнего цикла все правила вида <tex>A_i \to A_j \gamma</tex> где <tex> j заменяются на <tex>A_i \to \delta_1\gamma | \ldots | \delta_k\gamma</tex> где <tex>A_j \to \delta_1 | \ldots | \delta_k</tex>. Очевидно, что одна итерация алгоритма не меняет язык, а значит язык получившийся в итоге грамматики совпадает с исходным.

===Асимптотика===
Пусть <tex>a_i</tex> количество правил для нетерминала <tex>A_i</tex>.
Тогда <tex>i</tex> итерация внешнего цикла будет выполняться за <tex>O(\sum\limits_{A_i \to A_j, j < i} a_j) + O(a_i)</tex>, что меньше чем <tex>O(\sum\limits_{i=1}^n a_j)</tex>, значит асимптотика алгоритма <tex>O(n\sum\limits_{i=1}^n a_j)</tex>.

Проблема этого алгоритма в том, что в зависимости от порядка нетерминалов в множестве размер грамматки может получиться экспоненциальным.

Пример грамматики для которой имеет значение порядок нетерминалов

<tex>A_1 \to 0 | 1</tex>

<tex>A_{i+1} \to {A_i}0 | {A_i}1 </tex> для <tex>1 \leqslant i < n</tex>

Упорядочим множество нетерминалов по возрастанию индексов. Легко заметить, что правила для <tex>A_i</tex> будут представлять из себя все двоичные вектора длины <tex>i</tex>, а значит размер грамматики будет экспоненциальным.

{{Определение
|definition=Говорят, что нетерминал <tex>X</tex> {{---}} '''прямой левый вывод''' (англ. ''direct left corner'') из <tex>A</tex>, если существует правило вида <tex>A \to X\alpha</tex>.
}}

{{Определение
|definition='''Левый вывод''' (англ. ''left corner'') {{---}} транзитивное, рефлексивное замыкание отношения "быть прямым левым выводом".
}}

Во внутреннем цикле алгоритма для всех нетерминалов <tex>A_i</tex> и <tex>A_j</tex>, таких что <tex>j < i</tex> и <tex>A_j</tex> - прямой левый вывод из <tex>A_i</tex> заменяем все прямые левые выводы <tex>A_j</tex> из <tex>A_i</tex> на все выводы из <tex>A_j</tex>.

Это действие удаляет левую рекурсию только если <tex>A_i</tex> - леворекурсивный нетерминал и <tex>A_j</tex> содержится в выводе <tex>A_i</tex> (то есть <tex>A_i</tex> - левый вывод из <tex>A_j</tex>,в то время как <tex>A_j</tex> - левый вывод из <tex>A_i</tex>).

Перестанем добавлять бесполезные выводы, которые не участвуют в удалении левой рекурсии, упорядочив нетерминалы так: если <tex>j < i</tex> и <tex>A_j</tex> - прямой левый вывод из <tex>A_i</tex>, то <tex>A_i</tex> - левый вывод из <tex>A_j</tex>.
Упорядочим их по уменьшению количества различных прямых левых выводов из них.

Так как отношение "быть левым выводом" транзитивно,то если <tex>C</tex> - прямой левый вывод из <tex>B</tex>, то каждый левый вывод из С также будет левым выводом из <tex>B</tex>. А так как отношение "быть левым выводом" рефлексивно, <tex>B</tex> явлеяется своим левым выводом, а значит если <tex>C</tex> - прямой левый вывод из <tex>B</tex> - он должен следовать за <tex>B</tex> в упорядоченном множестве, если только <tex>B</tex> не является левым выводом из <tex>C</tex>.

==Пример==
Дана грамматика:

<tex>A \to S\alpha </tex>

<tex>S \to S\beta \mid A\gamma \mid \beta</tex>

Среди правил <tex>A</tex> непосредственной рекурсии нет, поэтому во время первой итерации внешнего цикла ничего не происходит.
Во время второй итерации внешнего цикла правило <tex> S \to A\gamma </tex> переходит в <tex> S \to S\alpha\gamma </tex>.

Грамматика имеет вид

<tex>A \to S\alpha </tex>

<tex>S \to{S}{\beta} | {S}{\alpha}{\gamma} | \beta</tex>

Устраняем левую рекурсию для <tex>S</tex>

<tex> S \to\beta{S_1}</tex>

<tex> {S_1} \to\beta{S_1} | \alpha\gamma{S_1} | {\beta} | {\alpha}{\gamma} </tex>

== См. также ==
* [[Контекстно-свободные_грамматики,_вывод,_лево-_и_правосторонний_вывод,_дерево_разбора|Контекстно-свободные грамматики]]
* [[Нормальная_форма_Хомского|Нормальная форма Хомского]]
* [[Удаление_eps-правил_из_грамматики | Удаления <tex> \varepsilon </tex>-правил из грамматики]]

== Источники информации ==
* ''Хопкрофт Д., Мотвани Р., Ульман Д.'' — '''Введение в теорию автоматов, языков и вычислений''', 2-е изд. : Пер. с англ. — Москва, Издательский дом «Вильямс», 2002. — 528 с. : ISBN 5-8459-0261-4 (рус.)
* ''Robert C. Moore'' — [http://aclweb.org/anthology-new/A/A00/A00-2033.pdf Removing Left Recursion from Context-Free Grammars ]

[[Категория: Теория формальных языков]]
[[Категория: Контекстно-свободные грамматики]]
[[Категория: Нормальные формы КС-грамматик]]

Устранение левой рекурсии

2016-01-17T14:17:53Z

KirillTim: подвинул содержание, удалил "постановку задачи"

__TOC__
{{Определение
|definition=Говорят, что [[Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора|контекстно-свободная (КС) грамматика]] <tex>\Gamma</tex> содержит '''непосредственную левую рекурсию''' (англ. ''direct left recursion''), если она содержит правило вида <tex>A \to A\alpha</tex>.
}}
{{Определение
|definition=Говорят, что КС-грамматика <tex>\Gamma</tex> содержит '''левую рекурсию''' (англ. ''left recursion''), если в ней существует вывод вида <tex>A \Rightarrow^* A\alpha</tex>.
}}

[[Методы трансляции#Нисходящий разбор|Методы нисходящего разбора]] не в состоянии работать с леворекурсивными грамматиками. Проблема в том, что продукция вида <tex>A \Rightarrow^* A\alpha</tex> может применяться бесконечно долго, так и не выработав некий терминальный символ, который можно было бы сравнить со строкой. Поэтому требуется преобразование грамматики, которое бы устранило левую рекурсию.

==Устранение непосредственной левой рекурсии==
Опишем процедуру, устраняющую все правила вида <tex>A \to A\alpha</tex>, для фиксированного нетерминала <tex>A</tex>.

<ol>
<li>Запишем все правила вывода из <tex>A</tex> в виде:
<tex>A \to A\alpha_1\,|\,\ldots\,|\,A\alpha_n\,|\,\beta_1\,|\,\ldots\,|\,\beta_m </tex>, где
<ul>
<li> <tex>\alpha</tex> {{---}} непустая последовательность терминалов и нетерминалов (<tex>\alpha \nrightarrow \varepsilon </tex>);</li>
<li> <tex>\beta</tex> {{---}} непустая последовательность терминалов и нетерминалов, не начинающаяся с <tex>A</tex>.</li>
</ul>
<li>Заменим правила вывода из <tex>A</tex> на <tex>A \to\beta_1A^\prime\, |\, \ldots\, |\, \beta_mA^\prime \,|\, \beta_1 \,|\, \ldots \,|\, \beta_m</tex>.</li>

<li>Создадим новый нетерминал <tex>{A^\prime} \to \alpha_1{A^\prime}, |\, \ldots\, |\, \alpha_n{A^\prime} | \alpha_1\, |\, \ldots\, |\, \alpha_n</tex>. </li>
</li>
</ol>

Изначально нетерминал <tex>A</tex> порождает сроки вида <tex>\beta\alpha_{i0}\alpha_{i1} \ldots \alpha_{ik}</tex>. В новой грамматике нетерминал <tex>A</tex> порождает <tex>\beta{A^\prime}</tex>, а <tex>A^\prime</tex> порождает строки вида <tex>\alpha_{i0}\alpha_{i1} \ldots \alpha_{ik}</tex>. Из этого очевидно, что изначальная грамматика эквивалентна новой.

===Пример===
<tex>A \to S\alpha | A\alpha</tex>

<tex>S \to A\beta</tex>

Есть непосредственная левая рекурсия <tex>A \to A\alpha</tex>. Добавим нетерминал <tex>A^\prime</tex> и добавим правила <tex>A \to S\alpha{A^{\prime}}</tex>, <tex> A^{\prime} \to \alpha{A^{\prime}} </tex>.

Новая грамматика:

<tex>A \to S\alpha{A^{\prime}} | S\alpha</tex>

<tex>A^{\prime} \to \alpha{A^{\prime}}</tex>

<tex>S \to A\beta</tex>

В новой грамматике нет непосредственной левой рекурсии, но нетерминал <tex>A</tex> леворекурсивен, так как есть <tex> A \Rightarrow S\alpha{A^{\prime}} \Rightarrow A\beta\alpha{A^{\prime}} </tex>

==Алгоритм устранения произвольной левой рекурсии==
Воспользуемся [[Удаление_eps-правил_из_грамматики | алгоритмом удаления <tex> \varepsilon </tex>-правил]]. Получим грамматику без <tex> \varepsilon </tex>-правил для языка <tex>L(\Gamma) \setminus \lbrace \varepsilon \rbrace</tex>.

Упорядочим нетерминалы, например по возрастанию индексов, и будем добиваться того, чтобы не было правил вида <tex>A_i \to A_j\alpha</tex>, где <tex>j \leqslant i</tex>.
Если данное условие выполняется для всех <tex>A_i</tex>, то в грамматике нет <tex>A_i \to^* A_i</tex>, а значит не будет левой рекурсии.

Пусть <tex>N = \lbrace A_1, A_2, \ldots , A_n \rbrace</tex> {{---}} упорядоченное множество всех нетерминалов.

'''for''' <tex>A_i \in N</tex>
'''for''' <tex>A_j \in \{ N \mid 1 \leqslant j 
'''for''' <tex>production \in \{A_i \to A_j\gamma \}</tex>
удалить <tex>production</tex> #production {{---}} правило вывода
'''for''' <tex>P \to x_i \in \{A_j \to \delta_1 | \ldots | \delta_k\}</tex>
добавить правило <tex>A_i \to x_i\gamma</tex>
устранить непосредственную левую рекурсию для <tex>A_i</tex>

Если <tex>\varepsilon</tex> присутствовал в языке исходной грамматики, добавим новый начальный символ <tex>S'</tex> и правила <tex>S' \to S \, | \, \varepsilon </tex>.

После <tex>i</tex> итерации внешнего цикла в любой продукции внешнего цикла в любой продукции вида <tex>A_k \to A_l\alpha, k < i</tex>, должно быть <tex>l > k</tex>. В результате при следующей итерации внутреннего цикла растет нижний предел <tex>m</tex> всех продукций вида <tex>A_i \to A_m\alpha</tex> до тех пор, пока не будет достигнуто <tex>i \leqslant m </tex>.

После <tex>i</tex> итерации внешнего цикла в грамматике будут только правила вида <tex>A_i \to A_j\alpha</tex>, где <tex>j > i</tex>.
Можно заметить, что неравенство становится строгим только после применения алгоритма устранения непосредственной левой рекурсии. При этом добавляются новые нетерминалы. Пусть <tex>{A^\prime}_i </tex> новый нетерминал. Можно заметить, что нет правила вида <tex>\ldots \to {A^\prime}_i</tex>, где <tex>{A^\prime}_i</tex> самый левый нетерминал, а значит новые нетерминалы можно не рассматривать во внешнем цикле.

На <tex>i</tex> итерации внешнего цикла все правила вида <tex>A_i \to A_j \gamma</tex> где <tex> j заменяются на <tex>A_i \to \delta_1\gamma | \ldots | \delta_k\gamma</tex> где <tex>A_j \to \delta_1 | \ldots | \delta_k</tex>. Очевидно, что одна итерация алгоритма не меняет язык, а значит язык получившийся в итоге грамматики совпадает с исходным.

===Асимптотика===
Пусть <tex>a_i</tex> количество правил для нетерминала <tex>A_i</tex>.
Тогда <tex>i</tex> итерация внешнего цикла будет выполняться за <tex>O(\sum\limits_{A_i \to A_j, j < i} a_j) + O(a_i)</tex>, что меньше чем <tex>O(\sum\limits_{i=1}^n a_j)</tex>, значит асимптотика алгоритма <tex>O(n\sum\limits_{i=1}^n a_j)</tex>.

Проблема этого алгоритма в том, что в зависимости от порядка нетерминалов в множестве размер грамматки может получиться экспоненциальным.

Пример грамматики для которой имеет значение порядок нетерминалов

<tex>A_1 \to 0 | 1</tex>

<tex>A_{i+1} \to {A_i}0 | {A_i}1 </tex> для <tex>1 \leqslant i < n</tex>

Упорядочим множество нетерминалов по возрастанию индексов. Легко заметить, что правила для <tex>A_i</tex> будут представлять из себя все двоичные вектора длины <tex>i</tex>, а значит размер грамматики будет экспоненциальным.

{{Определение
|definition=Говорят, что нетерминал <tex>X</tex> {{---}} '''прямой левый вывод''' (англ. ''direct left corner'') из <tex>A</tex>, если существует правило вида <tex>A \to X\alpha</tex>.
}}

{{Определение
|definition='''Левый вывод''' (англ. ''left corner'') {{---}} транзитивное, рефлексивное замыкание отношения "быть прямым левым выводом".
}}

Во внутреннем цикле алгоритма для всех нетерминалов <tex>A_i</tex> и <tex>A_j</tex>, таких что <tex>j < i</tex> и <tex>A_j</tex> - прямой левый вывод из <tex>A_i</tex> заменяем все прямые левые выводы <tex>A_j</tex> из <tex>A_i</tex> на все выводы из <tex>A_j</tex>.

Это действие удаляет левую рекурсию только если <tex>A_i</tex> - леворекурсивный нетерминал и <tex>A_j</tex> содержится в выводе <tex>A_i</tex> (то есть <tex>A_i</tex> - левый вывод из <tex>A_j</tex>,в то время как <tex>A_j</tex> - левый вывод из <tex>A_i</tex>).

Перестанем добавлять бесполезные выводы, которые не участвуют в удалении левой рекурсии, упорядочив нетерминалы так: если <tex>j < i</tex> и <tex>A_j</tex> - прямой левый вывод из <tex>A_i</tex>, то <tex>A_i</tex> - левый вывод из <tex>A_j</tex>.
Упорядочим их по уменьшению количества различных прямых левых выводов из них.

Так как отношение "быть левым выводом" транзитивно,то если <tex>C</tex> - прямой левый вывод из <tex>B</tex>, то каждый левый вывод из С также будет левым выводом из <tex>B</tex>. А так как отношение "быть левым выводом" рефлексивно, <tex>B</tex> явлеяется своим левым выводом, а значит если <tex>C</tex> - прямой левый вывод из <tex>B</tex> - он должен следовать за <tex>B</tex> в упорядоченном множестве, если только <tex>B</tex> не является левым выводом из <tex>C</tex>.

==Пример==
Дана грамматика:

<tex>A \to S\alpha </tex>

<tex>S \to S\beta \mid A\gamma \mid \beta</tex>

Среди правил <tex>A</tex> непосредственной рекурсии нет, поэтому во время первой итерации внешнего цикла ничего не происходит.
Во время второй итерации внешнего цикла правило <tex> S \to A\gamma </tex> переходит в <tex> S \to S\alpha\gamma </tex>.

Грамматика имеет вид

<tex>A \to S\alpha </tex>

<tex>S \to{S}{\beta} | {S}{\alpha}{\gamma} | \beta</tex>

Устраняем левую рекурсию для <tex>S</tex>

<tex> S \to\beta{S_1}</tex>

<tex> {S_1} \to\beta{S_1} | \alpha\gamma{S_1} | {\beta} | {\alpha}{\gamma} </tex>

== См. также ==
* [[Контекстно-свободные_грамматики,_вывод,_лево-_и_правосторонний_вывод,_дерево_разбора|Контекстно-свободные грамматики]]
* [[Нормальная_форма_Хомского|Нормальная форма Хомского]]
* [[Удаление_eps-правил_из_грамматики | Удаления <tex> \varepsilon </tex>-правил из грамматики]]

== Источники информации ==
* ''Хопкрофт Д., Мотвани Р., Ульман Д.'' — '''Введение в теорию автоматов, языков и вычислений''', 2-е изд. : Пер. с англ. — Москва, Издательский дом «Вильямс», 2002. — 528 с. : ISBN 5-8459-0261-4 (рус.)
* ''Robert C. Moore'' — [http://aclweb.org/anthology-new/A/A00/A00-2033.pdf Removing Left Recursion from Context-Free Grammars ]

[[Категория: Теория формальных языков]]
[[Категория: Контекстно-свободные грамматики]]
[[Категория: Нормальные формы КС-грамматик]]

Устранение левой рекурсии

2016-01-17T13:54:31Z

KirillTim: добавил описание порядка

{{Определение
|definition=Говорят, что [[Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора|контекстно-свободная (КС) грамматика]] <tex>\Gamma</tex> содержит '''непосредственную левую рекурсию''' (англ. ''direct left recursion''), если она содержит правило вида <tex>A \to A\alpha</tex>.
}}
{{Определение
|definition=Говорят, что КС-грамматика <tex>\Gamma</tex> содержит '''левую рекурсию''' (англ. ''left recursion''), если в ней существует вывод вида <tex>A \Rightarrow^* A\alpha</tex>.
}}

== Постановка задачи ==
[[Методы трансляции#Нисходящий разбор|Методы нисходящего разбора]] не в состоянии работать с леворекурсивными грамматиками. Проблема в том, что продукция вида <tex>A \Rightarrow^* A\alpha</tex> может применяться бесконечно долго, так и не выработав некий терминальный символ, который можно было бы сравнить со строкой. Поэтому требуется преобразование грамматики, которое бы устранило левую рекурсию.

==Устранение непосредственной левой рекурсии==
Опишем процедуру, устраняющую все правила вида <tex>A \to A\alpha</tex>, для фиксированного нетерминала <tex>A</tex>.

<ol>
<li>Запишем все правила вывода из <tex>A</tex> в виде:
<tex>A \to A\alpha_1\,|\,\ldots\,|\,A\alpha_n\,|\,\beta_1\,|\,\ldots\,|\,\beta_m </tex>, где
<ul>
<li> <tex>\alpha</tex> {{---}} непустая последовательность терминалов и нетерминалов (<tex>\alpha \nrightarrow \varepsilon </tex>);</li>
<li> <tex>\beta</tex> {{---}} непустая последовательность терминалов и нетерминалов, не начинающаяся с <tex>A</tex>.</li>
</ul>
<li>Заменим правила вывода из <tex>A</tex> на <tex>A \to\beta_1A^\prime\, |\, \ldots\, |\, \beta_mA^\prime \,|\, \beta_1 \,|\, \ldots \,|\, \beta_m</tex>.</li>

<li>Создадим новый нетерминал <tex>{A^\prime} \to \alpha_1{A^\prime}, |\, \ldots\, |\, \alpha_n{A^\prime} | \alpha_1\, |\, \ldots\, |\, \alpha_n</tex>. </li>
</li>
</ol>

Изначально нетерминал <tex>A</tex> порождает сроки вида <tex>\beta\alpha_{i0}\alpha_{i1} \ldots \alpha_{ik}</tex>. В новой грамматике нетерминал <tex>A</tex> порождает <tex>\beta{A^\prime}</tex>, а <tex>A^\prime</tex> порождает строки вида <tex>\alpha_{i0}\alpha_{i1} \ldots \alpha_{ik}</tex>. Из этого очевидно, что изначальная грамматика эквивалентна новой.

===Пример===
<tex>A \to S\alpha | A\alpha</tex>

<tex>S \to A\beta</tex>

Есть непосредственная левая рекурсия <tex>A \to A\alpha</tex>. Добавим нетерминал <tex>A^\prime</tex> и добавим правила <tex>A \to S\alpha{A^{\prime}}</tex>, <tex> A^{\prime} \to \alpha{A^{\prime}} </tex>.

Новая грамматика:

<tex>A \to S\alpha{A^{\prime}} | S\alpha</tex>

<tex>A^{\prime} \to \alpha{A^{\prime}}</tex>

<tex>S \to A\beta</tex>

В новой грамматике нет непосредственной левой рекурсии, но нетерминал <tex>A</tex> леворекурсивен, так как есть <tex> A \Rightarrow S\alpha{A^{\prime}} \Rightarrow A\beta\alpha{A^{\prime}} </tex>

==Алгоритм устранения произвольной левой рекурсии==
Воспользуемся [[Удаление_eps-правил_из_грамматики | алгоритмом удаления <tex> \varepsilon </tex>-правил]]. Получим грамматику без <tex> \varepsilon </tex>-правил для языка <tex>L(\Gamma) \setminus \lbrace \varepsilon \rbrace</tex>.

Упорядочим нетерминалы, например по возрастанию индексов, и будем добиваться того, чтобы не было правил вида <tex>A_i \to A_j\alpha</tex>, где <tex>j \leqslant i</tex>.
Если данное условие выполняется для всех <tex>A_i</tex>, то в грамматике нет <tex>A_i \to^* A_i</tex>, а значит не будет левой рекурсии.

Пусть <tex>N = \lbrace A_1, A_2, \ldots , A_n \rbrace</tex> {{---}} упорядоченное множество всех нетерминалов.

'''for''' <tex>A_i \in N</tex>
'''for''' <tex>A_j \in \{ N \mid 1 \leqslant j 
'''for''' <tex>production \in \{A_i \to A_j\gamma \}</tex>
удалить <tex>production</tex> #production {{---}} правило вывода
'''for''' <tex>P \to x_i \in \{A_j \to \delta_1 | \ldots | \delta_k\}</tex>
добавить правило <tex>A_i \to x_i\gamma</tex>
устранить непосредственную левую рекурсию для <tex>A_i</tex>

Если <tex>\varepsilon</tex> присутствовал в языке исходной грамматики, добавим новый начальный символ <tex>S'</tex> и правила <tex>S' \to S \, | \, \varepsilon </tex>.

После <tex>i</tex> итерации внешнего цикла в любой продукции внешнего цикла в любой продукции вида <tex>A_k \to A_l\alpha, k < i</tex>, должно быть <tex>l > k</tex>. В результате при следующей итерации внутреннего цикла растет нижний предел <tex>m</tex> всех продукций вида <tex>A_i \to A_m\alpha</tex> до тех пор, пока не будет достигнуто <tex>i \leqslant m </tex>.

После <tex>i</tex> итерации внешнего цикла в грамматике будут только правила вида <tex>A_i \to A_j\alpha</tex>, где <tex>j > i</tex>.
Можно заметить, что неравенство становится строгим только после применения алгоритма устранения непосредственной левой рекурсии. При этом добавляются новые нетерминалы. Пусть <tex>{A^\prime}_i </tex> новый нетерминал. Можно заметить, что нет правила вида <tex>\ldots \to {A^\prime}_i</tex>, где <tex>{A^\prime}_i</tex> самый левый нетерминал, а значит новые нетерминалы можно не рассматривать во внешнем цикле.

На <tex>i</tex> итерации внешнего цикла все правила вида <tex>A_i \to A_j \gamma</tex> где <tex> j заменяются на <tex>A_i \to \delta_1\gamma | \ldots | \delta_k\gamma</tex> где <tex>A_j \to \delta_1 | \ldots | \delta_k</tex>. Очевидно, что одна итерация алгоритма не меняет язык, а значит язык получившийся в итоге грамматики совпадает с исходным.

===Асимптотика===
Пусть <tex>a_i</tex> количество правил для нетерминала <tex>A_i</tex>.
Тогда <tex>i</tex> итерация внешнего цикла будет выполняться за <tex>O(\sum\limits_{A_i \to A_j, j < i} a_j) + O(a_i)</tex>, что меньше чем <tex>O(\sum\limits_{i=1}^n a_j)</tex>, значит асимптотика алгоритма <tex>O(n\sum\limits_{i=1}^n a_j)</tex>.

Проблема этого алгоритма в том, что в зависимости от порядка нетерминалов в множестве размер грамматки может получиться экспоненциальным.

Пример грамматики для которой имеет значение порядок нетерминалов

<tex>A_1 \to 0 | 1</tex>

<tex>A_{i+1} \to {A_i}0 | {A_i}1 </tex> для <tex>1 \leqslant i < n</tex>

Упорядочим множество нетерминалов по возрастанию индексов. Легко заметить, что правила для <tex>A_i</tex> будут представлять из себя все двоичные вектора длины <tex>i</tex>, а значит размер грамматики будет экспоненциальным.

{{Определение
|definition=Говорят, что нетерминал <tex>X</tex> {{---}} '''прямой левый вывод''' (англ. ''direct left corner'') из <tex>A</tex>, если существует правило вида <tex>A \to X\alpha</tex>.
}}

{{Определение
|definition='''Левый вывод''' (англ. ''left corner'') {{---}} транзитивное, рефлексивное замыкание отношения "быть прямым левым выводом".
}}

Во внутреннем цикле алгоритма для всех нетерминалов <tex>A_i</tex> и <tex>A_j</tex>, таких что <tex>j < i</tex> и <tex>A_j</tex> - прямой левый вывод из <tex>A_i</tex> заменяем все прямые левые выводы <tex>A_j</tex> из <tex>A_i</tex> на все выводы из <tex>A_j</tex>.

Это действие удаляет левую рекурсию только если <tex>A_i</tex> - леворекурсивный нетерминал и <tex>A_j</tex> содержится в выводе <tex>A_i</tex> (то есть <tex>A_i</tex> - левый вывод из <tex>A_j</tex>,в то время как <tex>A_j</tex> - левый вывод из <tex>A_i</tex>).

Перестанем добавлять бесполезные выводы, которые не участвуют в удалении левой рекурсии, упорядочив нетерминалы так: если <tex>j < i</tex> и <tex>A_j</tex> - прямой левый вывод из <tex>A_i</tex>, то <tex>A_i</tex> - левый вывод из <tex>A_j</tex>.
Упорядочим их по уменьшению количества различных прямых левых выводов из них.

Так как отношение "быть левым выводом" транзитивно,то если <tex>C</tex> - прямой левый вывод из <tex>B</tex>, то каждый левый вывод из С также будет левым выводом из <tex>B</tex>. А так как отношение "быть левым выводом" рефлексивно, <tex>B</tex> явлеяется своим левым выводом, а значит если <tex>C</tex> - прямой левый вывод из <tex>B</tex> - он должен следовать за <tex>B</tex> в упорядоченном множестве, если только <tex>B</tex> не является левым выводом из <tex>C</tex>.

==Пример==
Дана грамматика:

<tex>A \to S\alpha </tex>

<tex>S \to S\beta \mid A\gamma \mid \beta</tex>

Среди правил <tex>A</tex> непосредственной рекурсии нет, поэтому во время первой итерации внешнего цикла ничего не происходит.
Во время второй итерации внешнего цикла правило <tex> S \to A\gamma </tex> переходит в <tex> S \to S\alpha\gamma </tex>.

Грамматика имеет вид

<tex>A \to S\alpha </tex>

<tex>S \to{S}{\beta} | {S}{\alpha}{\gamma} | \beta</tex>

Устраняем левую рекурсию для <tex>S</tex>

<tex> S \to\beta{S_1}</tex>

<tex> {S_1} \to\beta{S_1} | \alpha\gamma{S_1} | {\beta} | {\alpha}{\gamma} </tex>

== См. также ==
* [[Контекстно-свободные_грамматики,_вывод,_лево-_и_правосторонний_вывод,_дерево_разбора|Контекстно-свободные грамматики]]
* [[Нормальная_форма_Хомского|Нормальная форма Хомского]]
* [[Удаление_eps-правил_из_грамматики | Удаления <tex> \varepsilon </tex>-правил из грамматики]]

== Источники информации ==
* ''Хопкрофт Д., Мотвани Р., Ульман Д.'' — '''Введение в теорию автоматов, языков и вычислений''', 2-е изд. : Пер. с англ. — Москва, Издательский дом «Вильямс», 2002. — 528 с. : ISBN 5-8459-0261-4 (рус.)
* ''Robert C. Moore'' — [http://aclweb.org/anthology-new/A/A00/A00-2033.pdf Removing Left Recursion from Context-Free Grammars ]

[[Категория: Теория формальных языков]]
[[Категория: Контекстно-свободные грамматики]]
[[Категория: Нормальные формы КС-грамматик]]

Устранение левой рекурсии

2016-01-17T13:31:24Z

KirillTim: /* Алгоритм устранения произвольной левой рекурсии */

{{Определение
|definition=Говорят, что [[Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора|контекстно-свободная (КС) грамматика]] <tex>\Gamma</tex> содержит '''непосредственную левую рекурсию''' (англ. ''direct left recursion''), если она содержит правило вида <tex>A \to A\alpha</tex>.
}}
{{Определение
|definition=Говорят, что КС-грамматика <tex>\Gamma</tex> содержит '''левую рекурсию''' (англ. ''left recursion''), если в ней существует вывод вида <tex>A \Rightarrow^* A\alpha</tex>.
}}

== Постановка задачи ==
[[Методы трансляции#Нисходящий разбор|Методы нисходящего разбора]] не в состоянии работать с леворекурсивными грамматиками. Проблема в том, что продукция вида <tex>A \Rightarrow^* A\alpha</tex> может применяться бесконечно долго, так и не выработав некий терминальный символ, который можно было бы сравнить со строкой. Поэтому требуется преобразование грамматики, которое бы устранило левую рекурсию.

==Устранение непосредственной левой рекурсии==
Опишем процедуру, устраняющую все правила вида <tex>A \to A\alpha</tex>, для фиксированного нетерминала <tex>A</tex>.

<ol>
<li>Запишем все правила вывода из <tex>A</tex> в виде:
<tex>A \to A\alpha_1\,|\,\ldots\,|\,A\alpha_n\,|\,\beta_1\,|\,\ldots\,|\,\beta_m </tex>, где
<ul>
<li> <tex>\alpha</tex> {{---}} непустая последовательность терминалов и нетерминалов (<tex>\alpha \nrightarrow \varepsilon </tex>);</li>
<li> <tex>\beta</tex> {{---}} непустая последовательность терминалов и нетерминалов, не начинающаяся с <tex>A</tex>.</li>
</ul>
<li>Заменим правила вывода из <tex>A</tex> на <tex>A \to\beta_1A^\prime\, |\, \ldots\, |\, \beta_mA^\prime \,|\, \beta_1 \,|\, \ldots \,|\, \beta_m</tex>.</li>

<li>Создадим новый нетерминал <tex>{A^\prime} \to \alpha_1{A^\prime}, |\, \ldots\, |\, \alpha_n{A^\prime} | \alpha_1\, |\, \ldots\, |\, \alpha_n</tex>. </li>
</li>
</ol>

Изначально нетерминал <tex>A</tex> порождает сроки вида <tex>\beta\alpha_{i0}\alpha_{i1} \ldots \alpha_{ik}</tex>. В новой грамматике нетерминал <tex>A</tex> порождает <tex>\beta{A^\prime}</tex>, а <tex>A^\prime</tex> порождает строки вида <tex>\alpha_{i0}\alpha_{i1} \ldots \alpha_{ik}</tex>. Из этого очевидно, что изначальная грамматика эквивалентна новой.

===Пример===
<tex>A \to S\alpha | A\alpha</tex>

<tex>S \to A\beta</tex>

Есть непосредственная левая рекурсия <tex>A \to A\alpha</tex>. Добавим нетерминал <tex>A^\prime</tex> и добавим правила <tex>A \to S\alpha{A^{\prime}}</tex>, <tex> A^{\prime} \to \alpha{A^{\prime}} </tex>.

Новая грамматика:

<tex>A \to S\alpha{A^{\prime}} | S\alpha</tex>

<tex>A^{\prime} \to \alpha{A^{\prime}}</tex>

<tex>S \to A\beta</tex>

В новой грамматике нет непосредственной левой рекурсии, но нетерминал <tex>A</tex> леворекурсивен, так как есть <tex> A \Rightarrow S\alpha{A^{\prime}} \Rightarrow A\beta\alpha{A^{\prime}} </tex>

==Алгоритм устранения произвольной левой рекурсии==
Воспользуемся [[Удаление_eps-правил_из_грамматики | алгоритмом удаления <tex> \varepsilon </tex>-правил]]. Получим грамматику без <tex> \varepsilon </tex>-правил для языка <tex>L(\Gamma) \setminus \lbrace \varepsilon \rbrace</tex>.

Упорядочим нетерминалы, например по возрастанию индексов, и будем добиваться того, чтобы не было правил вида <tex>A_i \to A_j\alpha</tex>, где <tex>j \leqslant i</tex>.
Если данное условие выполняется для всех <tex>A_i</tex>, то в грамматике нет <tex>A_i \to^* A_i</tex>, а значит не будет левой рекурсии.

Пусть <tex>N = \lbrace A_1, A_2, \ldots , A_n \rbrace</tex> {{---}} упорядоченное множество всех нетерминалов.

'''for''' <tex>A_i \in N</tex>
'''for''' <tex>A_j \in \{ N \mid 1 \leqslant j 
'''for''' <tex>production \in \{A_i \to A_j\gamma \}</tex>
удалить <tex>production</tex> #production {{---}} правило вывода
'''for''' <tex>P \to x_i \in \{A_j \to \delta_1 | \ldots | \delta_k\}</tex>
добавить правило <tex>A_i \to x_i\gamma</tex>
устранить непосредственную левую рекурсию для <tex>A_i</tex>

Если <tex>\varepsilon</tex> присутствовал в языке исходной грамматики, добавим новый начальный символ <tex>S'</tex> и правила <tex>S' \to S \, | \, \varepsilon </tex>.

После <tex>i</tex> итерации внешнего цикла в любой продукции внешнего цикла в любой продукции вида <tex>A_k \to A_l\alpha, k < i</tex>, должно быть <tex>l > k</tex>. В результате при следующей итерации внутреннего цикла растет нижний предел <tex>m</tex> всех продукций вида <tex>A_i \to A_m\alpha</tex> до тех пор, пока не будет достигнуто <tex>i \leqslant m </tex>.

После <tex>i</tex> итерации внешнего цикла в грамматике будут только правила вида <tex>A_i \to A_j\alpha</tex>, где <tex>j > i</tex>.
Можно заметить, что неравенство становится строгим только после применения алгоритма устранения непосредственной левой рекурсии. При этом добавляются новые нетерминалы. Пусть <tex>{A^\prime}_i </tex> новый нетерминал. Можно заметить, что нет правила вида <tex>\ldots \to {A^\prime}_i</tex>, где <tex>{A^\prime}_i</tex> самый левый нетерминал, а значит новые нетерминалы можно не рассматривать во внешнем цикле.

На <tex>i</tex> итерации внешнего цикла все правила вида <tex>A_i \to A_j \gamma</tex> где <tex> j заменяются на <tex>A_i \to \delta_1\gamma | \ldots | \delta_k\gamma</tex> где <tex>A_j \to \delta_1 | \ldots | \delta_k</tex>. Очевидно, что одна итерация алгоритма не меняет язык, а значит язык получившийся в итоге грамматики совпадает с исходным.

===Асимптотика===
Пусть <tex>a_i</tex> количество правил для нетерминала <tex>A_i</tex>.
Тогда <tex>i</tex> итерация внешнего цикла будет выполняться за <tex>O(\sum\limits_{A_i \to A_j, j < i} a_j) + O(a_i)</tex>, что меньше чем <tex>O(\sum\limits_{i=1}^n a_j)</tex>, значит асимптотика алгоритма <tex>O(n\sum\limits_{i=1}^n a_j)</tex>.

Проблема этого алгоритма в том, что в зависимости от порядка нетерминалов в множестве размер грамматки может получиться экспоненциальным.

Пример грамматики для которой имеет значение порядок нетерминалов

<tex>A_1 \to 0 | 1</tex>

<tex>A_{i+1} \to {A_i}0 | {A_i}1 </tex> для <tex>1 \leqslant i < n</tex>

Упорядочим множество нетерминалов по возрастанию индексов. Легко заметить, что правила для <tex>A_i</tex> будут представлять из себя все двоичные вектора длины <tex>i</tex>, а значит размер грамматики будет экспоненциальным. Если упорядочить нетерминалы по убыванию в грамматике изменений не будет.

==Пример==
Дана грамматика:

<tex>A \to S\alpha </tex>

<tex>S \to S\beta \mid A\gamma \mid \beta</tex>

Среди правил <tex>A</tex> непосредственной рекурсии нет, поэтому во время первой итерации внешнего цикла ничего не происходит.
Во время второй итерации внешнего цикла правило <tex> S \to A\gamma </tex> переходит в <tex> S \to S\alpha\gamma </tex>.

Грамматика имеет вид

<tex>A \to S\alpha </tex>

<tex>S \to{S}{\beta} | {S}{\alpha}{\gamma} | \beta</tex>

Устраняем левую рекурсию для <tex>S</tex>

<tex> S \to\beta{S_1}</tex>

<tex> {S_1} \to\beta{S_1} | \alpha\gamma{S_1} | {\beta} | {\alpha}{\gamma} </tex>

== См. также ==
* [[Контекстно-свободные_грамматики,_вывод,_лево-_и_правосторонний_вывод,_дерево_разбора|Контекстно-свободные грамматики]]
* [[Нормальная_форма_Хомского|Нормальная форма Хомского]]
* [[Удаление_eps-правил_из_грамматики | Удаления <tex> \varepsilon </tex>-правил из грамматики]]

== Источники информации ==
* ''Хопкрофт Д., Мотвани Р., Ульман Д.'' — '''Введение в теорию автоматов, языков и вычислений''', 2-е изд. : Пер. с англ. — Москва, Издательский дом «Вильямс», 2002. — 528 с. : ISBN 5-8459-0261-4 (рус.)
* ''Robert C. Moore'' — [http://aclweb.org/anthology-new/A/A00/A00-2033.pdf Removing Left Recursion from Context-Free Grammars ]

[[Категория: Теория формальных языков]]
[[Категория: Контекстно-свободные грамматики]]
[[Категория: Нормальные формы КС-грамматик]]

Устранение левой рекурсии

2016-01-17T13:30:11Z

KirillTim: как упорядочиваем

{{Определение
|definition=Говорят, что [[Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора|контекстно-свободная (КС) грамматика]] <tex>\Gamma</tex> содержит '''непосредственную левую рекурсию''' (англ. ''direct left recursion''), если она содержит правило вида <tex>A \to A\alpha</tex>.
}}
{{Определение
|definition=Говорят, что КС-грамматика <tex>\Gamma</tex> содержит '''левую рекурсию''' (англ. ''left recursion''), если в ней существует вывод вида <tex>A \Rightarrow^* A\alpha</tex>.
}}

== Постановка задачи ==
[[Методы трансляции#Нисходящий разбор|Методы нисходящего разбора]] не в состоянии работать с леворекурсивными грамматиками. Проблема в том, что продукция вида <tex>A \Rightarrow^* A\alpha</tex> может применяться бесконечно долго, так и не выработав некий терминальный символ, который можно было бы сравнить со строкой. Поэтому требуется преобразование грамматики, которое бы устранило левую рекурсию.

==Устранение непосредственной левой рекурсии==
Опишем процедуру, устраняющую все правила вида <tex>A \to A\alpha</tex>, для фиксированного нетерминала <tex>A</tex>.

<ol>
<li>Запишем все правила вывода из <tex>A</tex> в виде:
<tex>A \to A\alpha_1\,|\,\ldots\,|\,A\alpha_n\,|\,\beta_1\,|\,\ldots\,|\,\beta_m </tex>, где
<ul>
<li> <tex>\alpha</tex> {{---}} непустая последовательность терминалов и нетерминалов (<tex>\alpha \nrightarrow \varepsilon </tex>);</li>
<li> <tex>\beta</tex> {{---}} непустая последовательность терминалов и нетерминалов, не начинающаяся с <tex>A</tex>.</li>
</ul>
<li>Заменим правила вывода из <tex>A</tex> на <tex>A \to\beta_1A^\prime\, |\, \ldots\, |\, \beta_mA^\prime \,|\, \beta_1 \,|\, \ldots \,|\, \beta_m</tex>.</li>

<li>Создадим новый нетерминал <tex>{A^\prime} \to \alpha_1{A^\prime}, |\, \ldots\, |\, \alpha_n{A^\prime} | \alpha_1\, |\, \ldots\, |\, \alpha_n</tex>. </li>
</li>
</ol>

Изначально нетерминал <tex>A</tex> порождает сроки вида <tex>\beta\alpha_{i0}\alpha_{i1} \ldots \alpha_{ik}</tex>. В новой грамматике нетерминал <tex>A</tex> порождает <tex>\beta{A^\prime}</tex>, а <tex>A^\prime</tex> порождает строки вида <tex>\alpha_{i0}\alpha_{i1} \ldots \alpha_{ik}</tex>. Из этого очевидно, что изначальная грамматика эквивалентна новой.

===Пример===
<tex>A \to S\alpha | A\alpha</tex>

<tex>S \to A\beta</tex>

Есть непосредственная левая рекурсия <tex>A \to A\alpha</tex>. Добавим нетерминал <tex>A^\prime</tex> и добавим правила <tex>A \to S\alpha{A^{\prime}}</tex>, <tex> A^{\prime} \to \alpha{A^{\prime}} </tex>.

Новая грамматика:

<tex>A \to S\alpha{A^{\prime}} | S\alpha</tex>

<tex>A^{\prime} \to \alpha{A^{\prime}}</tex>

<tex>S \to A\beta</tex>

В новой грамматике нет непосредственной левой рекурсии, но нетерминал <tex>A</tex> леворекурсивен, так как есть <tex> A \Rightarrow S\alpha{A^{\prime}} \Rightarrow A\beta\alpha{A^{\prime}} </tex>

==Алгоритм устранения произвольной левой рекурсии==
Воспользуемся [[Удаление_eps-правил_из_грамматики | алгоритмом удаления <tex> \varepsilon </tex>-правил]]. Получим грамматику без <tex> \varepsilon </tex>-правил для языка <tex>L(\Gamma) \setminus \lbrace \varepsilon \rbrace</tex>.

Упорядочим нетерминалы, например лексикографически, и будем добиваться того, чтобы не было правил вида <tex>A_i \to A_j\alpha</tex>, где <tex>j \leqslant i</tex>.
Если данное условие выполняется для всех <tex>A_i</tex>, то в грамматике нет <tex>A_i \to^* A_i</tex>, а значит не будет левой рекурсии.

Пусть <tex>N = \lbrace A_1, A_2, \ldots , A_n \rbrace</tex> {{---}} упорядоченное множество всех нетерминалов.

'''for''' <tex>A_i \in N</tex>
'''for''' <tex>A_j \in \{ N \mid 1 \leqslant j 
'''for''' <tex>production \in \{A_i \to A_j\gamma \}</tex>
удалить <tex>production</tex> #production {{---}} правило вывода
'''for''' <tex>P \to x_i \in \{A_j \to \delta_1 | \ldots | \delta_k\}</tex>
добавить правило <tex>A_i \to x_i\gamma</tex>
устранить непосредственную левую рекурсию для <tex>A_i</tex>

Если <tex>\varepsilon</tex> присутствовал в языке исходной грамматики, добавим новый начальный символ <tex>S'</tex> и правила <tex>S' \to S \, | \, \varepsilon </tex>.

После <tex>i</tex> итерации внешнего цикла в любой продукции внешнего цикла в любой продукции вида <tex>A_k \to A_l\alpha, k < i</tex>, должно быть <tex>l > k</tex>. В результате при следующей итерации внутреннего цикла растет нижний предел <tex>m</tex> всех продукций вида <tex>A_i \to A_m\alpha</tex> до тех пор, пока не будет достигнуто <tex>i \leqslant m </tex>.

После <tex>i</tex> итерации внешнего цикла в грамматике будут только правила вида <tex>A_i \to A_j\alpha</tex>, где <tex>j > i</tex>.
Можно заметить, что неравенство становится строгим только после применения алгоритма устранения непосредственной левой рекурсии. При этом добавляются новые нетерминалы. Пусть <tex>{A^\prime}_i </tex> новый нетерминал. Можно заметить, что нет правила вида <tex>\ldots \to {A^\prime}_i</tex>, где <tex>{A^\prime}_i</tex> самый левый нетерминал, а значит новые нетерминалы можно не рассматривать во внешнем цикле.

На <tex>i</tex> итерации внешнего цикла все правила вида <tex>A_i \to A_j \gamma</tex> где <tex> j заменяются на <tex>A_i \to \delta_1\gamma | \ldots | \delta_k\gamma</tex> где <tex>A_j \to \delta_1 | \ldots | \delta_k</tex>. Очевидно, что одна итерация алгоритма не меняет язык, а значит язык получившийся в итоге грамматики совпадает с исходным.

===Асимптотика===
Пусть <tex>a_i</tex> количество правил для нетерминала <tex>A_i</tex>.
Тогда <tex>i</tex> итерация внешнего цикла будет выполняться за <tex>O(\sum\limits_{A_i \to A_j, j < i} a_j) + O(a_i)</tex>, что меньше чем <tex>O(\sum\limits_{i=1}^n a_j)</tex>, значит асимптотика алгоритма <tex>O(n\sum\limits_{i=1}^n a_j)</tex>.

Проблема этого алгоритма в том, что в зависимости от порядка нетерминалов в множестве размер грамматки может получиться экспоненциальным.

Пример грамматики для которой имеет значение порядок нетерминалов

<tex>A_1 \to 0 | 1</tex>

<tex>A_{i+1} \to {A_i}0 | {A_i}1 </tex> для <tex>1 \leqslant i < n</tex>

Упорядочим множество нетерминалов по возрастанию индексов. Легко заметить, что правила для <tex>A_i</tex> будут представлять из себя все двоичные вектора длины <tex>i</tex>, а значит размер грамматики будет экспоненциальным. Если упорядочить нетерминалы по убыванию в грамматике изменений не будет.

==Пример==
Дана грамматика:

<tex>A \to S\alpha </tex>

<tex>S \to S\beta \mid A\gamma \mid \beta</tex>

Среди правил <tex>A</tex> непосредственной рекурсии нет, поэтому во время первой итерации внешнего цикла ничего не происходит.
Во время второй итерации внешнего цикла правило <tex> S \to A\gamma </tex> переходит в <tex> S \to S\alpha\gamma </tex>.

Грамматика имеет вид

<tex>A \to S\alpha </tex>

<tex>S \to{S}{\beta} | {S}{\alpha}{\gamma} | \beta</tex>

Устраняем левую рекурсию для <tex>S</tex>

<tex> S \to\beta{S_1}</tex>

<tex> {S_1} \to\beta{S_1} | \alpha\gamma{S_1} | {\beta} | {\alpha}{\gamma} </tex>

== См. также ==
* [[Контекстно-свободные_грамматики,_вывод,_лево-_и_правосторонний_вывод,_дерево_разбора|Контекстно-свободные грамматики]]
* [[Нормальная_форма_Хомского|Нормальная форма Хомского]]
* [[Удаление_eps-правил_из_грамматики | Удаления <tex> \varepsilon </tex>-правил из грамматики]]

== Источники информации ==
* ''Хопкрофт Д., Мотвани Р., Ульман Д.'' — '''Введение в теорию автоматов, языков и вычислений''', 2-е изд. : Пер. с англ. — Москва, Издательский дом «Вильямс», 2002. — 528 с. : ISBN 5-8459-0261-4 (рус.)
* ''Robert C. Moore'' — [http://aclweb.org/anthology-new/A/A00/A00-2033.pdf Removing Left Recursion from Context-Free Grammars ]

[[Категория: Теория формальных языков]]
[[Категория: Контекстно-свободные грамматики]]
[[Категория: Нормальные формы КС-грамматик]]

Устранение левой рекурсии

2016-01-17T09:48:37Z

KirillTim: добавил комментарий к production

{{Определение
|definition=Говорят, что [[Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора|контекстно-свободная (КС) грамматика]] <tex>\Gamma</tex> содержит '''непосредственную левую рекурсию''' (англ. ''direct left recursion''), если она содержит правило вида <tex>A \to A\alpha</tex>.
}}
{{Определение
|definition=Говорят, что КС-грамматика <tex>\Gamma</tex> содержит '''левую рекурсию''' (англ. ''left recursion''), если в ней существует вывод вида <tex>A \Rightarrow^* A\alpha</tex>.
}}

== Постановка задачи ==
[[Методы трансляции#Нисходящий разбор|Методы нисходящего разбора]] не в состоянии работать с леворекурсивными грамматиками. Проблема в том, что продукция вида <tex>A \Rightarrow^* A\alpha</tex> может применяться бесконечно долго, так и не выработав некий терминальный символ, который можно было бы сравнить со строкой. Поэтому требуется преобразование грамматики, которое бы устранило левую рекурсию.

==Устранение непосредственной левой рекурсии==
Опишем процедуру, устраняющую все правила вида <tex>A \to A\alpha</tex>, для фиксированного нетерминала <tex>A</tex>.

<ol>
<li>Запишем все правила вывода из <tex>A</tex> в виде:
<tex>A \to A\alpha_1\,|\,\ldots\,|\,A\alpha_n\,|\,\beta_1\,|\,\ldots\,|\,\beta_m </tex>, где
<ul>
<li> <tex>\alpha</tex> {{---}} непустая последовательность терминалов и нетерминалов (<tex>\alpha \nrightarrow \varepsilon </tex>);</li>
<li> <tex>\beta</tex> {{---}} непустая последовательность терминалов и нетерминалов, не начинающаяся с <tex>A</tex>.</li>
</ul>
<li>Заменим правила вывода из <tex>A</tex> на <tex>A \to\beta_1A^\prime\, |\, \ldots\, |\, \beta_mA^\prime \,|\, \beta_1 \,|\, \ldots \,|\, \beta_m</tex>.</li>

<li>Создадим новый нетерминал <tex>{A^\prime} \to \alpha_1{A^\prime}, |\, \ldots\, |\, \alpha_n{A^\prime} | \alpha_1\, |\, \ldots\, |\, \alpha_n</tex>. </li>
</li>
</ol>

Изначально нетерминал <tex>A</tex> порождает сроки вида <tex>\beta\alpha_{i0}\alpha_{i1} \ldots \alpha_{ik}</tex>. В новой грамматике нетерминал <tex>A</tex> порождает <tex>\beta{A^\prime}</tex>, а <tex>A^\prime</tex> порождает строки вида <tex>\alpha_{i0}\alpha_{i1} \ldots \alpha_{ik}</tex>. Из этого очевидно, что изначальная грамматика эквивалентна новой.

===Пример===
<tex>A \to S\alpha | A\alpha</tex>

<tex>S \to A\beta</tex>

Есть непосредственная левая рекурсия <tex>A \to A\alpha</tex>. Добавим нетерминал <tex>A^\prime</tex> и добавим правила <tex>A \to S\alpha{A^{\prime}}</tex>, <tex> A^{\prime} \to \alpha{A^{\prime}} </tex>.

Новая грамматика:

<tex>A \to S\alpha{A^{\prime}} | S\alpha</tex>

<tex>A^{\prime} \to \alpha{A^{\prime}}</tex>

<tex>S \to A\beta</tex>

В новой грамматике нет непосредственной левой рекурсии, но нетерминал <tex>A</tex> леворекурсивен, так как есть <tex> A \Rightarrow S\alpha{A^{\prime}} \Rightarrow A\beta\alpha{A^{\prime}} </tex>

==Алгоритм устранения произвольной левой рекурсии==
Воспользуемся [[Удаление_eps-правил_из_грамматики | алгоритмом удаления <tex> \varepsilon </tex>-правил]]. Получим грамматику без <tex> \varepsilon </tex>-правил для языка <tex>L(\Gamma) \setminus \lbrace \varepsilon \rbrace</tex>.

Упорядочим нетерминалы и будем добиваться того, чтобы не было правил вида <tex>A_i \to A_j\alpha</tex>, где <tex>j \leqslant i</tex>.
Если данное условие выполняется для всех <tex>A_i</tex>, то в грамматике нет <tex>A_i \to^* A_i</tex>, а значит не будет левой рекурсии.

Пусть <tex>N = \lbrace A_1, A_2, \ldots , A_n \rbrace</tex> {{---}} упорядоченное множество всех нетерминалов.

'''for''' <tex>A_i \in N</tex>
'''for''' <tex>A_j \in \{ N \mid 1 \leqslant j 
'''for''' <tex>production \in \{A_i \to A_j\gamma \}</tex>
удалить <tex>production</tex> #production {{---}} правило вывода
'''for''' <tex>P \to x_i \in \{A_j \to \delta_1 | \ldots | \delta_k\}</tex>
добавить правило <tex>A_i \to x_i\gamma</tex>
устранить непосредственную левую рекурсию для <tex>A_i</tex>

Если <tex>\varepsilon</tex> присутствовал в языке исходной грамматики, добавим новый начальный символ <tex>S'</tex> и правила <tex>S' \to S \, | \, \varepsilon </tex>.

После <tex>i</tex> итерации внешнего цикла в любой продукции внешнего цикла в любой продукции вида <tex>A_k \to A_l\alpha, k < i</tex>, должно быть <tex>l > k</tex>. В результате при следующей итерации внутреннего цикла растет нижний предел <tex>m</tex> всех продукций вида <tex>A_i \to A_m\alpha</tex> до тех пор, пока не будет достигнуто <tex>i \leqslant m </tex>.

После <tex>i</tex> итерации внешнего цикла в грамматике будут только правила вида <tex>A_i \to A_j\alpha</tex>, где <tex>j > i</tex>.
Можно заметить, что неравенство становится строгим только после применения алгоритма устранения непосредственной левой рекурсии. При этом добавляются новые нетерминалы. Пусть <tex>{A^\prime}_i </tex> новый нетерминал. Можно заметить, что нет правила вида <tex>\ldots \to {A^\prime}_i</tex>, где <tex>{A^\prime}_i</tex> самый левый нетерминал, а значит новые нетерминалы можно не рассматривать во внешнем цикле.

На <tex>i</tex> итерации внешнего цикла все правила вида <tex>A_i \to A_j \gamma</tex> где <tex> j заменяются на <tex>A_i \to \delta_1\gamma | \ldots | \delta_k\gamma</tex> где <tex>A_j \to \delta_1 | \ldots | \delta_k</tex>. Очевидно, что одна итерация алгоритма не меняет язык, а значит язык получившийся в итоге грамматики совпадает с исходным.

===Асимптотика===
Пусть <tex>a_i</tex> количество правил для нетерминала <tex>A_i</tex>.
Тогда <tex>i</tex> итерация внешнего цикла будет выполняться за <tex>O(\sum\limits_{A_i \to A_j, j < i} a_j) + O(a_i)</tex>, что меньше чем <tex>O(\sum\limits_{i=1}^n a_j)</tex>, значит асимптотика алгоритма <tex>O(n\sum\limits_{i=1}^n a_j)</tex>.

Проблема этого алгоритма в том, что в зависимости от порядка нетерминалов в множестве размер грамматки может получиться экспоненциальным.

Пример грамматики для которой имеет значение порядок нетерминалов

<tex>A_1 \to 0 | 1</tex>

<tex>A_{i+1} \to {A_i}0 | {A_i}1 </tex> для <tex>1 \leqslant i < n</tex>

Упорядочим множество нетерминалов по возрастанию индексов. Легко заметить, что правила для <tex>A_i</tex> будут представлять из себя все двоичные вектора длины <tex>i</tex>, а значит размер грамматики будет экспоненциальным. Если упорядочить нетерминалы по убыванию в грамматике изменений не будет.

==Пример==
Дана грамматика:

<tex>A \to S\alpha </tex>

<tex>S \to S\beta \mid A\gamma \mid \beta</tex>

Среди правил <tex>A</tex> непосредственной рекурсии нет, поэтому во время первой итерации внешнего цикла ничего не происходит.
Во время второй итерации внешнего цикла правило <tex> S \to A\gamma </tex> переходит в <tex> S \to S\alpha\gamma </tex>.

Грамматика имеет вид

<tex>A \to S\alpha </tex>

<tex>S \to{S}{\beta} | {S}{\alpha}{\gamma} | \beta</tex>

Устраняем левую рекурсию для <tex>S</tex>

<tex> S \to\beta{S_1}</tex>

<tex> {S_1} \to\beta{S_1} | \alpha\gamma{S_1} | {\beta} | {\alpha}{\gamma} </tex>

== См. также ==
* [[Контекстно-свободные_грамматики,_вывод,_лево-_и_правосторонний_вывод,_дерево_разбора|Контекстно-свободные грамматики]]
* [[Нормальная_форма_Хомского|Нормальная форма Хомского]]
* [[Удаление_eps-правил_из_грамматики | Удаления <tex> \varepsilon </tex>-правил из грамматики]]

== Источники информации ==
* ''Хопкрофт Д., Мотвани Р., Ульман Д.'' — '''Введение в теорию автоматов, языков и вычислений''', 2-е изд. : Пер. с англ. — Москва, Издательский дом «Вильямс», 2002. — 528 с. : ISBN 5-8459-0261-4 (рус.)
* ''Robert C. Moore'' — [http://aclweb.org/anthology-new/A/A00/A00-2033.pdf Removing Left Recursion from Context-Free Grammars ]

[[Категория: Теория формальных языков]]
[[Категория: Контекстно-свободные грамматики]]
[[Категория: Нормальные формы КС-грамматик]]

Устранение левой рекурсии

2016-01-17T09:43:11Z

KirillTim: /* См. также */

{{Определение
|definition=Говорят, что [[Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора|контекстно-свободная (КС) грамматика]] <tex>\Gamma</tex> содержит '''непосредственную левую рекурсию''' (англ. ''direct left recursion''), если она содержит правило вида <tex>A \to A\alpha</tex>.
}}
{{Определение
|definition=Говорят, что КС-грамматика <tex>\Gamma</tex> содержит '''левую рекурсию''' (англ. ''left recursion''), если в ней существует вывод вида <tex>A \Rightarrow^* A\alpha</tex>.
}}

== Постановка задачи ==
[[Методы трансляции#Нисходящий разбор|Методы нисходящего разбора]] не в состоянии работать с леворекурсивными грамматиками. Проблема в том, что продукция вида <tex>A \Rightarrow^* A\alpha</tex> может применяться бесконечно долго, так и не выработав некий терминальный символ, который можно было бы сравнить со строкой. Поэтому требуется преобразование грамматики, которое бы устранило левую рекурсию.

==Устранение непосредственной левой рекурсии==
Опишем процедуру, устраняющую все правила вида <tex>A \to A\alpha</tex>, для фиксированного нетерминала <tex>A</tex>.

<ol>
<li>Запишем все правила вывода из <tex>A</tex> в виде:
<tex>A \to A\alpha_1\,|\,\ldots\,|\,A\alpha_n\,|\,\beta_1\,|\,\ldots\,|\,\beta_m </tex>, где
<ul>
<li> <tex>\alpha</tex> {{---}} непустая последовательность терминалов и нетерминалов (<tex>\alpha \nrightarrow \varepsilon </tex>);</li>
<li> <tex>\beta</tex> {{---}} непустая последовательность терминалов и нетерминалов, не начинающаяся с <tex>A</tex>.</li>
</ul>
<li>Заменим правила вывода из <tex>A</tex> на <tex>A \to\beta_1A^\prime\, |\, \ldots\, |\, \beta_mA^\prime \,|\, \beta_1 \,|\, \ldots \,|\, \beta_m</tex>.</li>

<li>Создадим новый нетерминал <tex>{A^\prime} \to \alpha_1{A^\prime}, |\, \ldots\, |\, \alpha_n{A^\prime} | \alpha_1\, |\, \ldots\, |\, \alpha_n</tex>. </li>
</li>
</ol>

Изначально нетерминал <tex>A</tex> порождает сроки вида <tex>\beta\alpha_{i0}\alpha_{i1} \ldots \alpha_{ik}</tex>. В новой грамматике нетерминал <tex>A</tex> порождает <tex>\beta{A^\prime}</tex>, а <tex>A^\prime</tex> порождает строки вида <tex>\alpha_{i0}\alpha_{i1} \ldots \alpha_{ik}</tex>. Из этого очевидно, что изначальная грамматика эквивалентна новой.

===Пример===
<tex>A \to S\alpha | A\alpha</tex>

<tex>S \to A\beta</tex>

Есть непосредственная левая рекурсия <tex>A \to A\alpha</tex>. Добавим нетерминал <tex>A^\prime</tex> и добавим правила <tex>A \to S\alpha{A^{\prime}}</tex>, <tex> A^{\prime} \to \alpha{A^{\prime}} </tex>.

Новая грамматика:

<tex>A \to S\alpha{A^{\prime}} | S\alpha</tex>

<tex>A^{\prime} \to \alpha{A^{\prime}}</tex>

<tex>S \to A\beta</tex>

В новой грамматике нет непосредственной левой рекурсии, но нетерминал <tex>A</tex> леворекурсивен, так как есть <tex> A \Rightarrow S\alpha{A^{\prime}} \Rightarrow A\beta\alpha{A^{\prime}} </tex>

==Алгоритм устранения произвольной левой рекурсии==
Воспользуемся [[Удаление_eps-правил_из_грамматики | алгоритмом удаления <tex> \varepsilon </tex>-правил]]. Получим грамматику без <tex> \varepsilon </tex>-правил для языка <tex>L(\Gamma) \setminus \lbrace \varepsilon \rbrace</tex>.

Упорядочим нетерминалы и будем добиваться того, чтобы не было правил вида <tex>A_i \to A_j\alpha</tex>, где <tex>j \leqslant i</tex>.
Если данное условие выполняется для всех <tex>A_i</tex>, то в грамматике нет <tex>A_i \to^* A_i</tex>, а значит не будет левой рекурсии.

Пусть <tex>N = \lbrace A_1, A_2, \ldots , A_n \rbrace</tex> {{---}} упорядоченное множество всех нетерминалов.

'''for''' <tex>A_i \in N</tex>
'''for''' <tex>A_j \in \{ N \mid 1 \leqslant j 
'''for''' <tex>production \in \{A_i \to A_j\gamma \}</tex>
удалить <tex>production</tex>
'''for''' <tex>P \to x_i \in \{A_j \to \delta_1 | \ldots | \delta_k\}</tex>
добавить правило <tex>A_i \to x_i\gamma</tex>
устранить непосредственную левую рекурсию для <tex>A_i</tex>

Если <tex>\varepsilon</tex> присутствовал в языке исходной грамматики, добавим новый начальный символ <tex>S'</tex> и правила <tex>S' \to S \, | \, \varepsilon </tex>.

После <tex>i</tex> итерации внешнего цикла в любой продукции внешнего цикла в любой продукции вида <tex>A_k \to A_l\alpha, k < i</tex>, должно быть <tex>l > k</tex>. В результате при следующей итерации внутреннего цикла растет нижний предел <tex>m</tex> всех продукций вида <tex>A_i \to A_m\alpha</tex> до тех пор, пока не будет достигнуто <tex>i \leqslant m </tex>.

После <tex>i</tex> итерации внешнего цикла в грамматике будут только правила вида <tex>A_i \to A_j\alpha</tex>, где <tex>j > i</tex>.
Можно заметить, что неравенство становится строгим только после применения алгоритма устранения непосредственной левой рекурсии. При этом добавляются новые нетерминалы. Пусть <tex>{A^\prime}_i </tex> новый нетерминал. Можно заметить, что нет правила вида <tex>\ldots \to {A^\prime}_i</tex>, где <tex>{A^\prime}_i</tex> самый левый нетерминал, а значит новые нетерминалы можно не рассматривать во внешнем цикле.

На <tex>i</tex> итерации внешнего цикла все правила вида <tex>A_i \to A_j \gamma</tex> где <tex> j заменяются на <tex>A_i \to \delta_1\gamma | \ldots | \delta_k\gamma</tex> где <tex>A_j \to \delta_1 | \ldots | \delta_k</tex>. Очевидно, что одна итерация алгоритма не меняет язык, а значит язык получившийся в итоге грамматики совпадает с исходным.

===Асимптотика===
Пусть <tex>a_i</tex> количество правил для нетерминала <tex>A_i</tex>.
Тогда <tex>i</tex> итерация внешнего цикла будет выполняться за <tex>O(\sum\limits_{A_i \to A_j, j < i} a_j) + O(a_i)</tex>, что меньше чем <tex>O(\sum\limits_{i=1}^n a_j)</tex>, значит асимптотика алгоритма <tex>O(n\sum\limits_{i=1}^n a_j)</tex>.

Проблема этого алгоритма в том, что в зависимости от порядка нетерминалов в множестве размер грамматки может получиться экспоненциальным.

Пример грамматики для которой имеет значение порядок нетерминалов

<tex>A_1 \to 0 | 1</tex>

<tex>A_{i+1} \to {A_i}0 | {A_i}1 </tex> для <tex>1 \leqslant i < n</tex>

Упорядочим множество нетерминалов по возрастанию индексов. Легко заметить, что правила для <tex>A_i</tex> будут представлять из себя все двоичные вектора длины <tex>i</tex>, а значит размер грамматики будет экспоненциальным. Если упорядочить нетерминалы по убыванию в грамматике изменений не будет.

==Пример==
Дана грамматика:

<tex>A \to S\alpha </tex>

<tex>S \to S\beta \mid A\gamma \mid \beta</tex>

Среди правил <tex>A</tex> непосредственной рекурсии нет, поэтому во время первой итерации внешнего цикла ничего не происходит.
Во время второй итерации внешнего цикла правило <tex> S \to A\gamma </tex> переходит в <tex> S \to S\alpha\gamma </tex>.

Грамматика имеет вид

<tex>A \to S\alpha </tex>

<tex>S \to{S}{\beta} | {S}{\alpha}{\gamma} | \beta</tex>

Устраняем левую рекурсию для <tex>S</tex>

<tex> S \to\beta{S_1}</tex>

<tex> {S_1} \to\beta{S_1} | \alpha\gamma{S_1} | {\beta} | {\alpha}{\gamma} </tex>

== См. также ==
* [[Контекстно-свободные_грамматики,_вывод,_лево-_и_правосторонний_вывод,_дерево_разбора|Контекстно-свободные грамматики]]
* [[Нормальная_форма_Хомского|Нормальная форма Хомского]]
* [[Удаление_eps-правил_из_грамматики | Удаления <tex> \varepsilon </tex>-правил из грамматики]]

== Источники информации ==
* ''Хопкрофт Д., Мотвани Р., Ульман Д.'' — '''Введение в теорию автоматов, языков и вычислений''', 2-е изд. : Пер. с англ. — Москва, Издательский дом «Вильямс», 2002. — 528 с. : ISBN 5-8459-0261-4 (рус.)
* ''Robert C. Moore'' — [http://aclweb.org/anthology-new/A/A00/A00-2033.pdf Removing Left Recursion from Context-Free Grammars ]

[[Категория: Теория формальных языков]]
[[Категория: Контекстно-свободные грамматики]]
[[Категория: Нормальные формы КС-грамматик]]

Устранение левой рекурсии

2016-01-17T09:41:58Z

KirillTim: добавил см. также

{{Определение
|definition=Говорят, что [[Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора|контекстно-свободная (КС) грамматика]] <tex>\Gamma</tex> содержит '''непосредственную левую рекурсию''' (англ. ''direct left recursion''), если она содержит правило вида <tex>A \to A\alpha</tex>.
}}
{{Определение
|definition=Говорят, что КС-грамматика <tex>\Gamma</tex> содержит '''левую рекурсию''' (англ. ''left recursion''), если в ней существует вывод вида <tex>A \Rightarrow^* A\alpha</tex>.
}}

== Постановка задачи ==
[[Методы трансляции#Нисходящий разбор|Методы нисходящего разбора]] не в состоянии работать с леворекурсивными грамматиками. Проблема в том, что продукция вида <tex>A \Rightarrow^* A\alpha</tex> может применяться бесконечно долго, так и не выработав некий терминальный символ, который можно было бы сравнить со строкой. Поэтому требуется преобразование грамматики, которое бы устранило левую рекурсию.

==Устранение непосредственной левой рекурсии==
Опишем процедуру, устраняющую все правила вида <tex>A \to A\alpha</tex>, для фиксированного нетерминала <tex>A</tex>.

<ol>
<li>Запишем все правила вывода из <tex>A</tex> в виде:
<tex>A \to A\alpha_1\,|\,\ldots\,|\,A\alpha_n\,|\,\beta_1\,|\,\ldots\,|\,\beta_m </tex>, где
<ul>
<li> <tex>\alpha</tex> {{---}} непустая последовательность терминалов и нетерминалов (<tex>\alpha \nrightarrow \varepsilon </tex>);</li>
<li> <tex>\beta</tex> {{---}} непустая последовательность терминалов и нетерминалов, не начинающаяся с <tex>A</tex>.</li>
</ul>
<li>Заменим правила вывода из <tex>A</tex> на <tex>A \to\beta_1A^\prime\, |\, \ldots\, |\, \beta_mA^\prime \,|\, \beta_1 \,|\, \ldots \,|\, \beta_m</tex>.</li>

<li>Создадим новый нетерминал <tex>{A^\prime} \to \alpha_1{A^\prime}, |\, \ldots\, |\, \alpha_n{A^\prime} | \alpha_1\, |\, \ldots\, |\, \alpha_n</tex>. </li>
</li>
</ol>

Изначально нетерминал <tex>A</tex> порождает сроки вида <tex>\beta\alpha_{i0}\alpha_{i1} \ldots \alpha_{ik}</tex>. В новой грамматике нетерминал <tex>A</tex> порождает <tex>\beta{A^\prime}</tex>, а <tex>A^\prime</tex> порождает строки вида <tex>\alpha_{i0}\alpha_{i1} \ldots \alpha_{ik}</tex>. Из этого очевидно, что изначальная грамматика эквивалентна новой.

===Пример===
<tex>A \to S\alpha | A\alpha</tex>

<tex>S \to A\beta</tex>

Есть непосредственная левая рекурсия <tex>A \to A\alpha</tex>. Добавим нетерминал <tex>A^\prime</tex> и добавим правила <tex>A \to S\alpha{A^{\prime}}</tex>, <tex> A^{\prime} \to \alpha{A^{\prime}} </tex>.

Новая грамматика:

<tex>A \to S\alpha{A^{\prime}} | S\alpha</tex>

<tex>A^{\prime} \to \alpha{A^{\prime}}</tex>

<tex>S \to A\beta</tex>

В новой грамматике нет непосредственной левой рекурсии, но нетерминал <tex>A</tex> леворекурсивен, так как есть <tex> A \Rightarrow S\alpha{A^{\prime}} \Rightarrow A\beta\alpha{A^{\prime}} </tex>

==Алгоритм устранения произвольной левой рекурсии==
Воспользуемся [[Удаление_eps-правил_из_грамматики | алгоритмом удаления <tex> \varepsilon </tex>-правил]]. Получим грамматику без <tex> \varepsilon </tex>-правил для языка <tex>L(\Gamma) \setminus \lbrace \varepsilon \rbrace</tex>.

Упорядочим нетерминалы и будем добиваться того, чтобы не было правил вида <tex>A_i \to A_j\alpha</tex>, где <tex>j \leqslant i</tex>.
Если данное условие выполняется для всех <tex>A_i</tex>, то в грамматике нет <tex>A_i \to^* A_i</tex>, а значит не будет левой рекурсии.

Пусть <tex>N = \lbrace A_1, A_2, \ldots , A_n \rbrace</tex> {{---}} упорядоченное множество всех нетерминалов.

'''for''' <tex>A_i \in N</tex>
'''for''' <tex>A_j \in \{ N \mid 1 \leqslant j 
'''for''' <tex>production \in \{A_i \to A_j\gamma \}</tex>
удалить <tex>production</tex>
'''for''' <tex>P \to x_i \in \{A_j \to \delta_1 | \ldots | \delta_k\}</tex>
добавить правило <tex>A_i \to x_i\gamma</tex>
устранить непосредственную левую рекурсию для <tex>A_i</tex>

Если <tex>\varepsilon</tex> присутствовал в языке исходной грамматики, добавим новый начальный символ <tex>S'</tex> и правила <tex>S' \to S \, | \, \varepsilon </tex>.

После <tex>i</tex> итерации внешнего цикла в любой продукции внешнего цикла в любой продукции вида <tex>A_k \to A_l\alpha, k < i</tex>, должно быть <tex>l > k</tex>. В результате при следующей итерации внутреннего цикла растет нижний предел <tex>m</tex> всех продукций вида <tex>A_i \to A_m\alpha</tex> до тех пор, пока не будет достигнуто <tex>i \leqslant m </tex>.

После <tex>i</tex> итерации внешнего цикла в грамматике будут только правила вида <tex>A_i \to A_j\alpha</tex>, где <tex>j > i</tex>.
Можно заметить, что неравенство становится строгим только после применения алгоритма устранения непосредственной левой рекурсии. При этом добавляются новые нетерминалы. Пусть <tex>{A^\prime}_i </tex> новый нетерминал. Можно заметить, что нет правила вида <tex>\ldots \to {A^\prime}_i</tex>, где <tex>{A^\prime}_i</tex> самый левый нетерминал, а значит новые нетерминалы можно не рассматривать во внешнем цикле.

На <tex>i</tex> итерации внешнего цикла все правила вида <tex>A_i \to A_j \gamma</tex> где <tex> j заменяются на <tex>A_i \to \delta_1\gamma | \ldots | \delta_k\gamma</tex> где <tex>A_j \to \delta_1 | \ldots | \delta_k</tex>. Очевидно, что одна итерация алгоритма не меняет язык, а значит язык получившийся в итоге грамматики совпадает с исходным.

===Асимптотика===
Пусть <tex>a_i</tex> количество правил для нетерминала <tex>A_i</tex>.
Тогда <tex>i</tex> итерация внешнего цикла будет выполняться за <tex>O(\sum\limits_{A_i \to A_j, j < i} a_j) + O(a_i)</tex>, что меньше чем <tex>O(\sum\limits_{i=1}^n a_j)</tex>, значит асимптотика алгоритма <tex>O(n\sum\limits_{i=1}^n a_j)</tex>.

Проблема этого алгоритма в том, что в зависимости от порядка нетерминалов в множестве размер грамматки может получиться экспоненциальным.

Пример грамматики для которой имеет значение порядок нетерминалов

<tex>A_1 \to 0 | 1</tex>

<tex>A_{i+1} \to {A_i}0 | {A_i}1 </tex> для <tex>1 \leqslant i < n</tex>

Упорядочим множество нетерминалов по возрастанию индексов. Легко заметить, что правила для <tex>A_i</tex> будут представлять из себя все двоичные вектора длины <tex>i</tex>, а значит размер грамматики будет экспоненциальным. Если упорядочить нетерминалы по убыванию в грамматике изменений не будет.

==Пример==
Дана грамматика:

<tex>A \to S\alpha </tex>

<tex>S \to S\beta \mid A\gamma \mid \beta</tex>

Среди правил <tex>A</tex> непосредственной рекурсии нет, поэтому во время первой итерации внешнего цикла ничего не происходит.
Во время второй итерации внешнего цикла правило <tex> S \to A\gamma </tex> переходит в <tex> S \to S\alpha\gamma </tex>.

Грамматика имеет вид

<tex>A \to S\alpha </tex>

<tex>S \to{S}{\beta} | {S}{\alpha}{\gamma} | \beta</tex>

Устраняем левую рекурсию для <tex>S</tex>

<tex> S \to\beta{S_1}</tex>

<tex> {S_1} \to\beta{S_1} | \alpha\gamma{S_1} | {\beta} | {\alpha}{\gamma} </tex>

== См. также ==
* [[Контекстно-свободные_грамматики,_вывод,_лево-_и_правосторонний_вывод,_дерево_разбора|Контекстно-свободные грамматики]]
* [[Нормальная_форма_Хомского|Нормальная форма Хомского]]
* [[Удаление_eps-правил_из_грамматики | Удаления <tex> \varepsilon </tex>-правил из грамматики]]
* [[Методы трансляции#Нисходящий разбор|Методы нисходящего разбора]]

== Источники информации ==
* ''Хопкрофт Д., Мотвани Р., Ульман Д.'' — '''Введение в теорию автоматов, языков и вычислений''', 2-е изд. : Пер. с англ. — Москва, Издательский дом «Вильямс», 2002. — 528 с. : ISBN 5-8459-0261-4 (рус.)
* ''Robert C. Moore'' — [http://aclweb.org/anthology-new/A/A00/A00-2033.pdf Removing Left Recursion from Context-Free Grammars ]

[[Категория: Теория формальных языков]]
[[Категория: Контекстно-свободные грамматики]]
[[Категория: Нормальные формы КС-грамматик]]

Устранение левой рекурсии

2016-01-17T09:33:02Z

KirillTim: много мелких правок

{{Определение
|definition=Говорят, что [[Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора|контекстно-свободная (КС) грамматика]] <tex>\Gamma</tex> содержит '''непосредственную левую рекурсию''' (англ. ''direct left recursion''), если она содержит правило вида <tex>A \to A\alpha</tex>.
}}
{{Определение
|definition=Говорят, что КС-грамматика <tex>\Gamma</tex> содержит '''левую рекурсию''' (англ. ''left recursion''), если в ней существует вывод вида <tex>A \Rightarrow^* A\alpha</tex>.
}}

== Постановка задачи ==
[[Методы трансляции#Нисходящий разбор|Методы нисходящего разбора]] не в состоянии работать с леворекурсивными грамматиками. Проблема в том, что продукция вида <tex>A \Rightarrow^* A\alpha</tex> может применяться бесконечно долго, так и не выработав некий терминальный символ, который можно было бы сравнить со строкой. Поэтому требуется преобразование грамматики, которое бы устранило левую рекурсию.

==Устранение непосредственной левой рекурсии==
Опишем процедуру, устраняющую все правила вида <tex>A \to A\alpha</tex>, для фиксированного нетерминала <tex>A</tex>.

<ol>
<li>Запишем все правила вывода из <tex>A</tex> в виде:
<tex>A \to A\alpha_1\,|\,\ldots\,|\,A\alpha_n\,|\,\beta_1\,|\,\ldots\,|\,\beta_m </tex>, где
<ul>
<li> <tex>\alpha</tex> {{---}} непустая последовательность терминалов и нетерминалов (<tex>\alpha \nrightarrow \varepsilon </tex>);</li>
<li> <tex>\beta</tex> {{---}} непустая последовательность терминалов и нетерминалов, не начинающаяся с <tex>A</tex>.</li>
</ul>
<li>Заменим правила вывода из <tex>A</tex> на <tex>A \to\beta_1A^\prime\, |\, \ldots\, |\, \beta_mA^\prime \,|\, \beta_1 \,|\, \ldots \,|\, \beta_m</tex>.</li>

<li>Создадим новый нетерминал <tex>{A^\prime} \to \alpha_1{A^\prime}, |\, \ldots\, |\, \alpha_n{A^\prime} | \alpha_1\, |\, \ldots\, |\, \alpha_n</tex>. </li>
</li>
</ol>

Изначально нетерминал <tex>A</tex> порождает сроки вида <tex>\beta\alpha_{i0}\alpha_{i1} \ldots \alpha_{ik}</tex>. В новой грамматике нетерминал <tex>A</tex> порождает <tex>\beta{A^\prime}</tex>, а <tex>A^\prime</tex> порождает строки вида <tex>\alpha_{i0}\alpha_{i1} \ldots \alpha_{ik}</tex>. Из этого очевидно, что изначальная грамматика эквивалентна новой.

===Пример===
<tex>A \to S\alpha | A\alpha</tex>

<tex>S \to A\beta</tex>

Есть непосредственная левая рекурсия <tex>A \to A\alpha</tex>. Добавим нетерминал <tex>A^\prime</tex> и добавим правила <tex>A \to S\alpha{A^{\prime}}</tex>, <tex> A^{\prime} \to \alpha{A^{\prime}} </tex>.

Новая грамматика:

<tex>A \to S\alpha{A^{\prime}} | S\alpha</tex>

<tex>A^{\prime} \to \alpha{A^{\prime}}</tex>

<tex>S \to A\beta</tex>

В новой грамматике нет непосредственной левой рекурсии, но нетерминал <tex>A</tex> леворекурсивен, так как есть <tex> A \Rightarrow S\alpha{A^{\prime}} \Rightarrow A\beta\alpha{A^{\prime}} </tex>

==Алгоритм устранения произвольной левой рекурсии==
Воспользуемся [[Удаление_eps-правил_из_грамматики | алгоритмом удаления <tex> \varepsilon </tex>-правил]]. Получим грамматику без <tex> \varepsilon </tex>-правил для языка <tex>L(\Gamma) \setminus \lbrace \varepsilon \rbrace</tex>.

Упорядочим нетерминалы и будем добиваться того, чтобы не было правил вида <tex>A_i \to A_j\alpha</tex>, где <tex>j \leqslant i</tex>.
Если данное условие выполняется для всех <tex>A_i</tex>, то в грамматике нет <tex>A_i \to^* A_i</tex>, а значит не будет левой рекурсии.

Пусть <tex>N = \lbrace A_1, A_2, \ldots , A_n \rbrace</tex> {{---}} упорядоченное множество всех нетерминалов.

'''for''' <tex>A_i \in N</tex>
'''for''' <tex>A_j \in \{ N \mid 1 \leqslant j 
'''for''' <tex>production \in \{A_i \to A_j\gamma \}</tex>
удалить <tex>production</tex>
'''for''' <tex>P \to x_i \in \{A_j \to \delta_1 | \ldots | \delta_k\}</tex>
добавить правило <tex>A_i \to x_i\gamma</tex>
устранить непосредственную левую рекурсию для <tex>A_i</tex>

Если <tex>\varepsilon</tex> присутствовал в языке исходной грамматики, добавим новый начальный символ <tex>S'</tex> и правила <tex>S' \to S \, | \, \varepsilon </tex>.

После <tex>i</tex> итерации внешнего цикла в любой продукции внешнего цикла в любой продукции вида <tex>A_k \to A_l\alpha, k < i</tex>, должно быть <tex>l > k</tex>. В результате при следующей итерации внутреннего цикла растет нижний предел <tex>m</tex> всех продукций вида <tex>A_i \to A_m\alpha</tex> до тех пор, пока не будет достигнуто <tex>i \leqslant m </tex>.

После <tex>i</tex> итерации внешнего цикла в грамматике будут только правила вида <tex>A_i \to A_j\alpha</tex>, где <tex>j > i</tex>.
Можно заметить, что неравенство становится строгим только после применения алгоритма устранения непосредственной левой рекурсии. При этом добавляются новые нетерминалы. Пусть <tex>{A^\prime}_i </tex> новый нетерминал. Можно заметить, что нет правила вида <tex>\ldots \to {A^\prime}_i</tex>, где <tex>{A^\prime}_i</tex> самый левый нетерминал, а значит новые нетерминалы можно не рассматривать во внешнем цикле.

На <tex>i</tex> итерации внешнего цикла все правила вида <tex>A_i \to A_j \gamma</tex> где <tex> j заменяются на <tex>A_i \to \delta_1\gamma | \ldots | \delta_k\gamma</tex> где <tex>A_j \to \delta_1 | \ldots | \delta_k</tex>. Очевидно, что одна итерация алгоритма не меняет язык, а значит язык получившийся в итоге грамматики совпадает с исходным.

===Асимптотика===
Пусть <tex>a_i</tex> количество правил для нетерминала <tex>A_i</tex>.
Тогда <tex>i</tex> итерация внешнего цикла будет выполняться за <tex>O(\sum\limits_{A_i \to A_j, j < i} a_j) + O(a_i)</tex>, что меньше чем <tex>O(\sum\limits_{i=1}^n a_j)</tex>, значит асимптотика алгоритма <tex>O(n\sum\limits_{i=1}^n a_j)</tex>.

Проблема этого алгоритма в том, что в зависимости от порядка нетерминалов в множестве размер грамматки может получиться экспоненциальным.

Пример грамматики для которой имеет значение порядок нетерминалов

<tex>A_1 \to 0 | 1</tex>

<tex>A_{i+1} \to {A_i}0 | {A_i}1 </tex> для <tex>1 \leqslant i < n</tex>

Упорядочим множество нетерминалов по возрастанию индексов. Легко заметить, что правила для <tex>A_i</tex> будут представлять из себя все двоичные вектора длины <tex>i</tex>, а значит размер грамматики будет экспоненциальным. Если упорядочить нетерминалы по убыванию в грамматике изменений не будет.

==Пример==
Дана грамматика:

<tex>A \to S\alpha </tex>

<tex>S \to S\beta \mid A\gamma \mid \beta</tex>

Среди правил <tex>A</tex> непосредственной рекурсии нет, поэтому во время первой итерации внешнего цикла ничего не происходит.
Во время второй итерации внешнего цикла правило <tex> S \to A\gamma </tex> переходит в <tex> S \to S\alpha\gamma </tex>.

Грамматика имеет вид

<tex>A \to S\alpha </tex>

<tex>S \to{S}{\beta} | {S}{\alpha}{\gamma} | \beta</tex>

Устраняем левую рекурсию для <tex>S</tex>

<tex> S \to\beta{S_1}</tex>

<tex> {S_1} \to\beta{S_1} | \alpha\gamma{S_1} | {\beta} | {\alpha}{\gamma} </tex>

== Источники информации ==
* ''Хопкрофт Д., Мотвани Р., Ульман Д.'' — '''Введение в теорию автоматов, языков и вычислений''', 2-е изд. : Пер. с англ. — Москва, Издательский дом «Вильямс», 2002. — 528 с. : ISBN 5-8459-0261-4 (рус.)
* ''Robert C. Moore'' — [http://aclweb.org/anthology-new/A/A00/A00-2033.pdf Removing Left Recursion from Context-Free Grammars ]

[[Категория: Теория формальных языков]]
[[Категория: Контекстно-свободные грамматики]]
[[Категория: Нормальные формы КС-грамматик]]

Устранение левой рекурсии

2016-01-17T08:57:15Z

KirillTim: /* Источники информации */ Добавил категорию

{{Определение
|definition=Говорят, что [[Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора|контекстно-свободная (КС) грамматика]] <tex>\Gamma</tex> содержит '''непосредственную левую рекурсию''' (англ. ''direct left recursion''), если она содержит правило вида <tex>A \to A\alpha</tex>.
}}
{{Определение
|definition=Говорят, что КС-грамматика <tex>\Gamma</tex> содержит '''левую рекурсию''' (англ. ''left recursion''), если в ней существует вывод вида <tex>A \Rightarrow^* A\alpha</tex>.
}}

[[Методы трансляции#Нисходящий разбор|Методы нисходящего разбора]] (англ. ''top-down parsers'') не в состоянии работать с леворекурсивными грамматиками. Проблема в том, что продукция вида <tex>A \Rightarrow^* A\alpha</tex> может применяться бесконечно долго, так и не выработав некий терминальный символ, который можно было бы сравнить со строкой. Поэтому требуется преобразование грамматики, которое бы устранило левую рекурсию.

==Устранение непосредственной левой рекурсии==
Опишем процедуру, устраняющую все правила вида <tex>A \to A\alpha</tex>, для фиксированного нетерминала <tex>A</tex>.

<ol>
<li>Запишем все правила вывода из <tex>A</tex> в виде:
<tex>A \to A\alpha_1\,|\,\ldots\,|\,A\alpha_n\,|\,\beta_1\,|\,\ldots\,|\,\beta_m </tex>, где
<ul>
<li> <tex>\alpha</tex> {{---}} непустая последовательность терминалов и нетерминалов (<tex>\alpha \nrightarrow \varepsilon </tex>);</li>
<li> <tex>\beta</tex> {{---}} непустая последовательность терминалов и нетерминалов, не начинающаяся с <tex>A</tex>.</li>
</ul>
<li>Заменим правила вывода из <tex>A</tex> на <tex>A \to\beta_1A^\prime\, |\, \ldots\, |\, \beta_mA^\prime \,|\, \beta_1 \,|\, \ldots \,|\, \beta_m</tex>.</li>

<li>Создадим новый нетерминал <tex>{A^\prime} \to \alpha_1{A^\prime}, |\, \ldots\, |\, \alpha_n{A^\prime} | \alpha_1\, |\, \ldots\, |\, \alpha_n</tex>. </li>
</li>
</ol>

Изначально нетерминал <tex>A</tex> порождает сроки вида <tex>\beta\alpha_{i0}\alpha_{i1} \ldots \alpha_{ik}</tex>. В новой грамматике нетерминал <tex>A</tex> порождает <tex>\beta{A^\prime}</tex>, а <tex>A^\prime</tex> порождает строки вида <tex>\alpha_{i0}\alpha_{i1} \ldots \alpha_{ik}</tex>. Из этого очевидно, что изначальная грамматика эквивалентна новой.

===Пример===
<tex>A \to S\alpha | A\alpha</tex>

<tex>S \to A\beta</tex>

Есть непосредственная левая рекурсия <tex>A \to A\alpha</tex>. Добавим нетерминал <tex>A^\prime</tex> и добавим правила <tex>A \to S\alpha{A^{\prime}}</tex>, <tex> A^{\prime} \to \alpha{A^{\prime}} </tex>.

Новая грамматика:

<tex>A \to S\alpha{A^{\prime}} | S\alpha</tex>

<tex>A^{\prime} \to \alpha{A^{\prime}}</tex>

<tex>S \to A\beta</tex>

В новой грамматике нет непосредственной левой рекурсии, но нетерминал <tex>A</tex> леворекурсивен, так как есть <tex> A \Rightarrow S\alpha{A^{\prime}} \Rightarrow A\beta\alpha{A^{\prime}} </tex>

==Алгоритм устранения произвольной левой рекурсии==
Воспользуемся [[Удаление_eps-правил_из_грамматики | алгоритмом удаления <tex> \varepsilon </tex>-правил]]. Получим грамматику без <tex> \varepsilon </tex>-правил для языка <tex>L(\Gamma) \setminus \lbrace \epsilon \rbrace</tex>.

Упорядочим нетерминалы и будем добиваться того, чтобы не было правил вида <tex>A_i \to A_j\alpha</tex>, где <tex>j \leqslant i</tex>.
Если данное условие выполняется для всех<tex>A_i</tex>, то в грамматике нет <tex>A_i \to^* A_i</tex>, а значит не будет левой рекурсии.

Пусть <tex>N = \lbrace A_1, A_2, \ldots , A_n \rbrace</tex> {{---}} упорядоченное множество всех нетерминалов.

<div>
for <tex>A_i \in N</tex>
for <tex>A_j \in \{ N \mid 1 \leqslant j 
for <tex>production \in \{A_i \to A_j\gamma \}</tex>
удалить <tex>production</tex>
for <tex>P \to x_i \in \{A_j \to \delta_1 | \ldots | \delta_k\}</tex>
добавить правило <tex>A_i \to x_i\gamma</tex>
устранить непосредственную левую рекурсию для <tex>A_i</tex>.
</div>

Если <tex>\varepsilon</tex> присутствовал в языке исходной грамматики, добавим новый начальный символ <tex>S'</tex> и правила <tex>S' \to S \, | \, \varepsilon </tex>.

После <tex>i</tex> итерации внешнего цикла в любой продукции внешнего цикла в любой продукции вида <tex>A_k \to A_l\alpha, k < i</tex>, должно быть <tex>l > k</tex>. В результате при следующей итерации внутреннего цикла растет нижний предел <tex>m</tex> всех продукций вида <tex>A_i \to A_m\alpha</tex> до тех пор, пока не будет достигнуто <tex>i \leqslant m </tex>.

После <tex>i</tex> итерации внешнего цикла в грамматике будут только правила вида <tex>A_i \to A_j\alpha</tex>, где <tex>j > i</tex>.
Можно заметить, что неравенство становится строгим только после применения алгоритма устранения непосредственной левой рекурсии. При этом добавляются новые нетерминалы. Пусть <tex>{A^\prime}_i </tex> новый нетерминал. Можно заметить, что нет правила вида <tex>\ldots \to {A^\prime}_i</tex>, где <tex>{A^\prime}_i</tex> самый левый нетерминал, а значит новые нетерминалы можно не рассматривать во внешнем цикле.

На <tex>i</tex> итерации внешнего цикла все правила вида <tex>A_i \to A_j \gamma</tex> где <tex> j заменяются на <tex>A_i \to \delta_1\gamma | \ldots | \delta_k\gamma</tex> где <tex>A_j \to \delta_1 | \ldots | \delta_k</tex>. Очевидно, что одна итерация алгоритма не меняет язык, а значит язык получившийся в итоге грамматики совпадает с исходным.

===Асимптотика===
Пусть <tex>a_i</tex> количество правил для нетерминала <tex>A_i</tex>.
Тогда <tex>i</tex> итерация внешнего цикла будет выполняться за <tex>O(\sum\limits_{A_i \to A_j, j < i} a_j) + O(a_i)</tex>, что меньше чем <tex>O(\sum\limits_{i=1}^n a_j)</tex>, значит асимптотика алгоритма <tex>O(n\sum\limits_{i=1}^n a_j)</tex>.

Проблема этого алгоритма в том, что в зависимости от порядка нетерминалов в множестве размер грамматки может получиться экспоненциальным.

Пример грамматики для которой имеет значение порядок нетерминалов

<tex>A_1 \to 0 | 1</tex>

<tex>A_{i+1} \to {A_i}0 | {A_i}1 </tex> для <tex>1 \leqslant i < n</tex>

Упорядочим множество нетерминалов по возрастанию индексов. Легко заметить, что правила для <tex>A_i</tex> будут представлять из себя все двоичные вектора длины <tex>i</tex>, а значит размер грамматики будет экспоненциальным. Если упорядочить нетерминалы по убыванию в грамматике изменений не будет.

==Пример==
Дана грамматика

<tex>A \to S\alpha </tex>

<tex>S \to S\beta | A\gamma | \beta</tex>

Среди правил <tex>A</tex> непосредственной рекурсии нет, поэтому во время первой итерации внешнего цикла ничего не происходит.
Во время второй итерации внешнего цикла правило <tex> S \to A\gamma </tex> переходит в <tex> S \to S\alpha\gamma </tex>.

Грамматика имеет вид

<tex>A \to S\alpha </tex>

<tex>S \to{S}{\beta} | {S}{\alpha}{\gamma} | \beta</tex>

Устраняем левую рекурсию для <tex>S</tex>

<tex> S \to\beta{S_1}</tex>

<tex> {S_1} \to\beta{S_1} | \alpha\gamma{S_1} | {\beta} | {\alpha}{\gamma} </tex>

== Источники информации ==
* ''Хопкрофт Д., Мотвани Р., Ульман Д.'' — '''Введение в теорию автоматов, языков и вычислений''', 2-е изд. : Пер. с англ. — Москва, Издательский дом «Вильямс», 2002. — 528 с. : ISBN 5-8459-0261-4 (рус.)
* ''Robert C. Moore'' — [http://aclweb.org/anthology-new/A/A00/A00-2033.pdf Removing Left Recursion from Context-Free Grammars ]

[[Категория: Теория формальных языков]]
[[Категория: Контекстно-свободные грамматики]]
[[Категория: Нормальные формы КС-грамматик]]

Устранение левой рекурсии

2016-01-16T21:07:02Z

KirillTim: /* Алгоритм устранения произвольной левой рекурсии */

{{Определение
|definition=Говорят, что [[Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора|контекстно-свободная (КС) грамматика]] <tex>\Gamma</tex> содержит '''непосредственную левую рекурсию''' (англ. ''direct left recursion''), если она содержит правило вида <tex>A \to A\alpha</tex>.
}}
{{Определение
|definition=Говорят, что КС-грамматика <tex>\Gamma</tex> содержит '''левую рекурсию''' (англ. ''left recursion''), если в ней существует вывод вида <tex>A \Rightarrow^* A\alpha</tex>.
}}

[[Методы трансляции#Нисходящий разбор|Методы нисходящего разбора]] (англ. ''top-down parsers'') не в состоянии работать с леворекурсивными грамматиками. Проблема в том, что продукция вида <tex>A \Rightarrow^* A\alpha</tex> может применяться бесконечно долго, так и не выработав некий терминальный символ, который можно было бы сравнить со строкой. Поэтому требуется преобразование грамматики, которое бы устранило левую рекурсию.

==Устранение непосредственной левой рекурсии==
Опишем процедуру, устраняющую все правила вида <tex>A \to A\alpha</tex>, для фиксированного нетерминала <tex>A</tex>.

<ol>
<li>Запишем все правила вывода из <tex>A</tex> в виде:
<tex>A \to A\alpha_1\,|\,\ldots\,|\,A\alpha_n\,|\,\beta_1\,|\,\ldots\,|\,\beta_m </tex>, где
<ul>
<li> <tex>\alpha</tex> {{---}} непустая последовательность терминалов и нетерминалов (<tex>\alpha \nrightarrow \varepsilon </tex>);</li>
<li> <tex>\beta</tex> {{---}} непустая последовательность терминалов и нетерминалов, не начинающаяся с <tex>A</tex>.</li>
</ul>
<li>Заменим правила вывода из <tex>A</tex> на <tex>A \to\beta_1A^\prime\, |\, \ldots\, |\, \beta_mA^\prime \,|\, \beta_1 \,|\, \ldots \,|\, \beta_m</tex>.</li>

<li>Создадим новый нетерминал <tex>{A^\prime} \to \alpha_1{A^\prime}, |\, \ldots\, |\, \alpha_n{A^\prime} | \alpha_1\, |\, \ldots\, |\, \alpha_n</tex>. </li>
</li>
</ol>

Изначально нетерминал <tex>A</tex> порождает сроки вида <tex>\beta\alpha_{i0}\alpha_{i1} \ldots \alpha_{ik}</tex>. В новой грамматике нетерминал <tex>A</tex> порождает <tex>\beta{A^\prime}</tex>, а <tex>A^\prime</tex> порождает строки вида <tex>\alpha_{i0}\alpha_{i1} \ldots \alpha_{ik}</tex>. Из этого очевидно, что изначальная грамматика эквивалентна новой.

===Пример===
<tex>A \to S\alpha | A\alpha</tex>

<tex>S \to A\beta</tex>

Есть непосредственная левая рекурсия <tex>A \to A\alpha</tex>. Добавим нетерминал <tex>A^\prime</tex> и добавим правила <tex>A \to S\alpha{A^{\prime}}</tex>, <tex> A^{\prime} \to \alpha{A^{\prime}} </tex>.

Новая грамматика:

<tex>A \to S\alpha{A^{\prime}} | S\alpha</tex>

<tex>A^{\prime} \to \alpha{A^{\prime}}</tex>

<tex>S \to A\beta</tex>

В новой грамматике нет непосредственной левой рекурсии, но нетерминал <tex>A</tex> леворекурсивен, так как есть <tex> A \Rightarrow S\alpha{A^{\prime}} \Rightarrow A\beta\alpha{A^{\prime}} </tex>

==Алгоритм устранения произвольной левой рекурсии==
Воспользуемся [[Удаление_eps-правил_из_грамматики | алгоритмом удаления <tex> \varepsilon </tex>-правил]]. Получим грамматику без <tex> \varepsilon </tex>-правил для языка <tex>L(\Gamma) \setminus \lbrace \epsilon \rbrace</tex>.

Упорядочим нетерминалы и будем добиваться того, чтобы не было правил вида <tex>A_i \to A_j\alpha</tex>, где <tex>j \leqslant i</tex>.
Если данное условие выполняется для всех<tex>A_i</tex>, то в грамматике нет <tex>A_i \to^* A_i</tex>, а значит не будет левой рекурсии.

Пусть <tex>N = \lbrace A_1, A_2, \ldots , A_n \rbrace</tex> {{---}} упорядоченное множество всех нетерминалов.

<div>
for <tex>A_i \in N</tex>
for <tex>A_j \in \{ N \mid 1 \leqslant j 
for <tex>production \in \{A_i \to A_j\gamma \}</tex>
удалить <tex>production</tex>
for <tex>P \to x_i \in \{A_j \to \delta_1 | \ldots | \delta_k\}</tex>
добавить правило <tex>A_i \to x_i\gamma</tex>
устранить непосредственную левую рекурсию для <tex>A_i</tex>.
</div>

Если <tex>\varepsilon</tex> присутствовал в языке исходной грамматики, добавим новый начальный символ <tex>S'</tex> и правила <tex>S' \to S \, | \, \varepsilon </tex>.

После <tex>i</tex> итерации внешнего цикла в любой продукции внешнего цикла в любой продукции вида <tex>A_k \to A_l\alpha, k < i</tex>, должно быть <tex>l > k</tex>. В результате при следующей итерации внутреннего цикла растет нижний предел <tex>m</tex> всех продукций вида <tex>A_i \to A_m\alpha</tex> до тех пор, пока не будет достигнуто <tex>i \leqslant m </tex>.

После <tex>i</tex> итерации внешнего цикла в грамматике будут только правила вида <tex>A_i \to A_j\alpha</tex>, где <tex>j > i</tex>.
Можно заметить, что неравенство становится строгим только после применения алгоритма устранения непосредственной левой рекурсии. При этом добавляются новые нетерминалы. Пусть <tex>{A^\prime}_i </tex> новый нетерминал. Можно заметить, что нет правила вида <tex>\ldots \to {A^\prime}_i</tex>, где <tex>{A^\prime}_i</tex> самый левый нетерминал, а значит новые нетерминалы можно не рассматривать во внешнем цикле.

На <tex>i</tex> итерации внешнего цикла все правила вида <tex>A_i \to A_j \gamma</tex> где <tex> j заменяются на <tex>A_i \to \delta_1\gamma | \ldots | \delta_k\gamma</tex> где <tex>A_j \to \delta_1 | \ldots | \delta_k</tex>. Очевидно, что одна итерация алгоритма не меняет язык, а значит язык получившийся в итоге грамматики совпадает с исходным.

===Асимптотика===
Пусть <tex>a_i</tex> количество правил для нетерминала <tex>A_i</tex>.
Тогда <tex>i</tex> итерация внешнего цикла будет выполняться за <tex>O(\sum\limits_{A_i \to A_j, j < i} a_j) + O(a_i)</tex>, что меньше чем <tex>O(\sum\limits_{i=1}^n a_j)</tex>, значит асимптотика алгоритма <tex>O(n\sum\limits_{i=1}^n a_j)</tex>.

Проблема этого алгоритма в том, что в зависимости от порядка нетерминалов в множестве размер грамматки может получиться экспоненциальным.

Пример грамматики для которой имеет значение порядок нетерминалов

<tex>A_1 \to 0 | 1</tex>

<tex>A_{i+1} \to {A_i}0 | {A_i}1 </tex> для <tex>1 \leqslant i < n</tex>

Упорядочим множество нетерминалов по возрастанию индексов. Легко заметить, что правила для <tex>A_i</tex> будут представлять из себя все двоичные вектора длины <tex>i</tex>, а значит размер грамматики будет экспоненциальным. Если упорядочить нетерминалы по убыванию в грамматике изменений не будет.

==Пример==
Дана грамматика

<tex>A \to S\alpha </tex>

<tex>S \to S\beta | A\gamma | \beta</tex>

Среди правил <tex>A</tex> непосредственной рекурсии нет, поэтому во время первой итерации внешнего цикла ничего не происходит.
Во время второй итерации внешнего цикла правило <tex> S \to A\gamma </tex> переходит в <tex> S \to S\alpha\gamma </tex>.

Грамматика имеет вид

<tex>A \to S\alpha </tex>

<tex>S \to{S}{\beta} | {S}{\alpha}{\gamma} | \beta</tex>

Устраняем левую рекурсию для <tex>S</tex>

<tex> S \to\beta{S_1}</tex>

<tex> {S_1} \to\beta{S_1} | \alpha\gamma{S_1} | {\beta} | {\alpha}{\gamma} </tex>

== Источники информации ==
* ''Хопкрофт Д., Мотвани Р., Ульман Д.'' — '''Введение в теорию автоматов, языков и вычислений''', 2-е изд. : Пер. с англ. — Москва, Издательский дом «Вильямс», 2002. — 528 с. : ISBN 5-8459-0261-4 (рус.)
* ''Robert C. Moore'' — [http://aclweb.org/anthology-new/A/A00/A00-2033.pdf Removing Left Recursion from Context-Free Grammars ]

[[Категория: Теория формальных языков]]
[[Категория: Контекстно-свободные грамматики]]

Устранение левой рекурсии

2016-01-16T21:00:30Z

KirillTim: /* Алгоритм устранения произвольной левой рекурсии */ Улучшил псевдокод

{{Определение
|definition=Говорят, что [[Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора|контекстно-свободная (КС) грамматика]] <tex>\Gamma</tex> содержит '''непосредственную левую рекурсию''' (англ. ''direct left recursion''), если она содержит правило вида <tex>A \to A\alpha</tex>.
}}
{{Определение
|definition=Говорят, что КС-грамматика <tex>\Gamma</tex> содержит '''левую рекурсию''' (англ. ''left recursion''), если в ней существует вывод вида <tex>A \Rightarrow^* A\alpha</tex>.
}}

[[Методы трансляции#Нисходящий разбор|Методы нисходящего разбора]] (англ. ''top-down parsers'') не в состоянии работать с леворекурсивными грамматиками. Проблема в том, что продукция вида <tex>A \Rightarrow^* A\alpha</tex> может применяться бесконечно долго, так и не выработав некий терминальный символ, который можно было бы сравнить со строкой. Поэтому требуется преобразование грамматики, которое бы устранило левую рекурсию.

==Устранение непосредственной левой рекурсии==
Опишем процедуру, устраняющую все правила вида <tex>A \to A\alpha</tex>, для фиксированного нетерминала <tex>A</tex>.

<ol>
<li>Запишем все правила вывода из <tex>A</tex> в виде:
<tex>A \to A\alpha_1\,|\,\ldots\,|\,A\alpha_n\,|\,\beta_1\,|\,\ldots\,|\,\beta_m </tex>, где
<ul>
<li> <tex>\alpha</tex> {{---}} непустая последовательность терминалов и нетерминалов (<tex>\alpha \nrightarrow \varepsilon </tex>);</li>
<li> <tex>\beta</tex> {{---}} непустая последовательность терминалов и нетерминалов, не начинающаяся с <tex>A</tex>.</li>
</ul>
<li>Заменим правила вывода из <tex>A</tex> на <tex>A \to\beta_1A^\prime\, |\, \ldots\, |\, \beta_mA^\prime \,|\, \beta_1 \,|\, \ldots \,|\, \beta_m</tex>.</li>

<li>Создадим новый нетерминал <tex>{A^\prime} \to \alpha_1{A^\prime}, |\, \ldots\, |\, \alpha_n{A^\prime} | \alpha_1\, |\, \ldots\, |\, \alpha_n</tex>. </li>
</li>
</ol>

Изначально нетерминал <tex>A</tex> порождает сроки вида <tex>\beta\alpha_{i0}\alpha_{i1} \ldots \alpha_{ik}</tex>. В новой грамматике нетерминал <tex>A</tex> порождает <tex>\beta{A^\prime}</tex>, а <tex>A^\prime</tex> порождает строки вида <tex>\alpha_{i0}\alpha_{i1} \ldots \alpha_{ik}</tex>. Из этого очевидно, что изначальная грамматика эквивалентна новой.

===Пример===
<tex>A \to S\alpha | A\alpha</tex>

<tex>S \to A\beta</tex>

Есть непосредственная левая рекурсия <tex>A \to A\alpha</tex>. Добавим нетерминал <tex>A^\prime</tex> и добавим правила <tex>A \to S\alpha{A^{\prime}}</tex>, <tex> A^{\prime} \to \alpha{A^{\prime}} </tex>.

Новая грамматика:

<tex>A \to S\alpha{A^{\prime}} | S\alpha</tex>

<tex>A^{\prime} \to \alpha{A^{\prime}}</tex>

<tex>S \to A\beta</tex>

В новой грамматике нет непосредственной левой рекурсии, но нетерминал <tex>A</tex> леворекурсивен, так как есть <tex> A \Rightarrow S\alpha{A^{\prime}} \Rightarrow A\beta\alpha{A^{\prime}} </tex>

==Алгоритм устранения произвольной левой рекурсии==
Воспользуемся [[Удаление_eps-правил_из_грамматики | алгоритмом удаления <tex> \varepsilon </tex>-правил]]. Получим грамматику без <tex> \varepsilon </tex>-правил для языка <tex>L(\Gamma) \setminus \lbrace \epsilon \rbrace</tex>.

Упорядочим нетерминалы и будем добиваться того, чтобы не было правил вида <tex>A_i \to A_j\alpha</tex>, где <tex>j \leqslant i</tex>.
Если данное условие выполняется для всех<tex>A_i</tex>, то в грамматике нет <tex>A_i \to^* A_i</tex>, а значит не будет левой рекурсии.

Пусть <tex>N = \lbrace A_1, A_2, \ldots , A_n \rbrace</tex> {{---}} упорядоченное множество всех нетерминалов.

стало:
<div>
for <tex>A_i \in N</tex>
for <tex>A_j \in \{ N \mid 1 \leqslant j 
for <tex>production \in \{A_i \to A_j\gamma \}</tex>
удалить <tex>production</tex>
for <tex>P \to x_i \in \{A_j \to \delta_1 | \ldots | \delta_k\}</tex>
добавить правило <tex>A_i \to x_i\gamma</tex>
устранить непосредственную левую рекурсию для <tex>A_i</tex>.
</div>
было:
<div>
for все нетерминалы <tex>A_i</tex>
for все нетерминалы <tex>A_j</tex>, такие, что <tex> 1 \leqslant j и
рассмотреть все правила вывода из <tex>A_j</tex>: <tex>A_j \to \delta_1 | \ldots | \delta_k</tex>.
заменить каждое правило <tex>A_i \to A_j \gamma</tex> на <tex>A_i \to \delta_1\gamma | \ldots | \delta_k\gamma</tex>.
устранить непосредственную левую рекурсию для <tex>A_i</tex>.
</div>

Если <tex>\varepsilon</tex> присутствовал в языке исходной грамматики, добавим новый начальный символ <tex>S'</tex> и правила <tex>S' \to S \, | \, \varepsilon </tex>.

После <tex>i</tex> итерации внешнего цикла в любой продукции внешнего цикла в любой продукции вида <tex>A_k \to A_l\alpha, k < i</tex>, должно быть <tex>l > k</tex>. В результате при следующей итерации внутреннего цикла растет нижний предел <tex>m</tex> всех продукций вида <tex>A_i \to A_m\alpha</tex> до тех пор, пока не будет достигнуто <tex>i \leqslant m </tex>.

После <tex>i</tex> итерации внешнего цикла в грамматике будут только правила вида <tex>A_i \to A_j\alpha</tex>, где <tex>j > i</tex>.
Можно заметить, что неравенство становится строгим только после применения алгоритма устранения непосредственной левой рекурсии. При этом добавляются новые нетерминалы. Пусть <tex>{A^\prime}_i </tex> новый нетерминал. Можно заметить, что нет правила вида <tex>\ldots \to {A^\prime}_i</tex>, где <tex>{A^\prime}_i</tex> самый левый нетерминал, а значит новые нетерминалы можно не рассматривать во внешнем цикле.

На <tex>i</tex> итерации внешнего цикла все правила вида <tex>A_i \to A_j \gamma</tex> где <tex> j заменяются на <tex>A_i \to \delta_1\gamma | \ldots | \delta_k\gamma</tex> где <tex>A_j \to \delta_1 | \ldots | \delta_k</tex>. Очевидно, что одна итерация алгоритма не меняет язык, а значит язык получившийся в итоге грамматики совпадает с исходным.

===Асимптотика===
Пусть <tex>a_i</tex> количество правил для нетерминала <tex>A_i</tex>.
Тогда <tex>i</tex> итерация внешнего цикла будет выполняться за <tex>O(\sum\limits_{A_i \to A_j, j < i} a_j) + O(a_i)</tex>, что меньше чем <tex>O(\sum\limits_{i=1}^n a_j)</tex>, значит асимптотика алгоритма <tex>O(n\sum\limits_{i=1}^n a_j)</tex>.

Проблема этого алгоритма в том, что в зависимости от порядка нетерминалов в множестве размер грамматки может получиться экспоненциальным.

Пример грамматики для которой имеет значение порядок нетерминалов

<tex>A_1 \to 0 | 1</tex>

<tex>A_{i+1} \to {A_i}0 | {A_i}1 </tex> для <tex>1 \leqslant i < n</tex>

Упорядочим множество нетерминалов по возрастанию индексов. Легко заметить, что правила для <tex>A_i</tex> будут представлять из себя все двоичные вектора длины <tex>i</tex>, а значит размер грамматики будет экспоненциальным. Если упорядочить нетерминалы по убыванию в грамматике изменений не будет.

==Пример==
Дана грамматика

<tex>A \to S\alpha </tex>

<tex>S \to S\beta | A\gamma | \beta</tex>

Среди правил <tex>A</tex> непосредственной рекурсии нет, поэтому во время первой итерации внешнего цикла ничего не происходит.
Во время второй итерации внешнего цикла правило <tex> S \to A\gamma </tex> переходит в <tex> S \to S\alpha\gamma </tex>.

Грамматика имеет вид

<tex>A \to S\alpha </tex>

<tex>S \to{S}{\beta} | {S}{\alpha}{\gamma} | \beta</tex>

Устраняем левую рекурсию для <tex>S</tex>

<tex> S \to\beta{S_1}</tex>

<tex> {S_1} \to\beta{S_1} | \alpha\gamma{S_1} | {\beta} | {\alpha}{\gamma} </tex>

== Источники информации ==
* ''Хопкрофт Д., Мотвани Р., Ульман Д.'' — '''Введение в теорию автоматов, языков и вычислений''', 2-е изд. : Пер. с англ. — Москва, Издательский дом «Вильямс», 2002. — 528 с. : ISBN 5-8459-0261-4 (рус.)
* ''Robert C. Moore'' — [http://aclweb.org/anthology-new/A/A00/A00-2033.pdf Removing Left Recursion from Context-Free Grammars ]

[[Категория: Теория формальных языков]]
[[Категория: Контекстно-свободные грамматики]]