Викиконспекты - Вклад участника [ru]

Гипотеза Хивуда

2019-12-25T21:15:40Z

Gaporf: /* Теорема о нижней границе хроматического числа поверхности */

{{Определение
|id = Heawood number
|definition =
'''Хроматическим числом поверхности поверхности <tex>S_n</tex>''' или '''<tex>n</tex>-ым числом Хивуда''' называется число <tex>\chi \left( S_n \right)</tex>, равное максимальному хроматическому числу графа, который можно уложить на поверхность <tex>n</tex>-ого рода.
}}

==Теорема о нижней границе хроматического числа поверхности==

{{Теорема
|about=
Теорема Рингеля и Янгса
|statement=
Для любого положительного целого числа <tex>n</tex> хроматическое число поверхности <tex>n</tex>-ого рода <tex>\chi \left( S_n \right) \geqslant \left[ \dfrac{7 + \sqrt{1 + 48n}}{2} \right]</tex>.
|proof=

Воспользуемся формулой Эйлера <tex>V + F - E = 2 - 2n</tex>, тогда давайте докажем нижнюю границу на <tex>E</tex>, поскольку каждая грань может быть треугольником, то для <tex>E</tex> будет неулучшаемая нижняя граница:

<tex>E \geqslant 3 \left( V - 2 + 2n \right)</tex>

<tex>n \geqslant \dfrac{1}{6} E - \dfrac{1}{2} \left( V - 2 \right)</tex>.

Рассмотрим полный граф <tex>K_p</tex>, тогда получаем, что

<tex>\gamma \left( K_p \right) \geqslant \dfrac{1}{6} \dfrac{p (p - 1)}{2} - \dfrac{p - 2}{2}</tex>

<tex>\gamma \left( K_p \right) \geqslant \left\{ \dfrac{(p - 3)(p - 4)}{12} \right\}</tex>, функция монотонно возрастает при <tex>p \geqslant 4</tex>, и для любого <tex>n</tex> наибольшее значение функция <tex>\left\{ \dfrac{(p - 3)(p - 4)}{12} \right\}</tex> достигается при <tex>p=\left[\dfrac{7 + \sqrt{1 + 48n}}{2} \right]</tex>. Поскольку <tex>\chi\left(K_p\right) = p</tex>, откуда получаем, что <tex>\chi \left( S_n \right) \geqslant \left[ \dfrac{7 + \sqrt{1 + 48n}}{2} \right]</tex>.
}}

==Теорема о верхней границе хроматического числа поверхности==

{{Теорема
|about=
Гипотеза Хивуда
|statement=
Для любого положительного целого числа <tex>n</tex> хроматическое число поверхности <tex>n</tex>-ого рода <tex>\chi \left( S_n \right) \leqslant \left[ \dfrac{ 7 + \sqrt{1 + 48n} }{ 2 } \right]</tex>.
|proof=

Пусть задан граф <tex>G</tex> с <tex>V</tex> вершина, <tex>E</tex> рёбрами и <tex>F</tex> гранями, также будем считать, что <tex>G</tex> {{---}} триангуляция (добавляя таким образом рёбра мы всё ещё получаем граф, который можно уложить на поверхности <tex>n</tex>-ого рода). Обозначим за <tex>d</tex> {{---}} среднюю степень вершины графа <tex>G</tex>, тогда должно быть справедливым следующее равенство:

<tex>dV = 2E = 3F</tex>

Воспользуемся [[формула Эйлера | формулой Эйлера]] <tex>V - E + F = 2 - 2 n</tex>, откуда

<tex>E = V + F + 2 (n - 1)</tex> и <tex>F = 2 V + 4 (n - 1)</tex>

и подставляя в первое равенство получаем

<tex>dV = 6V + 12(n - 1)</tex>

<tex>d = 6 + \dfrac{12(n - 1)}{V}</tex>

Поскольку <tex>d \leqslant V - 1</tex>, то

<tex>V - 1\geqslant 6 + \dfrac{12(n - 1)}{V}</tex>

Найдём единственный положительный корень неравенства

<tex>V \geqslant \left[ \dfrac{7 + \sqrt{1 + 48n}}{2} \right]</tex>

Обозначим за <tex>H(n) = \left[ \dfrac{7 + \sqrt{1 + 48n}}{2} \right]</tex>. Если <tex> V \leqslant H(n)</tex>, то тогда граф <tex>G</tex> очевидно можно раскрасить в <tex>H(n)</tex> цветов и неравенство верное. Допустим, что <tex>V > H(n)</tex>, тогда

<tex> d < 6 + \dfrac{12(n - 1)}{H(n)} = H(n) - 1</tex>

Значит в такое графе существует хотя бы одна вершина степени не больше <tex>H(n) - 2</tex>, стянем её с любой соседней и получим новый граф <tex>G'</tex> с <tex>V - 1</tex> вершинами. Если <tex>V - 1 = H(n)</tex>, то граф <tex>G'</tex> можно раскрасить в <tex>H(n)</tex> цветов, значит и сам граф <tex>G</tex> можно также раскрасить в <tex>H(n)</tex> цветов, если <tex>V - 1 > H(n)</tex>, то опять найдём вершину степени <tex>H(n) - 2</tex> и снова стянем её и будем продолжать так до тех пор, пока не получим желаемый граф.
}}

Из всего выше сказанного получаем, что <tex>\chi \left(S_n\right)</tex> в точности равно <tex>\left[ \dfrac{7 + \sqrt{1 + 48n}}{2} \right]</tex>.

==Проблема четырёх красок==
Заметим, что теорема Хивуда не работает при <tex>n = 0</tex>, поэтому [[проблема четырёх красок]] не может быть доказана с помощью этой теоремы, однако при подстановке <tex>n = 0</tex> получаем <tex>\chi \left( S_0 \right) = 4</tex>.

==См. также==
* [[Хроматическое число планарного графа]]
* [[Проблема четырёх красок]]
* [[Формула Эйлера]]

==Источники информации==
* [https://en.wikipedia.org/wiki/Heawood_conjecture Wikipedia {{---}} Heawood conjecture]
* [https://oeis.org/A000934 Последовательность чисел Хивуда]
* Ф.Харари «Теория графов» {{---}} М.: Мир, 1973 г. {{---}} стр. 162 - 164

Гипотеза Хивуда

2019-12-24T11:14:17Z

Gaporf: /* Теорема о нижней границе хроматического числа поверхности */ доказал беспруфный факт

{{Определение
|id = Heawood number
|definition =
'''Хроматическим числом поверхности поверхности <tex>S_n</tex>''' или '''<tex>n</tex>-ым числом Хивуда''' называется число <tex>\chi \left( S_n \right)</tex>, равное максимальному хроматическому числу графа, который можно уложить на поверхность <tex>n</tex>-ого рода.
}}

==Теорема о нижней границе хроматического числа поверхности==

{{Теорема
|about=
Теорема Рингеля и Янгса
|statement=
Для любого положительного целого числа <tex>n</tex> хроматическое число поверхности <tex>n</tex>-ого рода <tex>\chi \left( S_n \right) \geqslant \left[ \dfrac{7 + \sqrt{1 + 48n}}{2} \right]</tex>.
|proof=

Воспользуемся формулой Эйлера <tex>V + F - E = 2 - 2n</tex>, тогда если представить самый худший случай, что каждая грань {{---}} треугольник, то отсюда получаем следующее неравенство:

<tex>E \geqslant 3 \left( V - 2 + 2n \right)</tex>

<tex>n \geqslant \dfrac{1}{6} E - \dfrac{1}{2} \left( V - 2 \right)</tex>.

Рассмотрим полный граф <tex>K_p</tex>, тогда получаем, что

<tex>\gamma \left( K_p \right) \geqslant \dfrac{1}{6} \dfrac{p (p - 1)}{2} - \dfrac{p - 2}{2}</tex>

<tex>\gamma \left( K_p \right) \geqslant \left\{ \dfrac{(p - 3)(p - 4)}{12} \right\}</tex>, функция монотонно возрастает при <tex>p \geqslant 4</tex>, и для любого <tex>n</tex> наибольшее значение функция <tex>\left\{ \dfrac{(p - 3)(p - 4)}{12} \right\}</tex> достигается при <tex>p=\left[\dfrac{7 + \sqrt{1 + 48n}}{2} \right]</tex>. Поскольку <tex>\chi\left(K_p\right) = p</tex>, откуда получаем, что <tex>\chi \left( S_n \right) \geqslant \left[ \dfrac{7 + \sqrt{1 + 48n}}{2} \right]</tex>.
}}

==Теорема о верхней границе хроматического числа поверхности==

{{Теорема
|about=
Гипотеза Хивуда
|statement=
Для любого положительного целого числа <tex>n</tex> хроматическое число поверхности <tex>n</tex>-ого рода <tex>\chi \left( S_n \right) \leqslant \left[ \dfrac{ 7 + \sqrt{1 + 48n} }{ 2 } \right]</tex>.
|proof=

Пусть задан граф <tex>G</tex> с <tex>V</tex> вершина, <tex>E</tex> рёбрами и <tex>F</tex> гранями, также будем считать, что <tex>G</tex> {{---}} триангуляция (добавляя таким образом рёбра мы всё ещё получаем граф, который можно уложить на поверхности <tex>n</tex>-ого рода). Обозначим за <tex>d</tex> {{---}} среднюю степень вершины графа <tex>G</tex>, тогда должно быть справедливым следующее равенство:

<tex>dV = 2E = 3F</tex>

Воспользуемся [[формула Эйлера | формулой Эйлера]] <tex>V - E + F = 2 - 2 n</tex>, откуда

<tex>E = V + F + 2 (n - 1)</tex> и <tex>F = 2 V + 4 (n - 1)</tex>

и подставляя в первое равенство получаем

<tex>dV = 6V + 12(n - 1)</tex>

<tex>d = 6 + \dfrac{12(n - 1)}{V}</tex>

Поскольку <tex>d \leqslant V - 1</tex>, то

<tex>V - 1\geqslant 6 + \dfrac{12(n - 1)}{V}</tex>

Найдём единственный положительный корень неравенства

<tex>V \geqslant \left[ \dfrac{7 + \sqrt{1 + 48n}}{2} \right]</tex>

Обозначим за <tex>H(n) = \left[ \dfrac{7 + \sqrt{1 + 48n}}{2} \right]</tex>. Если <tex> V \leqslant H(n)</tex>, то тогда граф <tex>G</tex> очевидно можно раскрасить в <tex>H(n)</tex> цветов и неравенство верное. Допустим, что <tex>V > H(n)</tex>, тогда

<tex> d < 6 + \dfrac{12(n - 1)}{H(n)} = H(n) - 1</tex>

Значит в такое графе существует хотя бы одна вершина степени не больше <tex>H(n) - 2</tex>, стянем её с любой соседней и получим новый граф <tex>G'</tex> с <tex>V - 1</tex> вершинами. Если <tex>V - 1 = H(n)</tex>, то граф <tex>G'</tex> можно раскрасить в <tex>H(n)</tex> цветов, значит и сам граф <tex>G</tex> можно также раскрасить в <tex>H(n)</tex> цветов, если <tex>V - 1 > H(n)</tex>, то опять найдём вершину степени <tex>H(n) - 2</tex> и снова стянем её и будем продолжать так до тех пор, пока не получим желаемый граф.
}}

Из всего выше сказанного получаем, что <tex>\chi \left(S_n\right)</tex> в точности равно <tex>\left[ \dfrac{7 + \sqrt{1 + 48n}}{2} \right]</tex>.

==Проблема четырёх красок==
Заметим, что теорема Хивуда не работает при <tex>n = 0</tex>, поэтому [[проблема четырёх красок]] не может быть доказана с помощью этой теоремы, однако при подстановке <tex>n = 0</tex> получаем <tex>\chi \left( S_0 \right) = 4</tex>.

==См. также==
* [[Хроматическое число планарного графа]]
* [[Проблема четырёх красок]]
* [[Формула Эйлера]]

==Источники информации==
* [https://en.wikipedia.org/wiki/Heawood_conjecture Wikipedia {{---}} Heawood conjecture]
* [https://oeis.org/A000934 Последовательность чисел Хивуда]
* Ф.Харари «Теория графов» {{---}} М.: Мир, 1973 г. {{---}} стр. 162 - 164

Гипотеза Хивуда

2019-12-03T19:20:02Z

Gaporf:

{{Определение
|id = Heawood number
|definition =
'''Хроматическим числом поверхности поверхности <tex>S_n</tex>''' или '''<tex>n</tex>-ым числом Хивуда''' называется число <tex>\chi \left( S_n \right)</tex>, равное максимальному хроматическому числу графа, который можно уложить на поверхность <tex>n</tex>-ого рода.
}}

==Теорема о нижней границе хроматического числа поверхности==

{{Теорема
|about=
Теорема Рингеля и Янгса
|statement=
Для любого положительного целого числа <tex>n</tex> хроматическое число поверхности <tex>n</tex>-ого рода <tex>\chi \left( S_n \right) \geqslant \left[ \dfrac{7 + \sqrt{1 + 48n}}{2} \right]</tex>.
|proof=

В качестве доказательства воспользуемся теоремой Рингеля и Янгса о минимальном роде поверхности, на которую можно уложить граф <tex>K_p</tex>, а именно <tex>n = \gamma \left( K_p \right) \geqslant \left\{ \dfrac{(p - 3)(p - 4)}{12} \right\}</tex>, функция монотонно возрастает при <tex>p \geqslant 4</tex>, и для любого <tex>n</tex> наибольшее значение функция <tex>\left\{ \dfrac{(p - 3)(p - 4)}{12} \right\}</tex> достигается при <tex>p=\left[\dfrac{7 + \sqrt{1 + 48n}}{2} \right]</tex>. Поскольку <tex>\chi\left(K_p\right) = p</tex>, откуда получаем, что <tex>\chi \left( S_n \right) \geqslant \left[ \dfrac{7 + \sqrt{1 + 48n}}{2} \right]</tex>.
}}

==Теорема о верхней границе хроматического числа поверхности==

{{Теорема
|about=
Гипотеза Хивуда
|statement=
Для любого положительного целого числа <tex>n</tex> хроматическое число поверхности <tex>n</tex>-ого рода <tex>\chi \left( S_n \right) \leqslant \left[ \dfrac{ 7 + \sqrt{1 + 48n} }{ 2 } \right]</tex>.
|proof=

Пусть задан граф <tex>G</tex> с <tex>V</tex> вершина, <tex>E</tex> рёбрами и <tex>F</tex> гранями, также будем считать, что <tex>G</tex> {{---}} триангуляция (добавляя таким образом рёбра мы всё ещё получаем граф, который можно уложить на поверхности <tex>n</tex>-ого рода). Обозначим за <tex>d</tex> {{---}} среднюю степень вершины графа <tex>G</tex>, тогда должно быть справедливым следующее равенство:

<tex>dV = 2E = 3F</tex>

Воспользуемся [[формула Эйлера | формулой Эйлера]] <tex>V - E + F = 2 - 2 n</tex>, откуда

<tex>E = V + F + 2 (n - 1)</tex> и <tex>F = 2 V + 4 (n - 1)</tex>

и подставляя в первое равенство получаем

<tex>dV = 6V + 12(n - 1)</tex>

<tex>d = 6 + \dfrac{12(n - 1)}{V}</tex>

Поскольку <tex>d \leqslant V - 1</tex>, то

<tex>V - 1\geqslant 6 + \dfrac{12(n - 1)}{V}</tex>

Найдём единственный положительный корень неравенства

<tex>V \geqslant \left[ \dfrac{7 + \sqrt{1 + 48n}}{2} \right]</tex>

Обозначим за <tex>H(n) = \left[ \dfrac{7 + \sqrt{1 + 48n}}{2} \right]</tex>. Если <tex> V \leqslant H(n)</tex>, то тогда граф <tex>G</tex> очевидно можно раскрасить в <tex>H(n)</tex> цветов и неравенство верное. Допустим, что <tex>V > H(n)</tex>, тогда

<tex> d < 6 + \dfrac{12(n - 1)}{H(n)} = H(n) - 1</tex>

Значит в такое графе существует хотя бы одна вершина степени не больше <tex>H(n) - 2</tex>, стянем её с любой соседней и получим новый граф <tex>G'</tex> с <tex>V - 1</tex> вершинами. Если <tex>V - 1 = H(n)</tex>, то граф <tex>G'</tex> можно раскрасить в <tex>H(n)</tex> цветов, значит и сам граф <tex>G</tex> можно также раскрасить в <tex>H(n)</tex> цветов, если <tex>V - 1 > H(n)</tex>, то опять найдём вершину степени <tex>H(n) - 2</tex> и снова стянем её и будем продолжать так до тех пор, пока не получим желаемый граф.
}}

Из всего выше сказанного получаем, что <tex>\chi \left(S_n\right)</tex> в точности равно <tex>\left[ \dfrac{7 + \sqrt{1 + 48n}}{2} \right]</tex>.

==Проблема четырёх красок==
Заметим, что теорема Хивуда не работает при <tex>n = 0</tex>, поэтому [[проблема четырёх красок]] не может быть доказана с помощью этой теоремы, однако при подстановке <tex>n = 0</tex> получаем <tex>\chi \left( S_0 \right) = 4</tex>.

==См. также==
* [[Хроматическое число планарного графа]]
* [[Проблема четырёх красок]]
* [[Формула Эйлера]]

==Источники информации==
* [https://en.wikipedia.org/wiki/Heawood_conjecture Wikipedia {{---}} Heawood conjecture]
* [https://oeis.org/A000934 Последовательность чисел Хивуда]
* Ф.Харари «Теория графов» {{---}} М.: Мир, 1973 г. {{---}} стр. 162 - 164

Гипотеза Хивуда

2019-12-02T20:24:10Z

Gaporf:

{{Определение
|id = Heawood number
|definition =
'''Хроматическим числом поверхности поверхности <tex>S_n</tex>''' или '''<tex>n</tex>-ым числом Хивуда''' называется число <tex>\chi \left( S_n \right)</tex>, равное максимальному хроматическому числу графа, который можно уложить на поверхность <tex>n</tex>-ого рода.
}}

{{Теорема
|about=
Теорема Рингеля и Янгса
|statement=
Для любого положительного целого числа <tex>n</tex> хроматическое число поверхности <tex>n</tex>-ого рода <tex>\chi \left( S_n \right) \geqslant \left\{ \dfrac{7 + \sqrt{1 + 48n}}{2} \right\}</tex>.
|proof=

В качестве доказательства воспользуемся теоремой Рингеля и Янгса о минимальном роде поверхности, на которую можно уложить граф <tex>K_p</tex>, а именно <tex>n \left( K_p \right) \geqslant \left\{ \dfrac{(p - 3)(p - 4)}{12} \right\}</tex>, функция монотонно возрастает при <tex>p \geqslant 4</tex>, и для любого <tex>n</tex> наибольшее значение функция <tex>\left\{ \dfrac{(p - 3)(p - 4)}{12} \right\}</tex> достигается при <tex>p=\left[\dfrac{7 + \sqrt{1 + 48n}}{2} \right]</tex>. Поскольку <tex>\chi\left(K_p\right) = p</tex>, откуда получаем, что <tex>\chi \left( S_n \right) \geqslant \left\{ \dfrac{7 + \sqrt{1 + 48n}}{2} \right\}</tex>.
}}

{{Теорема
|about=
Гипотеза Хивуда
|statement=
Для любого положительного целого числа <tex>n</tex> хроматическое число поверхности <tex>n</tex>-ого рода <tex>\chi \left( S_n \right) \leqslant \left[ \dfrac{ 7 + \sqrt{1 + 48n} }{ 2 } \right]</tex>.
|proof=

Пусть задан граф <tex>G</tex> с <tex>V</tex> вершина, <tex>E</tex> рёбрами и <tex>F</tex> гранями, также будем считать, что <tex>G</tex> <tex>-</tex> триангуляция (добавляя таким образом рёбра мы всё ещё получаем граф, который можно уложить на поверхности <tex>n</tex>-ого рода). Обозначим за <tex>d</tex> <tex>-</tex> среднюю степень вершины графа <tex>G</tex>, тогда должно быть справедливым следующее равенство:

<tex>dV = 2E = 3F</tex>.

Воспользуемся следующей формулой Эйлера

<tex>V - E + F = 2 - 2 n</tex>

Откуда <tex>E = V + F + 2 (n - 1)</tex> и <tex>F = 2 V + 4 (n - 1)</tex> и подставляя в первое равенство получаем

<tex>dV = 6V + 12(n - 1)</tex>

<tex>d = 6 + \dfrac{12(n - 1)}{V}</tex>

Поскольку <tex>d \leqslant V - 1</tex>, то получаем, что

<tex>V - 1\geqslant 6 + \dfrac{12(n - 1)}{V}</tex>.

Найдя единственный положительный корень неравенства получаем

<tex>V \geqslant \left[ \dfrac{7 + \sqrt{1 + 48n}}{2} \right]</tex>

Обозначим за <tex>H(n) = \left[ \dfrac{7 + \sqrt{1 + 48n}}{2} \right]</tex>. Если <tex> V \leqslant H(n)</tex>, то тогда граф <tex>G</tex> очевидно можно раскрасить в <tex>H(n)</tex> цветов и неравенство верное. Допустим, что <tex>V > H(n)</tex>, тогда

<tex> d < 6 + \dfrac{12(n - 1)}{H(n)} = H(n) - 1</tex>

Значит в такое графе существует хотя бы одна вершина степени не больше <tex>H(n) - 2</tex>, стянем её с любой соседней и получим новый граф <tex>G'</tex> с <tex>V - 1</tex> вершинами. Если <tex>V - 1 = H(n)</tex>, то граф <tex>G'</tex> можно раскрасить в <tex>H(n)</tex> цветов, значит и сам граф <tex>G</tex> можно также раскрасить в <tex>H(n)</tex> цветов, иначе снова повторим наш алгоритм.
}}

==Проблема четырёх красок==
Заметим, что теорема Хивуда не работает при <tex>n = 0</tex>, поэтому [[проблема четырёх красок]] не может быть доказана с помощью этой теоремы, однако при подстановке <tex>n = 0</tex> получаем, что <tex>\chi \left( S_0 \right) = 4</tex>.

==См. также==
* [[Хроматическое число планарного графа]]
* [[Проблема четырёх красок]]
* [[Формула Эйлера]]

==Источники информации==
* [https://en.wikipedia.org/wiki/Heawood_conjecture Wikipedia {{---}} Heawood conjecture]
* [https://oeis.org/A000934 Последовательность чисел Хивуда]
* Харари - Теория графов (стр. 162 - 164)

Гипотеза Хивуда

2019-12-01T14:32:21Z

Gaporf: Первая версия

{{Определение
|id = Heawood number
|definition =
'''Хроматическим числом поверхности поверхности <tex>S_n</tex>''' или '''<tex>n</tex>-ым числом Хивуда''' называется число <tex>\chi \left( S_n \right)</tex>, равное максимальному хроматическому числу графа, который можно уложить на поверхность <tex>n</tex>-ого рода.
}}

{{Теорема
|about=
Теорема Хивуда о раскраске карт
|statement=
Для любого положительного целого числа <tex>n</tex> хроматическое число поверхности <tex>n</tex>-ого рода определяется формулой <tex>\chi \left( S_n \right) = \left[ \dfrac{ 7 + \sqrt{1 + 48n} }{ 2 } \right]</tex>
|proof=

Для начала докажем <tex>\chi \left(S_n\right) \leqslant \left[ \dfrac{7 + \sqrt{1 + 48n}}{2} \right]</tex>

Пусть задан граф <tex>G</tex> с <tex>V</tex> вершина, <tex>E</tex> рёбрами и <tex>F</tex> гранями, также будем считать, что <tex>G</tex> <tex>-</tex> триангуляция (добавляя таким образом рёбра мы всё ещё получаем граф, который можно уложить на поверхности <tex>n</tex>-ого рода). Обозначим за <tex>d</tex> <tex>-</tex> среднюю степень вершины графа <tex>G</tex>, тогда должно быть справедливым следующее равенство:

<tex>dV = 2E = 3F</tex>.

Воспользуемся следующей формулой Эйлера

<tex>V - E + F = 2 - 2 n</tex>

Откуда <tex>E = V + F + 2 (n - 1)</tex> и <tex>F = 2 V + 4 (n - 1)</tex> и подставляя в первое равенство получаем

<tex>dV = 6V + 12(n - 1)</tex>

<tex>d = 6 + \dfrac{12(n - 1)}{V}</tex>

Поскольку <tex>d \leqslant V - 1</tex>, то получаем, что

<tex>V - 1\geqslant 6 + \dfrac{12(n - 1)}{V}</tex>.

Найдя единственный положительный корень неравенства получаем

<tex>V \geqslant \left[ \dfrac{7 + \sqrt{1 + 48n}}{2} \right]</tex>

Обозначим за <tex>H(n) = \left[ \dfrac{7 + \sqrt{1 + 48n}}{2} \right]</tex>. Если <tex> V \leqslant H(n)</tex>, то тогда граф <tex>G</tex> очевидно можно раскрасить в <tex>H(n)</tex> цветов и неравенство верное. Допустим, что <tex>V > H(n)</tex>, тогда

<tex> d < 6 + \dfrac{12(n - 1)}{H(n)} = H(n) - 1</tex>

Значит в такое графе существует хотя бы одна вершина степени не больше <tex>H(n) - 2</tex>, стянем её с любой соседней и получим новый граф <tex>G'</tex> с <tex>V - 1</tex> вершинами. Если <tex>V - 1 = H(n)</tex>, то граф <tex>G'</tex> можно раскрасить в <tex>H(n)</tex> цветов, значит и сам граф <tex>G</tex> можно также раскрасить в <tex>H(n)</tex> цветов, иначе снова повторим наш алгоритм.

Осталось доказать нижнюю границу для <tex>\chi \left(S_n\right)</tex>, для этого воспользуемся неравенством

<tex>n \geqslant \gamma\left(K_p\right) = \left\{\frac{(p - 3)(p - 4)}{12}\right\}</tex>, функция монотонно возрастает при <tex>p \geqslant 4</tex>, и для любого <tex>n</tex> наибольшее значение функция <tex>\left\{\frac{(p - 3)(p - 4)}{12}\right\}</tex> достигается при <tex>p=\left[\dfrac{7 + \sqrt{1 + 48n}}{2} \right]</tex>. Поскольку <tex>\chi\left(K_p\right) = p</tex>, откуда получаем, что <tex>H(n)</tex> неулучшаемая нижняя граница для числа <tex>\chi\left(S_n\right)</tex>.

}}

==См. также==
* [[Хроматическое число планарного графа]]
* [[Проблема четырёх красок]]
* [[Формула Эйлера]]

==Источники информации==
* [https://en.wikipedia.org/wiki/Heawood_conjecture Wikipedia {{---}} Heawood conjecture]
* [https://oeis.org/A000934 Последовательность чисел Хивуда]
* Харари - Теория графов (стр. 162 - 164)

Участник:Gaporf

2019-08-12T17:00:23Z

Gaporf:

Николай Акимов, группа M3238

Алгебра

2019-06-16T12:42:05Z

Gaporf: /* Алгебра */ fixed operator

=Умножение линейных операторов=
{{Определение
|definition=Пусть <tex>\mathcal{A} \colon X \to Y </tex> и <tex>\mathcal{B} \colon Y \to Z </tex>, причём <tex>\dim X = n</tex>, <tex>\dim Y = m</tex> и <tex>\dim Z = p</tex>. 
Тогда отображение <tex>\mathcal{C} \colon X \to Z</tex> называется называется '''произведением линейных операторов''' <tex>\mathcal{B}</tex> и <tex>\mathcal{A} \ (\mathcal{C} = \mathcal{B} \cdot \mathcal{A})</tex>, если <tex>\forall x \in X \colon \ \mathcal{C}(x) = \mathcal{B}(\mathcal{A}x)</tex>
}}

{{Лемма
|statement=Если <tex>\mathcal{C} = \mathcal{B} \cdot \mathcal{A}</tex>, то <tex>\mathcal{C}</tex> - '''линейный оператор''', т.е. <tex>\mathcal{C} \in X \times Z </tex>
|proof= УПРАЖНЕНИЕ
}}

{{Теорема
|statement=Пусть <tex>\{e_i\}_{i=1}^n</tex> - базис <tex>X</tex>, <tex>\{h_k\}_{k=1}^m</tex> - базис <tex>Y</tex>, <tex>\{l_s\}_{s=1}^p</tex> - базис <tex>Z</tex> и пусть <tex> A_{[m \times n]} = ||\alpha_k^i||</tex> - матрица <tex>\mathcal{A}</tex>, <tex> B_{[p \times m]} = ||\beta_k^i||</tex> - матрица <tex>\mathcal{B}</tex>, <tex>C_{[p \times n]} = ||\gamma_k^i||</tex> - матрица <tex>\mathcal{C}</tex>, где <tex>\mathcal{C} = \mathcal{B} \cdot \mathcal{A}</tex>. 
Тогда <tex>C = B \cdot A</tex>.

|proof=1. <tex dpi = "150">\mathcal{C}e_i = \sum\limits_{k=1}^{p} \gamma_{i}^{k} l_k</tex>, т.е. <tex>\gamma_{i}^{k} = (Ce_i)^k</tex> по определению матрицы <tex>C</tex>. 
2. <tex dpi = "150">\mathcal{C}e_i = \mathcal{B} (\mathcal{A} e_i) = \mathcal{B} (\sum\limits_{j=1}^{m} \alpha_{i}^{j} h_j) \overset{\mathcal{B} - lin.op}{=} \sum\limits_{j=1}^{m} \alpha_{i}^{j} \mathcal{B}(h_j) = \sum\limits_{j=1}^{m} \alpha_{i}^{j} (\sum\limits_{k=1}^{p} \beta_{j}^{k} l_k) = </tex><tex dpi = "150"> \sum\limits_{k=1}^{p} (l_k \sum\limits_{j=1}^{m} \beta_{j}^{k} \alpha_{i}^{j}) </tex>, тогда из 1 и 2: 
<tex dpi = "150">\gamma_i^k = \sum\limits_{j=1}^{m} \beta_{j}^{k} \alpha_{i}^{j} \overset{def}{\Leftrightarrow} C_{[p \times n]} = B_{[p \times m]} \times A_{[m \times n]} </tex>, для <tex>i = 1..n</tex> и <tex>k = 1..p</tex>
}}

[[Категория: Алгебра и геометрия 1 курс]]

=Алгебра=

{{Определение
|definition=Линейное пространство <tex>X</tex> над <tex>F</tex> называется '''алгеброй''', если в нём задана вторая бинарная операция <tex>\cdot</tex>, и при этом 
<tex>\forall x,y,z \in X </tex> и <tex>\forall \alpha \in F \colon</tex> 
1) <tex>(x \cdot y) \cdot z = x \cdot (y \cdot z)</tex> 
2) <tex>(x + y) \cdot z = x \cdot z + y \cdot z</tex> 
3) <tex>z \cdot (x + y) = z \cdot x + z \cdot y</tex> 
4) <tex>\alpha(x \cdot y) = (\alpha x)y = x(\alpha y)</tex>
}}

{{Nota Bene|notabene=Если <tex>\forall x,y \in X \colon x \cdot y = y \cdot x </tex>, то <tex>X</tex> называется '''коммутативной (абелевой)''' алгеброй.}}

{{Теорема
|statement=Пусть <tex>X = F_n^n = \{ A_{[n \times n]} = ||\alpha_k^i||, \ \alpha_k^i \in F \}</tex>, тогда <tex>X</tex> - алгебра над <tex>F</tex>. (не абелева)
}}

{{Теорема
|statement=<tex>X \times X</tex> - алгебра над <tex>F</tex>, где <tex>X \times X = \{ \mathcal{A} \colon X \Rightarrow X \}</tex>.
}}

=Изоморфные алгебры=

{{Определение
|definition=Пусть <tex>X</tex> и <tex>Y</tex> - алгебры над <tex>F</tex>. Тогда назовём <tex>X</tex> и <tex>Y</tex> '''изоморфными''', если <tex>\exists \Leftrightarrow</tex> - линейный оператор между алгебрами, такой что 
1) <tex> \Leftrightarrow </tex> - взаимооднозначный л.о., т.е. 
Для <tex>x \in X, y \in Y \colon \ x \leftrightarrow y</tex> 
2) <tex> \Leftrightarrow </tex> сохраняет линейную и мультипликативную структуру 
1. <tex>x_1 + x_2 \ \leftrightarrow \ y_1 + y_2</tex> 
2. <tex>\alpha x_1 \ \leftrightarrow \ \alpha y_1</tex> 
3. <tex>x_1x_2 \ \leftrightarrow \ x_1x_2</tex>
}}

{{Теорема
|statement=Алгебры <tex>F_n^n</tex> и <tex>X \times X</tex> - изоморфны.
}}

[[Категория: Алгебра и геометрия 1 курс]]

Линейный оператор

2019-06-16T11:31:45Z

Gaporf: /* Интегральный оператор */ fixed integral index

==Линейный оператор==
{{Определение
|definition=Пусть <tex>X</tex> и <tex>Y</tex> {{---}} линейные пространства над полем <tex>F</tex>. Отображение <tex>\mathcal{A} \colon X \to Y</tex> называется линейным оператором, если <tex>\forall x_1,x_2 \in X</tex>, <tex>\forall \lambda \in F</tex>:
* <tex>\mathcal{A}(x_1+x_2)=\mathcal{A}(x_1)+\mathcal{A}(x_2)</tex>
* <tex>\mathcal{A}(\lambda \cdot x_1) = \lambda \cdot \mathcal{A}(x_1)</tex>
}}

{{Определение
|definition=Линейный оператор <tex>\mathcal{A} \colon X \to X</tex> называется автоморфизмом (или гомоморфизмом).
}}
{{Nota Bene|notabene=<tex>\mathcal{A}(x) = \mathcal{A}x</tex>}}
{{Определение
|definition=Пусть <tex>\mathcal{A},\mathcal{B}\colon X \to Y</tex> 
<tex>\mathcal{A}=\mathcal{B}</tex>, если <tex>\forall x \in X:\mathcal{A}x = \mathcal{B}x</tex>
}}
{{Определение
|definition=<tex>\mathcal{O}</tex> называется нулевым оператором, если <tex>\forall x, y \in X : \mathcal{O}x=\mathcal{O}y</tex>
}}

== Примеры ==
=== Тождественный оператор ===
<tex>I \colon X \to X</tex> по формуле <tex>Ix=x</tex>

=== Линейный оператор проектирования ===
<tex>X=L_1 + L_2</tex>

<tex>\mathcal{P}_{L_1}^{||L_2} \colon X \to L_1</tex>

<tex>\mathcal{P}_{L_2}^{||L1} \colon X \to L_2</tex>

NB: <tex>\mathcal{P}_{L_{1,2}}^{||L_{2,1}}\colon X \to X</tex> (<tex>L_1</tex> и <tex>L_2</tex> {{---}} п.п. <tex>X</tex>)

=== Оператор дифференцирования ===
Пусть <tex>X=P_n</tex>

<tex>\mathcal{D} \colon P_n \to P_{n-1}</tex> по формуле <tex>(\mathcal{D}p)(t)={dp(t) \over dt} = p^{'}(t)</tex>

=== Интегральный оператор ===
Пусть <tex>X = C(a,b); K(s,t)</tex> - непрерывная функция; <tex> s \in (a,b); t \in (a,b)</tex>

<tex>(\mathcal{B}f)(s) = \int\limits_a^b K(s,t) \cdot f(t) \cdot dt</tex>

<tex>\mathcal{B} \colon C(a,b) \to C(a,b)</tex>

== Матрица линейного оператора ==
Пусть <tex>\mathcal{A} \colon X \to Y</tex>

Пусть п.п. <tex>X \leftrightarrow \{e_k\}_{k=1}^n, \dim X=n</tex>

Пусть п.п. <tex>Y \leftrightarrow \{h_i\}_{i=1}^m, \dim Y = m</tex>

<tex>\underset{1\leq k\leq n}{\mathcal{A}e_k}=\displaystyle \sum_{i=1}^m \alpha_k^i \cdot h_i \Rightarrow A=||\alpha_k^i||</tex>, где <tex>1\leq i\leq m, 1 \leq k \leq n</tex>

<tex>
A=
\begin{pmatrix}
\alpha_1^1 & \cdots & \alpha_n^1 \\
\alpha_1^2 & \cdots & \alpha_n^2 \\
\cdots & \cdots & \cdots \\
\alpha_1^m & \cdots & \alpha_n^m \\
\end{pmatrix}
</tex>

{{Nota Bene|notabene=Обратите внимание, что <tex>\mathcal{A}</tex> означает оператор, а <tex>A</tex> {{---}} матрицу этого оператора.}}

== Примеры ==
=== Нулевой оператор ===
<tex>
\mathcal{O}_{[m \times n]}=
\begin{pmatrix}
0 & \cdots & 0 \\
\cdots & \cdots & \cdots \\
0 & \cdots & 0 \\
\end{pmatrix}
</tex>

=== Оператор дифференцирования ===
<tex>\mathcal{D} \colon P_n \to P_{n-1}</tex>

<tex>\{1,t,t^2,...,t^n\}</tex> - базис <tex>P_n</tex>

<tex>
D=
\begin{pmatrix}
0 & 1 & 0 & 0 & \cdots & 0 \\
0 & 0 & 2 & 0 & \cdots & 0 \\
0 & 0 & 0 & 3 &\cdots & 0 \\
\cdots & \cdots & \cdots & \cdots &\cdots & \cdots \\
0 & 0 & 0 & 0 &\cdots & n \\
\end{pmatrix}
</tex>

==Теорема об эквивалентности задания линейного оператора==
{{Теорема
|statement=
Задание Л.О. <tex>\mathcal{A}: X \rightarrow Y \Leftrightarrow </tex> заданию его матрицы в паре базисов <tex>\{x_i\}_{i=1}^{n}</tex> и <tex>\{h_k\}_{k=1}^{m}</tex>
|proof=
<tex> \Rightarrow \mathcal{A} = \sum\limits_{k=1}^{m} \alpha_{k}^{i}h_k </tex> (единственным образом) <tex> \Rightarrow A=||\alpha_k^i||</tex>, где <tex>1\leq i\leq n, 1 \leq k \leq m</tex>

<tex> \Leftarrow x= \sum\limits_{i=1}^{n} \xi^i e_i </tex> (единственным образом)

Рассмотрим <tex>\mathcal{A}x= \mathcal{A}(\sum\limits_{i=1}^{n} \xi^ie_i)= \sum\limits_{i=1}^{n} \xi^i \mathcal{A}e_i= \sum\limits_{i=1}^{n} \xi^i \sum\limits_{k=1}^{m} \alpha_{i}^{k}h_k=\sum\limits_{k=1}^{m}(\sum\limits_{i=1}^{n} \alpha_{i}^{k} \xi^i)h_k </tex> (1)

<tex>\mathcal{A}x=y=\sum\limits_{k=1}^{m} \eta^kh_k </tex> (2)

из (1) и (2) получим, что <tex>\eta^k=\sum\limits_{i=1}^{n} \alpha_{i}^{k} \xi^i \Leftrightarrow A \cdot X= Y</tex> (умножение матриц), тогда <tex>\mathcal{A}x=y</tex>
}}

[[Категория: Алгебра и геометрия 1 курс]]
[[Категория: Линейные операторы]]

Универсальное семейство хеш-функций

2019-06-04T13:27:38Z

Gaporf: /* Определение */ исправил опечатку

==Определение==

Качественная хеш-функция (англ. ''hash function'') удовлетворяет (приближенно) условию простого равномерного [[Хеширование|хеширования]]: для каждого ключа, независимо от хеширования других ключей, равновероятно помещение его в любую из <tex> m </tex> ячеек. Но это условие обычно невозможно проверить, так как распределение вероятностей, с которыми поступают входные данные, как правило, неизвестно. К тому же, вставляемые ключи могут и не быть независимыми. Если наш противник будет умышленно выбирать ключи для хеширования при помощи конкретной хеш-функции, то при некоторых реализациях хеш-таблиц может получиться так, что все ключи будут записаны в одну и ту же ячейку таблицы, что приведет к среднему времени выборки <tex> \Theta(n) </tex>. Таким образом, любая фиксированная хеш-функция становится уязвимой. И единственный эффективный выход из данной ситуации {{---}} случайный выбор хеш-функции. Такой подход называется универсальным хешированием. Он гарантирует хорошую производительность в среднем, вне зависимости от данных, выбранных нашим противником.

{{Определение
|definition=
Пусть <tex> H </tex> {{---}} конечное множество хеш-функций, которые отображают пространство ключей <tex>\ U </tex> в диапазон <tex> \{0, 1, 2, .. , m - 1\} </tex>.
Такое множество называется '''универсальным''' (англ. ''universal''), если для каждой пары ключей <tex> k, l \in U, (k\ne l)</tex> количество хеш-функций <tex> h \in H </tex>, для которых <tex> h(k) = h(l) </tex> не превышает <tex dpi = "180"> \frac{|H|}{m} </tex>.
}}

Иными словами, при случайном выборе хеш-функции из <tex> H </tex> вероятность коллизии между различными ключами <tex> k, l </tex> не превышает вероятности совпадения двух случайным образом выбранных хеш-значений из множества <tex> \{0, 1, 2, .. , m - 1\} </tex>, которая равна <tex dpi = "180"> \frac{1}{m} </tex>.

==Построение универсального множества хеш-функций==
{{Теорема
|statement=
Множество хеш функций <tex>H_{p,m}=\{h_{a,b}:a\in Z_p^*,b\in Z_p\}</tex>, где <tex>h_{a,b}(k)=((ak+b)\bmod p)\bmod m</tex>, <tex>Z_p^*=\{1,2,\dots,p-1\}</tex>, <tex>Z_p=\{0,1,\dots,p-1\}</tex>, <tex>p</tex> {{---}} простое число, является универсальным.
|proof=
Рассмотрим <tex>k,l\in Z_p:k\ne l</tex>. Пусть для данной хеш-функции <tex>h_{a,b}</tex>

<tex>r=(ak+b)\bmod p</tex>,

<tex>s=(al+b)\bmod p</tex>.

<tex>r\ne s</tex>, так как <tex>r-s\equiv a(k-l)\pmod p</tex>, а <tex>p</tex> {{---}} простое число, <tex>a</tex> и <tex>(k-l)</tex> не равны нулю по модулю <tex>p</tex>. Значит, произведение <tex>r</tex> и <tex>s</tex> также отлично от нуля по модулю <tex>p</tex>. Таким, образом, коллизии "по модулю <tex>p</tex>" отсутствуют. Более того, каждая из <tex>p(p-1)</tex> возможных пар <tex>(a,b)</tex>, приводят к различным парам <tex>(r,s):r\ne s</tex>. Чтобы доказать это, достаточно рассмотреть возможность однозначного определения <tex>a</tex> и <tex>b</tex> по заданным <tex>r</tex> и <tex>s</tex>:

<tex>a=\left((r-s)((k-l)^{-1}\bmod p)\right)\bmod p,\ b=(r-ak)\bmod p</tex>.

Поскольку имеется только <tex>p(p-1)</tex> возможных пар <tex>(r,s):r\ne s</tex>, то имеется взаимнооднозначное соответствие между парами <tex>(a,b)</tex> и парами <tex>(r,s):r\ne s</tex>. Таким образом, для любых <tex>k,l</tex> при равномерном случайном выборе пары <tex>(a,b)</tex> из <tex>Z_p^*\times Z_p</tex>, получаемая в результате пара <tex>(r,s)</tex> может быть с равной вероятностью любой из пар с отличающимися значениями по модулю <tex>p</tex>.

Отсюда следует, что вероятность того, что различные ключи <tex>k,l</tex> приводят к коллизии, равна вероятности того, что <tex>r\equiv s\pmod m</tex> при произвольном выборе отличающихся по модулю <tex>p</tex> значений <tex>r</tex> и <tex>s</tex>. Для данного <tex>r</tex> имеется <tex>p-1</tex> возможное значение <tex>s</tex>. При этом число значений <tex>s:s\ne r</tex> и <tex>s\equiv r\pmod p</tex>, не превышает

<tex dpi = "150">\left\lceil \frac{p}{m}\right\rceil-1\le\frac{p+m-1}{m}-1=\frac{p-1}{m}</tex>.

Вероятность того, что <tex>s</tex> приводит к коллизии с <tex>r</tex> при приведении по модулю <tex>m</tex>, не превышает <tex dpi = "150">\frac{p-1}{m}\cdot\frac{1}{p-1}=\frac{1}{m}</tex>.

Значит, <tex dpi = "150">\forall k\ne l\in Z_p\ P(h_{a,b}(k)=h_{a,b}(l))\le\frac{1}{m}</tex>, что означает, что множество хеш-функций <tex>H_{p,m}</tex> является универсальным.
}}

== Попарная независимость ==

{{Определение
|definition=
Пусть <tex> H </tex> {{---}} универсальное семейство хеш-функций.
Говорят что оно обладает свойством '''попарной независимости'''(англ. ''pairwise independence''), если при фиксированных <tex> x, y</tex> <tex> (0 \le x, y \le m-1)</tex> для каждой пары ключей <tex> k, l \in U (k\ne l) </tex> вероятность того, что <tex> h(k) = x </tex> и <tex> h(l) = y </tex>, равна <tex dpi = "150"> \frac{1}{m^2} + o(\frac{1}{m^2}) </tex>.
}}

==Построение попарно независимого множества хеш-функций==
{{Теорема
|statement=
Семейство хеш функций, описанное выше, также является попарно независимым.
|proof=
Для функции <tex>h_{a,b}</tex> получаем

<tex>x = (ak+b)\bmod p \bmod m</tex>

<tex>y = (al+b)\bmod p \bmod m</tex>

Выразим отсюда <tex>a</tex> и <tex>b</tex>. Вычтя из первого уравнения второе, получим:

<tex>x - y = a(k - l)\bmod p \bmod m</tex>

Теперь сначала первое домножим на <tex>l</tex>, и второе на <tex>k</tex>. Вычитаем:

<tex>lx - ky = b(l - k)\bmod p \bmod m</tex>

Запишем иначе:

<tex>x - y \equiv a(k - l)+im \pmod p</tex>

<tex>lx - ky \equiv b(l - k)+jm \pmod p</tex>,

где <tex dpi = "135"> 0 \le i, j < \lfloor \frac{p}{m} \rfloor </tex>.

Стоит отметить, что эти равенства мы считаем выполненными, если при данных <tex>a, b, x</tex> и <tex>y</tex> и '''каких-либо''' <tex>i</tex> и <tex>j</tex> они будут верными (исходя из того как мы их получили).

<tex>k \ne l</tex>, <tex>p</tex> {{---}} простое, тогда

<tex>a \equiv (k - l)^{-1}(x - y - im) \pmod p</tex>

<tex>b \equiv (l - k)^{-1}(lx - ky - jm)</tex> <tex>\pmod p</tex>

Теперь заметим, что <tex>a</tex> принимает <tex>p</tex> различных значений, а <tex>i</tex> {{---}} <tex dpi = "130">\lfloor \frac{p}{m} \rfloor</tex> значений. Понятно, что для заданных <tex>x, y</tex> и <tex>a</tex> с вероятностью лишь <tex dpi = "130"> \frac{1}{m} </tex> найдётся <tex>i</tex>, обращающий первое равенство в тождество; аналогично и со вторым равенством.

Остаётся подытожить наши выкладки.

<tex>P( [x = (ak+b)\bmod p \bmod m]</tex> <tex>\wedge</tex> <tex>[y = (al+b)\bmod p \bmod m])</tex>
<tex>=</tex>

<tex>=</tex>
<tex>P( [a \equiv (k - l)^{-1}(x - y - im)</tex> <tex>\pmod p]</tex> <tex>\wedge</tex> <tex>[b \equiv (l - k)^{-1}(lx - ky - jm)</tex> <tex>\pmod p])</tex>
<tex>=</tex>

<tex>=</tex>
<tex>P( a \equiv (k - l)^{-1}(x - y - im)</tex> <tex>\pmod p)</tex> <tex>\cdot</tex> <tex>P( b \equiv (l - k)^{-1}(lx - ky - jm)</tex> <tex>\pmod p)</tex>
<tex>=</tex>

<tex>=</tex>
<tex dpi = "130">(\frac{1}{m} + o(\frac{1}{m})) \cdot (\frac{1}{m} + o(\frac{1}{m})) = \frac{1}{m^2} + o(\frac{1}{m^2})</tex>

Переход к третьей строчке объясняется тем, что события, объединённые знаком <tex>\wedge</tex>, независимы (т.к. случайные величины здесь только <tex>a</tex> и <tex>b</tex>; <tex>x, y, k, l</tex> {{---}} фиксированы).
}}

==Источники информации==

* Томас Х. Кормен, Чарльз И. Лейзерсон, Рональд Л. Ривест, Клиффорд Штайн Алгоритмы: построение и анализ — 2-е изд. — М.: «Вильямс», 2005. — с. 294. — ISBN 5-8459-0857-4

[[Категория: Дискретная математика и алгоритмы]][[Категория:Хеширование]]

Алгоритм Кока-Янгера-Касами разбора грамматики в НФХ

2019-05-23T19:51:50Z

Gaporf: /* Контекстно-свободная грамматика */ тире

{{Задача
|definition =
Пусть дана [[Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора|контекстно-свободная грамматика]] <tex>\Gamma</tex> в [[нормальная форма Хомского|нормальной форме Хомского]] и слово <tex>w \in \Sigma^{*}</tex>. Требуется выяснить, выводится ли это слово в данной грамматике.
}}

== Контекстно-свободная грамматика ==
{{Определение
|definition =
'''[[Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора|Контекстно-свободная грамматика]]''' ('''КС-грамматика''', '''бесконтекстная грамматика''') {{---}} способ описания формального языка, представляющий собой четверку
<tex>\Gamma =\langle \Sigma, N, S \in N, P \subset N^{+}\times (\Sigma\cup N)^{*}\rangle</tex>, где:
* <tex>\Sigma</tex> {{---}} [[Основные_определения: алфавит, слово, язык, конкатенация, свободный моноид слов|алфавит]], элементы которого называют '''терминалами''' (англ. ''terminals'')
* <tex>N</tex> {{---}} множество, элементы которого называют '''нетерминалами''' (англ. ''nonterminals'')
* <tex>S</tex> {{---}} начальный символ грамматики (англ. ''start symbol'')
* <tex>P</tex> {{---}} набор правил вывода (англ. ''production rules'' или ''productions'') вида <tex>A \rightarrow B_1 B_2 \ldots B_n</tex>, где <tex>A \in N</tex>, <tex>B_i \in \Sigma \cup N</tex>, то есть у которых левые части {{---}} одиночные нетерминалы, а правые {{---}} последовательности терминалов и нетерминалов.
}}
=== Пример ===

Терминалы <tex>\Sigma = \{(, )\}</tex>.

Нетерминалы <tex>N = \{S\}</tex>.

Правила вывода <tex>P</tex>:

<tex>\begin{array}{l l}
S \rightarrow \varepsilon\\
S \rightarrow SS\\
S \rightarrow (S)\\
\end{array}</tex>

Данная грамматика задает язык [[Правильные_скобочные_последовательности|правильных скобочных последовательностей]]. Например, последовательность <tex>(()(()))</tex> может быть выведена следующим образом:

<tex> S \Rightarrow (S) \Rightarrow (SS) \Rightarrow (()(S)) \Rightarrow (()(())) </tex>

== Нормальная форма Хомского ==

'''[[Нормальная форма Хомского]]''' {{---}} нормальная форма КС-грамматик, в которой все продукции имеют вид:
* <tex>A \rightarrow a</tex>, где <tex>A</tex> {{---}} нетерминал, а <tex>a</tex> {{---}} терминал
* <tex>A \rightarrow BC</tex>, где <tex>A</tex>, <tex>B</tex>, <tex>C</tex> {{---}} нетерминалы, причем <tex>B</tex> и <tex>C</tex> не являются начальными нетерминалами
* <tex>S \rightarrow \varepsilon</tex>, где <tex>S</tex> {{---}} начальный нетерминал и <tex>\varepsilon</tex> {{---}} пустая строка (данная продукция необходима, если в языке присуствует пустая строка)

[[Нормальная форма Хомского|Можно показать]], что любую КС-грамматику можно привести к нормальной форме Хомского.

== Алгоритм ==
'''Алгоритм Кока-Янгера-Касами''' (англ. ''Cocke-Younger-Kasami algorithm'', англ. ''CYK-алгоритм'') {{---}} алгоритм, позволяющий по слову узнать, выводимо ли оно в заданной КС-грамматике в нормальной форме Хомского. Любую КС-грамматику можно привести к НФХ, поэтому алгоритм является универсальным для любой КС-грамматики.

Будем решать задачу [[Динамическое_программирование|динамическим программированием]]. Дана строка <tex>w</tex> размером <tex>n</tex>. Заведем для неё трехмерный массив <tex>d</tex> размером <tex>|N| \times n \times n</tex>, состоящий из логических значений, и <tex>d[A][i][j] = true \ </tex> тогда и только тогда, когда из нетерминала <tex>A</tex> правилами грамматики можно вывести подстроку <tex>w[i \ldots j]</tex>.

Рассмотрим все пары <tex>\lbrace \langle j, i \rangle | j-i=m \rbrace</tex>, где <tex>m</tex> {{---}} константа и <tex>m < n</tex>.

* <tex>i = j</tex>. Инициализируем массив для всех нетерминалов, из которых выводится какой-либо символ строки <tex>w</tex>. В таком случае <tex>d[A][i][i] = true \ </tex>, если в грамматике <tex>\Gamma</tex> присутствует правило <tex>A \rightarrow w[i]</tex>. Иначе <tex>d[A][i][i] = false</tex>.

* <tex>i \ne j</tex>. Значения для всех нетерминалов и пар <tex>\lbrace \langle j', i' \rangle | j' - i' < m \rbrace</tex> уже вычислены, поэтому <tex>d[A][i][j] = \bigvee\limits_{A \rightarrow BC}\bigvee\limits_{k = i}^{j-1} d[B][i][k] \wedge d[C][k+1][j] \ \ </tex>. То есть, подстроку <tex>w[i \ldots j]</tex> можно вывести из нетерминала <tex>A</tex>, если существует продукция вида <tex>A \rightarrow BC</tex> и такое <tex>k</tex>, что подстрока <tex>w[i \ldots k]</tex> выводима из <tex>B</tex>, а подстрока <tex>w[k + 1 \ldots j]</tex> выводится из <tex>C</tex>.
[[Файл:CYK_rule_2.jpg|400px]]

После окончания работы значение <tex>d[S][1][n]</tex> содержит ответ на вопрос, выводима ли данная строка в данной грамматике, где <tex>S</tex> {{---}} начальный символ грамматики.

== Модификации ==

=== Количество способов вывести слово ===
Если массив будет хранить целые числа, а формулу заменить на <tex>d[A][i][j] = \sum\limits_{A \rightarrow BC}\sum\limits_{k = i}^{j-1} d[B][i][k] \cdot d[C][k + 1][j] \ \ </tex>, то <tex>d[A][i][j]</tex> {{---}} количество способов получить подстроку <tex>w[i \ldots j]</tex> из нетерминала <tex>A</tex>.

=== Минимальная стоимость вывода слова ===
Пусть <tex>H(A \rightarrow BC)</tex> {{---}} стоимость вывода по правилу <tex>A \rightarrow BC</tex>. Тогда, если использовать формулу <tex>d[A][i][j] = \min\limits_{A \rightarrow BC} \min\limits_{k = i}^{j-1} ( d[B][i][k] + d[C][k + 1][j] + H(A \rightarrow BC) ) \ \ </tex>, то <tex>d[A][i][j]</tex> {{---}} минимальная стоимость вывода подстроки <tex>w[i \ldots j]</tex> из нетерминала <tex>A</tex>.

Таким образом, задача о выводе в КС-грамматике в нормальной форме Хомского является частным случаем задачи динамического программирования на подотрезке.

== Асимптотика ==
Обработка правил вида <tex>A \rightarrow w[i]</tex> выполняется за <tex>O(n \cdot |\Gamma|)</tex>.

Проход по всем подстрокам выполняется за <tex>O(n^2)</tex>. В обработке одной подстроки присутствует цикл по всем правилам вывода и по всем разбиениям на две подстроки, следовательно обработка работает за <tex>O(n \cdot |\Gamma|)</tex>. В итоге получаем конечную сложность <tex>O(n^3 \cdot |\Gamma|)</tex>.

Следовательно, общее время работы алгоритма {{---}} <tex>O(n^3 \cdot |\Gamma|)</tex>. Кроме того, алгоритму требуется память на массив <tex>d</tex> объемом <tex>O(n^2 \cdot |N|)</tex>, где <tex>|N|</tex> {{---}} количество [[Формальные_грамматики#Определения|нетерминалов]] грамматики.

== Пример работы ==
Дана грамматика [[Правильные_скобочные_последовательности|правильных скобочных последовательностей]] <tex>\Gamma</tex> в нормальной форме Хомского.

<tex>\begin{array}{l l}
A \rightarrow \varepsilon\ |\ BB\ |\ CD\\
B \rightarrow BB\ |\ CD\\
C \rightarrow (\\
D \rightarrow BE\ |\ )\\
E \rightarrow )\\
\end{array}</tex>

Дано слово <tex>w = ()(())</tex>.

Инициализация массива <tex>d</tex>.

{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|A
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|B
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|C
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
| align="center"| ●
|
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
| align="center"| ●
|
|
|
|-
! 4
|
|
|
| align="center"| ●
|
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|D
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|E
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
<div style="clear:both;"></div>

Заполнение массива <tex>d</tex>.

Итерация <tex>m = 1</tex>.

{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|A
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|B
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|C
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
| align="center"| ●
|
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
| align="center"| ●
|
|
|
|-
! 4
|
|
|
| align="center"| ●
|
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|D
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|E
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
<div style="clear:both;"></div>

Итерация <tex>m = 2</tex>.

{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|A
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|B
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|C
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
| align="center"| ●
|
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
| align="center"| ●
|
|
|
|-
! 4
|
|
|
| align="center"| ●
|
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|D
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
| align="center"| ●
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|E
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
<div style="clear:both;"></div>

Итерация <tex>m = 3</tex>.

{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|A
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
| align="center"| ●
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|B
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
| align="center"| ●
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|C
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
| align="center"| ●
|
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
| align="center"| ●
|
|
|
|-
! 4
|
|
|
| align="center"| ●
|
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|D
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
| align="center"| ●
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|E
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
<div style="clear:both;"></div>

Итерация <tex>m = 4</tex>.

{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|A
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
| align="center"| ●
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|B
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
| align="center"| ●
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|C
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
| align="center"| ●
|
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
| align="center"| ●
|
|
|
|-
! 4
|
|
|
| align="center"| ●
|
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|D
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
| align="center"| ●
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|E
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
<div style="clear:both;"></div>

Итерация <tex>m = 5</tex>.

{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|A
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
| align="center"| ●
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
| align="center"| ●
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|B
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
| align="center"| ●
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
| align="center"| ●
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|C
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
| align="center"| ●
|
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
| align="center"| ●
|
|
|
|-
! 4
|
|
|
| align="center"| ●
|
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|D
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
| align="center"| ●
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|E
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
<div style="clear:both;"></div>

== См. также ==
* [[Алгоритм Кока-Янгера-Касами, модификация для произвольной грамматики|Алгоритм Кока-Янгера-Касами, модификация для произвольной грамматики]]
* [[Алгоритм_Эрли|Алгоритм Эрли]]
==Источники информации==
* [[wikipedia:CYK_algorithm|Wikipedia {{---}} CYK algorithm]]
* [http://web.cs.ucdavis.edu/~rogaway/classes/120/winter12/CYK.pdf David Rodriguez-Velazquez, "The CYK Algorithm"]
* [https://www.princeton.edu/~achaney/tmve/wiki100k/docs/CYK_algorithm.html Princeton University, "The CYK Algorithm"]

[[Категория:Дискретная математика и алгоритмы]]
[[Категория:Динамическое программирование]]
[[Категория: Теория формальных языков]]
[[Категория: Контекстно-свободные грамматики]]
[[Категория: Алгоритмы разбора]]

Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора

2019-05-23T19:43:11Z

Gaporf: Исправил многоточия ещё

==Основные определения==
{{Определение
|id=csgrammar
|definition=
'''Контекстно-свободной грамматикой''' (англ. ''сontext-free grammar'') называется [[Формальные грамматики|грамматика]], у которой в левых частях всех правил стоят только одиночные нетерминалы.
}}
{{Определение
|id=lang
|definition=
'''Контекстно-свободный язык''' (англ. ''context-free language'') {{---}} язык, задаваемый контекстно-свободной грамматикой.
}}

==Лево- и правосторонний вывод слова==

{{Определение
|definition=
'''Выводом слова''' (англ. ''derivation of a word'') <tex>\alpha</tex> называется последовательность строк, состоящих из терминалов и нетерминалов. Первая строка последовательности состоит из одного стартового нетерминала. Каждая последующая строка получена из предыдущей путем замены любого нетерминала по одному (любому) из правил, а последней строкой в последовательности является слово <tex>\alpha</tex>.
}}
'''Пример:'''

Рассмотрим грамматику, выводящую все правильные скобочные последовательности.
:<tex>(</tex> и <tex>)</tex> {{---}} терминальные символы
:<tex>S</tex> {{---}} стартовый нетерминал

Правила:
#<tex>S\rightarrow (S)S</tex>
#<tex>S\rightarrow S(S)</tex>
#<tex>S\rightarrow \varepsilon</tex>

Выведем слово <tex>(()(()))()</tex>:

<tex>\boldsymbol{S}\Rightarrow (S)\boldsymbol{S} \Rightarrow (S)(\boldsymbol{S})S\Rightarrow(S)()\boldsymbol{S}\Rightarrow(\boldsymbol{S})()\Rightarrow(\boldsymbol{S}(S))()\Rightarrow(S(S)(\boldsymbol{S}))()\Rightarrow(S(S)(\boldsymbol{S}(S)))()\Rightarrow (S(\boldsymbol{S})((S)))()\Rightarrow(\boldsymbol{S}()((S)))()\Rightarrow(()((\boldsymbol{S})))()\Rightarrow(()(()))()</tex>

{{Определение
|definition=
'''Левосторонним выводом слова''' (англ. ''leftmost derivation'') <tex>\alpha</tex> называется такой вывод слова <tex>\alpha</tex>, в котором каждая последующая строка получена из предыдущей путем замены по одному из правил самого левого встречающегося в строке нетерминала.
}}

{{Определение
|definition=
'''Правосторонним выводом слова''' (англ. ''rightmost derivation'') <tex>\alpha</tex> называется такой вывод слова <tex>\alpha</tex>, в котором каждая последующая строка получена из предыдущей путем замены по одному из правил самого правого встречающегося в строке нетерминала.
}}
Рассмотрим левосторонний вывод скобочной последовательности из примера:

<tex>\boldsymbol{S}\Rightarrow (\boldsymbol{S})S \Rightarrow ((\boldsymbol{S})S)S\Rightarrow (()\boldsymbol{S})S\Rightarrow(()\boldsymbol{S}(S))S\Rightarrow(()(\boldsymbol{S}))S\Rightarrow(()(\boldsymbol{S}(S)))S\Rightarrow(()((\boldsymbol{S})))S\Rightarrow(()(()))\boldsymbol{S}\Rightarrow(()(()))(\boldsymbol{S})S\Rightarrow(()(()))()\boldsymbol{S}\Rightarrow(()(()))()</tex>

==Дерево разбора==

{{Определение
|definition=
'''Деревом разбора грамматики''' (англ. ''parse tree'') называется дерево, в вершинах которого записаны терминалы или нетерминалы. Все вершины, помеченные терминалами, являются листьями. Все вершины, помеченные нетерминалами, имеют детей. Дети вершины, в которой записан нетерминал, соответствуют раскрытию нетерминала по одному любому правилу (в левой части которого стоит этот нетерминал) и упорядочены так же, как в правой части этого правила.
}}
{{Определение
|definition=
'''Крона дерева разбора''' (англ. ''leaves of the parse tree'') {{---}} множество терминальных символов, упорядоченное в соответствии с номерами их достижения при обходе дерева в глубину из корня. Крона дерева разбора представляет из себя слово языка, которое выводит это дерево.
}}

Построим дерево разбора скобочной последовательности из примера.

[[Файл:BracketsSequenceParsingTree1.png]]

{{Теорема
|id=t1
|statement=Пусть <tex>\Gamma = \langle \Sigma, N, S, P \rangle</tex> — КС-грамматика. Предположим, что существует дерево разбора с корнем, отмеченным <tex>A</tex>, и кроной <tex>\omega</tex>, где <tex>\omega \in N^{*}</tex>. Тогда в грамматике <tex>\Gamma</tex> существует левое порождение <tex>A \Rightarrow^{*}_{lm} \omega</tex>
|proof=
Используем индукцию по высоте дерева.

'''База:''' Базисом является высота <tex>1</tex>, наименьшая из возможных для дерева разбора с терминальной кроной.
:Поскольку это дерево является деревом разбора, <tex>A \rightarrow \omega</tex> должно быть продукцией. Таким образом, <tex>A \Rightarrow_{lm} \omega</tex> есть одношаговое левое порождение <tex>\omega</tex> из <tex>A</tex>.

'''Индукционный переход:''' Существует корень с отметкой <tex>A</tex> и сыновьями, отмеченными слева направо <tex>X_1X_2 \ldots X_k</tex>. Символы <tex>X</tex> могут быть как терминалами, так и переменными.
# Если <tex>X_i</tex> — терминал, то определим <tex>\omega_i</tex> как цепочку, состоящую из одного <tex>X_i</tex>.
# Если <tex>X_i</tex> — переменная, то она должна быть корнем некоторого поддерева с терминальной кроной, которую обозначим <tex>\omega_i</tex>. Заметим, что в этом случае высота поддерева меньше <tex>n</tex>, поэтому к нему применимо предположение индукции. Следовательно, существует левое порождение <tex>X_i \Rightarrow^{*}_{lm} \omega_i</tex>.

Заметим, что <tex>\omega = \omega_1\omega_2 \ldots \omega_k</tex>.
Построим левое порождение цепочки <tex>\omega</tex> следующим образом:
:Начнем с шага <tex>A \Rightarrow_{lm} X_1X_2\ldots X_k</tex>.
:Затем для <tex>i = 1, 2, \ldots, k \ </tex> покажем, что имеет место следующее порождение: <tex>A \Rightarrow^{*}_{lm} \omega_1\omega_2\ldots\omega_iX_{i+1}X_{i+2}\ldots X_k</tex>

Данное доказательство использует в действительности еще одну индукцию, на этот раз по <tex>i</tex>.
Для базиса <tex>i = 0</tex> мы уже знаем, что <tex>A \Rightarrow_{lm} X_1X_2\ldots X_k</tex>.

Для индукции предположим, что существует следующее порождение: <tex>A \Rightarrow^{*}_{lm} \omega_1\omega_2\ldots\omega_{i–1}X_iX_{i+1}\ldots X_k</tex>

# Если <tex>X_i</tex> — терминал, то не делаем ничего, но в дальнейшем рассматриваем <tex>X_i</tex> как терминальную цепочку <tex>\omega_i</tex>. Таким образом, приходим к существованию следующего порождения. <tex>A \Rightarrow^{*}_{lm} \omega_1\omega_2\ldots\omega_iX_{i+1}X_{i+2}\ldots X_k</tex>
# Если <tex>X_i</tex> является переменной, то продолжаем порождением <tex>\omega_i</tex> из <tex>X_i</tex> в контексте уже построенного порождения. Таким образом, если этим порождением является: <tex>X_i \Rightarrow_{lm} \alpha_1 \Rightarrow_{lm} \alpha_2\ldots \Rightarrow_{lm} \omega_i</tex>, то продолжаем следующими порождениями:

::<tex>\omega_1\omega_2\ldots\omega_{i–1}X_iX_{i+1}\ldots X_k \Rightarrow_{lm}</tex>

::<tex>\omega_1\omega_2\ldots\omega_{i–1}\alpha_1X_{i+1}\ldots X_k \Rightarrow_{lm}</tex>

::<tex>\omega_1\omega_2\ldots\omega_{i–1}\alpha_2X_{i+1}\ldots X_k \Rightarrow_{lm}</tex>

::<tex>\ldots</tex>

::<tex>\omega_1\omega_2\ldots\omega_iX_{i+1}X_{i+2}\ldots X_k</tex>

Результатом является порождение <tex>A \Rightarrow^{*}_{lm} \omega_1\omega_2\ldots\omega_iX_{i+1}X_{i+2}\ldots X_k</tex>.
Когда <tex>i = k</tex>, результат представляет собой левое порождение <tex>\omega</tex> из <tex>A</tex>.
}}

{{Теорема
|id=t2
|statement=Для каждой грамматики <tex>\Gamma = \langle \Sigma, N, S, P \rangle</tex> и <tex>\omega</tex> из <tex>N^{*}</tex> цепочка <tex>\omega</tex> имеет два разных дерева разбора тогда и только тогда, когда <tex>\omega</tex> имеет два разных левых порождения из <tex>P</tex>.
|proof=
<tex>\Longrightarrow</tex>

:Внимательно рассмотрим построение левого порождения по дереву разбора в доказательстве [[#t1|теоремы]]. В любом случае, если у двух деревьев разбора впервые появляется узел, в котором применяются различные продукции, левые порождения, которые строятся, также используют разные продукции и, следовательно, являются различными.

<tex> \Longleftarrow </tex>

:Хотя мы предварительно не описали непосредственное построение дерева разбора по левому порождению, идея его проста. Начнем построение дерева с корня, отмеченного стартовым символом. Рассмотрим порождение пошагово. На каждом шаге заменяется переменная, и эта переменная будет соответствовать построенному крайнему слева узлу дерева, не имеющему сыновей, но отмеченному этой переменной. По продукции, использованной на этом шаге левого порождения, определим, какие сыновья должны быть у этого узла. Если существуют два разных порождения, то на первом шаге, где они различаются, построенные узлы получат разные списки сыновей, что гарантирует различие деревьев разбора.
}}

==Однозначные грамматики==

{{Определение
|definition=
Грамматика называется '''однозначной''' (англ. ''unambiguous grammar''), если у каждого слова имеется не более одного дерева разбора в этой грамматике.
}}

{{Лемма
|id=lemma-
|statement=
Пусть <tex>\Gamma</tex> {{---}} однозначная грамматика. Тогда <tex>\forall \omega \in \mathbb{L}(\Gamma)</tex> существует ровно один левосторонний (правосторонний) вывод.
|proof=
Очевидно, что по дереву разбора однозначно восстанавливается левосторонний(правосторонний) вывод. Поскольку каждое слово из языка выводится только одним деревом разбора, то существует только один левосторонний(правосторонний) вывод этого слова.
}}

{{Утверждение
|statement=Грамматика из примера не является однозначной.
|proof=Выше уже было построено дерево разбора для слова <tex>(()(()))()</tex>.
Построим еще одно дерево разбора для данного слова.

Например, оно будет выглядеть так:

[[Файл:BracketsSequenceParsingTree2.png]]
Таким образом, существует слово, у которого есть более одного дерева разбора в данной грамматике <tex>\Rightarrow</tex> эта грамматика не является однозначной.
}}

{{Утверждение
|statement=Существуют языки, которые можно задать одновременно как однозначными, так и неоднозначными грамматиками.
|proof=Для доказательства достаточно привести однозначную грамматику для языка правильных скобочных последовательностей (неоднозначной грамматикой для данного языка является грамматика из примера выше).

Рассмотрим грамматику:
:<tex>(</tex> и <tex>)</tex> {{---}} терминальные символы
:<tex>S</tex> {{---}} стартовый нетерминал

Правила:
#<tex>S\rightarrow (S)S</tex>
#<tex>S\rightarrow \varepsilon</tex>

Покажем, что эта грамматика однозначна.
Для этого, используя индукцию, докажем, что для любого слова <tex>\omega</tex>, являющегося правильной скобочной последовательностью, в данной грамматике существует только одно дерево разбора.

'''База:''' Если <tex>\omega=\varepsilon</tex>, то оно выводится только по второму правилу <tex>\Rightarrow</tex> для него существует единственное дерево разбора.

'''Индукционный переход:''' Пусть <tex>\left\vert \omega \right\vert=n</tex> и <tex>\forall \upsilon</tex>: <tex>\left\vert \upsilon \right\vert < n</tex> и <tex>\upsilon</tex> {{---}} правильная скобочная последовательность, у которой <tex>\exists!</tex> дерево разбора.

:Найдем в слове <tex>\omega</tex> минимальный индекс <tex>i \neq 0</tex> такой, что слово <tex>\omega[0 \ldots i]</tex> является правильной скобочной последовательностью. Так как <tex>i \neq 0</tex> минимальный, то <tex>\omega[0 \ldots i]=(\alpha)\ </tex>. Из того, что <tex>\omega</tex> является правильной скобочной последовательностью <tex>\Rightarrow</tex> <tex>\alpha</tex> и <tex>\beta=\omega[i+1 \ldots n-1]</tex> {{---}} правильные скобочные последовательности, при этом <tex>\left\vert \alpha \right\vert<n</tex> и <tex>\left\vert \beta \right\vert<n \Rightarrow</tex> по индукционному предположению предположению у <tex>\alpha</tex> и <tex>\beta</tex> существуют единственные деревья разбора.

:Если мы покажем, что из части <tex>(S)</tex> первого правила можно вывести только слово <tex>(\alpha)</tex>, то утверждение будет доказано (так как из первой части первого правила выводится <tex>\alpha</tex>, а из второй только <tex>\beta</tex> и для каждого из них по предположению существуют единственные деревья разбора).

:Пусть из <tex>(S)</tex> была выведена часть слова <tex>\omega[0 \ldots j]=(\gamma)</tex>, где <tex>j < i</tex>, при этом <tex>\gamma</tex> является правильной скобочной последовательностью, но тогда как минимальный индекс мы должны были выбрать <tex>j</tex>, а не <tex>i</tex> {{---}} противоречие.

:Аналогично из <tex>(S)</tex> не может быть выведена часть слова <tex>\omega[0 \ldots j] \ </tex>, где <tex>j > i</tex>, потому что тогда <tex>\omega[0 \ldots i]=(\alpha) \ </tex> не будет правильной скобочной последовательностью, так как в позиции <tex>i-1</tex> баланс скобок будет отрицательный.

:Значит, из <tex>(S)</tex> была выведена часть слова <tex>\omega[0 \ldots i] \Rightarrow \omega \ </tex> имеет единственное дерево разбора <tex>\Rightarrow</tex> данная грамматика однозначная.

Таким образом, для языка правильных скобочных последовательностей мы привели пример как однозначной, так и неоднозначной грамматики.
}}

Однако, есть КС-языки, для которых не существует однозначных КС-грамматик. Такие языки и грамматики их порождающие называют '''существенно неоднозначными'''.
{{main|Существенно неоднозначные языки}}

==См. также==
* [[Формальные грамматики]]
* [[Иерархия Хомского формальных грамматик]]
* [[Замкнутость КС-языков относительно различных операций]]
* [[Существенно неоднозначные языки]]

== Источники информации ==
* [[wikipedia:Context-free grammar | Wikipedia {{---}} Context-free grammar]]
* [[wikipedia:ru:Контекстно-свободная грамматика | Википедия {{---}} Контекстно-свободная грамматика]]
* ''Хопкрофт Д., Мотвани Р., Ульман Д.'' {{---}} '''Введение в теорию автоматов, языков и вычислений''', 2-е изд. : Пер. с англ. — Москва, Издательский дом «Вильямс», 2002. — 528 с. : ISBN 5-8459-0261-4 (рус.)

[[Категория: Теория формальных языков]]
[[Категория: Контекстно-свободные грамматики]]
[[Категория: Базовые понятия о грамматиках]]

Алгоритм Кока-Янгера-Касами, модификация для произвольной грамматики

2019-05-23T19:38:54Z

Gaporf: /* Псевдокод */ tex

{{Задача
|definition =
Пусть дана [[Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора|контекстно-свободная грамматика]] <tex>\Gamma</tex> и слово <tex>w \in \Sigma^{*}</tex>. Требуется выяснить, выводится ли это слово в данной грамматике.
}}

[[Алгоритм_Кока-Янгера-Касами_разбора_грамматики_в_НФХ|Базовая версия]] данного алгоритма работает только для грамматик в [[нормальная форма Хомского|нормальной форме Хомского]]. Модифицируем алгоритм для работы на произвольных контекстно-свободных грамматиках. Модификация алгоритма сильно проще в написании, чем приведение к [[нормальная форма Хомского|нормальной форме Хомского]], поэтому часто используют её, не смотря на то, что время работы у нее больше.

== Алгоритм для произвольной грамматики ==

Будем решать задачу динамическим программированием. Введём динамику <tex>a\left[A,i,j\right] = \left[A \Rightarrow^{*} w[i \ldots j-1]\right] \ </tex>, аналогично [[Алгоритм_Кока-Янгера-Касами_разбора_грамматики_в_НФХ|базовой версии]] алгоритма.

Также введём вспомогательный четырехмерный массив <tex>h\left[A \rightarrow \alpha, i, j, k\right] = true \ </tex> тогда и только тогда, когда из префикса длины <tex>k</tex> правой части данного правила можно вывести <tex>w\left[i \ldots j-1\right]</tex>.

Рассмотрим все тройки <tex>\lbrace \langle j, i \rangle \mid j-i=m \rbrace</tex>, где <tex>m</tex> {{---}} константа и <tex>m < n</tex>, и <tex>k</tex> такое, что <tex>k < \left|\alpha\right|</tex>.

* '''База динамики''':

:<tex>a\left[A, i, i+1\right] = true \ </tex>, если в грамматике <tex>\Gamma</tex> присутствует правило <tex>A \rightarrow w[i] \ </tex>, иначе <tex>a\left[A, i, i+1\right] = false \ </tex>;

:<tex>a\left[A, i, i\right] = true \ </tex>, если в грамматике <tex>\Gamma</tex> присутствует правило <tex>A \rightarrow \varepsilon \ </tex>, иначе <tex>a\left[A, i, i\right] = false \ </tex>;

:<tex>h\left[A \rightarrow \alpha, i, i, 0\right] = true \ </tex>.

* '''Переход''':

:Пусть значения для всех нетерминалов, пар <tex>\lbrace \langle j', i' \rangle \mid j' - i' < m \rbrace \ </tex> и <tex>\lbrace k' \mid k' < k \rbrace \ </tex> уже вычислены, поэтому вспомогательная динамика: <tex> h\left[A \rightarrow \alpha, i, j+1, k\right] = \bigvee\limits_{r=i \ldots j+1}\left(h\left[A \rightarrow \alpha, i, r, k-1\right] \wedge a\left[\alpha\left[k\right],r,j+1\right]\right)</tex> То есть, подстроку <tex>w[i \ldots j]</tex> можно вывести из префикса длины <tex>k</tex> правой части данного правила, если из префикса длины <tex>k-1</tex> правой части данного правила можно вывести <tex>w\left[i \ldots r-1\right]</tex>, а подстрока <tex>w[r \ldots j]</tex> выводится из <tex>k</tex>-го символа правой части правила. Это вычисление может обратится к <tex>a\left[A,i,j+1\right] </tex>, но на результат это не повлияет, так как в данный момент <tex>a\left[A,i,j+1\right]=false \ </tex>.

:Но если <tex>\alpha\left[k\right]</tex> {{---}} терминал, то подстроку <tex>w[i \ldots j]</tex> можно вывести из префикса длины <tex>k</tex> правой части данного правила, если из префикса длины <tex>k-1</tex> правой части данного правила можно вывести <tex>w\left[i \ldots r-1\right] \ </tex>, а подстрока <tex>w[r \ldots j]</tex> выводится, если <tex>w\left[r \ldots j\right]=\alpha\left[k\right] \ </tex>.

:Базовая динамика выражается так: <tex>a\left[A,i,j\right]=\bigvee\limits_{A \rightarrow \alpha}h\left[A \rightarrow \alpha, i, j, \left|\alpha\right|\right] \ </tex>. То есть, подстроку <tex>w[i \ldots j-1] \ </tex> можно вывести из нетерминала <tex>A</tex>, если из длины правой части данного правила можно вывести <tex>w\left[i \ldots j-1\right] </tex>.

* '''Завершение''':

:После окончания работы ответ содержится в ячейке <tex>a\left[S, 1, n\right] </tex>, где <tex>n = |w|</tex>.

== Псевдокод ==
<code>
'''CYK_Modified'''(S, Г): // S {{---}} строка длины n, Г {{---}} КС-грамматика 
'''for''' i = 1..n
'''for''' Rj -> alpha // перебор состояний 
'''if'''( A -> w[i] in Г) a[A, i, i+1] = true // если в грамматике Г присутствует правило A -> w[i] 
'''else''' a[A, i, i+1] = false
'''if'''( A -> eps in Г) a[A, i, i] = true // если в грамматике Г присутствует правило A -> eps 
'''else''' a[A, i, i] = false
h[A->alpha, i, i, 0] = true
'''for''' m = 1..n
'''for''' i = 1..n
j = i+m
'''for''' k = 1..M
'''for''' Rj -> alpha // перебор состояний 
h[A->alpha, i, j+1, k] = OR( for r = i..j+1) (h[A->alpha, i, r, k-1] & a[alpha[k],r,j+1])
'''for''' i = 1..n
'''for''' j = 1..n
'''for''' Rj -> alpha
a[A, i, j] = OR( for A->alpha) h[A->alpha, i, j, |alpha|] // где |alpha| {{---}} размер правой части правила
'''return''' a[S, 1, n]

</code>

== Оценка сложности ==
Обозначим <tex>M = \max\limits_{A \rightarrow \alpha}\left|\alpha\right|</tex> — максимальную длину правой части правила.

Обработки правил вида <tex>A \rightarrow w[i]</tex>, <tex>A \rightarrow \varepsilon</tex> и нахождение <tex>h\left[A \rightarrow \alpha, i, i, 0\right] \ </tex> выполняются за <tex>O(n \cdot |\Gamma|)</tex>.

Время одного перехода вспомогательной динамики <tex>O(n)</tex>, суммарное число состояний <tex>O(n^2 \cdot |\Gamma| \cdot M)</tex>. Отсюда расчёт вспомогательной динамики занимает <tex>O \left( n^3 \cdot |\Gamma| \cdot M \right) \ </tex> времени, базовая динамика находится, как <tex>O \left( n^2 \cdot |\Gamma| \right)</tex>. Итоговая временная сложность алгоритма равна <tex>O \left( n^3 \cdot |\Gamma| \cdot M \right)</tex>. Алгоритму требуется <tex>O(n^2 \cdot |\Gamma| \cdot M) \ </tex> памяти.

== См. также ==
* [[Алгоритм Кока-Янгера-Касами разбора грамматики в НФХ|Алгоритм Кока-Янгера-Касами разбора грамматики в НФХ]]
* [[Алгоритм_Эрли|Алгоритм Эрли]]

[[Категория: Теория формальных языков]]
[[Категория: Контекстно-свободные грамматики]]
[[Категория:Динамическое программирование]]

Алгоритм Кока-Янгера-Касами, модификация для произвольной грамматики

2019-05-23T19:38:27Z

Gaporf: /* Псевдокод */ tex

{{Задача
|definition =
Пусть дана [[Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора|контекстно-свободная грамматика]] <tex>\Gamma</tex> и слово <tex>w \in \Sigma^{*}</tex>. Требуется выяснить, выводится ли это слово в данной грамматике.
}}

[[Алгоритм_Кока-Янгера-Касами_разбора_грамматики_в_НФХ|Базовая версия]] данного алгоритма работает только для грамматик в [[нормальная форма Хомского|нормальной форме Хомского]]. Модифицируем алгоритм для работы на произвольных контекстно-свободных грамматиках. Модификация алгоритма сильно проще в написании, чем приведение к [[нормальная форма Хомского|нормальной форме Хомского]], поэтому часто используют её, не смотря на то, что время работы у нее больше.

== Алгоритм для произвольной грамматики ==

Будем решать задачу динамическим программированием. Введём динамику <tex>a\left[A,i,j\right] = \left[A \Rightarrow^{*} w[i \ldots j-1]\right] \ </tex>, аналогично [[Алгоритм_Кока-Янгера-Касами_разбора_грамматики_в_НФХ|базовой версии]] алгоритма.

Также введём вспомогательный четырехмерный массив <tex>h\left[A \rightarrow \alpha, i, j, k\right] = true \ </tex> тогда и только тогда, когда из префикса длины <tex>k</tex> правой части данного правила можно вывести <tex>w\left[i \ldots j-1\right]</tex>.

Рассмотрим все тройки <tex>\lbrace \langle j, i \rangle \mid j-i=m \rbrace</tex>, где <tex>m</tex> {{---}} константа и <tex>m < n</tex>, и <tex>k</tex> такое, что <tex>k < \left|\alpha\right|</tex>.

* '''База динамики''':

:<tex>a\left[A, i, i+1\right] = true \ </tex>, если в грамматике <tex>\Gamma</tex> присутствует правило <tex>A \rightarrow w[i] \ </tex>, иначе <tex>a\left[A, i, i+1\right] = false \ </tex>;

:<tex>a\left[A, i, i\right] = true \ </tex>, если в грамматике <tex>\Gamma</tex> присутствует правило <tex>A \rightarrow \varepsilon \ </tex>, иначе <tex>a\left[A, i, i\right] = false \ </tex>;

:<tex>h\left[A \rightarrow \alpha, i, i, 0\right] = true \ </tex>.

* '''Переход''':

:Пусть значения для всех нетерминалов, пар <tex>\lbrace \langle j', i' \rangle \mid j' - i' < m \rbrace \ </tex> и <tex>\lbrace k' \mid k' < k \rbrace \ </tex> уже вычислены, поэтому вспомогательная динамика: <tex> h\left[A \rightarrow \alpha, i, j+1, k\right] = \bigvee\limits_{r=i \ldots j+1}\left(h\left[A \rightarrow \alpha, i, r, k-1\right] \wedge a\left[\alpha\left[k\right],r,j+1\right]\right)</tex> То есть, подстроку <tex>w[i \ldots j]</tex> можно вывести из префикса длины <tex>k</tex> правой части данного правила, если из префикса длины <tex>k-1</tex> правой части данного правила можно вывести <tex>w\left[i \ldots r-1\right]</tex>, а подстрока <tex>w[r \ldots j]</tex> выводится из <tex>k</tex>-го символа правой части правила. Это вычисление может обратится к <tex>a\left[A,i,j+1\right] </tex>, но на результат это не повлияет, так как в данный момент <tex>a\left[A,i,j+1\right]=false \ </tex>.

:Но если <tex>\alpha\left[k\right]</tex> {{---}} терминал, то подстроку <tex>w[i \ldots j]</tex> можно вывести из префикса длины <tex>k</tex> правой части данного правила, если из префикса длины <tex>k-1</tex> правой части данного правила можно вывести <tex>w\left[i \ldots r-1\right] \ </tex>, а подстрока <tex>w[r \ldots j]</tex> выводится, если <tex>w\left[r \ldots j\right]=\alpha\left[k\right] \ </tex>.

:Базовая динамика выражается так: <tex>a\left[A,i,j\right]=\bigvee\limits_{A \rightarrow \alpha}h\left[A \rightarrow \alpha, i, j, \left|\alpha\right|\right] \ </tex>. То есть, подстроку <tex>w[i \ldots j-1] \ </tex> можно вывести из нетерминала <tex>A</tex>, если из длины правой части данного правила можно вывести <tex>w\left[i \ldots j-1\right] </tex>.

* '''Завершение''':

:После окончания работы ответ содержится в ячейке <tex>a\left[S, 1, n\right] </tex>, где <tex>n = |w|</tex>.

== Псевдокод ==
<code>
'''CYK_Modified'''(S, Г): // S {{---}} строка длины n, Г {{---}} КС-грамматика 
'''for''' i = 1 \ldots n
'''for''' Rj -> alpha // перебор состояний 
'''if'''( A -> w[i] in Г) a[A, i, i+1] = true // если в грамматике Г присутствует правило A -> w[i] 
'''else''' a[A, i, i+1] = false
'''if'''( A -> eps in Г) a[A, i, i] = true // если в грамматике Г присутствует правило A -> eps 
'''else''' a[A, i, i] = false
h[A->alpha, i, i, 0] = true
'''for''' m = 1..n
'''for''' i = 1..n
j = i+m
'''for''' k = 1..M
'''for''' Rj -> alpha // перебор состояний 
h[A->alpha, i, j+1, k] = OR( for r = i..j+1) (h[A->alpha, i, r, k-1] & a[alpha[k],r,j+1])
'''for''' i = 1..n
'''for''' j = 1..n
'''for''' Rj -> alpha
a[A, i, j] = OR( for A->alpha) h[A->alpha, i, j, |alpha|] // где |alpha| {{---}} размер правой части правила
'''return''' a[S, 1, n]

</code>

== Оценка сложности ==
Обозначим <tex>M = \max\limits_{A \rightarrow \alpha}\left|\alpha\right|</tex> — максимальную длину правой части правила.

Обработки правил вида <tex>A \rightarrow w[i]</tex>, <tex>A \rightarrow \varepsilon</tex> и нахождение <tex>h\left[A \rightarrow \alpha, i, i, 0\right] \ </tex> выполняются за <tex>O(n \cdot |\Gamma|)</tex>.

Время одного перехода вспомогательной динамики <tex>O(n)</tex>, суммарное число состояний <tex>O(n^2 \cdot |\Gamma| \cdot M)</tex>. Отсюда расчёт вспомогательной динамики занимает <tex>O \left( n^3 \cdot |\Gamma| \cdot M \right) \ </tex> времени, базовая динамика находится, как <tex>O \left( n^2 \cdot |\Gamma| \right)</tex>. Итоговая временная сложность алгоритма равна <tex>O \left( n^3 \cdot |\Gamma| \cdot M \right)</tex>. Алгоритму требуется <tex>O(n^2 \cdot |\Gamma| \cdot M) \ </tex> памяти.

== См. также ==
* [[Алгоритм Кока-Янгера-Касами разбора грамматики в НФХ|Алгоритм Кока-Янгера-Касами разбора грамматики в НФХ]]
* [[Алгоритм_Эрли|Алгоритм Эрли]]

[[Категория: Теория формальных языков]]
[[Категория: Контекстно-свободные грамматики]]
[[Категория:Динамическое программирование]]

Алгоритм Кока-Янгера-Касами, модификация для произвольной грамматики

2019-05-23T19:36:00Z

Gaporf: /* Псевдокод */ tex

{{Задача
|definition =
Пусть дана [[Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора|контекстно-свободная грамматика]] <tex>\Gamma</tex> и слово <tex>w \in \Sigma^{*}</tex>. Требуется выяснить, выводится ли это слово в данной грамматике.
}}

[[Алгоритм_Кока-Янгера-Касами_разбора_грамматики_в_НФХ|Базовая версия]] данного алгоритма работает только для грамматик в [[нормальная форма Хомского|нормальной форме Хомского]]. Модифицируем алгоритм для работы на произвольных контекстно-свободных грамматиках. Модификация алгоритма сильно проще в написании, чем приведение к [[нормальная форма Хомского|нормальной форме Хомского]], поэтому часто используют её, не смотря на то, что время работы у нее больше.

== Алгоритм для произвольной грамматики ==

Будем решать задачу динамическим программированием. Введём динамику <tex>a\left[A,i,j\right] = \left[A \Rightarrow^{*} w[i \ldots j-1]\right] \ </tex>, аналогично [[Алгоритм_Кока-Янгера-Касами_разбора_грамматики_в_НФХ|базовой версии]] алгоритма.

Также введём вспомогательный четырехмерный массив <tex>h\left[A \rightarrow \alpha, i, j, k\right] = true \ </tex> тогда и только тогда, когда из префикса длины <tex>k</tex> правой части данного правила можно вывести <tex>w\left[i \ldots j-1\right]</tex>.

Рассмотрим все тройки <tex>\lbrace \langle j, i \rangle \mid j-i=m \rbrace</tex>, где <tex>m</tex> {{---}} константа и <tex>m < n</tex>, и <tex>k</tex> такое, что <tex>k < \left|\alpha\right|</tex>.

* '''База динамики''':

:<tex>a\left[A, i, i+1\right] = true \ </tex>, если в грамматике <tex>\Gamma</tex> присутствует правило <tex>A \rightarrow w[i] \ </tex>, иначе <tex>a\left[A, i, i+1\right] = false \ </tex>;

:<tex>a\left[A, i, i\right] = true \ </tex>, если в грамматике <tex>\Gamma</tex> присутствует правило <tex>A \rightarrow \varepsilon \ </tex>, иначе <tex>a\left[A, i, i\right] = false \ </tex>;

:<tex>h\left[A \rightarrow \alpha, i, i, 0\right] = true \ </tex>.

* '''Переход''':

:Пусть значения для всех нетерминалов, пар <tex>\lbrace \langle j', i' \rangle \mid j' - i' < m \rbrace \ </tex> и <tex>\lbrace k' \mid k' < k \rbrace \ </tex> уже вычислены, поэтому вспомогательная динамика: <tex> h\left[A \rightarrow \alpha, i, j+1, k\right] = \bigvee\limits_{r=i \ldots j+1}\left(h\left[A \rightarrow \alpha, i, r, k-1\right] \wedge a\left[\alpha\left[k\right],r,j+1\right]\right)</tex> То есть, подстроку <tex>w[i \ldots j]</tex> можно вывести из префикса длины <tex>k</tex> правой части данного правила, если из префикса длины <tex>k-1</tex> правой части данного правила можно вывести <tex>w\left[i \ldots r-1\right]</tex>, а подстрока <tex>w[r \ldots j]</tex> выводится из <tex>k</tex>-го символа правой части правила. Это вычисление может обратится к <tex>a\left[A,i,j+1\right] </tex>, но на результат это не повлияет, так как в данный момент <tex>a\left[A,i,j+1\right]=false \ </tex>.

:Но если <tex>\alpha\left[k\right]</tex> {{---}} терминал, то подстроку <tex>w[i \ldots j]</tex> можно вывести из префикса длины <tex>k</tex> правой части данного правила, если из префикса длины <tex>k-1</tex> правой части данного правила можно вывести <tex>w\left[i \ldots r-1\right] \ </tex>, а подстрока <tex>w[r \ldots j]</tex> выводится, если <tex>w\left[r \ldots j\right]=\alpha\left[k\right] \ </tex>.

:Базовая динамика выражается так: <tex>a\left[A,i,j\right]=\bigvee\limits_{A \rightarrow \alpha}h\left[A \rightarrow \alpha, i, j, \left|\alpha\right|\right] \ </tex>. То есть, подстроку <tex>w[i \ldots j-1] \ </tex> можно вывести из нетерминала <tex>A</tex>, если из длины правой части данного правила можно вывести <tex>w\left[i \ldots j-1\right] </tex>.

* '''Завершение''':

:После окончания работы ответ содержится в ячейке <tex>a\left[S, 1, n\right] </tex>, где <tex>n = |w|</tex>.

== Псевдокод ==
<code>
'''CYK_Modified'''(S, Г): // S {{---}} строка длины n, Г {{---}} КС-грамматика 
'''for''' i = 1 \ldots n
'''for''' Rj -> alpha // перебор состояний 
'''if'''( A -> w[i] in Г) a[A, i, i+1] = true // если в грамматике Г присутствует правило A -> w[i] 
'''else''' a[A, i, i+1] = false
'''if'''( A -> eps in Г) a[A, i, i] = true // если в грамматике Г присутствует правило A -> eps 
'''else''' a[A, i, i] = false
h[A->alpha, i, i, 0] = true
'''for''' m = 1 \ldots n
'''for''' i = 1 \ldots n
j = i+m
'''for''' k = 1 \ldots M
'''for''' Rj -> alpha // перебор состояний 
h[A->alpha, i, j+1, k] = OR( for r = i <tex>\ldots</tex> j+1) (h[A->alpha, i, r, k-1] & a[alpha[k],r,j+1])
'''for''' i = 1 \ldots n
'''for''' j = 1 \ldots n
'''for''' Rj -> alpha
a[A, i, j] = OR( for A->alpha) h[A->alpha, i, j, |alpha|] // где |alpha| {{---}} размер правой части правила
'''return''' a[S, 1, n]

</code>

== Оценка сложности ==
Обозначим <tex>M = \max\limits_{A \rightarrow \alpha}\left|\alpha\right|</tex> — максимальную длину правой части правила.

Обработки правил вида <tex>A \rightarrow w[i]</tex>, <tex>A \rightarrow \varepsilon</tex> и нахождение <tex>h\left[A \rightarrow \alpha, i, i, 0\right] \ </tex> выполняются за <tex>O(n \cdot |\Gamma|)</tex>.

Время одного перехода вспомогательной динамики <tex>O(n)</tex>, суммарное число состояний <tex>O(n^2 \cdot |\Gamma| \cdot M)</tex>. Отсюда расчёт вспомогательной динамики занимает <tex>O \left( n^3 \cdot |\Gamma| \cdot M \right) \ </tex> времени, базовая динамика находится, как <tex>O \left( n^2 \cdot |\Gamma| \right)</tex>. Итоговая временная сложность алгоритма равна <tex>O \left( n^3 \cdot |\Gamma| \cdot M \right)</tex>. Алгоритму требуется <tex>O(n^2 \cdot |\Gamma| \cdot M) \ </tex> памяти.

== См. также ==
* [[Алгоритм Кока-Янгера-Касами разбора грамматики в НФХ|Алгоритм Кока-Янгера-Касами разбора грамматики в НФХ]]
* [[Алгоритм_Эрли|Алгоритм Эрли]]

[[Категория: Теория формальных языков]]
[[Категория: Контекстно-свободные грамматики]]
[[Категория:Динамическое программирование]]

Алгоритм Эрли

2019-05-23T19:35:28Z

Gaporf: Исправил многоточия ещё

__TOC__
'''Алгоритм Эрли''' позволяет определить, выводится ли данное слово <tex>w</tex> в данной [[Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора|контекстно-свободной]] грамматике <tex>G</tex>.

'''Вход:''' КС грамматика <tex> G=\langle N,\Sigma, P, S \rangle</tex> и слово <tex>w</tex>. 
'''Выход:''' <tex>true</tex>, если <tex>w</tex> выводится в <tex>G</tex>; <tex>false</tex> — иначе.

{{Определение
|definition =
Пусть <tex>G = \langle N, \Sigma, P, S \rangle</tex> {{---}} [[Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора|контекстно-свободная]] грамматика и <tex>w = w_0 w_1 \ldots w_{n-1}</tex> {{---}} входная цепочка из <tex>\Sigma^*</tex>.
Объект вида <tex>[A \rightarrow \alpha \cdot \beta, i]</tex>, где <tex>A \rightarrow \alpha \beta </tex> — правило из <tex>P</tex> и <tex>0 \leqslant i \leqslant n</tex> — позиция в <tex>w</tex>, называется '''ситуацией''', относящейся к цепочке <tex>w</tex>, где '''<tex> \cdot </tex>''' {{---}} вспомогательный символ, который не явлется терминалом или нетерминалом ( <tex> \cdot \notin \Sigma \cup N</tex>).
}}

{{Определение
|definition =
Ситуации хранятся в множествах <tex>D_0, \ldots ,D_{n-1}</tex>, называемых '''списками ситуаций'''. Причем наличие ситуации <tex>[A \rightarrow \alpha \cdot \beta , i]</tex> в <tex>j</tex>-м списке ситуаций <tex>D_j</tex> равносильно тому, что
<tex>\exists \delta \in \Sigma \cup N : ((S' \Rightarrow^* w_0 \ldots w_{i-1} A \delta) \wedge A \Rightarrow^* w_i \ldots w_{j-1})</tex>.
}}

{{Определение
|definition =
Последовательность списков ситуаций <tex>D_0, D_1, \ldots, D_{n-1} \ </tex> называется списком разбора для входной цепочки <tex>w</tex>.
}}

== Алгоритм Эрли ==
Чтобы воспользоваться леммой, необходимо найти <tex>D_n</tex> для <tex>w</tex>. Алгоритм Эрли является [[Динамическое программирование|динамическим алгоритмом]]: он последовательно строит список разбора, причём при построении <tex>D_j</tex> используются <tex>D_0, \ldots, D_{j}</tex> (то есть элементы списков с меньшими номерами и ситуации, содержащиеся в текущем списке на данный момент).

Алгоритм основывается на следующих трёх правилах:
# Если <tex>[A \rightarrow \alpha \cdot w_{j} \beta, i] \in D_{j-1}</tex> (где <tex>w_j</tex> — <tex>j</tex>-ый символ строки), то <tex>[A \rightarrow \alpha w_{j} \cdot \beta, i] \in D_j</tex>.
# Если <tex>[B \rightarrow \eta \ \cdot, i] \in D_j</tex> и <tex>[A \rightarrow \alpha \cdot B \beta, k] \in D_i</tex>, то <tex>[A \rightarrow \alpha B \cdot \beta, k] \in D_j</tex>.
# Если <tex>[A \rightarrow \alpha \ \cdot B \beta, i] \in D_{j} </tex> и <tex>(B \rightarrow \eta) \in P </tex>, то <tex>[B \rightarrow \cdot \ \eta, j] \in D_{j}</tex>.

=== Псевдокод ===
Для простоты добавим новый стартовый вспомогательный нетерминал <tex>S'</tex> и правило <tex>(S' \rightarrow S)</tex>.

'''function''' <tex>\mathtt{earley}(G, w)</tex>:
// Инициализация 
<tex> D_{0} = \lbrace [S' \rightarrow \cdot \ S, 0] \rbrace </tex>
'''for''' <tex>i = 1</tex> '''to''' <tex>len(w)</tex>
<tex>D_i</tex> = <tex>\varnothing </tex>
// Вычисление ситуаций 
'''for''' <tex>j = 0</tex> '''to''' <tex>len(w)</tex>
<tex>\mathtt{scan}(D, j, G, w)</tex>
'''while''' <tex>D_j</tex> изменяется
<tex>\mathtt{complete}(D, j, G, w)</tex>
<tex>\mathtt{predict}(D, j, G, w)</tex>
// Результат 
'''if''' <tex>[S' \rightarrow S \ \cdot, 0] \in D_{len(w)} </tex>
'''return''' ''true''
'''else'''
'''return''' ''false''

'''function''' <tex>\mathtt{scan}(D, j, G, w)</tex>:
'''if''' <tex>j</tex> == <tex>0</tex>
'''return'''
'''for''' <tex>[A \rightarrow \alpha \cdot a \beta, i] \in D_{j - 1} </tex>
'''if''' <tex>a</tex> == <tex>w_{j - 1}</tex>
<tex>D_{j}</tex> <tex> \cup</tex>= <tex>[A \rightarrow \alpha a \cdot \beta, i]</tex>

'''function''' <tex>\mathtt{complete}(D, j, G, w)</tex>:
'''for''' <tex>[B \rightarrow \eta \ \cdot, i] \in D_{j} </tex>
'''for''' <tex>[A \rightarrow \alpha \cdot B \beta, j] \in D_{i} </tex>
<tex>D_{j}</tex> <tex> \cup</tex>= <tex>[A \rightarrow \alpha B \cdot \beta, j]</tex>

'''function''' <tex>\mathtt{predict}(D, j, G, w)</tex>:
'''for''' <tex>[A \rightarrow \alpha \cdot B \beta, i] \in D_{j} </tex>
'''for''' <tex>(B \rightarrow \eta) \in P </tex>
<tex>D_{j}</tex> <tex>\cup</tex>= <tex>[B \rightarrow \cdot \ \eta, j]</tex>

==Корректность алгоритма==
{{Теорема
|statement = Приведенный алгоритм правильно строит все списки ситуаций.
То есть алгоритм поддерживает инвариант <tex> [A \rightarrow \alpha \cdot \beta, i] \in D_{j} \Longleftrightarrow \exists \delta \in \Sigma \cup N : ((S' \Rightarrow^* w_0 \ldots w_{i-1} A \delta) \wedge A \Rightarrow^* w_i \ldots w_{j-1})</tex>
|proof =

<tex>\Longrightarrow</tex> 
Докажем индукцией по исполнению алгоритма. 
 ''База индукции:'' 
<tex>[S' \rightarrow \cdot S, 0] \in D_0 \ </tex>. 
 ''Индукционный переход:'' 
Пусть предположение верно для всех списков ситуаций с номерами меньше <tex> j </tex>. Разберемся, в результате применения какого правила ситуация <tex> [A \rightarrow \alpha \cdot \beta, i] </tex> попала в <tex>D_{j}</tex> 

1. Включаем по правилу <tex> \mathtt{scan} \ </tex>. 
Это произошло, если <tex> \alpha = \alpha ' a</tex>, <tex>a = w_{j-1}</tex> и <tex> [A \rightarrow \alpha ' \cdot a \beta, i] \in D_{j-1}</tex>. 
По предположению индукции <tex>S' \Rightarrow^* w_0 \ldots w_{i-1} A \delta</tex> и <tex>\alpha' \Rightarrow^* w_i \ldots w_{j-2}</tex>, 
тогда в силу <tex>a = w_{j-1}</tex> получаем <tex>\alpha = \alpha ' a \Rightarrow^* w_i \ldots w_{j-2}w_{j-1} = w_i \ldots w_{j-1} \ </tex>. 
Таким образом условия: <tex>S' \Rightarrow^* w_0 \ldots w_{i-1} A \delta</tex> и <tex>\alpha \Rightarrow^* w_i \ldots w_{j-1}</tex> выполняются.

2. Включаем по правилу <tex> \mathtt{predict} \ </tex>. 
По построению: <tex> \alpha = \varepsilon </tex> и <tex>i=j</tex>, что автоматически влечет второй пункт утверждения. 
Кроме того <tex>\exists i' \le i</tex> и ситуация <tex>[A' \rightarrow \alpha ' \cdot A \delta ', i'] \in D_i</tex>, из чего по предположению индукции следует <tex>S' \Rightarrow^* w_0 \ldots w_{i'-1} A' \delta ''</tex>
и <tex> \alpha ' \Rightarrow^* w_{i'} \ldots w_{i-1}</tex>. 
Получаем, что <tex>S' \Rightarrow^* w_0 \ldots w_{i'-1} A' \delta ''</tex>, значит <tex>S \Rightarrow^* w_0 \ldots w_{i'-1} \alpha' A \delta' \delta '' </tex>, следовательно <tex> S' \Rightarrow^* w_0 \ldots w_{i'-1} w_{i'} \ldots w_{i-1} A \delta' \delta ''
</tex>, в итоге <tex> S' \Rightarrow^* w_0 \ldots w_{i-1} A \delta</tex>, что нам и требовалось.

3. Включаем по правилу <tex> \mathtt{complete} \ </tex>. 
По построению: <tex> \alpha = \alpha ' A' </tex> и <tex>\exists i', \delta : [A \rightarrow \alpha ' \cdot A' \beta, i] \in D_{i'} \wedge [A' \rightarrow \eta \cdot, i'] \in D_j</tex>. 
Cледовательно <tex>\alpha = \alpha ' A' \Rightarrow^* w_i \ldots w_{i'-1} w_{i'} \ldots w_{j} = w_i \ldots w_{j-1}</tex>, что дает нам второй пункт утверждения, а так как первый пункт следует из индукционного предположения, все хорошо.

<tex>\Longleftarrow</tex> 
В обратную сторону будем доказывать индукцией по суммарной длине вывода <tex>w_0 \ldots w_{i-1} A \delta \ </tex> из <tex>S'</tex> и <tex>w_i \ldots w_{j-1}</tex> из <tex>\alpha</tex>. После чего применим
индукцию по длине вывода <tex>w_i \ldots w_{j-1}</tex> из <tex>\alpha</tex>. 
Рассмотрим три случая последнего символа <tex>\alpha</tex>:

1. <tex>\alpha = \alpha ' a</tex>, тогда <tex>a = w_{j-1}</tex> и <tex>\alpha ' \Rightarrow^* w_i \ldots w_{j-2}</tex>. 
По предположению индукции: <tex>[A \rightarrow \alpha ' \cdot a \beta, i] \in D_{j-1}</tex>, а отсюда по правилу <tex> \mathtt{scan}</tex> получаем <tex>[A \rightarrow \alpha ' a \cdot \beta, i] \in D_{j}</tex>.

2. <tex>\alpha = \alpha ' B</tex>, тогда <tex>\exists i' : \alpha ' \Rightarrow^* w_i \ldots w_{i'-1} \wedge B ' \Rightarrow^* w_{i'} \ldots w_{j-1}</tex>. 
Тогда имеем <tex>[A \rightarrow \alpha ' a \cdot \beta, i] \in D_{j}</tex>. Также можно записать <tex>S' \Rightarrow^* w_0 \ldots w_{i-1} A \delta</tex>, как <tex>S' \Rightarrow^* w_0 \ldots w_{i-1} w_i \ldots w_{i'-1}B \beta \delta</tex>,
а также <tex>B \rightarrow \eta \wedge \eta \rightarrow w_{i'} \ldots w_{j-1}</tex>. 
Применяя индукцию по второму параметру получим <tex>[B \rightarrow \eta \cdot, i'] \in D_j \ </tex>, откуда по правилу <tex> \mathtt{complete}</tex> получаем <tex>[A \rightarrow \alpha ' B \cdot \beta, i] \in D_{j}</tex>.

3. <tex>\alpha = \varepsilon </tex>, тогда <tex>i=j</tex>. 
Тогда либо <tex>i = 0 \wedge A = S \wedge \delta = \varepsilon</tex>, что доказывает базу индукции, 
либо вывод можно записать в виде <tex>S' \Rightarrow^* w_0 \ldots w{i'-1}w_{i'} \ldots w{i-1} A \delta ' \delta '' = w_0 \ldots w_{i-1} A \delta \ </tex> для некоторого правила <tex>(A' \rightarrow w_{i'} \ldots w_{i-1} A \delta ') \in P</tex>. 
Отсюда по предположению индукции <tex>[A' \rightarrow \cdot w_{i'} \ldots w_{i-1} A \delta ', i'] \in D_{i'} \ </tex>,
что после нескольких применений правила <tex> \mathtt{scan}</tex> приводит к <tex>[A' \rightarrow w_{i'} \ldots w_{i-1} \cdot A \delta ', i'] \in D_{i} \ </tex>,
после чего по правилу <tex> \mathtt{predict} \ </tex> получим <tex>[A \rightarrow \cdot \beta, i] \in D_{j} \ </tex>, что и требовалось.

}}

==Пример==
Построим список разбора для строки <tex>w = (a + a)</tex> в грамматике со следующими правилами:
* <tex>S \rightarrow T + S</tex>
* <tex>S \rightarrow T </tex>
* <tex>T \rightarrow F * T</tex>
* <tex>T \rightarrow F</tex>
* <tex>F \rightarrow ( S )</tex>
* <tex>F \rightarrow a</tex>

{|
|-
|

{| class="wikitable"
|-
!<tex>D_0</tex>
|-
|
{|
|-
!Ситуация !! Из правила
|-
|<tex>[S' \rightarrow \cdot S, 0]</tex> || 0
|-
|<tex>[S \rightarrow \cdot T + S, 0]</tex> || 3
|-
|<tex>[S \rightarrow \cdot T, 0]</tex> || 3
|-
|<tex>[T \rightarrow \cdot F * T, 0]</tex> || 3
|-
|<tex>[T \rightarrow \cdot F, 0]</tex> || 3
|-
|<tex>[F \rightarrow \cdot ( S ), 0]</tex> || 3
|-
|<tex>[F \rightarrow \cdot a, 0]</tex> || 3
|}
|}

||

{| class="wikitable"
|-
!<tex>D_1</tex>
|-
|
{|
|-
!Ситуация !! Из правила
|-
|<tex>[F \rightarrow ( \cdot S ), 0]</tex> || 1
|-
|<tex>[S \rightarrow \cdot T + S, 1]</tex> || 3
|-
|<tex>[S \rightarrow \cdot T, 1]</tex> || 3
|-
|<tex>[T \rightarrow \cdot F * T, 1]</tex> || 3
|-
|<tex>[T \rightarrow \cdot F, 1]</tex> || 3
|-
|<tex>[F \rightarrow \cdot ( S ), 1]</tex> || 3
|-
|<tex>[F \rightarrow \cdot a, 1]</tex> || 3
|}
|}

||

{| class="wikitable"
|-
!<tex>D_2</tex>
|-
|
{|
|-
!Ситуация !! Из правила
|-
|<tex>[F \rightarrow a \cdot, 1]</tex> || 1
|-
|<tex>[T \rightarrow F \cdot * T, 1]</tex> || 2
|-
|<tex>[T \rightarrow F \cdot , 1]</tex> || 2
|-
|<tex>[S \rightarrow T \cdot , 1]</tex> || 2
|-
|<tex>[S \rightarrow T \cdot + S, 1]</tex> || 2
|-
|<tex>[F \rightarrow ( S \cdot ), 0]</tex> || 2
|}
|}

|-
|

{| class="wikitable"
|-
!<tex>D_3</tex>
|-
|
{|
|-
!Ситуация !! Из правила
|-
|<tex>[S \rightarrow T + \cdot S, 1]</tex> || 1
|-
|<tex>[S \rightarrow \cdot T + S, 3]</tex> || 3
|-
|<tex>[S \rightarrow \cdot T, 3]</tex> || 3
|-
|<tex>[T \rightarrow \cdot F * T, 3]</tex> || 3
|-
|<tex>[T \rightarrow \cdot F, 3]</tex> || 3
|-
|<tex>[F \rightarrow \cdot ( S ), 3]</tex> || 3
|-
|<tex>[F \rightarrow \cdot a, 3]</tex> || 3
|}
|}

||

{| class="wikitable"
|-
!<tex>D_4</tex>
|-
|
{|
|-
!Ситуация !! Из правила
|-
|<tex>[F \rightarrow a \cdot , 3]</tex> || 1
|-
|<tex>[T \rightarrow F \cdot * T, 3]</tex> || 2
|-
|<tex>[T \rightarrow F \cdot , 3]</tex> || 2
|-
|<tex>[S \rightarrow T \cdot + S, 3]</tex> || 2
|-
|<tex>[S \rightarrow T \cdot , 3]</tex> || 2
|-
|<tex>[S \rightarrow T + S \cdot , 1]</tex> || 2
|-
|<tex>[F \rightarrow ( S \cdot ), 0]</tex> || 2
|}
|}

||

{| class="wikitable"
|-
!<tex>D_5</tex>
|-
|
{|
|-
!Ситуация !! Из правила
|-
|<tex>[F \rightarrow ( S )\cdot , 0]</tex> || 1
|-
|<tex>[T \rightarrow F \cdot * T, 0]</tex> || 2
|-
|<tex>[T \rightarrow F \cdot , 0]</tex> || 2
|-
|<tex>[S \rightarrow T \cdot + S, 0]</tex> || 2
|-
|<tex>[S \rightarrow T \cdot , 0]</tex> || 2
|-
|<tex>[S' \rightarrow S \cdot , 0]</tex> || 2
|}
|}

|}

Так как <tex>[S' \rightarrow S \cdot , 0] \in D_5</tex>, то <tex>w \in L(G) </tex>. 

==См. также==
* [[Алгоритм Кока-Янгера-Касами разбора грамматики в НФХ]]
* [[Алгоритм Кока-Янгера-Касами, модификация для произвольной грамматики]]

==Источники информации==
*[http://lpcs.math.msu.su/~sk/lehre/fivt2013/Earley.pdf Алексей Сорокин {{---}} Алгоритм Эрли]
* Ахо А., Ульман Д.{{---}} Теория синтакcического анализа, перевода и компиляции. Том 1. Синтаксический анализ. Пер. с англ. {{---}} М.:«Мир», 1978. С. 358 — 364.

[[Категория: Теория формальных языков]]
[[Категория: Контекстно-свободные грамматики]]
[[Категория: Алгоритмы разбора]]

Удаление eps-правил из грамматики

2019-05-23T19:32:46Z

Gaporf: Поисправлял ещё многоточия

== Используемые определения ==
{{Определение
|definition = Правила вида <tex>A \to \varepsilon</tex> называются '''<tex>\varepsilon</tex>-правилами''' (англ. ''<tex>\varepsilon</tex>-rule'').
}}
{{Определение
|definition = Нетерминал <tex>A</tex> называется '''<tex>\varepsilon</tex>-порождающим''' (англ. ''<tex>\varepsilon</tex>-generating''), если <tex>A \Rightarrow^* \varepsilon</tex>.
}}

== Алгоритм поиска ε-порождающих нетерминалов ==
'''Вход:''' КС-грамматика <tex> \Gamma=\langle N,\Sigma, P, S \rangle</tex>. 
'''Выход:''' множество <tex>\varepsilon</tex>-порождающих нетерминалов.

# Найти все <tex>\varepsilon</tex>-правила. Составить множество, состоящее из нетерминалов, входящих в левые части таких правил.
# Перебираем правила грамматики <tex>\Gamma</tex>. Если найдено правило <tex>A \rightarrow C_1C_2 \ldots C_k</tex>, для которого верно, что каждый <tex>C_i</tex> принадлежит множеству, то добавить <tex>A</tex> в множество.
# Если на шаге 2 множество изменилось, то повторить шаг 2.

=== Доказательство корректности ===
{{Теорема
|statement = Описанный выше алгоритм находит все <tex>\varepsilon</tex>-порождающие нетерминалы грамматики <tex>\Gamma</tex>.
|proof =

Для доказательства корректности алгоритма достаточно показать, что, если множество <tex>\varepsilon</tex>-порождающих нетерминалов на очередной итерации алгоритма не изменялось, то алгоритм нашел все <tex>\varepsilon</tex>-порождающие нетерминалы.

Пусть после завершения алгоритма существуют нетерминалы такие, что они являются <tex>\varepsilon</tex>-порождающими, но не были найдены алгоритмом. Выберем из этих нетерминалов нетерминал <tex>B</tex>, из которого выводится <tex>\varepsilon</tex> за наименьшее число шагов. Тогда в грамматике есть правило <tex>B \rightarrow C_1C_2 \ldots C_k</tex>, где каждый нетерминал <tex>C_i</tex> {{---}} <tex>\varepsilon</tex>-порождающий. Каждый <tex>C_i</tex> входит в множество <tex>\varepsilon</tex>-порождающих нетерминалов, так как иначе вместо <tex>B</tex> необходимо было взять <tex>C_i</tex>. Следовательно, на одной из итераций алгоритма <tex>B</tex> уже добавился в множество <tex>\varepsilon</tex>-порождающих нетерминалов. Противоречие. Следовательно, алгоритм находит все <tex>\varepsilon</tex>-порождающие нетерминалы.
}}

=== Модификация с очередью ===
Заведем несколько структур:
*<tex>\mathtt{isEpsilon[nonterm_i]} \ </tex> {{---}} для каждого нетерминала будем хранить пометку, является он <tex>\varepsilon</tex>-порождающим или нет.
*<tex>\mathtt{concernedRules[nonterm_i]} \ </tex> {{---}} для каждого нетерминала будем хранить список номеров тех правил, в правой части которых он встречается;
*<tex>\mathtt{counter[rule_i]} \ </tex> {{---}} для каждого правила будем хранить счетчик количества нетерминалов в правой части, которые еще не помечены <tex>\varepsilon</tex>-порождающими;
*<tex>\mathtt{Q} \ </tex> {{---}} очередь нетерминалов, помеченных <tex>\varepsilon</tex>-порождающими, но еще не обработанных.

Сначала проставим <tex>\mathtt{false}</tex> в <tex>\mathtt{isEpsilon} \ </tex> для всех нетерминалов, а в <tex>\mathtt{counter} \ </tex> для каждого правила запишем количество нетерминалов справа от него. Те правила, для которых <tex>\mathtt{counter} \ </tex> сразу же оказался нулевым, добавим в <tex>\mathtt{Q}</tex> и объявим истинным соответствующий <tex>\mathtt{isEpsilon}</tex>, так как это <tex>\varepsilon</tex>-правила. Теперь будем доставать из очереди по одному нетерминалу, смотреть на список <tex>\mathtt{concernedRules} \ </tex> для него и уменьшать <tex>\mathtt{counter}</tex> для всех правил оттуда. Если <tex>\mathtt{counter} \ </tex> какого-то правила в этот момент обнулился, то нетерминал из левой части этого правила помечается <tex>\varepsilon</tex>-порождающим, если еще не был помечен до этого, и добавляется в <tex>\mathtt{Q}</tex>. Продолжаем, пока очередь не станет пустой.

=== Время работы алгоритма ===
Базовый алгоритм работает за <tex>O(\left| \Gamma \right| ^ 2)</tex>. В алгоритме с модификацией нетерминал попадает в очередь ровно один раз, соответственно ровно один раз мы пройдемся по списку правил, в правой части которых он лежит. Суммарно получается <tex>O(\left| \Gamma \right|)</tex>.

=== Пример ===
Рассмотрим грамматику, причем сразу пронумеруем правила:
#<tex>S\rightarrow ABC</tex>
#<tex>S\rightarrow DS </tex>
#<tex>A\rightarrow \varepsilon</tex>
#<tex>B\rightarrow AC</tex>
#<tex>C\rightarrow \varepsilon</tex>
#<tex>D\rightarrow d</tex>

''Поскольку правило 6 содержит справа терминалы, оно заведомо не будет влиять на ответ, поэтому мы не будем его учитывать.''

Построим массив списков <tex>\mathtt{concernedRules}</tex>.
{| class="wikitable"
| colspan=5 |<tex>\mathtt{concernedRules}</tex>
|-
!<tex>S</tex>
!<tex>A</tex>
!<tex>B</tex>
!<tex>C</tex>
!<tex>D</tex>
|-
|2
|1, 4
|1
|1, 4
|2
|}

{| class="wikitable" style="border:solid 2px gray"
!style="border-right:solid 2px gray"|<tex>\mathtt{Q}</tex>
!style="border-right:solid 2px gray" colspan=5| <tex>\mathtt{isEpsilon}</tex>
!style="border-right:solid 2px gray" colspan=5| <tex>\mathtt{counter}</tex>
!Комментарий
|-
!style="border-top:solid 2px gray; border-right:solid 2px gray" rowspan=2|<tex>\left \{ \right \}</tex>
!style="border-top:solid 2px gray"|<tex>S</tex>
!style="border-top:solid 2px gray"|<tex>A</tex>
!style="border-top:solid 2px gray"|<tex>B</tex>
!style="border-top:solid 2px gray"|<tex>C</tex>
!style="border-top:solid 2px gray; border-right:solid 2px gray"|<tex>D</tex>
!style="border-top:solid 2px gray"|1
!style="border-top:solid 2px gray"|2
!style="border-top:solid 2px gray"|3
!style="border-top:solid 2px gray"|4
!style="border-top:solid 2px gray; border-right:solid 2px gray"|5
|style="border-top:solid 2px gray" rowspan=2|Зададим начальные значения массивам <tex>\mathtt{counter} \ </tex> и <tex>\mathtt{isEpsilon}</tex>.
|-
|0
|0
|0
|0
|style="border-right:solid 2px gray"|0
|3
|2
|0
|2
|style="border-right:solid 2px gray"|0
|-
|style="border-top:solid 2px gray; border-right:solid 2px gray" rowspan=2|<tex>\left \{A,C \right \}</tex>
!style="border-top:solid 2px gray"|<tex>S</tex>
!style="border-top:solid 2px gray"|<tex>A</tex>
!style="border-top:solid 2px gray"|<tex>B</tex>
!style="border-top:solid 2px gray"|<tex>C</tex>
!style="border-top:solid 2px gray; border-right:solid 2px gray"|<tex>D</tex>
!style="border-top:solid 2px gray"|1
!style="border-top:solid 2px gray"|2
!style="border-top:solid 2px gray"|3
!style="border-top:solid 2px gray"|4
!style="border-top:solid 2px gray; border-right:solid 2px gray"|5
|style="border-top:solid 2px gray" rowspan=2 |Заметим, что правила 3 и 5 являются <tex>\varepsilon</tex>-правилами. Пометим левые нетерминалы из этих правил и добавим их в очередь. После этого в <tex>\mathtt{Q}</tex> лежит <tex>A</tex> и <tex>C</tex>, а <tex>\mathtt{counter} \ </tex> остался без изменений.
|-
|0
|1
|0
|1
|style="border-right:solid 2px gray"|0
|3
|2
|0
|2
|style="border-right:solid 2px gray"|0
|-
|style="border-top:solid 2px gray; border-right:solid 2px gray" rowspan=2|<tex>\left\{C \right\}</tex>
!style="border-top:solid 2px gray"|<tex>S</tex>
!style="border-top:solid 2px gray"|<tex>A</tex>
!style="border-top:solid 2px gray"|<tex>B</tex>
!style="border-top:solid 2px gray"|<tex>C</tex>
!style="border-top:solid 2px gray; border-right:solid 2px gray"|<tex>D</tex>
!style="border-top:solid 2px gray"|1
!style="border-top:solid 2px gray"|2
!style="border-top:solid 2px gray"|3
!style="border-top:solid 2px gray"|4
!style="border-top:solid 2px gray; border-right:solid 2px gray"|5
|style="border-top:solid 2px gray" rowspan=2|Достанем из очереди <tex>A</tex>, декрементируем те счетчики, которые относятся к связанным с ним правилам. К очереди ничего не добавится.
|-
|0
|1
|0
|1
|style="border-right:solid 2px gray"|0
|2
|2
|0
|1
|style="border-right:solid 2px gray"|0
|-
|style="border-top:solid 2px gray; border-right:solid 2px gray" rowspan=2|<tex>\left\{B \right\}</tex>
!style="border-top:solid 2px gray"|<tex>S</tex>
!style="border-top:solid 2px gray"|<tex>A</tex>
!style="border-top:solid 2px gray"|<tex>B</tex>
!style="border-top:solid 2px gray"|<tex>C</tex>
!style="border-top:solid 2px gray; border-right:solid 2px gray"|<tex>D</tex>
!style="border-top:solid 2px gray"|1
!style="border-top:solid 2px gray"|2
!style="border-top:solid 2px gray"|3
!style="border-top:solid 2px gray"|4
!style="border-top:solid 2px gray; border-right:solid 2px gray"|5
|style="border-top:solid 2px gray" rowspan=2|Достанем из очереди <tex>C</tex>. После проведения действий из алгоритма в очередь добавится <tex>B</tex>.
|-
|0
|1
|1
|1
|style="border-right:solid 2px gray"|0
|1
|2
|0
|0
|style="border-right:solid 2px gray"|0
|-
|style="border-top:solid 2px gray; border-right:solid 2px gray" rowspan=2|<tex>\left\{S \right\}</tex>
!style="border-top:solid 2px gray"|<tex>S</tex>
!style="border-top:solid 2px gray"|<tex>A</tex>
!style="border-top:solid 2px gray"|<tex>B</tex>
!style="border-top:solid 2px gray"|<tex>C</tex>
!style="border-top:solid 2px gray; border-right:solid 2px gray"|<tex>D</tex>
!style="border-top:solid 2px gray"|1
!style="border-top:solid 2px gray"|2
!style="border-top:solid 2px gray"|3
!style="border-top:solid 2px gray"|4
!style="border-top:solid 2px gray; border-right:solid 2px gray"|5
|style="border-top:solid 2px gray" rowspan=2|Достанем из очереди <tex>B</tex>. После действий алгоритма в очередь добавится <tex>S</tex>.
|-
|1
|1
|1
|1
|style="border-right:solid 2px gray"|0
|0
|2
|0
|0
|style="border-right:solid 2px gray"|0
|-
|style="border-top:solid 2px gray; border-right:solid 2px gray" rowspan=2|<tex>\left\{ \right\}</tex>
!style="border-top:solid 2px gray"|<tex>S</tex>
!style="border-top:solid 2px gray"|<tex>A</tex>
!style="border-top:solid 2px gray"|<tex>B</tex>
!style="border-top:solid 2px gray"|<tex>C</tex>
!style="border-top:solid 2px gray; border-right:solid 2px gray"|<tex>D</tex>
!style="border-top:solid 2px gray"|1
!style="border-top:solid 2px gray"|2
!style="border-top:solid 2px gray"|3
!style="border-top:solid 2px gray"|4
!style="border-top:solid 2px gray; border-right:solid 2px gray"|5
|style="border-top:solid 2px gray" rowspan=2|Достанем из очереди <tex>S</tex>. Ничего не добавится в очередь и она останется пустой. Алгоритм закончил свое выполнение. Итого в множество <tex>\varepsilon</tex>-правил входят все нетерминалы, кроме <tex>D</tex>.
|-
|1
|1
|1
|1
|style="border-right:solid 2px gray"|0
|0
|1
|0
|0
|style="border-right:solid 2px gray"|0
|}

Если применять алгоритм без модификации с очередью, то действия будут следующие:
# Возьмём множество состоящее из <tex>\varepsilon</tex>-порождающих нетерминалов <tex>\lbrace A, C \rbrace</tex>.
# Добавим <tex>B</tex> в множество, так как правая часть правила <tex>B\rightarrow AC</tex> состоит только из нетерминалов из множества.
# Повторим второй пункт для правила <tex>S\rightarrow ABC</tex> и получим множество <tex>\lbrace A, B, C, S \rbrace</tex>.
# Больше нет нерассмотренных правил, содержащих справа только нетерминалы из множества.

Таким образом <tex>\varepsilon</tex>-порождающими нетерминалами являются <tex>A</tex>, <tex>B</tex>, <tex>C</tex> и <tex>S</tex>.

== Алгоритм удаления ε-правил из грамматики ==
'''Вход:''' КС-грамматика <tex> \Gamma=\langle N,\Sigma, P, S \rangle</tex>. 
'''Выход:''' КС-грамматика <tex> \Gamma'=\langle N,\Sigma, P', S' \rangle</tex> без <tex>\varepsilon</tex>-правил (может присутствовать правило <tex>S \rightarrow \varepsilon</tex>, но в этом случае <tex>S</tex> не встречается в правых частях правил); <tex>L(\Gamma') = L(\Gamma)</tex>.

# Добавить все правила из <tex>P</tex> в <tex>P'</tex>.
# Найти все <tex>\varepsilon</tex>-порождаюшие нетерминалы.
# Для каждого правила вида <tex>A \rightarrow \alpha_0 B_1 \alpha_1 B_2 \alpha_2 \ldots B_k \alpha_k \ </tex> (где <tex>\alpha_i</tex> — последовательности из терминалов и нетерминалов, <tex>B_j</tex> — <tex>\varepsilon</tex>-порождающие нетерминалы) добавить в <tex>P'</tex> все возможные варианты правил, в которых либо присутствует, либо удалён каждый из нетерминалов <tex>B_j\; (1 \leqslant j \leqslant k)</tex>.
# Удалить все <tex>\varepsilon</tex>-правила из <tex>P'</tex>.
# Если в исходной грамматике <tex>\Gamma</tex> выводилось <tex>\varepsilon</tex>, то необходимо добавить новый нетерминал <tex>S'</tex>, сделать его стартовым, добавить правило <tex>S' \rightarrow S|\varepsilon</tex>.

=== Доказательство корректности ===
{{Теорема
|statement = Если грамматика <tex>\Gamma'</tex> была построена с помощью описанного выше алгоритма по грамматике <tex>\Gamma</tex>, то <tex>L(\Gamma') = L(\Gamma)</tex>.
|proof =
Сначала докажем, что, если не выполнять шаг 5 алгоритма, то получится грамматика <tex>\Gamma' : L(\Gamma') = L(\Gamma) \setminus \lbrace \varepsilon \rbrace </tex>. 
Для этого достаточно доказать, что
<tex>A \underset{\Gamma'}{\Rightarrow}^*w</tex> тогда и только тогда, когда <tex>A \underset{\Gamma}{\Rightarrow}^*w</tex> и <tex>w \ne \varepsilon</tex> (*).

<tex>\Rightarrow</tex>
Пусть <tex>A \underset{\Gamma'}{\Rightarrow}^*w</tex>  и  <tex>w \ne \varepsilon</tex>. 
Докажем индукцией по длине порождения в грамматике <tex>\Gamma'</tex>, что <tex>A \underset{\Gamma}{\Rightarrow}^*w</tex>. 
'''База'''. <tex>A \underset{\Gamma'}{\Rightarrow} w</tex>. 
В этом случае в <tex>\Gamma'</tex> есть правило <tex>A \rightarrow w</tex>. По построению <tex>\Gamma'</tex> в <tex>\Gamma</tex> есть правило <tex>A \rightarrow \alpha</tex>, причем <tex>\alpha</tex> — цепочка <tex>w</tex>, элементы которой, возможно, перемежаются <tex>\varepsilon</tex>-порождающими нетерминалами. Тогда в <tex>\Gamma</tex> есть порождения <tex>A \underset{\Gamma}{\Rightarrow} \alpha \underset{\Gamma}{\Rightarrow}^*w</tex>. 
'''Предположение индукции'''. Пусть из <tex>A \underset{\Gamma'}{\Rightarrow}^*w \ne \varepsilon</tex> менее, чем за <tex>n</tex> шагов, следует, что <tex>A \underset{\Gamma}{\Rightarrow}^*w</tex>. 
'''Переход'''.
Пусть в порождении <tex>n</tex> шагов, <tex>n > 1</tex>. Тогда оно имеет вид <tex>A\underset{\Gamma'}{\Rightarrow}X_1 X_2 \ldots X_k \underset{\Gamma'}{\Rightarrow}^*w</tex>, где <tex>X_i \in N \cup \Sigma </tex>. Первое использованное правило должно быть построено по правилу грамматики <tex>\Gamma</tex> <tex>A \rightarrow Y_1 Y_2 \ldots Y_m</tex>, где последовательность <tex>Y_1 Y_2 \ldots Y_m</tex> совпадает с последовательностью <tex>X_1 X_2 \ldots X_k</tex>, символы которой, возможно, перемежаются <tex>\varepsilon</tex>-порождающими нетерминалами. 
Цепочку <tex>w</tex> можно разбить на <tex>w_1 w_2 \ldots w_k</tex>, где <tex>X_i \underset{\Gamma'}{\Rightarrow}^*w_i</tex>. Если <tex>X_i</tex> — терминал, то <tex>w_i = X_i</tex>, a если нетерминал, то порождение <tex>X_i \underset{\Gamma'}{\Rightarrow}^*w_i</tex> содержит менее <tex>n</tex> шагов. По предположению <tex>X_i \underset{\Gamma}{\Rightarrow}^*w_i</tex>, значит <tex>A \underset {\Gamma}{\Rightarrow} Y_1 Y_2 \ldots Y_m \underset{\Gamma}{\Rightarrow}^* X_1 X_2 \ldots X_k \underset{\Gamma}{\Rightarrow}^* w_1 w_2 \ldots w_k = w</tex>.

<tex>\Leftarrow</tex> 
Пусть <tex>A \underset{\Gamma}{\Rightarrow}^*w</tex>  и  <tex>w \ne \varepsilon</tex>. 
Докажем индукцией по длине порождения в грамматике <tex>\Gamma</tex>, что <tex>A \underset{\Gamma'}{\Rightarrow}^*w</tex>. 
'''База'''. <tex>A \underset{\Gamma}{\Rightarrow} w</tex>. 
Правило <tex>A \rightarrow w</tex> присутствует в <tex>\Gamma</tex>. Поскольку <tex>w \ne \varepsilon</tex>, это же правило будет и в <tex>\Gamma'</tex>, поэтому <tex>A \underset{\Gamma'}{\Rightarrow}^*w</tex>. 
'''Предположение индукции'''. Пусть из <tex>A \underset{\Gamma}{\Rightarrow}^*w \ne \varepsilon</tex> менее, чем за <tex>n</tex> шагов, следует, что <tex>A \underset{\Gamma'}{\Rightarrow}^*w </tex>. 
'''Переход'''. Пусть в порождении <tex>n</tex> шагов, <tex>n > 1</tex>. Тогда оно имеет вид <tex>A\underset{\Gamma}{\Rightarrow}Y_1 Y_2 \ldots Y_m \underset{\Gamma}{\Rightarrow}^*w</tex>, где <tex>Y_i \in N \cup \Sigma </tex>. Цепочку <tex>w</tex> можно разбить на <tex>w_1 w_2 \ldots w_m</tex>, где <tex>Y_i \underset{\Gamma}{\Rightarrow}^*w_i</tex>. 
Пусть <tex>Y_{i_1}, Y_{i_2}, \ldots, Y_{i_p}</tex> — подпоследовательность, состоящая из всех элементов, таких, что <tex>w_{i_k} \ne \varepsilon</tex>, то есть <tex>Y_{i_1} Y_{i_2} \ldots Y_{i_p} \underset{\Gamma}{\Rightarrow}^*w</tex>. <tex>p \geqslant 1</tex>, поскольку <tex>w \ne \varepsilon</tex>. Значит, <tex>A \rightarrow Y_{i_1} Y_{i_2} \ldots Y_{i_p}</tex> является правилом в <tex>\Gamma'</tex> по построению <tex>\Gamma'</tex>. 
Так как каждое из порождений <tex>Y_i \underset{\Gamma}{\Rightarrow}^*w_i</tex> содержит менее <tex>n</tex> шагов, к ним можно применить предположение индукции и заключить, что, если <tex>w_i \ne \varepsilon</tex>, то <tex>Y_i \underset{\Gamma'}{\Rightarrow}^*w_i</tex>. 
Таким образом, <tex>A \underset{\Gamma'}{\Rightarrow} Y_{i_1} Y_{i_2} \ldots Y_{i_p} \underset{\Gamma'}{\Rightarrow}^* w</tex>.

Подставив <tex>S</tex> вместо <tex>A</tex> в утверждение (*), видим, что <tex>w \in L(\Gamma)</tex> для <tex>w \ne \varepsilon</tex> тогда и только тогда, когда <tex>w \in L(\Gamma')</tex>. Так как после выполнения шага 5 алгоритма в <tex>\Gamma'</tex> могло добавиться только пустое слово <tex>\varepsilon</tex>, то язык, задаваемый КС-грамматикой <tex>\Gamma'</tex>, совпадает с языком, задаваемым КС-грамматикой <tex>\Gamma</tex>.
}}

=== Время работы алгоритма ===
Рассмотрим грамматику <tex>\Gamma</tex>:
:<tex>S\rightarrow T_1 T_2 T_3 \ldots T_n</tex>
:<tex>T_1\rightarrow t_1|\varepsilon</tex>
:<tex>T_2\rightarrow t_2|\varepsilon</tex>
:<tex>\ldots\</tex>
:<tex>T_n\rightarrow t_n|\varepsilon</tex>

<tex>\left| \Gamma \right| = O(n)</tex>. Из нетерминала <tex>S</tex> можно вывести <tex>2^n</tex> сочетаний нетерминалов <tex>T_i</tex>. Таким образом в худшем случае алгоритм работает за <tex>O(2^{\left| \Gamma \right|})</tex>. 
Рассмотрим теперь грамматику с устраненными [[Удаление_длинных_правил_из_грамматики|длинными правилами]]. После применения данного алгоритма, который работает за <tex>O(\left| \Gamma \right|)</tex>, в грамматике станет на <tex>O(\left| \Gamma \right|)</tex> больше правил, но при этом все они будут размером <tex>O(1)</tex>. Итого по-прежнему <tex>\left| \Gamma \right| = O(n)</tex>. Однако алгоритм удаления <tex>\varepsilon</tex>-правил будет работать за <tex>O(\left| \Gamma \right|)</tex>, поскольку для каждого правила можно будет добавить только <tex>O(1)</tex> сочетаний нетерминалов.

=== Пример ===
Рассмотрим грамматику:
:<tex>S\rightarrow ABCd</tex>
:<tex>A\rightarrow a|\varepsilon</tex>
:<tex>B\rightarrow AC</tex>
:<tex>C\rightarrow c|\varepsilon</tex>

В ней <tex>A</tex>, <tex>B</tex> и <tex>C</tex> являются <tex>\varepsilon</tex>-порождающими нетерминалами.
# Переберём для каждого правила все возможные сочетания ε-порождающих нетерминалов и добавим новые правила:
#* <tex>S\rightarrow Ad|ABd|ACd|Bd|BCd|Cd|d</tex> для <tex>S \rightarrow ABCd</tex>
#* <tex>B \rightarrow A|C</tex> для <tex>B \rightarrow AC</tex>
# Удалим праила <tex>A\rightarrow \varepsilon</tex> и <tex>C\rightarrow \varepsilon</tex>

В результате мы получим новую грамматику без <tex>\varepsilon</tex>-правил:
:<tex>S\rightarrow Ad|ABd|ACd|ABCd|Bd|BCd|Cd|d</tex>
:<tex>A\rightarrow a</tex>
:<tex>B\rightarrow A|AC|C</tex>
:<tex>C\rightarrow c</tex>

== См. также ==
* [[Контекстно-свободные_грамматики,_вывод,_лево-_и_правосторонний_вывод,_дерево_разбора|Контекстно-свободные грамматики]]
* [[Нормальная_форма_Хомского|Нормальная форма Хомского]]

== Источники информации ==
* ''Хопкрофт Д., Мотвани Р., Ульман Д.'' '''Введение в теорию автоматов, языков и вычислений''', 2-е изд. : Пер. с англ. — Москва, Издательский дом «Вильямс», 2002. — С. 273: ISBN 5-8459-0261-4 (рус.)
* [http://en.wikipedia.org/wiki/Chomsky_normal_form Wikipedia — Chomsky normal form]

[[Категория: Теория формальных языков]]
[[Категория: Контекстно-свободные грамматики]]
[[Категория: Нормальные формы КС-грамматик]]

Удаление eps-правил из грамматики

2019-05-23T19:28:40Z

Gaporf: Исправил многоточия

== Используемые определения ==
{{Определение
|definition = Правила вида <tex>A \to \varepsilon</tex> называются '''<tex>\varepsilon</tex>-правилами''' (англ. ''<tex>\varepsilon</tex>-rule'').
}}
{{Определение
|definition = Нетерминал <tex>A</tex> называется '''<tex>\varepsilon</tex>-порождающим''' (англ. ''<tex>\varepsilon</tex>-generating''), если <tex>A \Rightarrow^* \varepsilon</tex>.
}}

== Алгоритм поиска ε-порождающих нетерминалов ==
'''Вход:''' КС-грамматика <tex> \Gamma=\langle N,\Sigma, P, S \rangle</tex>. 
'''Выход:''' множество <tex>\varepsilon</tex>-порождающих нетерминалов.

# Найти все <tex>\varepsilon</tex>-правила. Составить множество, состоящее из нетерминалов, входящих в левые части таких правил.
# Перебираем правила грамматики <tex>\Gamma</tex>. Если найдено правило <tex>A \rightarrow C_1C_2 \ldots .C_k</tex>, для которого верно, что каждый <tex>C_i</tex> принадлежит множеству, то добавить <tex>A</tex> в множество.
# Если на шаге 2 множество изменилось, то повторить шаг 2.

=== Доказательство корректности ===
{{Теорема
|statement = Описанный выше алгоритм находит все <tex>\varepsilon</tex>-порождающие нетерминалы грамматики <tex>\Gamma</tex>.
|proof =

Для доказательства корректности алгоритма достаточно показать, что, если множество <tex>\varepsilon</tex>-порождающих нетерминалов на очередной итерации алгоритма не изменялось, то алгоритм нашел все <tex>\varepsilon</tex>-порождающие нетерминалы.

Пусть после завершения алгоритма существуют нетерминалы такие, что они являются <tex>\varepsilon</tex>-порождающими, но не были найдены алгоритмом. Выберем из этих нетерминалов нетерминал <tex>B</tex>, из которого выводится <tex>\varepsilon</tex> за наименьшее число шагов. Тогда в грамматике есть правило <tex>B \rightarrow C_1C_2 \ldots .C_k</tex>, где каждый нетерминал <tex>C_i</tex> {{---}} <tex>\varepsilon</tex>-порождающий. Каждый <tex>C_i</tex> входит в множество <tex>\varepsilon</tex>-порождающих нетерминалов, так как иначе вместо <tex>B</tex> необходимо было взять <tex>C_i</tex>. Следовательно, на одной из итераций алгоритма <tex>B</tex> уже добавился в множество <tex>\varepsilon</tex>-порождающих нетерминалов. Противоречие. Следовательно, алгоритм находит все <tex>\varepsilon</tex>-порождающие нетерминалы.
}}

=== Модификация с очередью ===
Заведем несколько структур:
*<tex>\mathtt{isEpsilon[nonterm_i]} \ </tex> {{---}} для каждого нетерминала будем хранить пометку, является он <tex>\varepsilon</tex>-порождающим или нет.
*<tex>\mathtt{concernedRules[nonterm_i]} \ </tex> {{---}} для каждого нетерминала будем хранить список номеров тех правил, в правой части которых он встречается;
*<tex>\mathtt{counter[rule_i]} \ </tex> {{---}} для каждого правила будем хранить счетчик количества нетерминалов в правой части, которые еще не помечены <tex>\varepsilon</tex>-порождающими;
*<tex>\mathtt{Q} \ </tex> {{---}} очередь нетерминалов, помеченных <tex>\varepsilon</tex>-порождающими, но еще не обработанных.

Сначала проставим <tex>\mathtt{false}</tex> в <tex>\mathtt{isEpsilon} \ </tex> для всех нетерминалов, а в <tex>\mathtt{counter} \ </tex> для каждого правила запишем количество нетерминалов справа от него. Те правила, для которых <tex>\mathtt{counter} \ </tex> сразу же оказался нулевым, добавим в <tex>\mathtt{Q}</tex> и объявим истинным соответствующий <tex>\mathtt{isEpsilon}</tex>, так как это <tex>\varepsilon</tex>-правила. Теперь будем доставать из очереди по одному нетерминалу, смотреть на список <tex>\mathtt{concernedRules} \ </tex> для него и уменьшать <tex>\mathtt{counter}</tex> для всех правил оттуда. Если <tex>\mathtt{counter} \ </tex> какого-то правила в этот момент обнулился, то нетерминал из левой части этого правила помечается <tex>\varepsilon</tex>-порождающим, если еще не был помечен до этого, и добавляется в <tex>\mathtt{Q}</tex>. Продолжаем, пока очередь не станет пустой.

=== Время работы алгоритма ===
Базовый алгоритм работает за <tex>O(\left| \Gamma \right| ^ 2)</tex>. В алгоритме с модификацией нетерминал попадает в очередь ровно один раз, соответственно ровно один раз мы пройдемся по списку правил, в правой части которых он лежит. Суммарно получается <tex>O(\left| \Gamma \right|)</tex>.

=== Пример ===
Рассмотрим грамматику, причем сразу пронумеруем правила:
#<tex>S\rightarrow ABC</tex>
#<tex>S\rightarrow DS </tex>
#<tex>A\rightarrow \varepsilon</tex>
#<tex>B\rightarrow AC</tex>
#<tex>C\rightarrow \varepsilon</tex>
#<tex>D\rightarrow d</tex>

''Поскольку правило 6 содержит справа терминалы, оно заведомо не будет влиять на ответ, поэтому мы не будем его учитывать.''

Построим массив списков <tex>\mathtt{concernedRules}</tex>.
{| class="wikitable"
| colspan=5 |<tex>\mathtt{concernedRules}</tex>
|-
!<tex>S</tex>
!<tex>A</tex>
!<tex>B</tex>
!<tex>C</tex>
!<tex>D</tex>
|-
|2
|1, 4
|1
|1, 4
|2
|}

{| class="wikitable" style="border:solid 2px gray"
!style="border-right:solid 2px gray"|<tex>\mathtt{Q}</tex>
!style="border-right:solid 2px gray" colspan=5| <tex>\mathtt{isEpsilon}</tex>
!style="border-right:solid 2px gray" colspan=5| <tex>\mathtt{counter}</tex>
!Комментарий
|-
!style="border-top:solid 2px gray; border-right:solid 2px gray" rowspan=2|<tex>\left \{ \right \}</tex>
!style="border-top:solid 2px gray"|<tex>S</tex>
!style="border-top:solid 2px gray"|<tex>A</tex>
!style="border-top:solid 2px gray"|<tex>B</tex>
!style="border-top:solid 2px gray"|<tex>C</tex>
!style="border-top:solid 2px gray; border-right:solid 2px gray"|<tex>D</tex>
!style="border-top:solid 2px gray"|1
!style="border-top:solid 2px gray"|2
!style="border-top:solid 2px gray"|3
!style="border-top:solid 2px gray"|4
!style="border-top:solid 2px gray; border-right:solid 2px gray"|5
|style="border-top:solid 2px gray" rowspan=2|Зададим начальные значения массивам <tex>\mathtt{counter} \ </tex> и <tex>\mathtt{isEpsilon}</tex>.
|-
|0
|0
|0
|0
|style="border-right:solid 2px gray"|0
|3
|2
|0
|2
|style="border-right:solid 2px gray"|0
|-
|style="border-top:solid 2px gray; border-right:solid 2px gray" rowspan=2|<tex>\left \{A,C \right \}</tex>
!style="border-top:solid 2px gray"|<tex>S</tex>
!style="border-top:solid 2px gray"|<tex>A</tex>
!style="border-top:solid 2px gray"|<tex>B</tex>
!style="border-top:solid 2px gray"|<tex>C</tex>
!style="border-top:solid 2px gray; border-right:solid 2px gray"|<tex>D</tex>
!style="border-top:solid 2px gray"|1
!style="border-top:solid 2px gray"|2
!style="border-top:solid 2px gray"|3
!style="border-top:solid 2px gray"|4
!style="border-top:solid 2px gray; border-right:solid 2px gray"|5
|style="border-top:solid 2px gray" rowspan=2 |Заметим, что правила 3 и 5 являются <tex>\varepsilon</tex>-правилами. Пометим левые нетерминалы из этих правил и добавим их в очередь. После этого в <tex>\mathtt{Q}</tex> лежит <tex>A</tex> и <tex>C</tex>, а <tex>\mathtt{counter} \ </tex> остался без изменений.
|-
|0
|1
|0
|1
|style="border-right:solid 2px gray"|0
|3
|2
|0
|2
|style="border-right:solid 2px gray"|0
|-
|style="border-top:solid 2px gray; border-right:solid 2px gray" rowspan=2|<tex>\left\{C \right\}</tex>
!style="border-top:solid 2px gray"|<tex>S</tex>
!style="border-top:solid 2px gray"|<tex>A</tex>
!style="border-top:solid 2px gray"|<tex>B</tex>
!style="border-top:solid 2px gray"|<tex>C</tex>
!style="border-top:solid 2px gray; border-right:solid 2px gray"|<tex>D</tex>
!style="border-top:solid 2px gray"|1
!style="border-top:solid 2px gray"|2
!style="border-top:solid 2px gray"|3
!style="border-top:solid 2px gray"|4
!style="border-top:solid 2px gray; border-right:solid 2px gray"|5
|style="border-top:solid 2px gray" rowspan=2|Достанем из очереди <tex>A</tex>, декрементируем те счетчики, которые относятся к связанным с ним правилам. К очереди ничего не добавится.
|-
|0
|1
|0
|1
|style="border-right:solid 2px gray"|0
|2
|2
|0
|1
|style="border-right:solid 2px gray"|0
|-
|style="border-top:solid 2px gray; border-right:solid 2px gray" rowspan=2|<tex>\left\{B \right\}</tex>
!style="border-top:solid 2px gray"|<tex>S</tex>
!style="border-top:solid 2px gray"|<tex>A</tex>
!style="border-top:solid 2px gray"|<tex>B</tex>
!style="border-top:solid 2px gray"|<tex>C</tex>
!style="border-top:solid 2px gray; border-right:solid 2px gray"|<tex>D</tex>
!style="border-top:solid 2px gray"|1
!style="border-top:solid 2px gray"|2
!style="border-top:solid 2px gray"|3
!style="border-top:solid 2px gray"|4
!style="border-top:solid 2px gray; border-right:solid 2px gray"|5
|style="border-top:solid 2px gray" rowspan=2|Достанем из очереди <tex>C</tex>. После проведения действий из алгоритма в очередь добавится <tex>B</tex>.
|-
|0
|1
|1
|1
|style="border-right:solid 2px gray"|0
|1
|2
|0
|0
|style="border-right:solid 2px gray"|0
|-
|style="border-top:solid 2px gray; border-right:solid 2px gray" rowspan=2|<tex>\left\{S \right\}</tex>
!style="border-top:solid 2px gray"|<tex>S</tex>
!style="border-top:solid 2px gray"|<tex>A</tex>
!style="border-top:solid 2px gray"|<tex>B</tex>
!style="border-top:solid 2px gray"|<tex>C</tex>
!style="border-top:solid 2px gray; border-right:solid 2px gray"|<tex>D</tex>
!style="border-top:solid 2px gray"|1
!style="border-top:solid 2px gray"|2
!style="border-top:solid 2px gray"|3
!style="border-top:solid 2px gray"|4
!style="border-top:solid 2px gray; border-right:solid 2px gray"|5
|style="border-top:solid 2px gray" rowspan=2|Достанем из очереди <tex>B</tex>. После действий алгоритма в очередь добавится <tex>S</tex>.
|-
|1
|1
|1
|1
|style="border-right:solid 2px gray"|0
|0
|2
|0
|0
|style="border-right:solid 2px gray"|0
|-
|style="border-top:solid 2px gray; border-right:solid 2px gray" rowspan=2|<tex>\left\{ \right\}</tex>
!style="border-top:solid 2px gray"|<tex>S</tex>
!style="border-top:solid 2px gray"|<tex>A</tex>
!style="border-top:solid 2px gray"|<tex>B</tex>
!style="border-top:solid 2px gray"|<tex>C</tex>
!style="border-top:solid 2px gray; border-right:solid 2px gray"|<tex>D</tex>
!style="border-top:solid 2px gray"|1
!style="border-top:solid 2px gray"|2
!style="border-top:solid 2px gray"|3
!style="border-top:solid 2px gray"|4
!style="border-top:solid 2px gray; border-right:solid 2px gray"|5
|style="border-top:solid 2px gray" rowspan=2|Достанем из очереди <tex>S</tex>. Ничего не добавится в очередь и она останется пустой. Алгоритм закончил свое выполнение. Итого в множество <tex>\varepsilon</tex>-правил входят все нетерминалы, кроме <tex>D</tex>.
|-
|1
|1
|1
|1
|style="border-right:solid 2px gray"|0
|0
|1
|0
|0
|style="border-right:solid 2px gray"|0
|}

Если применять алгоритм без модификации с очередью, то действия будут следующие:
# Возьмём множество состоящее из <tex>\varepsilon</tex>-порождающих нетерминалов <tex>\lbrace A, C \rbrace</tex>.
# Добавим <tex>B</tex> в множество, так как правая часть правила <tex>B\rightarrow AC</tex> состоит только из нетерминалов из множества.
# Повторим второй пункт для правила <tex>S\rightarrow ABC</tex> и получим множество <tex>\lbrace A, B, C, S \rbrace</tex>.
# Больше нет нерассмотренных правил, содержащих справа только нетерминалы из множества.

Таким образом <tex>\varepsilon</tex>-порождающими нетерминалами являются <tex>A</tex>, <tex>B</tex>, <tex>C</tex> и <tex>S</tex>.

== Алгоритм удаления ε-правил из грамматики ==
'''Вход:''' КС-грамматика <tex> \Gamma=\langle N,\Sigma, P, S \rangle</tex>. 
'''Выход:''' КС-грамматика <tex> \Gamma'=\langle N,\Sigma, P', S' \rangle</tex> без <tex>\varepsilon</tex>-правил (может присутствовать правило <tex>S \rightarrow \varepsilon</tex>, но в этом случае <tex>S</tex> не встречается в правых частях правил); <tex>L(\Gamma') = L(\Gamma)</tex>.

# Добавить все правила из <tex>P</tex> в <tex>P'</tex>.
# Найти все <tex>\varepsilon</tex>-порождаюшие нетерминалы.
# Для каждого правила вида <tex>A \rightarrow \alpha_0 B_1 \alpha_1 B_2 \alpha_2 \ldots B_k \alpha_k \ </tex> (где <tex>\alpha_i</tex> — последовательности из терминалов и нетерминалов, <tex>B_j</tex> — <tex>\varepsilon</tex>-порождающие нетерминалы) добавить в <tex>P'</tex> все возможные варианты правил, в которых либо присутствует, либо удалён каждый из нетерминалов <tex>B_j\; (1 \leqslant j \leqslant k)</tex>.
# Удалить все <tex>\varepsilon</tex>-правила из <tex>P'</tex>.
# Если в исходной грамматике <tex>\Gamma</tex> выводилось <tex>\varepsilon</tex>, то необходимо добавить новый нетерминал <tex>S'</tex>, сделать его стартовым, добавить правило <tex>S' \rightarrow S|\varepsilon</tex>.

=== Доказательство корректности ===
{{Теорема
|statement = Если грамматика <tex>\Gamma'</tex> была построена с помощью описанного выше алгоритма по грамматике <tex>\Gamma</tex>, то <tex>L(\Gamma') = L(\Gamma)</tex>.
|proof =
Сначала докажем, что, если не выполнять шаг 5 алгоритма, то получится грамматика <tex>\Gamma' : L(\Gamma') = L(\Gamma) \setminus \lbrace \varepsilon \rbrace </tex>. 
Для этого достаточно доказать, что
<tex>A \underset{\Gamma'}{\Rightarrow}^*w</tex> тогда и только тогда, когда <tex>A \underset{\Gamma}{\Rightarrow}^*w</tex> и <tex>w \ne \varepsilon</tex> (*).

<tex>\Rightarrow</tex>
Пусть <tex>A \underset{\Gamma'}{\Rightarrow}^*w</tex>  и  <tex>w \ne \varepsilon</tex>. 
Докажем индукцией по длине порождения в грамматике <tex>\Gamma'</tex>, что <tex>A \underset{\Gamma}{\Rightarrow}^*w</tex>. 
'''База'''. <tex>A \underset{\Gamma'}{\Rightarrow} w</tex>. 
В этом случае в <tex>\Gamma'</tex> есть правило <tex>A \rightarrow w</tex>. По построению <tex>\Gamma'</tex> в <tex>\Gamma</tex> есть правило <tex>A \rightarrow \alpha</tex>, причем <tex>\alpha</tex> — цепочка <tex>w</tex>, элементы которой, возможно, перемежаются <tex>\varepsilon</tex>-порождающими нетерминалами. Тогда в <tex>\Gamma</tex> есть порождения <tex>A \underset{\Gamma}{\Rightarrow} \alpha \underset{\Gamma}{\Rightarrow}^*w</tex>. 
'''Предположение индукции'''. Пусть из <tex>A \underset{\Gamma'}{\Rightarrow}^*w \ne \varepsilon</tex> менее, чем за <tex>n</tex> шагов, следует, что <tex>A \underset{\Gamma}{\Rightarrow}^*w</tex>. 
'''Переход'''.
Пусть в порождении <tex>n</tex> шагов, <tex>n > 1</tex>. Тогда оно имеет вид <tex>A\underset{\Gamma'}{\Rightarrow}X_1 X_2 \ldots X_k \underset{\Gamma'}{\Rightarrow}^*w</tex>, где <tex>X_i \in N \cup \Sigma </tex>. Первое использованное правило должно быть построено по правилу грамматики <tex>\Gamma</tex> <tex>A \rightarrow Y_1 Y_2 \ldots Y_m</tex>, где последовательность <tex>Y_1 Y_2 \ldots Y_m</tex> совпадает с последовательностью <tex>X_1 X_2 \ldots X_k</tex>, символы которой, возможно, перемежаются <tex>\varepsilon</tex>-порождающими нетерминалами. 
Цепочку <tex>w</tex> можно разбить на <tex>w_1 w_2 \ldots w_k</tex>, где <tex>X_i \underset{\Gamma'}{\Rightarrow}^*w_i</tex>. Если <tex>X_i</tex> — терминал, то <tex>w_i = X_i</tex>, a если нетерминал, то порождение <tex>X_i \underset{\Gamma'}{\Rightarrow}^*w_i</tex> содержит менее <tex>n</tex> шагов. По предположению <tex>X_i \underset{\Gamma}{\Rightarrow}^*w_i</tex>, значит <tex>A \underset {\Gamma}{\Rightarrow} Y_1 Y_2 \ldots Y_m \underset{\Gamma}{\Rightarrow}^* X_1 X_2 \ldots X_k \underset{\Gamma}{\Rightarrow}^* w_1 w_2 \ldots w_k = w</tex>.

<tex>\Leftarrow</tex> 
Пусть <tex>A \underset{\Gamma}{\Rightarrow}^*w</tex>  и  <tex>w \ne \varepsilon</tex>. 
Докажем индукцией по длине порождения в грамматике <tex>\Gamma</tex>, что <tex>A \underset{\Gamma'}{\Rightarrow}^*w</tex>. 
'''База'''. <tex>A \underset{\Gamma}{\Rightarrow} w</tex>. 
Правило <tex>A \rightarrow w</tex> присутствует в <tex>\Gamma</tex>. Поскольку <tex>w \ne \varepsilon</tex>, это же правило будет и в <tex>\Gamma'</tex>, поэтому <tex>A \underset{\Gamma'}{\Rightarrow}^*w</tex>. 
'''Предположение индукции'''. Пусть из <tex>A \underset{\Gamma}{\Rightarrow}^*w \ne \varepsilon</tex> менее, чем за <tex>n</tex> шагов, следует, что <tex>A \underset{\Gamma'}{\Rightarrow}^*w </tex>. 
'''Переход'''. Пусть в порождении <tex>n</tex> шагов, <tex>n > 1</tex>. Тогда оно имеет вид <tex>A\underset{\Gamma}{\Rightarrow}Y_1 Y_2 \ldots Y_m \underset{\Gamma}{\Rightarrow}^*w</tex>, где <tex>Y_i \in N \cup \Sigma </tex>. Цепочку <tex>w</tex> можно разбить на <tex>w_1 w_2 \ldots w_m</tex>, где <tex>Y_i \underset{\Gamma}{\Rightarrow}^*w_i</tex>. 
Пусть <tex>Y_{i_1}, Y_{i_2}, \ldots, Y_{i_p}</tex> — подпоследовательность, состоящая из всех элементов, таких, что <tex>w_{i_k} \ne \varepsilon</tex>, то есть <tex>Y_{i_1} Y_{i_2} \ldots Y_{i_p} \underset{\Gamma}{\Rightarrow}^*w</tex>. <tex>p \geqslant 1</tex>, поскольку <tex>w \ne \varepsilon</tex>. Значит, <tex>A \rightarrow Y_{i_1} Y_{i_2} \ldots Y_{i_p}</tex> является правилом в <tex>\Gamma'</tex> по построению <tex>\Gamma'</tex>. 
Так как каждое из порождений <tex>Y_i \underset{\Gamma}{\Rightarrow}^*w_i</tex> содержит менее <tex>n</tex> шагов, к ним можно применить предположение индукции и заключить, что, если <tex>w_i \ne \varepsilon</tex>, то <tex>Y_i \underset{\Gamma'}{\Rightarrow}^*w_i</tex>. 
Таким образом, <tex>A \underset{\Gamma'}{\Rightarrow} Y_{i_1} Y_{i_2} \ldots Y_{i_p} \underset{\Gamma'}{\Rightarrow}^* w</tex>.

Подставив <tex>S</tex> вместо <tex>A</tex> в утверждение (*), видим, что <tex>w \in L(\Gamma)</tex> для <tex>w \ne \varepsilon</tex> тогда и только тогда, когда <tex>w \in L(\Gamma')</tex>. Так как после выполнения шага 5 алгоритма в <tex>\Gamma'</tex> могло добавиться только пустое слово <tex>\varepsilon</tex>, то язык, задаваемый КС-грамматикой <tex>\Gamma'</tex>, совпадает с языком, задаваемым КС-грамматикой <tex>\Gamma</tex>.
}}

=== Время работы алгоритма ===
Рассмотрим грамматику <tex>\Gamma</tex>:
:<tex>S\rightarrow T_1 T_2 T_3 \ldots T_n</tex>
:<tex>T_1\rightarrow t_1|\varepsilon</tex>
:<tex>T_2\rightarrow t_2|\varepsilon</tex>
:<tex>\ldots\</tex>
:<tex>T_n\rightarrow t_n|\varepsilon</tex>

<tex>\left| \Gamma \right| = O(n)</tex>. Из нетерминала <tex>S</tex> можно вывести <tex>2^n</tex> сочетаний нетерминалов <tex>T_i</tex>. Таким образом в худшем случае алгоритм работает за <tex>O(2^{\left| \Gamma \right|})</tex>. 
Рассмотрим теперь грамматику с устраненными [[Удаление_длинных_правил_из_грамматики|длинными правилами]]. После применения данного алгоритма, который работает за <tex>O(\left| \Gamma \right|)</tex>, в грамматике станет на <tex>O(\left| \Gamma \right|)</tex> больше правил, но при этом все они будут размером <tex>O(1)</tex>. Итого по-прежнему <tex>\left| \Gamma \right| = O(n)</tex>. Однако алгоритм удаления <tex>\varepsilon</tex>-правил будет работать за <tex>O(\left| \Gamma \right|)</tex>, поскольку для каждого правила можно будет добавить только <tex>O(1)</tex> сочетаний нетерминалов.

=== Пример ===
Рассмотрим грамматику:
:<tex>S\rightarrow ABCd</tex>
:<tex>A\rightarrow a|\varepsilon</tex>
:<tex>B\rightarrow AC</tex>
:<tex>C\rightarrow c|\varepsilon</tex>

В ней <tex>A</tex>, <tex>B</tex> и <tex>C</tex> являются <tex>\varepsilon</tex>-порождающими нетерминалами.
# Переберём для каждого правила все возможные сочетания ε-порождающих нетерминалов и добавим новые правила:
#* <tex>S\rightarrow Ad|ABd|ACd|Bd|BCd|Cd|d</tex> для <tex>S \rightarrow ABCd</tex>
#* <tex>B \rightarrow A|C</tex> для <tex>B \rightarrow AC</tex>
# Удалим праила <tex>A\rightarrow \varepsilon</tex> и <tex>C\rightarrow \varepsilon</tex>

В результате мы получим новую грамматику без <tex>\varepsilon</tex>-правил:
:<tex>S\rightarrow Ad|ABd|ACd|ABCd|Bd|BCd|Cd|d</tex>
:<tex>A\rightarrow a</tex>
:<tex>B\rightarrow A|AC|C</tex>
:<tex>C\rightarrow c</tex>

== См. также ==
* [[Контекстно-свободные_грамматики,_вывод,_лево-_и_правосторонний_вывод,_дерево_разбора|Контекстно-свободные грамматики]]
* [[Нормальная_форма_Хомского|Нормальная форма Хомского]]

== Источники информации ==
* ''Хопкрофт Д., Мотвани Р., Ульман Д.'' '''Введение в теорию автоматов, языков и вычислений''', 2-е изд. : Пер. с англ. — Москва, Издательский дом «Вильямс», 2002. — С. 273: ISBN 5-8459-0261-4 (рус.)
* [http://en.wikipedia.org/wiki/Chomsky_normal_form Wikipedia — Chomsky normal form]

[[Категория: Теория формальных языков]]
[[Категория: Контекстно-свободные грамматики]]
[[Категория: Нормальные формы КС-грамматик]]

Контексты и синтаксические моноиды

2019-05-23T19:26:10Z

Gaporf: Добавил см. также

== Контексты ==
=== Правый контекст ===
{{Определение
|definition=
'''Правым контекстом''' (англ. ''right context'') <tex>C_L^R(y)</tex> слова <tex>y</tex> в языке <tex>L</tex> называется множество <tex>\{z \mid yz \in L\}</tex>.
}}

{{Лемма
|statement=
Язык <tex>L</tex> {{---}} регулярный <tex>\Leftrightarrow</tex> множество <tex>\{C_L^R(y) \mid y \in \Sigma^*\}</tex> его правых контекстов конечно.
|proof=
[[Файл:Автомат и правые контексты 1.png|315px|thumb|right|Автомат на правых контекстах. Легенда: начальное / промежуточное / дьявольское / терминальное состояния; контекст]]
<tex>\Leftarrow</tex>

:Пусть множество правых контекстов языка конечно. Построим распознающий его автомат. Состояния автомата будут соответствовать различным правым контекстам. Таким образом, каждая вершина автомата соответствует множеству допустимых «продолжений» считанного на данный момент слова. Переход по некоторому символу из одного состояния в другое осуществляется, если контекст, соответствующий первому состоянию, содержит все элементы, которые получаются приписыванием этого символа в начало элементам контекста, соответствующего второму. Вершина, соответствующая контексту пустого слова, является стартовой <tex>\left( C_L^R(\varepsilon) = L \right)</tex>. Вершины, контексты которых содержат <tex>\varepsilon</tex>, должны быть допускающими.

:Покажем что полученный автомат допускает в точности указанный язык. Выпишем свойства, которые мы стремились удовлетворить при построении:
:: 1. <tex> u \quad \leftrightarrow \quad C_L^R(x) ,\ v \quad \leftrightarrow \quad C_L^R(xc) \quad \leftrightarrow \quad \langle u,c \rangle \vdash \langle v, \varepsilon \rangle </tex>
:: 2. <tex> s \quad \leftrightarrow \quad C_L^R(\varepsilon), </tex> где <tex> s </tex> {{---}} стартовое состояние.
:: 3. <tex> \varepsilon \in C_L^R(\omega) \quad \Leftrightarrow \quad v \in T \quad ( v \quad \leftrightarrow \quad C_L^R(\omega) ) </tex>
:Из 1 следует
:: 1*. <tex> u \quad \leftrightarrow \quad C_L^R(x) ,\ v \quad \leftrightarrow \quad C_L^R(x \omega) \quad \Leftrightarrow \quad \langle u,\omega \rangle \vdash^* \langle v, \varepsilon \rangle </tex>
:Положив <tex> s = u </tex> и учтя 2, получим
:: <tex> v \quad \leftrightarrow \quad C_L^R(\omega) \quad \Leftrightarrow \quad \langle s,\omega \rangle \vdash^* \langle v, \varepsilon \rangle </tex>
:Теперь зафиксируем за состоянием <tex> v </tex> контекст <tex> C_L^R(\omega) </tex>. Тогда левая часть 3 равносильна <tex> \omega \in L </tex>, а правая, с учётом <tex> \langle s,\omega \rangle \vdash^* \langle v, \varepsilon \rangle </tex>, означает, что автомат допускает <tex> \omega </tex>.

<tex>\Rightarrow</tex>
 

:Пусть <tex>L</tex> {{---}} регулярный. В таком случае существует автомат <tex>\mathcal{A}</tex>, распознающий его.
:Рассмотрим произвольное слово <tex>y</tex>. Положим <tex>u</tex> {{---}} такое состояние <tex>\mathcal{A}</tex>, в которое можно перейти из начального по слову <tex>y</tex>. Тогда <tex>C_L^R(y)</tex> совпадает с множеством слов, по которым из состояния <tex>u</tex> можно попасть в допускающее.
:Причем если по какому-то слову <tex>z</tex> тоже можно перейти из начального состояния в <tex>u</tex>, то <tex>C_L^R(y) = C_L^R(z)</tex>. Наоборот, если <tex>C_L^R(y) = C_L^R(z)</tex>, то состояния, в которые можно перейти по словам <tex>y</tex> и <tex>z</tex>, эквивалентны. Таким образом, можно установить взаимное соответствие между правыми контекстами и классами эквивалентности вершин автомата, которых конечное число.
}}

=== Примеры ===
Здесь будем понимать под <tex> C_L^R(X) = Y </tex> не стандартное отображение множества в множество, а <tex> \forall x \in X :\ C_L^R(x) = Y </tex>. Рассмотрим правые контексты следующих языков:
[[Файл:Автомат и правые контексты 2.png|500px|thumb|right|Автомат к языку <tex> \{ 001, 111, 100 \} </tex>]]
==== Пример 1 ====
<tex> \{ 001, 111, 100 \} </tex>
: Возникающие контексты:
:: <tex>a) C_L^R(\varepsilon) = \{ 001, 111, 100 \} </tex> 
:: <tex>b) C_L^R(0) = \{ 01 \} </tex> 
:: <tex>c) C_L^R(00) = \{ 1 \} </tex> 
:: <tex>d) C_L^R(001) = \{ \varepsilon \} </tex> 
:: <tex>e) C_L^R(1) = \{ 11, 00 \} </tex> 
:: <tex>f) C_L^R(10) = \{ 0 \} </tex> 
:: <tex>g) C_L^R(100) = \{ \varepsilon \} </tex> 
:: <tex>h) C_L^R(11) = \{ 1 \} </tex> 
:: <tex>j) C_L^R(111) = \{ \varepsilon \} </tex> 
:: <tex>k) C_L^R(X) = \varnothing </tex>, где <tex> X </tex> {{---}} множество остальных аргументов. 
: Начальное состояние {{---}} <tex>a</tex> . Допускающие состояния: <tex>d, g, j</tex> (в них <tex> \varepsilon \in C_L^R(\ldots) </tex>). Состояние <tex>k</tex> {{---}} [[Детерминированные_конечные_автоматы#допускает|дьявольское]]. Всего 8 состояний (именно столько имеется различных контекстов).
:[[Файл:Автомат и правые контексты 3.png|350px|thumb|right|Автомат к языку <tex> 0^*11 </tex>]]
==== Пример 2 ====
<tex> 0^*11 </tex>
: Возможные контексты (аргументы упорядочены в лексикографическом порядке):
:: <tex>a) C_L^R(0^*) = 0^*11 </tex> 
:: <tex>b) C_L^R(0^*1) = 1 </tex> 
:: <tex>c) C_L^R(0^*10(0|1)^*) = \varnothing </tex> 
:: <tex>d) C_L^R(0^*11) = \varepsilon </tex> 
:: <tex>e) C_L^R(0^*11(0|1)^+) = \varnothing </tex> 
: Итого 4 состояния; начальное состояние <tex>a</tex>, допускающее <tex>d</tex>, состояние <tex>c</tex>&<tex>e</tex> {{---}} дьявольское.

=== Левый контекст ===
{{Определение
|definition=
'''Левым контекстом''' (англ. ''left context'') <tex>C_L^L(y)</tex> слова <tex>y</tex> в языке <tex>L</tex> называется множество <tex>\{z \mid zy \in L\}</tex>.
}}

{{Лемма
|statement=
Язык <tex>L</tex> {{---}} регулярный <tex>\Leftrightarrow</tex> множество <tex>\{C_L^L(y) \mid y \in \Sigma^*\}</tex> его левых контекстов конечно.
|proof=
Поскольку множество регулярных языков замкнуто относительно операции разворота, то из того, что <tex>C_L^L(y) = \overleftarrow{C_{\overleftarrow{L}}^R(\overleftarrow{y})}</tex> и аналогичного утверждения о правых контекстах получаем требуемое.
}}

=== Двухсторонний контекст ===
{{Определение
|definition=
'''Двухсторонним контекстом''' (англ. ''two-sided context'') <tex>C_L(y)</tex> слова <tex>y</tex> в языке <tex>L</tex> называется множество <tex>\{\langle x,z\rangle \mid xyz \in L\}</tex>.
}}
'''Любопытное замечание:''' <tex>C_L(\varepsilon)</tex> состоит из всех пар строк, которые при конкатенации дают слово из языка.

Для доказательства последующих утверждений будем использовать бинарное отображение <tex> (\cdot) :\ Q \times \Sigma^* \rightarrow Q </tex> со свойством <tex> q \cdot \omega = q' \Leftrightarrow \langle q,\omega \rangle \vdash^* \langle q', \varepsilon \rangle</tex>.

{{Лемма
|statement=
Язык <tex>L</tex> {{---}} регулярный <tex>\Leftrightarrow</tex> множество <tex>\{C_L(y) \mid y \in \Sigma^*\}</tex> его двухсторонних контекстов конечно.
|proof=
<tex>\Leftarrow</tex>
:Заметим, что <tex> \{ z \mid \langle \varepsilon, z \rangle \in C_L(y) \} = C_L^R(y) </tex>. Следовательно, если множество двухсторонних контекстов языка конечно, то конечно и множество его правых контекстов, а это значит, что язык регулярный.
 <tex>\Rightarrow</tex>
:Пусть <tex>L</tex> {{---}} регулярный. В таком случае существует детерминированный автомат <tex>\mathcal{A}</tex>, распознающий его. Понятно, что для любого слова <tex> xyz </tex>, допускаемого автоматом, существуют <tex> u ,\ v </tex> такие, что <tex> s \cdot x = u ,\ u \cdot y = v ,\ v \cdot z \in T </tex> (где <tex> s </tex> {{---}} начальное состояние).
:Тогда справедливо равенство <tex> C_L(y) = \bigcup\limits_{(u, v) :\ u \cdot y = v} \{ \langle x, z \rangle \mid s \cdot x = u ,\ v \cdot z \in T \} </tex>. Учитывая <tex> | \{ (u, v) \mid u,v \in Q \} | = |Q|^2 </tex>, получаем <tex> | \{ C_L(y) \mid y \in \Sigma^* \} | \leqslant 2^{|Q|^2} </tex>, то есть множество контекстов конечно.
}}

== Синтаксический моноид ==
=== Определения ===
{{Определение
|definition=
'''Синтаксическим моноидом''' (англ. ''syntactic monoid'') <tex>M(L)</tex> языка <tex>L</tex> называется множество, состоящее из его классов эквивалентности <tex>[[x]] = \{ y \in \Sigma^* \mid C_L(x) = C_L(y) \} \ </tex>, с введённым на нём операцией конкатенации <tex>\circ</tex>, где <tex>[[x]]\circ[[y]] = [[xy]] \ \ </tex>. Нейтральным элементом в нём является <tex>[[\varepsilon]]</tex>.
}}
{{Определение
|definition=
'''Групповой язык''' (англ. ''group language'') {{---}} это язык, синтаксический моноид которого является [[Группа|группой]].
}}

=== Свойства ===
Синтаксический моноид <tex>M(L)</tex> определён для любого <tex>L \in \Sigma^*</tex>, однако некоторые свойства языка можно определить по структуре его синтаксического моноида. Размер синтаксического моноида является мерой структурной сложности языка.

{{Теорема
|statement=
Язык <tex>L</tex> {{---}} регулярный <tex>\Leftrightarrow</tex> его синтаксический моноид <tex>M(L)</tex> конечен.
|proof=
Размер синтаксического моноида <tex>M(L)</tex> языка <tex>L</tex> равен количеству его различных двухсторонних контекстов <tex>C_L</tex>. Применяя лемму, доказанную ранее, получаем:
Язык <tex>L</tex> {{---}} регулярный <tex>\Leftrightarrow</tex> множество <tex>\{C_L(y) \mid y \in \Sigma^*\}</tex> его двухсторонних контекстов конечно <tex>\Leftrightarrow</tex> его синтаксический моноид <tex>M(L)</tex> конечен.
}}

{{Лемма
|statement=
Пусть язык <tex>L</tex> распознается [[Детерминированные конечные автоматы|ДКА]] <tex>\mathcal{A} = \langle \Sigma,Q,s,T,\delta \rangle</tex>. Тогда размер его синтаксического моноида <tex>M(L)</tex> не превосходит <tex>|Q|^{|Q|}</tex>.
|proof=
Введём следующее отношение эквивалентности на строках:
 <tex>x \cong y \Leftrightarrow \forall q \in Q: q \cdot x = q \cdot y</tex>
 Оценим количество классов, на которые отношение <tex>\cong</tex> разбивает язык <tex>L</tex>. Для этого пронумеруем состояния, и каждому слову <tex> \omega</tex> сопоставим вектор <tex> a_{\omega} \in Q^{|Q|} </tex> такой, что <tex> a_{\omega}[i] = q_j \Leftrightarrow q_i \cdot \omega = q_j </tex>. Количество различных таких векторов {{---}} <tex> {|Q|}^{|Q|} </tex>. В то же время неэквивалентным словам соответствуют разные <tex> a </tex>, тогда количество классов эквивалентности также ограничено <tex> {|Q|}^{|Q|} </tex>.

Остаётся показать, что существует взаимно-однозначное соответствие между нашими классами эквивалентности и синтаксическими моноидами. Смотрим:
 <tex> x \cong y </tex>
 <tex> \Leftrightarrow </tex>
 <tex> s \cdot (uxv) = ((s \cdot u) \cdot x) \cdot v = ((s \cdot u) \cdot y) \cdot v = s \cdot (uyv) \ </tex> (пусть <tex> s \cdot u = q </tex> из определения <tex> \cong </tex>, тогда <tex> (s \cdot u) \cdot x = q \cdot x = q' = q \cdot y = (s \cdot u) \cdot y \ </tex>)
 <tex> \Leftrightarrow </tex>
 <tex> s \cdot (uxv) \in T \Leftrightarrow s \cdot (uyv) \in T </tex>
 <tex> \Leftrightarrow </tex>
 <tex> uxv \in L \Leftrightarrow uyv \in L </tex>
 <tex> \Leftrightarrow </tex>
 <tex> [[x]] = [[y]] </tex>
(<tex> s </tex> {{---}} начальное состояние).
}}

Пусть <tex>\mathcal{A} = \langle \Sigma,Q,s,T,\delta \rangle</tex> {{---}} [[Детерминированные конечные автоматы|ДКА]]. Каждое слово <tex>\omega \in \Sigma^*</tex> порождает отображение <tex>f_\omega : Q \rightarrow Q</tex>, определённое следующим образом: <tex>f_\omega(q) = q \cdot \omega</tex>.
{{Определение
|definition=
'''Моноидом переходов''' (англ. ''transition monoid'') <tex>M(\mathcal{A})</tex> называется множество отображений <tex>f_\omega</tex> с операцией композиции. <tex>f_x \cdot f_y = f_{xy}</tex>. Нейтральным элементом в данном моноиде является отображение <tex>f_\varepsilon</tex>.
}}

{{Теорема
|statement=
Пусть <tex>\mathcal{A} = \langle \Sigma,Q,s,T,\delta \rangle</tex> {{---}} минимальный [[Детерминированные конечные автоматы|ДКА]], задающий язык <tex>L</tex>. Тогда <tex>M(\mathcal{A})</tex> и <tex>M(L)</tex> изоморфны.
|proof=
Покажем, что <tex>f_x = f_y \quad \Leftrightarrow \quad [[x]] = [[y]]</tex>.

<tex>\Rightarrow</tex>
 

:Данный факт был показан в доказательстве предыдущей леммы, он не требует минимальности автомата.

<tex>\Leftarrow</tex>
 

:Пусть <tex>[[x]] = [[y]] \ </tex> и <tex>q \in Q</tex>. Тогда <tex>q = s \cdot u</tex> для некоторого слова <tex>u</tex>. Пусть <tex>q_1 = f_x(q) = s \cdot ux</tex> и <tex>q_2 = f_y(q) = s \cdot uy</tex>. Поскольку <tex>[[x]] = [[y]]</tex>, справедливо <tex>uxv \in L \quad \Leftrightarrow \quad uyv \in L</tex>. Следовательно, <tex>q_1 \cdot v \in T \Leftrightarrow q_2 \cdot v \in T</tex>, то есть <tex>q_1</tex> и <tex>q_2</tex> эквивалентны. Значит, <tex>q_1 = q_2</tex>, так как автомат <tex>\mathcal{A}</tex> минимален. То есть, <tex>f_x = f_y</tex>.
}}

=== Примеры ===
====Язык слов четной длины====
Рассмотрим язык <tex>L = \{\omega \mid |\omega| \bmod 2 = 0 \}</tex>.

<tex>\{\langle u, v \rangle \mid uxv \in L\}</tex> {{---}} это множество всех пар <tex>\langle u,v \rangle</tex>, таких что <tex>|u| + |v| = |x| \ (\mathrm{mod} \ 2 )</tex>.

Значит, <tex>M(L)</tex> состоит из двух элементов: множества слов чётной длины и множества слов нечётной длины. Нейтральным элементом в данном моноиде является множество слов чётной длины.

Оба элемента являются обратными самим себе, значит <tex>M(L)</tex> является группой, следовательно <tex>L</tex> {{---}} групповой язык.

====Язык над алфавитом из 0 и 1, заданный регулярным выражением 1(0|1)*====
Язык <tex>L</tex> над алфавитом <tex>\Sigma = \{0,1\}</tex> задан регулярным выражением <tex>1(0|1)^*</tex>. Его синтаксический моноид <tex>M(L)</tex> содержит три элемента:

:<tex>a)</tex> <tex>[[\varepsilon]] \ </tex> {{---}} нейтральный элемент. Включает в себя только пустую строку.

:<tex>b)</tex> <tex>[[0]] \ </tex> содержит все строки, распознаваемые регулярным выражением <tex>0(0|1)^*</tex>. <tex>\forall x \in [[0]]: C_L(x) = \{\langle u, v \rangle \mid u \in L, v \in \Sigma^* \}</tex>.

:<tex>c)</tex> <tex>[[1]] \ </tex> содержит все строки, принадлежащие языку, то есть, распознаваемые регулярным выражением <tex>1(0|1)^*</tex>. <tex>\forall x \in [[1]]: C_L(x) = C_L(\varepsilon) \cup \{\langle \varepsilon, v \rangle \mid v \in \Sigma^* \}</tex>.

Заметим, что <tex>[[0]] \ </tex> и <tex>[[1]] \ </tex> не имеют обратных элементов в данном моноиде, так как нейтральный элемент содержит только пустую строку, а её невозможно получить из непустой с помощью конкатенации. Следовательно <tex>L</tex> не является групповым языком.

====Язык из последовательных N нулей и N единиц====
Язык <tex>L = 0^n1^n</tex> задан над алфавитом <tex>\Sigma = \{0,1\}</tex>.

Балансом слова <tex>|\omega|_b</tex> назовём число, равное разности между количеством нулей и единиц, встречающихся в данном слове. Если слово <tex>\omega = uxv</tex> принадлежит языку <tex>L</tex>, то <tex>|x|_b = -(|u|_b + |v|_b)</tex>. Но <tex>|x|_b</tex> может принимать любое целое значение, при том, что <tex>x</tex> имеет непустой двухсторонний контекст.

Значит, синтаксический моноид <tex>M(L)</tex> имеет бесконечное количество элементов, что значит, что данный язык не является регулярным.

== См. также ==

* [[Анализ свойств регулярных языков (пустота, совпадение, включение, конечность, подсчёт числа слов)|Анализ свойств регулярных языков]]
* [[Доказательство нерегулярности языков: лемма о разрастании]]

== Источники информации ==

* ''Howard Straubing'' Finite automata, formal logic, and circuit complexity, 1994. ISBN 3-7643-3719-2. {{---}} C. 53.
* ''James A. Anderson'' Automata theory with modern applications, 2006. ISBN 0-521-61324-8. {{---}} С. 72.
* [http://en.wikipedia.org/wiki/Syntactic_monoid Wikipedia {{---}} Syntactic monoid]

[[Категория: Теория формальных языков]]
[[Категория: Автоматы и регулярные языки]]

Контексты и синтаксические моноиды

2019-05-23T19:19:25Z

Gaporf: Исправил многоточия ещё

== Контексты ==
=== Правый контекст ===
{{Определение
|definition=
'''Правым контекстом''' (англ. ''right context'') <tex>C_L^R(y)</tex> слова <tex>y</tex> в языке <tex>L</tex> называется множество <tex>\{z \mid yz \in L\}</tex>.
}}

{{Лемма
|statement=
Язык <tex>L</tex> {{---}} регулярный <tex>\Leftrightarrow</tex> множество <tex>\{C_L^R(y) \mid y \in \Sigma^*\}</tex> его правых контекстов конечно.
|proof=
[[Файл:Автомат и правые контексты 1.png|315px|thumb|right|Автомат на правых контекстах. Легенда: начальное / промежуточное / дьявольское / терминальное состояния; контекст]]
<tex>\Leftarrow</tex>

:Пусть множество правых контекстов языка конечно. Построим распознающий его автомат. Состояния автомата будут соответствовать различным правым контекстам. Таким образом, каждая вершина автомата соответствует множеству допустимых «продолжений» считанного на данный момент слова. Переход по некоторому символу из одного состояния в другое осуществляется, если контекст, соответствующий первому состоянию, содержит все элементы, которые получаются приписыванием этого символа в начало элементам контекста, соответствующего второму. Вершина, соответствующая контексту пустого слова, является стартовой <tex>\left( C_L^R(\varepsilon) = L \right)</tex>. Вершины, контексты которых содержат <tex>\varepsilon</tex>, должны быть допускающими.

:Покажем что полученный автомат допускает в точности указанный язык. Выпишем свойства, которые мы стремились удовлетворить при построении:
:: 1. <tex> u \quad \leftrightarrow \quad C_L^R(x) ,\ v \quad \leftrightarrow \quad C_L^R(xc) \quad \leftrightarrow \quad \langle u,c \rangle \vdash \langle v, \varepsilon \rangle </tex>
:: 2. <tex> s \quad \leftrightarrow \quad C_L^R(\varepsilon), </tex> где <tex> s </tex> {{---}} стартовое состояние.
:: 3. <tex> \varepsilon \in C_L^R(\omega) \quad \Leftrightarrow \quad v \in T \quad ( v \quad \leftrightarrow \quad C_L^R(\omega) ) </tex>
:Из 1 следует
:: 1*. <tex> u \quad \leftrightarrow \quad C_L^R(x) ,\ v \quad \leftrightarrow \quad C_L^R(x \omega) \quad \Leftrightarrow \quad \langle u,\omega \rangle \vdash^* \langle v, \varepsilon \rangle </tex>
:Положив <tex> s = u </tex> и учтя 2, получим
:: <tex> v \quad \leftrightarrow \quad C_L^R(\omega) \quad \Leftrightarrow \quad \langle s,\omega \rangle \vdash^* \langle v, \varepsilon \rangle </tex>
:Теперь зафиксируем за состоянием <tex> v </tex> контекст <tex> C_L^R(\omega) </tex>. Тогда левая часть 3 равносильна <tex> \omega \in L </tex>, а правая, с учётом <tex> \langle s,\omega \rangle \vdash^* \langle v, \varepsilon \rangle </tex>, означает, что автомат допускает <tex> \omega </tex>.

<tex>\Rightarrow</tex>
 

:Пусть <tex>L</tex> {{---}} регулярный. В таком случае существует автомат <tex>\mathcal{A}</tex>, распознающий его.
:Рассмотрим произвольное слово <tex>y</tex>. Положим <tex>u</tex> {{---}} такое состояние <tex>\mathcal{A}</tex>, в которое можно перейти из начального по слову <tex>y</tex>. Тогда <tex>C_L^R(y)</tex> совпадает с множеством слов, по которым из состояния <tex>u</tex> можно попасть в допускающее.
:Причем если по какому-то слову <tex>z</tex> тоже можно перейти из начального состояния в <tex>u</tex>, то <tex>C_L^R(y) = C_L^R(z)</tex>. Наоборот, если <tex>C_L^R(y) = C_L^R(z)</tex>, то состояния, в которые можно перейти по словам <tex>y</tex> и <tex>z</tex>, эквивалентны. Таким образом, можно установить взаимное соответствие между правыми контекстами и классами эквивалентности вершин автомата, которых конечное число.
}}

=== Примеры ===
Здесь будем понимать под <tex> C_L^R(X) = Y </tex> не стандартное отображение множества в множество, а <tex> \forall x \in X :\ C_L^R(x) = Y </tex>. Рассмотрим правые контексты следующих языков:
[[Файл:Автомат и правые контексты 2.png|500px|thumb|right|Автомат к языку <tex> \{ 001, 111, 100 \} </tex>]]
==== Пример 1 ====
<tex> \{ 001, 111, 100 \} </tex>
: Возникающие контексты:
:: <tex>a) C_L^R(\varepsilon) = \{ 001, 111, 100 \} </tex> 
:: <tex>b) C_L^R(0) = \{ 01 \} </tex> 
:: <tex>c) C_L^R(00) = \{ 1 \} </tex> 
:: <tex>d) C_L^R(001) = \{ \varepsilon \} </tex> 
:: <tex>e) C_L^R(1) = \{ 11, 00 \} </tex> 
:: <tex>f) C_L^R(10) = \{ 0 \} </tex> 
:: <tex>g) C_L^R(100) = \{ \varepsilon \} </tex> 
:: <tex>h) C_L^R(11) = \{ 1 \} </tex> 
:: <tex>j) C_L^R(111) = \{ \varepsilon \} </tex> 
:: <tex>k) C_L^R(X) = \varnothing </tex>, где <tex> X </tex> {{---}} множество остальных аргументов. 
: Начальное состояние {{---}} <tex>a</tex> . Допускающие состояния: <tex>d, g, j</tex> (в них <tex> \varepsilon \in C_L^R(\ldots) </tex>). Состояние <tex>k</tex> {{---}} [[Детерминированные_конечные_автоматы#допускает|дьявольское]]. Всего 8 состояний (именно столько имеется различных контекстов).
:[[Файл:Автомат и правые контексты 3.png|350px|thumb|right|Автомат к языку <tex> 0^*11 </tex>]]
==== Пример 2 ====
<tex> 0^*11 </tex>
: Возможные контексты (аргументы упорядочены в лексикографическом порядке):
:: <tex>a) C_L^R(0^*) = 0^*11 </tex> 
:: <tex>b) C_L^R(0^*1) = 1 </tex> 
:: <tex>c) C_L^R(0^*10(0|1)^*) = \varnothing </tex> 
:: <tex>d) C_L^R(0^*11) = \varepsilon </tex> 
:: <tex>e) C_L^R(0^*11(0|1)^+) = \varnothing </tex> 
: Итого 4 состояния; начальное состояние <tex>a</tex>, допускающее <tex>d</tex>, состояние <tex>c</tex>&<tex>e</tex> {{---}} дьявольское.

=== Левый контекст ===
{{Определение
|definition=
'''Левым контекстом''' (англ. ''left context'') <tex>C_L^L(y)</tex> слова <tex>y</tex> в языке <tex>L</tex> называется множество <tex>\{z \mid zy \in L\}</tex>.
}}

{{Лемма
|statement=
Язык <tex>L</tex> {{---}} регулярный <tex>\Leftrightarrow</tex> множество <tex>\{C_L^L(y) \mid y \in \Sigma^*\}</tex> его левых контекстов конечно.
|proof=
Поскольку множество регулярных языков замкнуто относительно операции разворота, то из того, что <tex>C_L^L(y) = \overleftarrow{C_{\overleftarrow{L}}^R(\overleftarrow{y})}</tex> и аналогичного утверждения о правых контекстах получаем требуемое.
}}

=== Двухсторонний контекст ===
{{Определение
|definition=
'''Двухсторонним контекстом''' (англ. ''two-sided context'') <tex>C_L(y)</tex> слова <tex>y</tex> в языке <tex>L</tex> называется множество <tex>\{\langle x,z\rangle \mid xyz \in L\}</tex>.
}}
'''Любопытное замечание:''' <tex>C_L(\varepsilon)</tex> состоит из всех пар строк, которые при конкатенации дают слово из языка.

Для доказательства последующих утверждений будем использовать бинарное отображение <tex> (\cdot) :\ Q \times \Sigma^* \rightarrow Q </tex> со свойством <tex> q \cdot \omega = q' \Leftrightarrow \langle q,\omega \rangle \vdash^* \langle q', \varepsilon \rangle</tex>.

{{Лемма
|statement=
Язык <tex>L</tex> {{---}} регулярный <tex>\Leftrightarrow</tex> множество <tex>\{C_L(y) \mid y \in \Sigma^*\}</tex> его двухсторонних контекстов конечно.
|proof=
<tex>\Leftarrow</tex>
:Заметим, что <tex> \{ z \mid \langle \varepsilon, z \rangle \in C_L(y) \} = C_L^R(y) </tex>. Следовательно, если множество двухсторонних контекстов языка конечно, то конечно и множество его правых контекстов, а это значит, что язык регулярный.
 <tex>\Rightarrow</tex>
:Пусть <tex>L</tex> {{---}} регулярный. В таком случае существует детерминированный автомат <tex>\mathcal{A}</tex>, распознающий его. Понятно, что для любого слова <tex> xyz </tex>, допускаемого автоматом, существуют <tex> u ,\ v </tex> такие, что <tex> s \cdot x = u ,\ u \cdot y = v ,\ v \cdot z \in T </tex> (где <tex> s </tex> {{---}} начальное состояние).
:Тогда справедливо равенство <tex> C_L(y) = \bigcup\limits_{(u, v) :\ u \cdot y = v} \{ \langle x, z \rangle \mid s \cdot x = u ,\ v \cdot z \in T \} </tex>. Учитывая <tex> | \{ (u, v) \mid u,v \in Q \} | = |Q|^2 </tex>, получаем <tex> | \{ C_L(y) \mid y \in \Sigma^* \} | \leqslant 2^{|Q|^2} </tex>, то есть множество контекстов конечно.
}}

== Синтаксический моноид ==
=== Определения ===
{{Определение
|definition=
'''Синтаксическим моноидом''' (англ. ''syntactic monoid'') <tex>M(L)</tex> языка <tex>L</tex> называется множество, состоящее из его классов эквивалентности <tex>[[x]] = \{ y \in \Sigma^* \mid C_L(x) = C_L(y) \} \ </tex>, с введённым на нём операцией конкатенации <tex>\circ</tex>, где <tex>[[x]]\circ[[y]] = [[xy]] \ \ </tex>. Нейтральным элементом в нём является <tex>[[\varepsilon]]</tex>.
}}
{{Определение
|definition=
'''Групповой язык''' (англ. ''group language'') {{---}} это язык, синтаксический моноид которого является [[Группа|группой]].
}}

=== Свойства ===
Синтаксический моноид <tex>M(L)</tex> определён для любого <tex>L \in \Sigma^*</tex>, однако некоторые свойства языка можно определить по структуре его синтаксического моноида. Размер синтаксического моноида является мерой структурной сложности языка.

{{Теорема
|statement=
Язык <tex>L</tex> {{---}} регулярный <tex>\Leftrightarrow</tex> его синтаксический моноид <tex>M(L)</tex> конечен.
|proof=
Размер синтаксического моноида <tex>M(L)</tex> языка <tex>L</tex> равен количеству его различных двухсторонних контекстов <tex>C_L</tex>. Применяя лемму, доказанную ранее, получаем:
Язык <tex>L</tex> {{---}} регулярный <tex>\Leftrightarrow</tex> множество <tex>\{C_L(y) \mid y \in \Sigma^*\}</tex> его двухсторонних контекстов конечно <tex>\Leftrightarrow</tex> его синтаксический моноид <tex>M(L)</tex> конечен.
}}

{{Лемма
|statement=
Пусть язык <tex>L</tex> распознается [[Детерминированные конечные автоматы|ДКА]] <tex>\mathcal{A} = \langle \Sigma,Q,s,T,\delta \rangle</tex>. Тогда размер его синтаксического моноида <tex>M(L)</tex> не превосходит <tex>|Q|^{|Q|}</tex>.
|proof=
Введём следующее отношение эквивалентности на строках:
 <tex>x \cong y \Leftrightarrow \forall q \in Q: q \cdot x = q \cdot y</tex>
 Оценим количество классов, на которые отношение <tex>\cong</tex> разбивает язык <tex>L</tex>. Для этого пронумеруем состояния, и каждому слову <tex> \omega</tex> сопоставим вектор <tex> a_{\omega} \in Q^{|Q|} </tex> такой, что <tex> a_{\omega}[i] = q_j \Leftrightarrow q_i \cdot \omega = q_j </tex>. Количество различных таких векторов {{---}} <tex> {|Q|}^{|Q|} </tex>. В то же время неэквивалентным словам соответствуют разные <tex> a </tex>, тогда количество классов эквивалентности также ограничено <tex> {|Q|}^{|Q|} </tex>.

Остаётся показать, что существует взаимно-однозначное соответствие между нашими классами эквивалентности и синтаксическими моноидами. Смотрим:
 <tex> x \cong y </tex>
 <tex> \Leftrightarrow </tex>
 <tex> s \cdot (uxv) = ((s \cdot u) \cdot x) \cdot v = ((s \cdot u) \cdot y) \cdot v = s \cdot (uyv) \ </tex> (пусть <tex> s \cdot u = q </tex> из определения <tex> \cong </tex>, тогда <tex> (s \cdot u) \cdot x = q \cdot x = q' = q \cdot y = (s \cdot u) \cdot y \ </tex>)
 <tex> \Leftrightarrow </tex>
 <tex> s \cdot (uxv) \in T \Leftrightarrow s \cdot (uyv) \in T </tex>
 <tex> \Leftrightarrow </tex>
 <tex> uxv \in L \Leftrightarrow uyv \in L </tex>
 <tex> \Leftrightarrow </tex>
 <tex> [[x]] = [[y]] </tex>
(<tex> s </tex> {{---}} начальное состояние).
}}

Пусть <tex>\mathcal{A} = \langle \Sigma,Q,s,T,\delta \rangle</tex> {{---}} [[Детерминированные конечные автоматы|ДКА]]. Каждое слово <tex>\omega \in \Sigma^*</tex> порождает отображение <tex>f_\omega : Q \rightarrow Q</tex>, определённое следующим образом: <tex>f_\omega(q) = q \cdot \omega</tex>.
{{Определение
|definition=
'''Моноидом переходов''' (англ. ''transition monoid'') <tex>M(\mathcal{A})</tex> называется множество отображений <tex>f_\omega</tex> с операцией композиции. <tex>f_x \cdot f_y = f_{xy}</tex>. Нейтральным элементом в данном моноиде является отображение <tex>f_\varepsilon</tex>.
}}

{{Теорема
|statement=
Пусть <tex>\mathcal{A} = \langle \Sigma,Q,s,T,\delta \rangle</tex> {{---}} минимальный [[Детерминированные конечные автоматы|ДКА]], задающий язык <tex>L</tex>. Тогда <tex>M(\mathcal{A})</tex> и <tex>M(L)</tex> изоморфны.
|proof=
Покажем, что <tex>f_x = f_y \quad \Leftrightarrow \quad [[x]] = [[y]]</tex>.

<tex>\Rightarrow</tex>
 

:Данный факт был показан в доказательстве предыдущей леммы, он не требует минимальности автомата.

<tex>\Leftarrow</tex>
 

:Пусть <tex>[[x]] = [[y]] \ </tex> и <tex>q \in Q</tex>. Тогда <tex>q = s \cdot u</tex> для некоторого слова <tex>u</tex>. Пусть <tex>q_1 = f_x(q) = s \cdot ux</tex> и <tex>q_2 = f_y(q) = s \cdot uy</tex>. Поскольку <tex>[[x]] = [[y]]</tex>, справедливо <tex>uxv \in L \quad \Leftrightarrow \quad uyv \in L</tex>. Следовательно, <tex>q_1 \cdot v \in T \Leftrightarrow q_2 \cdot v \in T</tex>, то есть <tex>q_1</tex> и <tex>q_2</tex> эквивалентны. Значит, <tex>q_1 = q_2</tex>, так как автомат <tex>\mathcal{A}</tex> минимален. То есть, <tex>f_x = f_y</tex>.
}}

=== Примеры ===
====Язык слов четной длины====
Рассмотрим язык <tex>L = \{\omega \mid |\omega| \bmod 2 = 0 \}</tex>.

<tex>\{\langle u, v \rangle \mid uxv \in L\}</tex> {{---}} это множество всех пар <tex>\langle u,v \rangle</tex>, таких что <tex>|u| + |v| = |x| \ (\mathrm{mod} \ 2 )</tex>.

Значит, <tex>M(L)</tex> состоит из двух элементов: множества слов чётной длины и множества слов нечётной длины. Нейтральным элементом в данном моноиде является множество слов чётной длины.

Оба элемента являются обратными самим себе, значит <tex>M(L)</tex> является группой, следовательно <tex>L</tex> {{---}} групповой язык.

====Язык над алфавитом из 0 и 1, заданный регулярным выражением 1(0|1)*====
Язык <tex>L</tex> над алфавитом <tex>\Sigma = \{0,1\}</tex> задан регулярным выражением <tex>1(0|1)^*</tex>. Его синтаксический моноид <tex>M(L)</tex> содержит три элемента:

:<tex>a)</tex> <tex>[[\varepsilon]] \ </tex> {{---}} нейтральный элемент. Включает в себя только пустую строку.

:<tex>b)</tex> <tex>[[0]] \ </tex> содержит все строки, распознаваемые регулярным выражением <tex>0(0|1)^*</tex>. <tex>\forall x \in [[0]]: C_L(x) = \{\langle u, v \rangle \mid u \in L, v \in \Sigma^* \}</tex>.

:<tex>c)</tex> <tex>[[1]] \ </tex> содержит все строки, принадлежащие языку, то есть, распознаваемые регулярным выражением <tex>1(0|1)^*</tex>. <tex>\forall x \in [[1]]: C_L(x) = C_L(\varepsilon) \cup \{\langle \varepsilon, v \rangle \mid v \in \Sigma^* \}</tex>.

Заметим, что <tex>[[0]] \ </tex> и <tex>[[1]] \ </tex> не имеют обратных элементов в данном моноиде, так как нейтральный элемент содержит только пустую строку, а её невозможно получить из непустой с помощью конкатенации. Следовательно <tex>L</tex> не является групповым языком.

====Язык из последовательных N нулей и N единиц====
Язык <tex>L = 0^n1^n</tex> задан над алфавитом <tex>\Sigma = \{0,1\}</tex>.

Балансом слова <tex>|\omega|_b</tex> назовём число, равное разности между количеством нулей и единиц, встречающихся в данном слове. Если слово <tex>\omega = uxv</tex> принадлежит языку <tex>L</tex>, то <tex>|x|_b = -(|u|_b + |v|_b)</tex>. Но <tex>|x|_b</tex> может принимать любое целое значение, при том, что <tex>x</tex> имеет непустой двухсторонний контекст.

Значит, синтаксический моноид <tex>M(L)</tex> имеет бесконечное количество элементов, что значит, что данный язык не является регулярным.

== Источники информации ==

* ''Howard Straubing'' Finite automata, formal logic, and circuit complexity, 1994. ISBN 3-7643-3719-2. {{---}} C. 53.
* ''James A. Anderson'' Automata theory with modern applications, 2006. ISBN 0-521-61324-8. {{---}} С. 72.
* [http://en.wikipedia.org/wiki/Syntactic_monoid Wikipedia {{---}} Syntactic monoid]

[[Категория: Теория формальных языков]]
[[Категория: Автоматы и регулярные языки]]

Алгоритм Кока-Янгера-Касами разбора грамматики в НФХ

2019-05-23T17:55:48Z

Gaporf: Исправил многоточия

{{Задача
|definition =
Пусть дана [[Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора|контекстно-свободная грамматика]] <tex>\Gamma</tex> в [[нормальная форма Хомского|нормальной форме Хомского]] и слово <tex>w \in \Sigma^{*}</tex>. Требуется выяснить, выводится ли это слово в данной грамматике.
}}

== Контекстно-свободная грамматика ==
{{Определение
|definition =
'''[[Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора|Контекстно-свободная грамматика]]''' ('''КС-грамматика''', '''бесконтекстная грамматика''') {{---}} способ описания формального языка, представляющий собой четверку
<tex>\Gamma =\langle \Sigma, N, S \in N, P \subset N^{+}\times (\Sigma\cup N)^{*}\rangle</tex>, где:
* <tex>\Sigma</tex> {{---}} [[Основные_определения: алфавит, слово, язык, конкатенация, свободный моноид слов|алфавит]], элементы которого называют '''терминалами''' (англ. ''terminals'')
* <tex>N</tex> {{---}} множество, элементы которого называют '''нетерминалами''' (англ. ''nonterminals'')
* <tex>S</tex> {{---}} начальный символ грамматики (англ. ''start symbol'')
* <tex>P</tex> {{---}} набор правил вывода (англ. ''production rules'' или ''productions'') вида <tex>A \rightarrow B_1 B_2 \ldots B_n</tex>, где <tex>A \in N</tex>, <tex>B_i \in \Sigma \cup N</tex>, то есть у которых левые части {{---}} одиночные нетерминалы, а правые - последовательности терминалов и нетерминалов.
}}
=== Пример ===

Терминалы <tex>\Sigma = \{(, )\}</tex>.

Нетерминалы <tex>N = \{S\}</tex>.

Правила вывода <tex>P</tex>:

<tex>\begin{array}{l l}
S \rightarrow \varepsilon\\
S \rightarrow SS\\
S \rightarrow (S)\\
\end{array}</tex>

Данная грамматика задает язык [[Правильные_скобочные_последовательности|правильных скобочных последовательностей]]. Например, последовательность <tex>(()(()))</tex> может быть выведена следующим образом:

<tex> S \Rightarrow (S) \Rightarrow (SS) \Rightarrow (()(S)) \Rightarrow (()(())) </tex>

== Нормальная форма Хомского ==

'''[[Нормальная форма Хомского]]''' {{---}} нормальная форма КС-грамматик, в которой все продукции имеют вид:
* <tex>A \rightarrow a</tex>, где <tex>A</tex> {{---}} нетерминал, а <tex>a</tex> {{---}} терминал
* <tex>A \rightarrow BC</tex>, где <tex>A</tex>, <tex>B</tex>, <tex>C</tex> {{---}} нетерминалы, причем <tex>B</tex> и <tex>C</tex> не являются начальными нетерминалами
* <tex>S \rightarrow \varepsilon</tex>, где <tex>S</tex> {{---}} начальный нетерминал и <tex>\varepsilon</tex> {{---}} пустая строка (данная продукция необходима, если в языке присуствует пустая строка)

[[Нормальная форма Хомского|Можно показать]], что любую КС-грамматику можно привести к нормальной форме Хомского.

== Алгоритм ==
'''Алгоритм Кока-Янгера-Касами''' (англ. ''Cocke-Younger-Kasami algorithm'', англ. ''CYK-алгоритм'') {{---}} алгоритм, позволяющий по слову узнать, выводимо ли оно в заданной КС-грамматике в нормальной форме Хомского. Любую КС-грамматику можно привести к НФХ, поэтому алгоритм является универсальным для любой КС-грамматики.

Будем решать задачу [[Динамическое_программирование|динамическим программированием]]. Дана строка <tex>w</tex> размером <tex>n</tex>. Заведем для неё трехмерный массив <tex>d</tex> размером <tex>|N| \times n \times n</tex>, состоящий из логических значений, и <tex>d[A][i][j] = true \ </tex> тогда и только тогда, когда из нетерминала <tex>A</tex> правилами грамматики можно вывести подстроку <tex>w[i \ldots j]</tex>.

Рассмотрим все пары <tex>\lbrace \langle j, i \rangle | j-i=m \rbrace</tex>, где <tex>m</tex> {{---}} константа и <tex>m < n</tex>.

* <tex>i = j</tex>. Инициализируем массив для всех нетерминалов, из которых выводится какой-либо символ строки <tex>w</tex>. В таком случае <tex>d[A][i][i] = true \ </tex>, если в грамматике <tex>\Gamma</tex> присутствует правило <tex>A \rightarrow w[i]</tex>. Иначе <tex>d[A][i][i] = false</tex>.

* <tex>i \ne j</tex>. Значения для всех нетерминалов и пар <tex>\lbrace \langle j', i' \rangle | j' - i' < m \rbrace</tex> уже вычислены, поэтому <tex>d[A][i][j] = \bigvee\limits_{A \rightarrow BC}\bigvee\limits_{k = i}^{j-1} d[B][i][k] \wedge d[C][k+1][j] \ \ </tex>. То есть, подстроку <tex>w[i \ldots j]</tex> можно вывести из нетерминала <tex>A</tex>, если существует продукция вида <tex>A \rightarrow BC</tex> и такое <tex>k</tex>, что подстрока <tex>w[i \ldots k]</tex> выводима из <tex>B</tex>, а подстрока <tex>w[k + 1 \ldots j]</tex> выводится из <tex>C</tex>.
[[Файл:CYK_rule_2.jpg|400px]]

После окончания работы значение <tex>d[S][1][n]</tex> содержит ответ на вопрос, выводима ли данная строка в данной грамматике, где <tex>S</tex> {{---}} начальный символ грамматики.

== Модификации ==

=== Количество способов вывести слово ===
Если массив будет хранить целые числа, а формулу заменить на <tex>d[A][i][j] = \sum\limits_{A \rightarrow BC}\sum\limits_{k = i}^{j-1} d[B][i][k] \cdot d[C][k + 1][j] \ \ </tex>, то <tex>d[A][i][j]</tex> {{---}} количество способов получить подстроку <tex>w[i \ldots j]</tex> из нетерминала <tex>A</tex>.

=== Минимальная стоимость вывода слова ===
Пусть <tex>H(A \rightarrow BC)</tex> {{---}} стоимость вывода по правилу <tex>A \rightarrow BC</tex>. Тогда, если использовать формулу <tex>d[A][i][j] = \min\limits_{A \rightarrow BC} \min\limits_{k = i}^{j-1} ( d[B][i][k] + d[C][k + 1][j] + H(A \rightarrow BC) ) \ \ </tex>, то <tex>d[A][i][j]</tex> {{---}} минимальная стоимость вывода подстроки <tex>w[i \ldots j]</tex> из нетерминала <tex>A</tex>.

Таким образом, задача о выводе в КС-грамматике в нормальной форме Хомского является частным случаем задачи динамического программирования на подотрезке.

== Асимптотика ==
Обработка правил вида <tex>A \rightarrow w[i]</tex> выполняется за <tex>O(n \cdot |\Gamma|)</tex>.

Проход по всем подстрокам выполняется за <tex>O(n^2)</tex>. В обработке одной подстроки присутствует цикл по всем правилам вывода и по всем разбиениям на две подстроки, следовательно обработка работает за <tex>O(n \cdot |\Gamma|)</tex>. В итоге получаем конечную сложность <tex>O(n^3 \cdot |\Gamma|)</tex>.

Следовательно, общее время работы алгоритма {{---}} <tex>O(n^3 \cdot |\Gamma|)</tex>. Кроме того, алгоритму требуется память на массив <tex>d</tex> объемом <tex>O(n^2 \cdot |N|)</tex>, где <tex>|N|</tex> {{---}} количество [[Формальные_грамматики#Определения|нетерминалов]] грамматики.

== Пример работы ==
Дана грамматика [[Правильные_скобочные_последовательности|правильных скобочных последовательностей]] <tex>\Gamma</tex> в нормальной форме Хомского.

<tex>\begin{array}{l l}
A \rightarrow \varepsilon\ |\ BB\ |\ CD\\
B \rightarrow BB\ |\ CD\\
C \rightarrow (\\
D \rightarrow BE\ |\ )\\
E \rightarrow )\\
\end{array}</tex>

Дано слово <tex>w = ()(())</tex>.

Инициализация массива <tex>d</tex>.

{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|A
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|B
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|C
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
| align="center"| ●
|
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
| align="center"| ●
|
|
|
|-
! 4
|
|
|
| align="center"| ●
|
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|D
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|E
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
<div style="clear:both;"></div>

Заполнение массива <tex>d</tex>.

Итерация <tex>m = 1</tex>.

{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|A
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|B
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|C
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
| align="center"| ●
|
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
| align="center"| ●
|
|
|
|-
! 4
|
|
|
| align="center"| ●
|
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|D
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|E
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
<div style="clear:both;"></div>

Итерация <tex>m = 2</tex>.

{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|A
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|B
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|C
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
| align="center"| ●
|
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
| align="center"| ●
|
|
|
|-
! 4
|
|
|
| align="center"| ●
|
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|D
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
| align="center"| ●
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|E
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
<div style="clear:both;"></div>

Итерация <tex>m = 3</tex>.

{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|A
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
| align="center"| ●
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|B
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
| align="center"| ●
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|C
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
| align="center"| ●
|
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
| align="center"| ●
|
|
|
|-
! 4
|
|
|
| align="center"| ●
|
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|D
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
| align="center"| ●
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|E
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
<div style="clear:both;"></div>

Итерация <tex>m = 4</tex>.

{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|A
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
| align="center"| ●
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|B
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
| align="center"| ●
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|C
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
| align="center"| ●
|
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
| align="center"| ●
|
|
|
|-
! 4
|
|
|
| align="center"| ●
|
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|D
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
| align="center"| ●
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|E
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
<div style="clear:both;"></div>

Итерация <tex>m = 5</tex>.

{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|A
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
| align="center"| ●
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
| align="center"| ●
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|B
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
| align="center"| ●
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
| align="center"| ●
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|C
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
| align="center"| ●
|
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
| align="center"| ●
|
|
|
|-
! 4
|
|
|
| align="center"| ●
|
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|D
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
| align="center"| ●
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|E
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
<div style="clear:both;"></div>

== См. также ==
* [[Алгоритм Кока-Янгера-Касами, модификация для произвольной грамматики|Алгоритм Кока-Янгера-Касами, модификация для произвольной грамматики]]
* [[Алгоритм_Эрли|Алгоритм Эрли]]
==Источники информации==
* [[wikipedia:CYK_algorithm|Wikipedia {{---}} CYK algorithm]]
* [http://web.cs.ucdavis.edu/~rogaway/classes/120/winter12/CYK.pdf David Rodriguez-Velazquez, "The CYK Algorithm"]
* [https://www.princeton.edu/~achaney/tmve/wiki100k/docs/CYK_algorithm.html Princeton University, "The CYK Algorithm"]

[[Категория:Дискретная математика и алгоритмы]]
[[Категория:Динамическое программирование]]
[[Категория: Теория формальных языков]]
[[Категория: Контекстно-свободные грамматики]]
[[Категория: Алгоритмы разбора]]

Алгоритм Кока-Янгера-Касами, модификация для произвольной грамматики

2019-05-23T17:54:39Z

Gaporf: Исправил многоточия

{{Задача
|definition =
Пусть дана [[Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора|контекстно-свободная грамматика]] <tex>\Gamma</tex> и слово <tex>w \in \Sigma^{*}</tex>. Требуется выяснить, выводится ли это слово в данной грамматике.
}}

[[Алгоритм_Кока-Янгера-Касами_разбора_грамматики_в_НФХ|Базовая версия]] данного алгоритма работает только для грамматик в [[нормальная форма Хомского|нормальной форме Хомского]]. Модифицируем алгоритм для работы на произвольных контекстно-свободных грамматиках. Модификация алгоритма сильно проще в написании, чем приведение к [[нормальная форма Хомского|нормальной форме Хомского]], поэтому часто используют её, не смотря на то, что время работы у нее больше.

== Алгоритм для произвольной грамматики ==

Будем решать задачу динамическим программированием. Введём динамику <tex>a\left[A,i,j\right] = \left[A \Rightarrow^{*} w[i \ldots j-1]\right] \ </tex>, аналогично [[Алгоритм_Кока-Янгера-Касами_разбора_грамматики_в_НФХ|базовой версии]] алгоритма.

Также введём вспомогательный четырехмерный массив <tex>h\left[A \rightarrow \alpha, i, j, k\right] = true \ </tex> тогда и только тогда, когда из префикса длины <tex>k</tex> правой части данного правила можно вывести <tex>w\left[i \ldots j-1\right]</tex>.

Рассмотрим все тройки <tex>\lbrace \langle j, i \rangle \mid j-i=m \rbrace</tex>, где <tex>m</tex> {{---}} константа и <tex>m < n</tex>, и <tex>k</tex> такое, что <tex>k < \left|\alpha\right|</tex>.

* '''База динамики''':

:<tex>a\left[A, i, i+1\right] = true \ </tex>, если в грамматике <tex>\Gamma</tex> присутствует правило <tex>A \rightarrow w[i] \ </tex>, иначе <tex>a\left[A, i, i+1\right] = false \ </tex>;

:<tex>a\left[A, i, i\right] = true \ </tex>, если в грамматике <tex>\Gamma</tex> присутствует правило <tex>A \rightarrow \varepsilon \ </tex>, иначе <tex>a\left[A, i, i\right] = false \ </tex>;

:<tex>h\left[A \rightarrow \alpha, i, i, 0\right] = true \ </tex>.

* '''Переход''':

:Пусть значения для всех нетерминалов, пар <tex>\lbrace \langle j', i' \rangle \mid j' - i' < m \rbrace \ </tex> и <tex>\lbrace k' \mid k' < k \rbrace \ </tex> уже вычислены, поэтому вспомогательная динамика: <tex> h\left[A \rightarrow \alpha, i, j+1, k\right] = \bigvee\limits_{r=i \ldots j+1}\left(h\left[A \rightarrow \alpha, i, r, k-1\right] \wedge a\left[\alpha\left[k\right],r,j+1\right]\right)</tex> То есть, подстроку <tex>w[i \ldots j]</tex> можно вывести из префикса длины <tex>k</tex> правой части данного правила, если из префикса длины <tex>k-1</tex> правой части данного правила можно вывести <tex>w\left[i \ldots r-1\right]</tex>, а подстрока <tex>w[r \ldots j]</tex> выводится из <tex>k</tex>-го символа правой части правила. Это вычисление может обратится к <tex>a\left[A,i,j+1\right] </tex>, но на результат это не повлияет, так как в данный момент <tex>a\left[A,i,j+1\right]=false \ </tex>.

:Но если <tex>\alpha\left[k\right]</tex> {{---}} терминал, то подстроку <tex>w[i \ldots j]</tex> можно вывести из префикса длины <tex>k</tex> правой части данного правила, если из префикса длины <tex>k-1</tex> правой части данного правила можно вывести <tex>w\left[i \ldots r-1\right] \ </tex>, а подстрока <tex>w[r \ldots j]</tex> выводится, если <tex>w\left[r \ldots j\right]=\alpha\left[k\right] \ </tex>.

:Базовая динамика выражается так: <tex>a\left[A,i,j\right]=\bigvee\limits_{A \rightarrow \alpha}h\left[A \rightarrow \alpha, i, j, \left|\alpha\right|\right] \ </tex>. То есть, подстроку <tex>w[i \ldots j-1] \ </tex> можно вывести из нетерминала <tex>A</tex>, если из длины правой части данного правила можно вывести <tex>w\left[i \ldots j-1\right] </tex>.

* '''Завершение''':

:После окончания работы ответ содержится в ячейке <tex>a\left[S, 1, n\right] </tex>, где <tex>n = |w|</tex>.

== Псевдокод ==
<code>
'''CYK_Modified'''(S, Г): // S {{---}} строка длины n, Г {{---}} КС-грамматика 
'''for''' i = 1 \ldots n
'''for''' Rj -> alpha // перебор состояний 
'''if'''( A -> w[i] in Г) a[A, i, i+1] = true // если в грамматике Г присутствует правило A -> w[i] 
'''else''' a[A, i, i+1] = false
'''if'''( A -> eps in Г) a[A, i, i] = true // если в грамматике Г присутствует правило A -> eps 
'''else''' a[A, i, i] = false
h[A->alpha, i, i, 0] = true
'''for''' m = 1 \ldots n
'''for''' i = 1 \ldots n
j = i+m
'''for''' k = 1 \ldots M
'''for''' Rj -> alpha // перебор состояний 
h[A->alpha, i, j+1, k] = OR( for r = i \ldots j+1) (h[A->alpha, i, r, k-1] & a[alpha[k],r,j+1])
'''for''' i = 1 \ldots n
'''for''' j = 1 \ldots n
'''for''' Rj -> alpha
a[A, i, j] = OR( for A->alpha) h[A->alpha, i, j, |alpha|] // где |alpha| {{---}} размер правой части правила
'''return''' a[S, 1, n]

</code>

== Оценка сложности ==
Обозначим <tex>M = \max\limits_{A \rightarrow \alpha}\left|\alpha\right|</tex> — максимальную длину правой части правила.

Обработки правил вида <tex>A \rightarrow w[i]</tex>, <tex>A \rightarrow \varepsilon</tex> и нахождение <tex>h\left[A \rightarrow \alpha, i, i, 0\right] \ </tex> выполняются за <tex>O(n \cdot |\Gamma|)</tex>.

Время одного перехода вспомогательной динамики <tex>O(n)</tex>, суммарное число состояний <tex>O(n^2 \cdot |\Gamma| \cdot M)</tex>. Отсюда расчёт вспомогательной динамики занимает <tex>O \left( n^3 \cdot |\Gamma| \cdot M \right) \ </tex> времени, базовая динамика находится, как <tex>O \left( n^2 \cdot |\Gamma| \right)</tex>. Итоговая временная сложность алгоритма равна <tex>O \left( n^3 \cdot |\Gamma| \cdot M \right)</tex>. Алгоритму требуется <tex>O(n^2 \cdot |\Gamma| \cdot M) \ </tex> памяти.

== См. также ==
* [[Алгоритм Кока-Янгера-Касами разбора грамматики в НФХ|Алгоритм Кока-Янгера-Касами разбора грамматики в НФХ]]
* [[Алгоритм_Эрли|Алгоритм Эрли]]

[[Категория: Теория формальных языков]]
[[Категория: Контекстно-свободные грамматики]]
[[Категория:Динамическое программирование]]

Алгоритм Эрли

2019-05-23T17:50:23Z

Gaporf: Исправил многоточия

__TOC__
'''Алгоритм Эрли''' позволяет определить, выводится ли данное слово <tex>w</tex> в данной [[Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора|контекстно-свободной]] грамматике <tex>G</tex>.

'''Вход:''' КС грамматика <tex> G=\langle N,\Sigma, P, S \rangle</tex> и слово <tex>w</tex>. 
'''Выход:''' <tex>true</tex>, если <tex>w</tex> выводится в <tex>G</tex>; <tex>false</tex> — иначе.

{{Определение
|definition =
Пусть <tex>G = \langle N, \Sigma, P, S \rangle</tex> {{---}} [[Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора|контекстно-свободная]] грамматика и <tex>w = w_0 w_1 \ldots w_{n-1}</tex> {{---}} входная цепочка из <tex>\Sigma^*</tex>.
Объект вида <tex>[A \rightarrow \alpha \cdot \beta, i]</tex>, где <tex>A \rightarrow \alpha \beta </tex> — правило из <tex>P</tex> и <tex>0 \leqslant i \leqslant n</tex> — позиция в <tex>w</tex>, называется '''ситуацией''', относящейся к цепочке <tex>w</tex>, где '''<tex> \cdot </tex>''' {{---}} вспомогательный символ, который не явлется терминалом или нетерминалом ( <tex> \cdot \notin \Sigma \cup N</tex>).
}}

{{Определение
|definition =
Ситуации хранятся в множествах <tex>D_0, \ldots ,D_{n-1}</tex>, называемых '''списками ситуаций'''. Причем наличие ситуации <tex>[A \rightarrow \alpha \cdot \beta , i]</tex> в <tex>j</tex>-м списке ситуаций <tex>D_j</tex> равносильно тому, что
<tex>\exists \delta \in \Sigma \cup N : ((S' \Rightarrow^* w_0 \ldots w_{i-1} A \delta) \wedge A \Rightarrow^* w_i \ldots w_{j-1})</tex>.
}}

{{Определение
|definition =
Последовательность списков ситуаций <tex>D_0, D_1, .., D_{n-1} \ </tex> называется списком разбора для входной цепочки <tex>w</tex>.
}}

== Алгоритм Эрли ==
Чтобы воспользоваться леммой, необходимо найти <tex>D_n</tex> для <tex>w</tex>. Алгоритм Эрли является [[Динамическое программирование|динамическим алгоритмом]]: он последовательно строит список разбора, причём при построении <tex>D_j</tex> используются <tex>D_0, \ldots, D_{j}</tex> (то есть элементы списков с меньшими номерами и ситуации, содержащиеся в текущем списке на данный момент).

Алгоритм основывается на следующих трёх правилах:
# Если <tex>[A \rightarrow \alpha \cdot w_{j} \beta, i] \in D_{j-1}</tex> (где <tex>w_j</tex> — <tex>j</tex>-ый символ строки), то <tex>[A \rightarrow \alpha w_{j} \cdot \beta, i] \in D_j</tex>.
# Если <tex>[B \rightarrow \eta \ \cdot, i] \in D_j</tex> и <tex>[A \rightarrow \alpha \cdot B \beta, k] \in D_i</tex>, то <tex>[A \rightarrow \alpha B \cdot \beta, k] \in D_j</tex>.
# Если <tex>[A \rightarrow \alpha \ \cdot B \beta, i] \in D_{j} </tex> и <tex>(B \rightarrow \eta) \in P </tex>, то <tex>[B \rightarrow \cdot \ \eta, j] \in D_{j}</tex>.

=== Псевдокод ===
Для простоты добавим новый стартовый вспомогательный нетерминал <tex>S'</tex> и правило <tex>(S' \rightarrow S)</tex>.

'''function''' <tex>\mathtt{earley}(G, w)</tex>:
// Инициализация 
<tex> D_{0} = \lbrace [S' \rightarrow \cdot \ S, 0] \rbrace </tex>
'''for''' <tex>i = 1</tex> '''to''' <tex>len(w)</tex>
<tex>D_i</tex> = <tex>\varnothing </tex>
// Вычисление ситуаций 
'''for''' <tex>j = 0</tex> '''to''' <tex>len(w)</tex>
<tex>\mathtt{scan}(D, j, G, w)</tex>
'''while''' <tex>D_j</tex> изменяется
<tex>\mathtt{complete}(D, j, G, w)</tex>
<tex>\mathtt{predict}(D, j, G, w)</tex>
// Результат 
'''if''' <tex>[S' \rightarrow S \ \cdot, 0] \in D_{len(w)} </tex>
'''return''' ''true''
'''else'''
'''return''' ''false''

'''function''' <tex>\mathtt{scan}(D, j, G, w)</tex>:
'''if''' <tex>j</tex> == <tex>0</tex>
'''return'''
'''for''' <tex>[A \rightarrow \alpha \cdot a \beta, i] \in D_{j - 1} </tex>
'''if''' <tex>a</tex> == <tex>w_{j - 1}</tex>
<tex>D_{j}</tex> <tex> \cup</tex>= <tex>[A \rightarrow \alpha a \cdot \beta, i]</tex>

'''function''' <tex>\mathtt{complete}(D, j, G, w)</tex>:
'''for''' <tex>[B \rightarrow \eta \ \cdot, i] \in D_{j} </tex>
'''for''' <tex>[A \rightarrow \alpha \cdot B \beta, j] \in D_{i} </tex>
<tex>D_{j}</tex> <tex> \cup</tex>= <tex>[A \rightarrow \alpha B \cdot \beta, j]</tex>

'''function''' <tex>\mathtt{predict}(D, j, G, w)</tex>:
'''for''' <tex>[A \rightarrow \alpha \cdot B \beta, i] \in D_{j} </tex>
'''for''' <tex>(B \rightarrow \eta) \in P </tex>
<tex>D_{j}</tex> <tex>\cup</tex>= <tex>[B \rightarrow \cdot \ \eta, j]</tex>

==Корректность алгоритма==
{{Теорема
|statement = Приведенный алгоритм правильно строит все списки ситуаций.
То есть алгоритм поддерживает инвариант <tex> [A \rightarrow \alpha \cdot \beta, i] \in D_{j} \Longleftrightarrow \exists \delta \in \Sigma \cup N : ((S' \Rightarrow^* w_0 \ldots w_{i-1} A \delta) \wedge A \Rightarrow^* w_i \ldots w_{j-1})</tex>
|proof =

<tex>\Longrightarrow</tex> 
Докажем индукцией по исполнению алгоритма. 
 ''База индукции:'' 
<tex>[S' \rightarrow \cdot S, 0] \in D_0 \ </tex>. 
 ''Индукционный переход:'' 
Пусть предположение верно для всех списков ситуаций с номерами меньше <tex> j </tex>. Разберемся, в результате применения какого правила ситуация <tex> [A \rightarrow \alpha \cdot \beta, i] </tex> попала в <tex>D_{j}</tex> 

1. Включаем по правилу <tex> \mathtt{scan} \ </tex>. 
Это произошло, если <tex> \alpha = \alpha ' a</tex>, <tex>a = w_{j-1}</tex> и <tex> [A \rightarrow \alpha ' \cdot a \beta, i] \in D_{j-1}</tex>. 
По предположению индукции <tex>S' \Rightarrow^* w_0 \ldots w_{i-1} A \delta</tex> и <tex>\alpha' \Rightarrow^* w_i \ldots w_{j-2}</tex>, 
тогда в силу <tex>a = w_{j-1}</tex> получаем <tex>\alpha = \alpha ' a \Rightarrow^* w_i \ldots w_{j-2}w_{j-1} = w_i \ldots w_{j-1} \ </tex>. 
Таким образом условия: <tex>S' \Rightarrow^* w_0 \ldots w_{i-1} A \delta</tex> и <tex>\alpha \Rightarrow^* w_i \ldots w_{j-1}</tex> выполняются.

2. Включаем по правилу <tex> \mathtt{predict} \ </tex>. 
По построению: <tex> \alpha = \varepsilon </tex> и <tex>i=j</tex>, что автоматически влечет второй пункт утверждения. 
Кроме того <tex>\exists i' \le i</tex> и ситуация <tex>[A' \rightarrow \alpha ' \cdot A \delta ', i'] \in D_i</tex>, из чего по предположению индукции следует <tex>S' \Rightarrow^* w_0 \ldots w_{i'-1} A' \delta ''</tex>
и <tex> \alpha ' \Rightarrow^* w_{i'} \ldots w_{i-1}</tex>. 
Получаем, что <tex>S' \Rightarrow^* w_0 \ldots w_{i'-1} A' \delta ''</tex>, значит <tex>S \Rightarrow^* w_0 \ldots w_{i'-1} \alpha' A \delta' \delta '' </tex>, следовательно <tex> S' \Rightarrow^* w_0 \ldots w_{i'-1} w_{i'} \ldots w_{i-1} A \delta' \delta ''
</tex>, в итоге <tex> S' \Rightarrow^* w_0 \ldots w_{i-1} A \delta</tex>, что нам и требовалось.

3. Включаем по правилу <tex> \mathtt{complete} \ </tex>. 
По построению: <tex> \alpha = \alpha ' A' </tex> и <tex>\exists i', \delta : [A \rightarrow \alpha ' \cdot A' \beta, i] \in D_{i'} \wedge [A' \rightarrow \eta \cdot, i'] \in D_j</tex>. 
Cледовательно <tex>\alpha = \alpha ' A' \Rightarrow^* w_i \ldots w_{i'-1} w_{i'} \ldots w_{j} = w_i \ldots w_{j-1}</tex>, что дает нам второй пункт утверждения, а так как первый пункт следует из индукционного предположения, все хорошо.

<tex>\Longleftarrow</tex> 
В обратную сторону будем доказывать индукцией по суммарной длине вывода <tex>w_0 \ldots w_{i-1} A \delta \ </tex> из <tex>S'</tex> и <tex>w_i \ldots w_{j-1}</tex> из <tex>\alpha</tex>. После чего применим
индукцию по длине вывода <tex>w_i \ldots w_{j-1}</tex> из <tex>\alpha</tex>. 
Рассмотрим три случая последнего символа <tex>\alpha</tex>:

1. <tex>\alpha = \alpha ' a</tex>, тогда <tex>a = w_{j-1}</tex> и <tex>\alpha ' \Rightarrow^* w_i \ldots w_{j-2}</tex>. 
По предположению индукции: <tex>[A \rightarrow \alpha ' \cdot a \beta, i] \in D_{j-1}</tex>, а отсюда по правилу <tex> \mathtt{scan}</tex> получаем <tex>[A \rightarrow \alpha ' a \cdot \beta, i] \in D_{j}</tex>.

2. <tex>\alpha = \alpha ' B</tex>, тогда <tex>\exists i' : \alpha ' \Rightarrow^* w_i \ldots w_{i'-1} \wedge B ' \Rightarrow^* w_{i'} \ldots w_{j-1}</tex>. 
Тогда имеем <tex>[A \rightarrow \alpha ' a \cdot \beta, i] \in D_{j}</tex>. Также можно записать <tex>S' \Rightarrow^* w_0 \ldots w_{i-1} A \delta</tex>, как <tex>S' \Rightarrow^* w_0 \ldots w_{i-1} w_i \ldots w_{i'-1}B \beta \delta</tex>,
а также <tex>B \rightarrow \eta \wedge \eta \rightarrow w_{i'} \ldots w_{j-1}</tex>. 
Применяя индукцию по второму параметру получим <tex>[B \rightarrow \eta \cdot, i'] \in D_j \ </tex>, откуда по правилу <tex> \mathtt{complete}</tex> получаем <tex>[A \rightarrow \alpha ' B \cdot \beta, i] \in D_{j}</tex>.

3. <tex>\alpha = \varepsilon </tex>, тогда <tex>i=j</tex>. 
Тогда либо <tex>i = 0 \wedge A = S \wedge \delta = \varepsilon</tex>, что доказывает базу индукции, 
либо вывод можно записать в виде <tex>S' \Rightarrow^* w_0 \ldots w{i'-1}w_{i'} \ldots w{i-1} A \delta ' \delta '' = w_0 \ldots w_{i-1} A \delta \ </tex> для некоторого правила <tex>(A' \rightarrow w_{i'} \ldots w_{i-1} A \delta ') \in P</tex>. 
Отсюда по предположению индукции <tex>[A' \rightarrow \cdot w_{i'} \ldots w_{i-1} A \delta ', i'] \in D_{i'} \ </tex>,
что после нескольких применений правила <tex> \mathtt{scan}</tex> приводит к <tex>[A' \rightarrow w_{i'} \ldots w_{i-1} \cdot A \delta ', i'] \in D_{i} \ </tex>,
после чего по правилу <tex> \mathtt{predict} \ </tex> получим <tex>[A \rightarrow \cdot \beta, i] \in D_{j} \ </tex>, что и требовалось.

}}

==Пример==
Построим список разбора для строки <tex>w = (a + a)</tex> в грамматике со следующими правилами:
* <tex>S \rightarrow T + S</tex>
* <tex>S \rightarrow T </tex>
* <tex>T \rightarrow F * T</tex>
* <tex>T \rightarrow F</tex>
* <tex>F \rightarrow ( S )</tex>
* <tex>F \rightarrow a</tex>

{|
|-
|

{| class="wikitable"
|-
!<tex>D_0</tex>
|-
|
{|
|-
!Ситуация !! Из правила
|-
|<tex>[S' \rightarrow \cdot S, 0]</tex> || 0
|-
|<tex>[S \rightarrow \cdot T + S, 0]</tex> || 3
|-
|<tex>[S \rightarrow \cdot T, 0]</tex> || 3
|-
|<tex>[T \rightarrow \cdot F * T, 0]</tex> || 3
|-
|<tex>[T \rightarrow \cdot F, 0]</tex> || 3
|-
|<tex>[F \rightarrow \cdot ( S ), 0]</tex> || 3
|-
|<tex>[F \rightarrow \cdot a, 0]</tex> || 3
|}
|}

||

{| class="wikitable"
|-
!<tex>D_1</tex>
|-
|
{|
|-
!Ситуация !! Из правила
|-
|<tex>[F \rightarrow ( \cdot S ), 0]</tex> || 1
|-
|<tex>[S \rightarrow \cdot T + S, 1]</tex> || 3
|-
|<tex>[S \rightarrow \cdot T, 1]</tex> || 3
|-
|<tex>[T \rightarrow \cdot F * T, 1]</tex> || 3
|-
|<tex>[T \rightarrow \cdot F, 1]</tex> || 3
|-
|<tex>[F \rightarrow \cdot ( S ), 1]</tex> || 3
|-
|<tex>[F \rightarrow \cdot a, 1]</tex> || 3
|}
|}

||

{| class="wikitable"
|-
!<tex>D_2</tex>
|-
|
{|
|-
!Ситуация !! Из правила
|-
|<tex>[F \rightarrow a \cdot, 1]</tex> || 1
|-
|<tex>[T \rightarrow F \cdot * T, 1]</tex> || 2
|-
|<tex>[T \rightarrow F \cdot , 1]</tex> || 2
|-
|<tex>[S \rightarrow T \cdot , 1]</tex> || 2
|-
|<tex>[S \rightarrow T \cdot + S, 1]</tex> || 2
|-
|<tex>[F \rightarrow ( S \cdot ), 0]</tex> || 2
|}
|}

|-
|

{| class="wikitable"
|-
!<tex>D_3</tex>
|-
|
{|
|-
!Ситуация !! Из правила
|-
|<tex>[S \rightarrow T + \cdot S, 1]</tex> || 1
|-
|<tex>[S \rightarrow \cdot T + S, 3]</tex> || 3
|-
|<tex>[S \rightarrow \cdot T, 3]</tex> || 3
|-
|<tex>[T \rightarrow \cdot F * T, 3]</tex> || 3
|-
|<tex>[T \rightarrow \cdot F, 3]</tex> || 3
|-
|<tex>[F \rightarrow \cdot ( S ), 3]</tex> || 3
|-
|<tex>[F \rightarrow \cdot a, 3]</tex> || 3
|}
|}

||

{| class="wikitable"
|-
!<tex>D_4</tex>
|-
|
{|
|-
!Ситуация !! Из правила
|-
|<tex>[F \rightarrow a \cdot , 3]</tex> || 1
|-
|<tex>[T \rightarrow F \cdot * T, 3]</tex> || 2
|-
|<tex>[T \rightarrow F \cdot , 3]</tex> || 2
|-
|<tex>[S \rightarrow T \cdot + S, 3]</tex> || 2
|-
|<tex>[S \rightarrow T \cdot , 3]</tex> || 2
|-
|<tex>[S \rightarrow T + S \cdot , 1]</tex> || 2
|-
|<tex>[F \rightarrow ( S \cdot ), 0]</tex> || 2
|}
|}

||

{| class="wikitable"
|-
!<tex>D_5</tex>
|-
|
{|
|-
!Ситуация !! Из правила
|-
|<tex>[F \rightarrow ( S )\cdot , 0]</tex> || 1
|-
|<tex>[T \rightarrow F \cdot * T, 0]</tex> || 2
|-
|<tex>[T \rightarrow F \cdot , 0]</tex> || 2
|-
|<tex>[S \rightarrow T \cdot + S, 0]</tex> || 2
|-
|<tex>[S \rightarrow T \cdot , 0]</tex> || 2
|-
|<tex>[S' \rightarrow S \cdot , 0]</tex> || 2
|}
|}

|}

Так как <tex>[S' \rightarrow S \cdot , 0] \in D_5</tex>, то <tex>w \in L(G) </tex>. 

==См. также==
* [[Алгоритм Кока-Янгера-Касами разбора грамматики в НФХ]]
* [[Алгоритм Кока-Янгера-Касами, модификация для произвольной грамматики]]

==Источники информации==
*[http://lpcs.math.msu.su/~sk/lehre/fivt2013/Earley.pdf Алексей Сорокин {{---}} Алгоритм Эрли]
* Ахо А., Ульман Д.{{---}} Теория синтакcического анализа, перевода и компиляции. Том 1. Синтаксический анализ. Пер. с англ. {{---}} М.:«Мир», 1978. С. 358 — 364.

[[Категория: Теория формальных языков]]
[[Категория: Контекстно-свободные грамматики]]
[[Категория: Алгоритмы разбора]]

Контексты и синтаксические моноиды

2019-05-23T17:40:16Z

Gaporf: Исправил многоточия

== Контексты ==
=== Правый контекст ===
{{Определение
|definition=
'''Правым контекстом''' (англ. ''right context'') <tex>C_L^R(y)</tex> слова <tex>y</tex> в языке <tex>L</tex> называется множество <tex>\{z \mid yz \in L\}</tex>.
}}

{{Лемма
|statement=
Язык <tex>L</tex> {{---}} регулярный <tex>\Leftrightarrow</tex> множество <tex>\{C_L^R(y) \mid y \in \Sigma^*\}</tex> его правых контекстов конечно.
|proof=
[[Файл:Автомат и правые контексты 1.png|315px|thumb|right|Автомат на правых контекстах. Легенда: начальное / промежуточное / дьявольское / терминальное состояния; контекст]]
<tex>\Leftarrow</tex>

:Пусть множество правых контекстов языка конечно. Построим распознающий его автомат. Состояния автомата будут соответствовать различным правым контекстам. Таким образом, каждая вершина автомата соответствует множеству допустимых «продолжений» считанного на данный момент слова. Переход по некоторому символу из одного состояния в другое осуществляется, если контекст, соответствующий первому состоянию, содержит все элементы, которые получаются приписыванием этого символа в начало элементам контекста, соответствующего второму. Вершина, соответствующая контексту пустого слова, является стартовой <tex>\left( C_L^R(\varepsilon) = L \right)</tex>. Вершины, контексты которых содержат <tex>\varepsilon</tex>, должны быть допускающими.

:Покажем что полученный автомат допускает в точности указанный язык. Выпишем свойства, которые мы стремились удовлетворить при построении:
:: 1. <tex> u \quad \leftrightarrow \quad C_L^R(x) ,\ v \quad \leftrightarrow \quad C_L^R(xc) \quad \leftrightarrow \quad \langle u,c \rangle \vdash \langle v, \varepsilon \rangle </tex>
:: 2. <tex> s \quad \leftrightarrow \quad C_L^R(\varepsilon), </tex> где <tex> s </tex> {{---}} стартовое состояние.
:: 3. <tex> \varepsilon \in C_L^R(\omega) \quad \Leftrightarrow \quad v \in T \quad ( v \quad \leftrightarrow \quad C_L^R(\omega) ) </tex>
:Из 1 следует
:: 1*. <tex> u \quad \leftrightarrow \quad C_L^R(x) ,\ v \quad \leftrightarrow \quad C_L^R(x \omega) \quad \Leftrightarrow \quad \langle u,\omega \rangle \vdash^* \langle v, \varepsilon \rangle </tex>
:Положив <tex> s = u </tex> и учтя 2, получим
:: <tex> v \quad \leftrightarrow \quad C_L^R(\omega) \quad \Leftrightarrow \quad \langle s,\omega \rangle \vdash^* \langle v, \varepsilon \rangle </tex>
:Теперь зафиксируем за состоянием <tex> v </tex> контекст <tex> C_L^R(\omega) </tex>. Тогда левая часть 3 равносильна <tex> \omega \in L </tex>, а правая, с учётом <tex> \langle s,\omega \rangle \vdash^* \langle v, \varepsilon \rangle </tex>, означает, что автомат допускает <tex> \omega </tex>.

<tex>\Rightarrow</tex>
 

:Пусть <tex>L</tex> {{---}} регулярный. В таком случае существует автомат <tex>\mathcal{A}</tex>, распознающий его.
:Рассмотрим произвольное слово <tex>y</tex>. Положим <tex>u</tex> {{---}} такое состояние <tex>\mathcal{A}</tex>, в которое можно перейти из начального по слову <tex>y</tex>. Тогда <tex>C_L^R(y)</tex> совпадает с множеством слов, по которым из состояния <tex>u</tex> можно попасть в допускающее.
:Причем если по какому-то слову <tex>z</tex> тоже можно перейти из начального состояния в <tex>u</tex>, то <tex>C_L^R(y) = C_L^R(z)</tex>. Наоборот, если <tex>C_L^R(y) = C_L^R(z)</tex>, то состояния, в которые можно перейти по словам <tex>y</tex> и <tex>z</tex>, эквивалентны. Таким образом, можно установить взаимное соответствие между правыми контекстами и классами эквивалентности вершин автомата, которых конечное число.
}}

=== Примеры ===
Здесь будем понимать под <tex> C_L^R(X) = Y </tex> не стандартное отображение множества в множество, а <tex> \forall x \in X :\ C_L^R(x) = Y </tex>. Рассмотрим правые контексты следующих языков:
[[Файл:Автомат и правые контексты 2.png|500px|thumb|right|Автомат к языку <tex> \{ 001, 111, 100 \} </tex>]]
==== Пример 1 ====
<tex> \{ 001, 111, 100 \} </tex>
: Возникающие контексты:
:: <tex>a) C_L^R(\varepsilon) = \{ 001, 111, 100 \} </tex> 
:: <tex>b) C_L^R(0) = \{ 01 \} </tex> 
:: <tex>c) C_L^R(00) = \{ 1 \} </tex> 
:: <tex>d) C_L^R(001) = \{ \varepsilon \} </tex> 
:: <tex>e) C_L^R(1) = \{ 11, 00 \} </tex> 
:: <tex>f) C_L^R(10) = \{ 0 \} </tex> 
:: <tex>g) C_L^R(100) = \{ \varepsilon \} </tex> 
:: <tex>h) C_L^R(11) = \{ 1 \} </tex> 
:: <tex>j) C_L^R(111) = \{ \varepsilon \} </tex> 
:: <tex>k) C_L^R(X) = \varnothing </tex>, где <tex> X </tex> {{---}} множество остальных аргументов. 
: Начальное состояние {{---}} <tex>a</tex> . Допускающие состояния: <tex>d, g, j</tex> (в них <tex> \varepsilon \in C_L^R(\ldots) </tex>). Состояние <tex>k</tex> {{---}} [[Детерминированные_конечные_автоматы#допускает|дьявольское]]. Всего 8 состояний (именно столько имеется различных контекстов).
:[[Файл:Автомат и правые контексты 3.png|350px|thumb|right|Автомат к языку <tex> 0^*11 </tex>]]
==== Пример 2 ====
<tex> 0^*11 </tex>
: Возможные контексты (аргументы упорядочены в лексикографическом порядке):
:: <tex>a) C_L^R(0^*) = 0^*11 </tex> 
:: <tex>b) C_L^R(0^*1) = 1 </tex> 
:: <tex>c) C_L^R(0^*10(0|1)^*) = \varnothing </tex> 
:: <tex>d) C_L^R(0^*11) = \varepsilon </tex> 
:: <tex>e) C_L^R(0^*11(0|1)^+) = \varnothing </tex> 
: Итого 4 состояния; начальное состояние <tex>a</tex>, допускающее <tex>d</tex>, состояние <tex>c</tex>&<tex>e</tex> {{---}} дьявольское.

=== Левый контекст ===
{{Определение
|definition=
'''Левым контекстом''' (англ. ''left context'') <tex>C_L^L(y)</tex> слова <tex>y</tex> в языке <tex>L</tex> называется множество <tex>\{z \mid zy \in L\}</tex>.
}}

{{Лемма
|statement=
Язык <tex>L</tex> {{---}} регулярный <tex>\Leftrightarrow</tex> множество <tex>\{C_L^L(y) \mid y \in \Sigma^*\}</tex> его левых контекстов конечно.
|proof=
Поскольку множество регулярных языков замкнуто относительно операции разворота, то из того, что <tex>C_L^L(y) = \overleftarrow{C_{\overleftarrow{L}}^R(\overleftarrow{y})}</tex> и аналогичного утверждения о правых контекстах получаем требуемое.
}}

=== Двухсторонний контекст ===
{{Определение
|definition=
'''Двухсторонним контекстом''' (англ. ''two-sided context'') <tex>C_L(y)</tex> слова <tex>y</tex> в языке <tex>L</tex> называется множество <tex>\{\langle x,z\rangle \mid xyz \in L\}</tex>.
}}
'''Любопытное замечание:''' <tex>C_L(\varepsilon)</tex> состоит из всех пар строк, которые при конкатенации дают слово из языка.

Для доказательства последующих утверждений будем использовать бинарное отображение <tex> (\cdot) :\ Q \times \Sigma^* \rightarrow Q </tex> со свойством <tex> q \cdot \omega = q' \Leftrightarrow \langle q,\omega \rangle \vdash^* \langle q', \varepsilon \rangle</tex>.

{{Лемма
|statement=
Язык <tex>L</tex> {{---}} регулярный <tex>\Leftrightarrow</tex> множество <tex>\{C_L(y) \mid y \in \Sigma^*\}</tex> его двухсторонних контекстов конечно.
|proof=
<tex>\Leftarrow</tex>
:Заметим, что <tex> \{ z \mid \langle \varepsilon, z \rangle \in C_L(y) \} = C_L^R(y) </tex>. Следовательно, если множество двухсторонних контекстов языка конечно, то конечно и множество его правых контекстов, а это значит, что язык регулярный.
 <tex>\Rightarrow</tex>
:Пусть <tex>L</tex> {{---}} регулярный. В таком случае существует детерминированный автомат <tex>\mathcal{A}</tex>, распознающий его. Понятно, что для любого слова <tex> xyz </tex>, допускаемого автоматом, существуют <tex> u ,\ v </tex> такие, что <tex> s \cdot x = u ,\ u \cdot y = v ,\ v \cdot z \in T </tex> (где <tex> s </tex> {{---}} начальное состояние).
:Тогда справедливо равенство <tex> C_L(y) = \bigcup\limits_{(u, v) :\ u \cdot y = v} \{ \langle x, z \rangle \mid s \cdot x = u ,\ v \cdot z \in T \} </tex>. Учитывая <tex> | \{ (u, v) \mid u,v \in Q \} | = |Q|^2 </tex>, получаем <tex> | \{ C_L(y) \mid y \in \Sigma^* \} | \leqslant 2^{|Q|^2} </tex>, то есть множество контекстов конечно.
}}

== Синтаксический моноид ==
=== Определения ===
{{Определение
|definition=
'''Синтаксическим моноидом''' (англ. ''syntactic monoid'') <tex>M(L)</tex> языка <tex>L</tex> называется множество, состоящее из его классов эквивалентности <tex>[[x]] = \{ y \in \Sigma^* \mid C_L(x) = C_L(y) \} \ </tex>, с введённым на нём операцией конкатенации <tex>\circ</tex>, где <tex>[[x]]\circ[[y]] = [[xy]] \ \ </tex>. Нейтральным элементом в нём является <tex>[[\varepsilon]]</tex>.
}}
{{Определение
|definition=
'''Групповой язык''' (англ. ''group language'') {{---}} это язык, синтаксический моноид которого является [[Группа|группой]].
}}

=== Свойства ===
Синтаксический моноид <tex>M(L)</tex> определён для любого <tex>L \in \Sigma^*</tex>, однако некоторые свойства языка можно определить по структуре его синтаксического моноида. Размер синтаксического моноида является мерой структурной сложности языка.

{{Теорема
|statement=
Язык <tex>L</tex> {{---}} регулярный <tex>\Leftrightarrow</tex> его синтаксический моноид <tex>M(L)</tex> конечен.
|proof=
Размер синтаксического моноида <tex>M(L)</tex> языка <tex>L</tex> равен количеству его различных двухсторонних контекстов <tex>C_L</tex>. Применяя лемму, доказанную ранее, получаем:
Язык <tex>L</tex> {{---}} регулярный <tex>\Leftrightarrow</tex> множество <tex>\{C_L(y) \mid y \in \Sigma^*\}</tex> его двухсторонних контекстов конечно <tex>\Leftrightarrow</tex> его синтаксический моноид <tex>M(L)</tex> конечен.
}}

{{Лемма
|statement=
Пусть язык <tex>L</tex> распознается [[Детерминированные конечные автоматы|ДКА]] <tex>\mathcal{A} = \langle \Sigma,Q,s,T,\delta \rangle</tex>. Тогда размер его синтаксического моноида <tex>M(L)</tex> не превосходит <tex>|Q|^{|Q|}</tex>.
|proof=
Введём следующее отношение эквивалентности на строках:
 <tex>x \cong y \Leftrightarrow \forall q \in Q: q \cdot x = q \cdot y</tex>
 Оценим количество классов, на которые отношение <tex>\cong</tex> разбивает язык <tex>L</tex>. Для этого пронумеруем состояния, и каждому слову <tex> \omega</tex> сопоставим вектор <tex> a_{\omega} \in Q^{|Q|} </tex> такой, что <tex> a_{\omega}[i] = q_j \Leftrightarrow q_i \cdot \omega = q_j </tex>. Количество различных таких векторов {{---}} <tex> {|Q|}^{|Q|} </tex>. В то же время неэквивалентным словам соответствуют разные <tex> a </tex>, тогда количество классов эквивалентности также ограничено <tex> {|Q|}^{|Q|} </tex>.

Остаётся показать, что существует взаимно-однозначное соответствие между нашими классами эквивалентности и синтаксическими моноидами. Смотрим:
 <tex> x \cong y </tex>
 <tex> \Leftrightarrow </tex>
 <tex> s \cdot (uxv) = ((s \cdot u) \cdot x) \cdot v = ((s \cdot u) \cdot y) \cdot v = s \cdot (uyv) \ </tex> (пусть <tex> s \cdot u = q </tex> из определения <tex> \cong </tex>, тогда <tex> (s \cdot u) \cdot x = q \cdot x = q' = q \cdot y = (s \cdot u) \cdot y \ </tex>)
 <tex> \Leftrightarrow </tex>
 <tex> s \cdot (uxv) \in T \Leftrightarrow s \cdot (uyv) \in T </tex>
 <tex> \Leftrightarrow </tex>
 <tex> uxv \in L \Leftrightarrow uyv \in L </tex>
 <tex> \Leftrightarrow </tex>
 <tex> [[x]] = [[y]] </tex>
(<tex> s </tex> {{---}} начальное состояние).
}}

Пусть <tex>\mathcal{A} = \langle \Sigma,Q,s,T,\delta \rangle</tex> {{---}} [[Детерминированные конечные автоматы|ДКА]]. Каждое слово <tex>\omega \in \Sigma^*</tex> порождает отображение <tex>f_\omega : Q \rightarrow Q</tex>, определённое следующим образом: <tex>f_\omega(q) = q \cdot \omega</tex>.
{{Определение
|definition=
'''Моноидом переходов''' (англ. ''transition monoid'') <tex>M(\mathcal{A})</tex> называется множество отображений <tex>f_\omega</tex> с операцией композиции. <tex>f_x \cdot f_y = f_{xy}</tex>. Нейтральным элементом в данном моноиде является отображение <tex>f_\varepsilon</tex>.
}}

{{Теорема
|statement=
Пусть <tex>\mathcal{A} = \langle \Sigma,Q,s,T,\delta \rangle</tex> {{---}} минимальный [[Детерминированные конечные автоматы|ДКА]], задающий язык <tex>L</tex>. Тогда <tex>M(\mathcal{A})</tex> и <tex>M(L)</tex> изоморфны.
|proof=
Покажем, что <tex>f_x = f_y \quad \Leftrightarrow \quad [[x]] = [[y]]</tex>.

<tex>\Rightarrow</tex>
 

:Данный факт был показан в доказательстве предыдущей леммы, он не требует минимальности автомата.

<tex>\Leftarrow</tex>
 

:Пусть <tex>[[x]] = [[y]] \ </tex> и <tex>q \in Q</tex>. Тогда <tex>q = s \cdot u</tex> для некоторого слова <tex>u</tex>. Пусть <tex>q_1 = f_x(q) = s \cdot ux</tex> и <tex>q_2 = f_y(q) = s \cdot uy</tex>. Поскольку <tex>[[x]] = [[y]]</tex>, справедливо <tex>uxv \in L \quad \Leftrightarrow \quad uyv \in L</tex>. Следовательно, <tex>q_1 \cdot v \in T \Leftrightarrow q_2 \cdot v \in T</tex>, то есть <tex>q_1</tex> и <tex>q_2</tex> эквивалентны. Значит, <tex>q_1 = q_2</tex>, так как автомат <tex>\mathcal{A}</tex> минимален. То есть, <tex>f_x = f_y</tex>.
}}

=== Примеры ===
====Язык слов четной длины====
Рассмотрим язык <tex>L = \{\omega \mid |\omega| \bmod 2 = 0 \}</tex>.

<tex>\{\langle u, v \rangle \mid uxv \in L\}</tex> {{---}} это множество всех пар <tex>\langle u,v \rangle</tex>, таких что <tex>|u| + |v| = |x| \ (\mathrm{mod} \ 2 )</tex>.

Значит, <tex>M(L)</tex> состоит из двух элементов: множества слов чётной длины и множества слов нечётной длины. Нейтральным элементом в данном моноиде является множество слов чётной длины.

Оба элемента являются обратными самим себе, значит <tex>M(L)</tex> является группой, следовательно <tex>L</tex> {{---}} групповой язык.

====Язык над алфавитом из 0 и 1, заданный регулярным выражением 1(0|1)*====
Язык <tex>L</tex> над алфавитом <tex>\Sigma = \{0,1\}</tex> задан регулярным выражением <tex>1(0|1)^*</tex>. Его синтаксический моноид <tex>M(L)</tex> содержит три элемента:

:<tex>a)</tex> <tex>[[\varepsilon]] \ </tex> {{---}} нейтральный элемент. Включает в себя только пустую строку.

:<tex>b)</tex> <tex>[[0]] \ </tex> содержит все строки, распознаваемые регулярным выражением <tex>0(0|1)^*</tex>. <tex>\forall x \in [[0]]: C_L(x) = \{\langle u, v \rangle \mid u \in L, v \in \Sigma^* \}</tex>.

:<tex>c)</tex> <tex>[[1]] \ </tex> содержит все строки, принадлежащие языку, то есть, распознаваемые регулярным выражением <tex>1(0|1)^*</tex>. <tex>\forall x \in [[1]]: C_L(x) = C_L(\varepsilon) \cup \{\langle \varepsilon, v \rangle \mid v \in \Sigma^* \}</tex>.

Заметим, что <tex>[[0]] \ </tex> и <tex>[[1]] \ </tex> не имеют обратных элементов в данном моноиде, так как нейтральный элемент содержит только пустую строку, а её невозможно получить из непустой с помощью конкатенации. Следовательно <tex>L</tex> не является групповым языком.

====Язык из последовательных N нулей и N единиц====
Язык <tex>L = 0^n1^n</tex> задан над алфавитом <tex>\Sigma = \{0,1\}</tex>.

Балансом слова <tex>|\omega|_b</tex> назовём число, равное разности между количеством нулей и единиц, встречающихся в данном слове. Если слово <tex>\omega = uxv</tex> принадлежит языку <tex>L</tex>, то <tex>|x|_b = -(|u|_b + |v|_b)</tex>. Но <tex>|x|_b</tex> может принимать любое целое значение, при том, что <tex>x</tex> имеет непустой двухсторонний контекст.

Значит, синтаксический моноид <tex>M(L)</tex> имеет бесконечное количество элементов, что значит, что данный язык не является регулярным.

== Источники информации ==

* ''Howard Straubing'' Finite automata, formal logic, and circuit complexity, 1994. ISBN 3-7643-3719-2. {{---}} C. 53.
* ''James A. Anderson'' Automata theory with modern applications, 2006. ISBN 0-521-61324-8. {{---}} С. 72.
* [http://en.wikipedia.org/wiki/Syntactic_monoid Wikipedia {{---}} Syntactic monoid]

[[Категория: Теория формальных языков]]
[[Категория: Автоматы и регулярные языки]]

Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора

2019-05-23T17:38:25Z

Gaporf: Исправил многоточия

==Основные определения==
{{Определение
|id=csgrammar
|definition=
'''Контекстно-свободной грамматикой''' (англ. ''сontext-free grammar'') называется [[Формальные грамматики|грамматика]], у которой в левых частях всех правил стоят только одиночные нетерминалы.
}}
{{Определение
|id=lang
|definition=
'''Контекстно-свободный язык''' (англ. ''context-free language'') {{---}} язык, задаваемый контекстно-свободной грамматикой.
}}

==Лево- и правосторонний вывод слова==

{{Определение
|definition=
'''Выводом слова''' (англ. ''derivation of a word'') <tex>\alpha</tex> называется последовательность строк, состоящих из терминалов и нетерминалов. Первая строка последовательности состоит из одного стартового нетерминала. Каждая последующая строка получена из предыдущей путем замены любого нетерминала по одному (любому) из правил, а последней строкой в последовательности является слово <tex>\alpha</tex>.
}}
'''Пример:'''

Рассмотрим грамматику, выводящую все правильные скобочные последовательности.
:<tex>(</tex> и <tex>)</tex> {{---}} терминальные символы
:<tex>S</tex> {{---}} стартовый нетерминал

Правила:
#<tex>S\rightarrow (S)S</tex>
#<tex>S\rightarrow S(S)</tex>
#<tex>S\rightarrow \varepsilon</tex>

Выведем слово <tex>(()(()))()</tex>:

<tex>\boldsymbol{S}\Rightarrow (S)\boldsymbol{S} \Rightarrow (S)(\boldsymbol{S})S\Rightarrow(S)()\boldsymbol{S}\Rightarrow(\boldsymbol{S})()\Rightarrow(\boldsymbol{S}(S))()\Rightarrow(S(S)(\boldsymbol{S}))()\Rightarrow(S(S)(\boldsymbol{S}(S)))()\Rightarrow (S(\boldsymbol{S})((S)))()\Rightarrow(\boldsymbol{S}()((S)))()\Rightarrow(()((\boldsymbol{S})))()\Rightarrow(()(()))()</tex>

{{Определение
|definition=
'''Левосторонним выводом слова''' (англ. ''leftmost derivation'') <tex>\alpha</tex> называется такой вывод слова <tex>\alpha</tex>, в котором каждая последующая строка получена из предыдущей путем замены по одному из правил самого левого встречающегося в строке нетерминала.
}}

{{Определение
|definition=
'''Правосторонним выводом слова''' (англ. ''rightmost derivation'') <tex>\alpha</tex> называется такой вывод слова <tex>\alpha</tex>, в котором каждая последующая строка получена из предыдущей путем замены по одному из правил самого правого встречающегося в строке нетерминала.
}}
Рассмотрим левосторонний вывод скобочной последовательности из примера:

<tex>\boldsymbol{S}\Rightarrow (\boldsymbol{S})S \Rightarrow ((\boldsymbol{S})S)S\Rightarrow (()\boldsymbol{S})S\Rightarrow(()\boldsymbol{S}(S))S\Rightarrow(()(\boldsymbol{S}))S\Rightarrow(()(\boldsymbol{S}(S)))S\Rightarrow(()((\boldsymbol{S})))S\Rightarrow(()(()))\boldsymbol{S}\Rightarrow(()(()))(\boldsymbol{S})S\Rightarrow(()(()))()\boldsymbol{S}\Rightarrow(()(()))()</tex>

==Дерево разбора==

{{Определение
|definition=
'''Деревом разбора грамматики''' (англ. ''parse tree'') называется дерево, в вершинах которого записаны терминалы или нетерминалы. Все вершины, помеченные терминалами, являются листьями. Все вершины, помеченные нетерминалами, имеют детей. Дети вершины, в которой записан нетерминал, соответствуют раскрытию нетерминала по одному любому правилу (в левой части которого стоит этот нетерминал) и упорядочены так же, как в правой части этого правила.
}}
{{Определение
|definition=
'''Крона дерева разбора''' (англ. ''leaves of the parse tree'') {{---}} множество терминальных символов, упорядоченное в соответствии с номерами их достижения при обходе дерева в глубину из корня. Крона дерева разбора представляет из себя слово языка, которое выводит это дерево.
}}

Построим дерево разбора скобочной последовательности из примера.

[[Файл:BracketsSequenceParsingTree1.png]]

{{Теорема
|id=t1
|statement=Пусть <tex>\Gamma = \langle \Sigma, N, S, P \rangle</tex> — КС-грамматика. Предположим, что существует дерево разбора с корнем, отмеченным <tex>A</tex>, и кроной <tex>\omega</tex>, где <tex>\omega \in N^{*}</tex>. Тогда в грамматике <tex>\Gamma</tex> существует левое порождение <tex>A \Rightarrow^{*}_{lm} \omega</tex>
|proof=
Используем индукцию по высоте дерева.

'''База:''' Базисом является высота <tex>1</tex>, наименьшая из возможных для дерева разбора с терминальной кроной.
:Поскольку это дерево является деревом разбора, <tex>A \rightarrow \omega</tex> должно быть продукцией. Таким образом, <tex>A \Rightarrow_{lm} \omega</tex> есть одношаговое левое порождение <tex>\omega</tex> из <tex>A</tex>.

'''Индукционный переход:''' Существует корень с отметкой <tex>A</tex> и сыновьями, отмеченными слева направо <tex>X_1X_2 \ldots X_k</tex>. Символы <tex>X</tex> могут быть как терминалами, так и переменными.
# Если <tex>X_i</tex> — терминал, то определим <tex>\omega_i</tex> как цепочку, состоящую из одного <tex>X_i</tex>.
# Если <tex>X_i</tex> — переменная, то она должна быть корнем некоторого поддерева с терминальной кроной, которую обозначим <tex>\omega_i</tex>. Заметим, что в этом случае высота поддерева меньше <tex>n</tex>, поэтому к нему применимо предположение индукции. Следовательно, существует левое порождение <tex>X_i \Rightarrow^{*}_{lm} \omega_i</tex>.

Заметим, что <tex>\omega = \omega_1\omega_2 \ldots \omega_k</tex>.
Построим левое порождение цепочки <tex>\omega</tex> следующим образом:
:Начнем с шага <tex>A \Rightarrow_{lm} X_1X_2\ldots X_k</tex>.
:Затем для <tex>i = 1, 2, \ldots, k \ </tex> покажем, что имеет место следующее порождение: <tex>A \Rightarrow^{*}_{lm} \omega_1\omega_2\ldots\omega_iX_{i+1}X_{i+2}\ldots X_k</tex>

Данное доказательство использует в действительности еще одну индукцию, на этот раз по <tex>i</tex>.
Для базиса <tex>i = 0</tex> мы уже знаем, что <tex>A \Rightarrow_{lm} X_1X_2\ldots X_k</tex>.

Для индукции предположим, что существует следующее порождение: <tex>A \Rightarrow^{*}_{lm} \omega_1\omega_2\ldots\omega_{i–1}X_iX_{i+1}\ldots X_k</tex>

# Если <tex>X_i</tex> — терминал, то не делаем ничего, но в дальнейшем рассматриваем <tex>X_i</tex> как терминальную цепочку <tex>\omega_i</tex>. Таким образом, приходим к существованию следующего порождения. <tex>A \Rightarrow^{*}_{lm} \omega_1\omega_2\ldots\omega_iX_{i+1}X_{i+2}\ldots X_k</tex>
# Если <tex>X_i</tex> является переменной, то продолжаем порождением <tex>\omega_i</tex> из <tex>X_i</tex> в контексте уже построенного порождения. Таким образом, если этим порождением является: <tex>X_i \Rightarrow_{lm} \alpha_1 \Rightarrow_{lm} \alpha_2\ldots \Rightarrow_{lm} \omega_i</tex>, то продолжаем следующими порождениями:

::<tex>\omega_1\omega_2\ldots\omega_{i–1}X_iX_{i+1}\ldots X_k \Rightarrow_{lm}</tex>

::<tex>\omega_1\omega_2\ldots\omega_{i–1}\alpha_1X_{i+1}\ldots X_k \Rightarrow_{lm}</tex>

::<tex>\omega_1\omega_2\ldots\omega_{i–1}\alpha_2X_{i+1}\ldots X_k \Rightarrow_{lm}</tex>

::<tex>\ldots</tex>

::<tex>\omega_1\omega_2\ldots\omega_iX_{i+1}X_{i+2}\ldots X_k</tex>

Результатом является порождение <tex>A \Rightarrow^{*}_{lm} \omega_1\omega_2\ldots\omega_iX_{i+1}X_{i+2}\ldots X_k</tex>.
Когда <tex>i = k</tex>, результат представляет собой левое порождение <tex>\omega</tex> из <tex>A</tex>.
}}

{{Теорема
|id=t2
|statement=Для каждой грамматики <tex>\Gamma = \langle \Sigma, N, S, P \rangle</tex> и <tex>\omega</tex> из <tex>N^{*}</tex> цепочка <tex>\omega</tex> имеет два разных дерева разбора тогда и только тогда, когда <tex>\omega</tex> имеет два разных левых порождения из <tex>P</tex>.
|proof=
<tex>\Longrightarrow</tex>

:Внимательно рассмотрим построение левого порождения по дереву разбора в доказательстве [[#t1|теоремы]]. В любом случае, если у двух деревьев разбора впервые появляется узел, в котором применяются различные продукции, левые порождения, которые строятся, также используют разные продукции и, следовательно, являются различными.

<tex> \Longleftarrow </tex>

:Хотя мы предварительно не описали непосредственное построение дерева разбора по левому порождению, идея его проста. Начнем построение дерева с корня, отмеченного стартовым символом. Рассмотрим порождение пошагово. На каждом шаге заменяется переменная, и эта переменная будет соответствовать построенному крайнему слева узлу дерева, не имеющему сыновей, но отмеченному этой переменной. По продукции, использованной на этом шаге левого порождения, определим, какие сыновья должны быть у этого узла. Если существуют два разных порождения, то на первом шаге, где они различаются, построенные узлы получат разные списки сыновей, что гарантирует различие деревьев разбора.
}}

==Однозначные грамматики==

{{Определение
|definition=
Грамматика называется '''однозначной''' (англ. ''unambiguous grammar''), если у каждого слова имеется не более одного дерева разбора в этой грамматике.
}}

{{Лемма
|id=lemma-
|statement=
Пусть <tex>\Gamma</tex> {{---}} однозначная грамматика. Тогда <tex>\forall \omega \in \mathbb{L}(\Gamma)</tex> существует ровно один левосторонний (правосторонний) вывод.
|proof=
Очевидно, что по дереву разбора однозначно восстанавливается левосторонний(правосторонний) вывод. Поскольку каждое слово из языка выводится только одним деревом разбора, то существует только один левосторонний(правосторонний) вывод этого слова.
}}

{{Утверждение
|statement=Грамматика из примера не является однозначной.
|proof=Выше уже было построено дерево разбора для слова <tex>(()(()))()</tex>.
Построим еще одно дерево разбора для данного слова.

Например, оно будет выглядеть так:

[[Файл:BracketsSequenceParsingTree2.png]]
Таким образом, существует слово, у которого есть более одного дерева разбора в данной грамматике <tex>\Rightarrow</tex> эта грамматика не является однозначной.
}}

{{Утверждение
|statement=Существуют языки, которые можно задать одновременно как однозначными, так и неоднозначными грамматиками.
|proof=Для доказательства достаточно привести однозначную грамматику для языка правильных скобочных последовательностей (неоднозначной грамматикой для данного языка является грамматика из примера выше).

Рассмотрим грамматику:
:<tex>(</tex> и <tex>)</tex> {{---}} терминальные символы
:<tex>S</tex> {{---}} стартовый нетерминал

Правила:
#<tex>S\rightarrow (S)S</tex>
#<tex>S\rightarrow \varepsilon</tex>

Покажем, что эта грамматика однозначна.
Для этого, используя индукцию, докажем, что для любого слова <tex>\omega</tex>, являющегося правильной скобочной последовательностью, в данной грамматике существует только одно дерево разбора.

'''База:''' Если <tex>\omega=\varepsilon</tex>, то оно выводится только по второму правилу <tex>\Rightarrow</tex> для него существует единственное дерево разбора.

'''Индукционный переход:''' Пусть <tex>\left\vert \omega \right\vert=n</tex> и <tex>\forall \upsilon</tex>: <tex>\left\vert \upsilon \right\vert < n</tex> и <tex>\upsilon</tex> {{---}} правильная скобочная последовательность, у которой <tex>\exists!</tex> дерево разбора.

:Найдем в слове <tex>\omega</tex> минимальный индекс <tex>i \neq 0</tex> такой, что слово <tex>\omega[0..i]</tex> является правильной скобочной последовательностью. Так как <tex>i \neq 0</tex> минимальный, то <tex>\omega[0..i]=(\alpha)\ </tex>. Из того, что <tex>\omega</tex> является правильной скобочной последовательностью <tex>\Rightarrow</tex> <tex>\alpha</tex> и <tex>\beta=\omega[i+1..n-1]</tex> {{---}} правильные скобочные последовательности, при этом <tex>\left\vert \alpha \right\vert<n</tex> и <tex>\left\vert \beta \right\vert<n \Rightarrow</tex> по индукционному предположению предположению у <tex>\alpha</tex> и <tex>\beta</tex> существуют единственные деревья разбора.

:Если мы покажем, что из части <tex>(S)</tex> первого правила можно вывести только слово <tex>(\alpha)</tex>, то утверждение будет доказано (так как из первой части первого правила выводится <tex>\alpha</tex>, а из второй только <tex>\beta</tex> и для каждого из них по предположению существуют единственные деревья разбора).

:Пусть из <tex>(S)</tex> была выведена часть слова <tex>\omega[0..j]=(\gamma)</tex>, где <tex>j < i</tex>, при этом <tex>\gamma</tex> является правильной скобочной последовательностью, но тогда как минимальный индекс мы должны были выбрать <tex>j</tex>, а не <tex>i</tex> {{---}} противоречие.

:Аналогично из <tex>(S)</tex> не может быть выведена часть слова <tex>\omega[0..j] \ </tex>, где <tex>j > i</tex>, потому что тогда <tex>\omega[0..i]=(\alpha) \ </tex> не будет правильной скобочной последовательностью, так как в позиции <tex>i-1</tex> баланс скобок будет отрицательный.

:Значит, из <tex>(S)</tex> была выведена часть слова <tex>\omega[0..i] \Rightarrow \omega \ </tex> имеет единственное дерево разбора <tex>\Rightarrow</tex> данная грамматика однозначная.

Таким образом, для языка правильных скобочных последовательностей мы привели пример как однозначной, так и неоднозначной грамматики.
}}

Однако, есть КС-языки, для которых не существует однозначных КС-грамматик. Такие языки и грамматики их порождающие называют '''существенно неоднозначными'''.
{{main|Существенно неоднозначные языки}}

==См. также==
* [[Формальные грамматики]]
* [[Иерархия Хомского формальных грамматик]]
* [[Замкнутость КС-языков относительно различных операций]]
* [[Существенно неоднозначные языки]]

== Источники информации ==
* [[wikipedia:Context-free grammar | Wikipedia {{---}} Context-free grammar]]
* [[wikipedia:ru:Контекстно-свободная грамматика | Википедия {{---}} Контекстно-свободная грамматика]]
* ''Хопкрофт Д., Мотвани Р., Ульман Д.'' {{---}} '''Введение в теорию автоматов, языков и вычислений''', 2-е изд. : Пер. с англ. — Москва, Издательский дом «Вильямс», 2002. — 528 с. : ISBN 5-8459-0261-4 (рус.)

[[Категория: Теория формальных языков]]
[[Категория: Контекстно-свободные грамматики]]
[[Категория: Базовые понятия о грамматиках]]

Алгоритм Эрли

2019-05-14T20:27:00Z

Gaporf: /* Псевдокод */ Исправил псевдокод

__TOC__
'''Алгоритм Эрли''' позволяет определить, выводится ли данное слово <tex>w</tex> в данной [[Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора|контекстно-свободной]] грамматике <tex>G</tex>.

'''Вход:''' КС грамматика <tex> G=\langle N,\Sigma, P, S \rangle</tex> и слово <tex>w</tex>. 
'''Выход:''' <tex>true</tex>, если <tex>w</tex> выводится в <tex>G</tex>; <tex>false</tex> — иначе.

{{Определение
|definition =
Пусть <tex>G = \langle N, \Sigma, P, S \rangle</tex> {{---}} [[Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора|контекстно-свободная]] грамматика и <tex>w = w_0 w_1 ... w_{n-1}</tex> {{---}} входная цепочка из <tex>\Sigma^*</tex>.
Объект вида <tex>[A \rightarrow \alpha \cdot \beta, i]</tex>, где <tex>A \rightarrow \alpha \beta </tex> — правило из <tex>P</tex> и <tex>0 \leqslant i \leqslant n</tex> — позиция в <tex>w</tex>, называется '''ситуацией''', относящейся к цепочке <tex>w</tex>, где '''<tex> \cdot </tex>''' {{---}} вспомогательный символ, который не явлется терминалом или нетерминалом ( <tex> \cdot \notin \Sigma \cup N</tex>).
}}

{{Определение
|definition =
Ситуации хранятся в множествах <tex>D_0,...,D_{n-1}</tex>, называемых '''списками ситуаций'''. Причем наличие ситуации <tex>[A \rightarrow \alpha \cdot \beta , i]</tex> в <tex>j</tex>-м списке ситуаций <tex>D_j</tex> равносильно тому, что
<tex>\exists \delta \in \Sigma \cup N : ((S' \Rightarrow^* w_0...w_{i-1} A \delta) \wedge A \Rightarrow^* w_i...w_{j-1})</tex>.
}}

{{Определение
|definition =
Последовательность списков ситуаций <tex>D_0, D_1, .., D_{n-1} \ </tex> называется списком разбора для входной цепочки <tex>w</tex>.
}}

== Алгоритм Эрли ==
Чтобы воспользоваться леммой, необходимо найти <tex>D_n</tex> для <tex>w</tex>. Алгоритм Эрли является [[Динамическое программирование|динамическим алгоритмом]]: он последовательно строит список разбора, причём при построении <tex>D_j</tex> используются <tex>D_0, \ldots, D_{j}</tex> (то есть элементы списков с меньшими номерами и ситуации, содержащиеся в текущем списке на данный момент).

Алгоритм основывается на следующих трёх правилах:
# Если <tex>[A \rightarrow \alpha \cdot w_{j} \beta, i] \in D_{j-1}</tex> (где <tex>w_j</tex> — <tex>j</tex>-ый символ строки), то <tex>[A \rightarrow \alpha w_{j} \cdot \beta, i] \in D_j</tex>.
# Если <tex>[B \rightarrow \eta \ \cdot, i] \in D_j</tex> и <tex>[A \rightarrow \alpha \cdot B \beta, k] \in D_i</tex>, то <tex>[A \rightarrow \alpha B \cdot \beta, k] \in D_j</tex>.
# Если <tex>[A \rightarrow \alpha \ \cdot B \beta, i] \in D_{j} </tex> и <tex>(B \rightarrow \eta) \in P </tex>, то <tex>[B \rightarrow \cdot \ \eta, j] \in D_{j}</tex>.

=== Псевдокод ===
Для простоты добавим новый стартовый вспомогательный нетерминал <tex>S'</tex> и правило <tex>(S' \rightarrow S)</tex>.

'''function''' <tex>\mathtt{earley}(G, w)</tex>:
// Инициализация 
<tex> D_{0} = \lbrace [S' \rightarrow \cdot \ S, 0] \rbrace </tex>
'''for''' <tex>i = 1</tex> '''to''' <tex>len(w)</tex>
<tex>D_i</tex> = <tex>\varnothing </tex>
// Вычисление ситуаций 
'''for''' <tex>j = 0</tex> '''to''' <tex>len(w)</tex>
<tex>\mathtt{scan}(D, j, G, w)</tex>
'''while''' <tex>D_j</tex> изменяется
<tex>\mathtt{complete}(D, j, G, w)</tex>
<tex>\mathtt{predict}(D, j, G, w)</tex>
// Результат 
'''if''' <tex>[S' \rightarrow S \ \cdot, 0] \in D_{len(w)} </tex>
'''return''' ''true''
'''else'''
'''return''' ''false''

'''function''' <tex>\mathtt{scan}(D, j, G, w)</tex>:
'''if''' <tex>j</tex> == <tex>0</tex>
'''return'''
'''for''' <tex>[A \rightarrow \alpha \cdot a \beta, i] \in D_{j - 1} </tex>
'''if''' <tex>a</tex> == <tex>w_{j - 1}</tex>
<tex>D_{j}</tex> <tex> \cup</tex>= <tex>[A \rightarrow \alpha a \cdot \beta, i]</tex>

'''function''' <tex>\mathtt{complete}(D, j, G, w)</tex>:
'''for''' <tex>[B \rightarrow \eta \ \cdot, i] \in D_{j} </tex>
'''for''' <tex>[A \rightarrow \alpha \cdot B \beta, j] \in D_{i} </tex>
<tex>D_{j}</tex> <tex> \cup</tex>= <tex>[A \rightarrow \alpha B \cdot \beta, j]</tex>

'''function''' <tex>\mathtt{predict}(D, j, G, w)</tex>:
'''for''' <tex>[A \rightarrow \alpha \cdot B \beta, i] \in D_{j} </tex>
'''for''' <tex>(B \rightarrow \eta) \in P </tex>
<tex>D_{j}</tex> <tex>\cup</tex>= <tex>[B \rightarrow \cdot \ \eta, j]</tex>

==Корректность алгоритма==
{{Теорема
|statement = Приведенный алгоритм правильно строит все списки ситуаций.
То есть алгоритм поддерживает инвариант <tex> [A \rightarrow \alpha \cdot \beta, i] \in D_{j} \Longleftrightarrow \exists \delta \in \Sigma \cup N : ((S' \Rightarrow^* w_0...w_{i-1} A \delta) \wedge A \Rightarrow^* w_i...w_{j-1})</tex>
|proof =

<tex>\Longrightarrow</tex> 
Докажем индукцией по исполнению алгоритма. 
 ''База индукции:'' 
<tex>[S' \rightarrow \cdot S, 0] \in D_0 \ </tex>. 
 ''Индукционный переход:'' 
Пусть предположение верно для всех списков ситуаций с номерами меньше <tex> j </tex>. Разберемся, в результате применения какого правила ситуация <tex> [A \rightarrow \alpha \cdot \beta, i] </tex> попала в <tex>D_{j}</tex> 

1. Включаем по правилу <tex> \mathtt{scan} \ </tex>. 
Это произошло, если <tex> \alpha = \alpha ' a</tex>, <tex>a = w_{j-1}</tex> и <tex> [A \rightarrow \alpha ' \cdot a \beta, i] \in D_{j-1}</tex>. 
По предположению индукции <tex>S' \Rightarrow^* w_0...w_{i-1} A \delta</tex> и <tex>\alpha' \Rightarrow^* w_i...w_{j-2}</tex>, 
тогда в силу <tex>a = w_{j-1}</tex> получаем <tex>\alpha = \alpha ' a \Rightarrow^* w_i...w_{j-2}w_{j-1} = w_i...w_{j-1} \ </tex>. 
Таким образом условия: <tex>S' \Rightarrow^* w_0...w_{i-1} A \delta</tex> и <tex>\alpha \Rightarrow^* w_i...w_{j-1}</tex> выполняются.

2. Включаем по правилу <tex> \mathtt{predict} \ </tex>. 
По построению: <tex> \alpha = \varepsilon </tex> и <tex>i=j</tex>, что автоматически влечет второй пункт утверждения. 
Кроме того <tex>\exists i' \le i</tex> и ситуация <tex>[A' \rightarrow \alpha ' \cdot A \delta ', i'] \in D_i</tex>, из чего по предположению индукции следует <tex>S' \Rightarrow^* w_0...w_{i'-1} A' \delta ''</tex>
и <tex> \alpha ' \Rightarrow^* w_{i'}...w_{i-1}</tex>. 
Получаем, что <tex>S' \Rightarrow^* w_0...w_{i'-1} A' \delta ''</tex>, значит <tex>S \Rightarrow^* w_0...w_{i'-1} \alpha' A \delta' \delta '' </tex>, следовательно <tex> S' \Rightarrow^* w_0...w_{i'-1} w_{i'}...w_{i-1} A \delta' \delta ''
</tex>, в итоге <tex> S' \Rightarrow^* w_0...w_{i-1} A \delta</tex>, что нам и требовалось.

3. Включаем по правилу <tex> \mathtt{complete} \ </tex>. 
По построению: <tex> \alpha = \alpha ' A' </tex> и <tex>\exists i', \delta : [A \rightarrow \alpha ' \cdot A' \beta, i] \in D_{i'} \wedge [A' \rightarrow \eta \cdot, i'] \in D_j</tex>. 
Cледовательно <tex>\alpha = \alpha ' A' \Rightarrow^* w_i...w_{i'-1} w_{i'}...w_{j} = w_i...w_{j-1}</tex>, что дает нам второй пункт утверждения, а так как первый пункт следует из индукционного предположения, все хорошо.

<tex>\Longleftarrow</tex> 
В обратную сторону будем доказывать индукцией по суммарной длине вывода <tex>w_0...w_{i-1} A \delta \ </tex> из <tex>S'</tex> и <tex>w_i...w_{j-1}</tex> из <tex>\alpha</tex>. После чего применим
индукцию по длине вывода <tex>w_i...w_{j-1}</tex> из <tex>\alpha</tex>. 
Рассмотрим три случая последнего символа <tex>\alpha</tex>:

1. <tex>\alpha = \alpha ' a</tex>, тогда <tex>a = w_{j-1}</tex> и <tex>\alpha ' \Rightarrow^* w_i...w_{j-2}</tex>. 
По предположению индукции: <tex>[A \rightarrow \alpha ' \cdot a \beta, i] \in D_{j-1}</tex>, а отсюда по правилу <tex> \mathtt{scan}</tex> получаем <tex>[A \rightarrow \alpha ' a \cdot \beta, i] \in D_{j}</tex>.

2. <tex>\alpha = \alpha ' B</tex>, тогда <tex>\exists i' : \alpha ' \Rightarrow^* w_i...w_{i'-1} \wedge B ' \Rightarrow^* w_{i'}...w_{j-1}</tex>. 
Тогда имеем <tex>[A \rightarrow \alpha ' a \cdot \beta, i] \in D_{j}</tex>. Также можно записать <tex>S' \Rightarrow^* w_0...w_{i-1} A \delta</tex>, как <tex>S' \Rightarrow^* w_0...w_{i-1} w_i...w_{i'-1}B \beta \delta</tex>,
а также <tex>B \rightarrow \eta \wedge \eta \rightarrow w_{i'}...w_{j-1}</tex>. 
Применяя индукцию по второму параметру получим <tex>[B \rightarrow \eta \cdot, i'] \in D_j \ </tex>, откуда по правилу <tex> \mathtt{complete}</tex> получаем <tex>[A \rightarrow \alpha ' B \cdot \beta, i] \in D_{j}</tex>.

3. <tex>\alpha = \varepsilon </tex>, тогда <tex>i=j</tex>. 
Тогда либо <tex>i = 0 \wedge A = S \wedge \delta = \varepsilon</tex>, что доказывает базу индукции, 
либо вывод можно записать в виде <tex>S' \Rightarrow^* w_0...w{i'-1}w_{i'}...w{i-1} A \delta ' \delta '' = w_0...w_{i-1} A \delta \ </tex> для некоторого правила <tex>(A' \rightarrow w_{i'}...w_{i-1} A \delta ') \in P</tex>. 
Отсюда по предположению индукции <tex>[A' \rightarrow \cdot w_{i'}...w_{i-1} A \delta ', i'] \in D_{i'} \ </tex>,
что после нескольких применений правила <tex> \mathtt{scan}</tex> приводит к <tex>[A' \rightarrow w_{i'}...w_{i-1} \cdot A \delta ', i'] \in D_{i} \ </tex>,
после чего по правилу <tex> \mathtt{predict} \ </tex> получим <tex>[A \rightarrow \cdot \beta, i] \in D_{j} \ </tex>, что и требовалось.

}}

==Пример==
Построим список разбора для строки <tex>w = (a + a)</tex> в грамматике со следующими правилами:
* <tex>S \rightarrow T + S</tex>
* <tex>S \rightarrow T </tex>
* <tex>T \rightarrow F * T</tex>
* <tex>T \rightarrow F</tex>
* <tex>F \rightarrow ( S )</tex>
* <tex>F \rightarrow a</tex>

{|
|-
|

{| class="wikitable"
|-
!<tex>D_0</tex>
|-
|
{|
|-
!Ситуация !! Из правила
|-
|<tex>[S' \rightarrow \cdot S, 0]</tex> || 0
|-
|<tex>[S \rightarrow \cdot T + S, 0]</tex> || 3
|-
|<tex>[S \rightarrow \cdot T, 0]</tex> || 3
|-
|<tex>[T \rightarrow \cdot F * T, 0]</tex> || 3
|-
|<tex>[T \rightarrow \cdot F, 0]</tex> || 3
|-
|<tex>[F \rightarrow \cdot ( S ), 0]</tex> || 3
|-
|<tex>[F \rightarrow \cdot a, 0]</tex> || 3
|}
|}

||

{| class="wikitable"
|-
!<tex>D_1</tex>
|-
|
{|
|-
!Ситуация !! Из правила
|-
|<tex>[F \rightarrow ( \cdot S ), 0]</tex> || 1
|-
|<tex>[S \rightarrow \cdot T + S, 1]</tex> || 3
|-
|<tex>[S \rightarrow \cdot T, 1]</tex> || 3
|-
|<tex>[T \rightarrow \cdot F * T, 1]</tex> || 3
|-
|<tex>[T \rightarrow \cdot F, 1]</tex> || 3
|-
|<tex>[F \rightarrow \cdot ( S ), 1]</tex> || 3
|-
|<tex>[F \rightarrow \cdot a, 1]</tex> || 3
|}
|}

||

{| class="wikitable"
|-
!<tex>D_2</tex>
|-
|
{|
|-
!Ситуация !! Из правила
|-
|<tex>[F \rightarrow a \cdot, 1]</tex> || 1
|-
|<tex>[T \rightarrow F \cdot * T, 1]</tex> || 2
|-
|<tex>[T \rightarrow F \cdot , 1]</tex> || 2
|-
|<tex>[S \rightarrow T \cdot , 1]</tex> || 2
|-
|<tex>[S \rightarrow T \cdot + S, 1]</tex> || 2
|-
|<tex>[F \rightarrow ( S \cdot ), 0]</tex> || 2
|}
|}

|-
|

{| class="wikitable"
|-
!<tex>D_3</tex>
|-
|
{|
|-
!Ситуация !! Из правила
|-
|<tex>[S \rightarrow T + \cdot S, 1]</tex> || 1
|-
|<tex>[S \rightarrow \cdot T + S, 3]</tex> || 3
|-
|<tex>[S \rightarrow \cdot T, 3]</tex> || 3
|-
|<tex>[T \rightarrow \cdot F * T, 3]</tex> || 3
|-
|<tex>[T \rightarrow \cdot F, 3]</tex> || 3
|-
|<tex>[F \rightarrow \cdot ( S ), 3]</tex> || 3
|-
|<tex>[F \rightarrow \cdot a, 3]</tex> || 3
|}
|}

||

{| class="wikitable"
|-
!<tex>D_4</tex>
|-
|
{|
|-
!Ситуация !! Из правила
|-
|<tex>[F \rightarrow a \cdot , 3]</tex> || 1
|-
|<tex>[T \rightarrow F \cdot * T, 3]</tex> || 2
|-
|<tex>[T \rightarrow F \cdot , 3]</tex> || 2
|-
|<tex>[S \rightarrow T \cdot + S, 3]</tex> || 2
|-
|<tex>[S \rightarrow T \cdot , 3]</tex> || 2
|-
|<tex>[S \rightarrow T + S \cdot , 1]</tex> || 2
|-
|<tex>[F \rightarrow ( S \cdot ), 0]</tex> || 2
|}
|}

||

{| class="wikitable"
|-
!<tex>D_5</tex>
|-
|
{|
|-
!Ситуация !! Из правила
|-
|<tex>[F \rightarrow ( S )\cdot , 0]</tex> || 1
|-
|<tex>[T \rightarrow F \cdot * T, 0]</tex> || 2
|-
|<tex>[T \rightarrow F \cdot , 0]</tex> || 2
|-
|<tex>[S \rightarrow T \cdot + S, 0]</tex> || 2
|-
|<tex>[S \rightarrow T \cdot , 0]</tex> || 2
|-
|<tex>[S' \rightarrow S \cdot , 0]</tex> || 2
|}
|}

|}

Так как <tex>[S' \rightarrow S \cdot , 0] \in D_5</tex>, то <tex>w \in L(G) </tex>. 

==См. также==
* [[Алгоритм Кока-Янгера-Касами разбора грамматики в НФХ]]
* [[Алгоритм Кока-Янгера-Касами, модификация для произвольной грамматики]]

==Источники информации==
*[http://lpcs.math.msu.su/~sk/lehre/fivt2013/Earley.pdf Алексей Сорокин {{---}} Алгоритм Эрли]
* Ахо А., Ульман Д.{{---}} Теория синтакcического анализа, перевода и компиляции. Том 1. Синтаксический анализ. Пер. с англ. {{---}} М.:«Мир», 1978. С. 358 — 364.

[[Категория: Теория формальных языков]]
[[Категория: Контекстно-свободные грамматики]]
[[Категория: Алгоритмы разбора]]

Алгоритм Эрли

2019-05-14T20:20:15Z

Gaporf: /* Корректность алгоритма */

__TOC__
'''Алгоритм Эрли''' позволяет определить, выводится ли данное слово <tex>w</tex> в данной [[Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора|контекстно-свободной]] грамматике <tex>G</tex>.

'''Вход:''' КС грамматика <tex> G=\langle N,\Sigma, P, S \rangle</tex> и слово <tex>w</tex>. 
'''Выход:''' <tex>true</tex>, если <tex>w</tex> выводится в <tex>G</tex>; <tex>false</tex> — иначе.

{{Определение
|definition =
Пусть <tex>G = \langle N, \Sigma, P, S \rangle</tex> {{---}} [[Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора|контекстно-свободная]] грамматика и <tex>w = w_0 w_1 ... w_{n-1}</tex> {{---}} входная цепочка из <tex>\Sigma^*</tex>.
Объект вида <tex>[A \rightarrow \alpha \cdot \beta, i]</tex>, где <tex>A \rightarrow \alpha \beta </tex> — правило из <tex>P</tex> и <tex>0 \leqslant i \leqslant n</tex> — позиция в <tex>w</tex>, называется '''ситуацией''', относящейся к цепочке <tex>w</tex>, где '''<tex> \cdot </tex>''' {{---}} вспомогательный символ, который не явлется терминалом или нетерминалом ( <tex> \cdot \notin \Sigma \cup N</tex>).
}}

{{Определение
|definition =
Ситуации хранятся в множествах <tex>D_0,...,D_{n-1}</tex>, называемых '''списками ситуаций'''. Причем наличие ситуации <tex>[A \rightarrow \alpha \cdot \beta , i]</tex> в <tex>j</tex>-м списке ситуаций <tex>D_j</tex> равносильно тому, что
<tex>\exists \delta \in \Sigma \cup N : ((S' \Rightarrow^* w_0...w_{i-1} A \delta) \wedge A \Rightarrow^* w_i...w_{j-1})</tex>.
}}

{{Определение
|definition =
Последовательность списков ситуаций <tex>D_0, D_1, .., D_{n-1} \ </tex> называется списком разбора для входной цепочки <tex>w</tex>.
}}

== Алгоритм Эрли ==
Чтобы воспользоваться леммой, необходимо найти <tex>D_n</tex> для <tex>w</tex>. Алгоритм Эрли является [[Динамическое программирование|динамическим алгоритмом]]: он последовательно строит список разбора, причём при построении <tex>D_j</tex> используются <tex>D_0, \ldots, D_{j}</tex> (то есть элементы списков с меньшими номерами и ситуации, содержащиеся в текущем списке на данный момент).

Алгоритм основывается на следующих трёх правилах:
# Если <tex>[A \rightarrow \alpha \cdot w_{j} \beta, i] \in D_{j-1}</tex> (где <tex>w_j</tex> — <tex>j</tex>-ый символ строки), то <tex>[A \rightarrow \alpha w_{j} \cdot \beta, i] \in D_j</tex>.
# Если <tex>[B \rightarrow \eta \ \cdot, i] \in D_j</tex> и <tex>[A \rightarrow \alpha \cdot B \beta, k] \in D_i</tex>, то <tex>[A \rightarrow \alpha B \cdot \beta, k] \in D_j</tex>.
# Если <tex>[A \rightarrow \alpha \ \cdot B \beta, i] \in D_{j} </tex> и <tex>(B \rightarrow \eta) \in P </tex>, то <tex>[B \rightarrow \cdot \ \eta, j] \in D_{j}</tex>.

=== Псевдокод ===
Для простоты добавим новый стартовый вспомогательный нетерминал <tex>S'</tex> и правило <tex>(S' \rightarrow S)</tex>.

'''function''' <tex>\mathtt{earley}(G, w)</tex>:
// Инициализация 
<tex> D_{0} = \lbrace [S' \rightarrow \cdot \ S, 0] \rbrace </tex>
'''for''' <tex>i = 1</tex> '''to''' <tex>len(w) - 1</tex>
<tex>D_i</tex> = <tex>\varnothing </tex>
// Вычисление ситуаций 
'''for''' <tex>j = 0</tex> '''to''' <tex>len(w) - 1</tex>
<tex>\mathtt{scan}(D, j, G, w)</tex>
'''while''' <tex>D_j</tex> изменяется
<tex>\mathtt{complete}(D, j, G, w)</tex>
<tex>\mathtt{predict}(D, j, G, w)</tex>
// Результат 
'''if''' <tex>[S' \rightarrow S \ \cdot, 0] \in D_{len(w)} </tex>
'''return''' ''true''
'''else'''
'''return''' ''false''

// Первое правило 
'''function''' <tex>\mathtt{scan}(D, j, G, w)</tex>:
'''if''' <tex>j</tex> == <tex>0</tex>
'''return'''
'''for''' <tex>[A \rightarrow \alpha \cdot a \beta, i] \in D_{j - 1} </tex>
'''if''' <tex>a</tex> == <tex>w_{j - 1}</tex>
<tex>D_{j}</tex> <tex> \cup</tex>= <tex>[A \rightarrow \alpha \cdot a \beta, i]</tex>

// Второе правило 
'''function''' <tex>\mathtt{complete}(D, j, G, w)</tex>:
'''for''' <tex>[B \rightarrow \eta \ \cdot, i] \in D_{j} </tex>
'''for''' <tex>[A \rightarrow \alpha \cdot B \beta, k] \in D_{i} </tex>
<tex>D_{j}</tex> <tex> \cup</tex>= <tex>[A \rightarrow \alpha B \cdot \beta, k]</tex>

// Третье правило 
'''function''' <tex>\mathtt{predict}(D, j, G, w)</tex>:
'''for''' <tex>[A \rightarrow \alpha \cdot B \beta, i] \in D_{j} </tex>
'''for''' <tex>(B \rightarrow \eta) \in P </tex>
<tex>D_{j}</tex> <tex>\cup</tex>= <tex>[B \rightarrow \cdot \ \eta, j]</tex>

==Корректность алгоритма==
{{Теорема
|statement = Приведенный алгоритм правильно строит все списки ситуаций.
То есть алгоритм поддерживает инвариант <tex> [A \rightarrow \alpha \cdot \beta, i] \in D_{j} \Longleftrightarrow \exists \delta \in \Sigma \cup N : ((S' \Rightarrow^* w_0...w_{i-1} A \delta) \wedge A \Rightarrow^* w_i...w_{j-1})</tex>
|proof =

<tex>\Longrightarrow</tex> 
Докажем индукцией по исполнению алгоритма. 
 ''База индукции:'' 
<tex>[S' \rightarrow \cdot S, 0] \in D_0 \ </tex>. 
 ''Индукционный переход:'' 
Пусть предположение верно для всех списков ситуаций с номерами меньше <tex> j </tex>. Разберемся, в результате применения какого правила ситуация <tex> [A \rightarrow \alpha \cdot \beta, i] </tex> попала в <tex>D_{j}</tex> 

1. Включаем по правилу <tex> \mathtt{scan} \ </tex>. 
Это произошло, если <tex> \alpha = \alpha ' a</tex>, <tex>a = w_{j-1}</tex> и <tex> [A \rightarrow \alpha ' \cdot a \beta, i] \in D_{j-1}</tex>. 
По предположению индукции <tex>S' \Rightarrow^* w_0...w_{i-1} A \delta</tex> и <tex>\alpha' \Rightarrow^* w_i...w_{j-2}</tex>, 
тогда в силу <tex>a = w_{j-1}</tex> получаем <tex>\alpha = \alpha ' a \Rightarrow^* w_i...w_{j-2}w_{j-1} = w_i...w_{j-1} \ </tex>. 
Таким образом условия: <tex>S' \Rightarrow^* w_0...w_{i-1} A \delta</tex> и <tex>\alpha \Rightarrow^* w_i...w_{j-1}</tex> выполняются.

2. Включаем по правилу <tex> \mathtt{predict} \ </tex>. 
По построению: <tex> \alpha = \varepsilon </tex> и <tex>i=j</tex>, что автоматически влечет второй пункт утверждения. 
Кроме того <tex>\exists i' \le i</tex> и ситуация <tex>[A' \rightarrow \alpha ' \cdot A \delta ', i'] \in D_i</tex>, из чего по предположению индукции следует <tex>S' \Rightarrow^* w_0...w_{i'-1} A' \delta ''</tex>
и <tex> \alpha ' \Rightarrow^* w_{i'}...w_{i-1}</tex>. 
Получаем, что <tex>S' \Rightarrow^* w_0...w_{i'-1} A' \delta ''</tex>, значит <tex>S \Rightarrow^* w_0...w_{i'-1} \alpha' A \delta' \delta '' </tex>, следовательно <tex> S' \Rightarrow^* w_0...w_{i'-1} w_{i'}...w_{i-1} A \delta' \delta ''
</tex>, в итоге <tex> S' \Rightarrow^* w_0...w_{i-1} A \delta</tex>, что нам и требовалось.

3. Включаем по правилу <tex> \mathtt{complete} \ </tex>. 
По построению: <tex> \alpha = \alpha ' A' </tex> и <tex>\exists i', \delta : [A \rightarrow \alpha ' \cdot A' \beta, i] \in D_{i'} \wedge [A' \rightarrow \eta \cdot, i'] \in D_j</tex>. 
Cледовательно <tex>\alpha = \alpha ' A' \Rightarrow^* w_i...w_{i'-1} w_{i'}...w_{j} = w_i...w_{j-1}</tex>, что дает нам второй пункт утверждения, а так как первый пункт следует из индукционного предположения, все хорошо.

<tex>\Longleftarrow</tex> 
В обратную сторону будем доказывать индукцией по суммарной длине вывода <tex>w_0...w_{i-1} A \delta \ </tex> из <tex>S'</tex> и <tex>w_i...w_{j-1}</tex> из <tex>\alpha</tex>. После чего применим
индукцию по длине вывода <tex>w_i...w_{j-1}</tex> из <tex>\alpha</tex>. 
Рассмотрим три случая последнего символа <tex>\alpha</tex>:

1. <tex>\alpha = \alpha ' a</tex>, тогда <tex>a = w_{j-1}</tex> и <tex>\alpha ' \Rightarrow^* w_i...w_{j-2}</tex>. 
По предположению индукции: <tex>[A \rightarrow \alpha ' \cdot a \beta, i] \in D_{j-1}</tex>, а отсюда по правилу <tex> \mathtt{scan}</tex> получаем <tex>[A \rightarrow \alpha ' a \cdot \beta, i] \in D_{j}</tex>.

2. <tex>\alpha = \alpha ' B</tex>, тогда <tex>\exists i' : \alpha ' \Rightarrow^* w_i...w_{i'-1} \wedge B ' \Rightarrow^* w_{i'}...w_{j-1}</tex>. 
Тогда имеем <tex>[A \rightarrow \alpha ' a \cdot \beta, i] \in D_{j}</tex>. Также можно записать <tex>S' \Rightarrow^* w_0...w_{i-1} A \delta</tex>, как <tex>S' \Rightarrow^* w_0...w_{i-1} w_i...w_{i'-1}B \beta \delta</tex>,
а также <tex>B \rightarrow \eta \wedge \eta \rightarrow w_{i'}...w_{j-1}</tex>. 
Применяя индукцию по второму параметру получим <tex>[B \rightarrow \eta \cdot, i'] \in D_j \ </tex>, откуда по правилу <tex> \mathtt{complete}</tex> получаем <tex>[A \rightarrow \alpha ' B \cdot \beta, i] \in D_{j}</tex>.

3. <tex>\alpha = \varepsilon </tex>, тогда <tex>i=j</tex>. 
Тогда либо <tex>i = 0 \wedge A = S \wedge \delta = \varepsilon</tex>, что доказывает базу индукции, 
либо вывод можно записать в виде <tex>S' \Rightarrow^* w_0...w{i'-1}w_{i'}...w{i-1} A \delta ' \delta '' = w_0...w_{i-1} A \delta \ </tex> для некоторого правила <tex>(A' \rightarrow w_{i'}...w_{i-1} A \delta ') \in P</tex>. 
Отсюда по предположению индукции <tex>[A' \rightarrow \cdot w_{i'}...w_{i-1} A \delta ', i'] \in D_{i'} \ </tex>,
что после нескольких применений правила <tex> \mathtt{scan}</tex> приводит к <tex>[A' \rightarrow w_{i'}...w_{i-1} \cdot A \delta ', i'] \in D_{i} \ </tex>,
после чего по правилу <tex> \mathtt{predict} \ </tex> получим <tex>[A \rightarrow \cdot \beta, i] \in D_{j} \ </tex>, что и требовалось.

}}

==Пример==
Построим список разбора для строки <tex>w = (a + a)</tex> в грамматике со следующими правилами:
* <tex>S \rightarrow T + S</tex>
* <tex>S \rightarrow T </tex>
* <tex>T \rightarrow F * T</tex>
* <tex>T \rightarrow F</tex>
* <tex>F \rightarrow ( S )</tex>
* <tex>F \rightarrow a</tex>

{|
|-
|

{| class="wikitable"
|-
!<tex>D_0</tex>
|-
|
{|
|-
!Ситуация !! Из правила
|-
|<tex>[S' \rightarrow \cdot S, 0]</tex> || 0
|-
|<tex>[S \rightarrow \cdot T + S, 0]</tex> || 3
|-
|<tex>[S \rightarrow \cdot T, 0]</tex> || 3
|-
|<tex>[T \rightarrow \cdot F * T, 0]</tex> || 3
|-
|<tex>[T \rightarrow \cdot F, 0]</tex> || 3
|-
|<tex>[F \rightarrow \cdot ( S ), 0]</tex> || 3
|-
|<tex>[F \rightarrow \cdot a, 0]</tex> || 3
|}
|}

||

{| class="wikitable"
|-
!<tex>D_1</tex>
|-
|
{|
|-
!Ситуация !! Из правила
|-
|<tex>[F \rightarrow ( \cdot S ), 0]</tex> || 1
|-
|<tex>[S \rightarrow \cdot T + S, 1]</tex> || 3
|-
|<tex>[S \rightarrow \cdot T, 1]</tex> || 3
|-
|<tex>[T \rightarrow \cdot F * T, 1]</tex> || 3
|-
|<tex>[T \rightarrow \cdot F, 1]</tex> || 3
|-
|<tex>[F \rightarrow \cdot ( S ), 1]</tex> || 3
|-
|<tex>[F \rightarrow \cdot a, 1]</tex> || 3
|}
|}

||

{| class="wikitable"
|-
!<tex>D_2</tex>
|-
|
{|
|-
!Ситуация !! Из правила
|-
|<tex>[F \rightarrow a \cdot, 1]</tex> || 1
|-
|<tex>[T \rightarrow F \cdot * T, 1]</tex> || 2
|-
|<tex>[T \rightarrow F \cdot , 1]</tex> || 2
|-
|<tex>[S \rightarrow T \cdot , 1]</tex> || 2
|-
|<tex>[S \rightarrow T \cdot + S, 1]</tex> || 2
|-
|<tex>[F \rightarrow ( S \cdot ), 0]</tex> || 2
|}
|}

|-
|

{| class="wikitable"
|-
!<tex>D_3</tex>
|-
|
{|
|-
!Ситуация !! Из правила
|-
|<tex>[S \rightarrow T + \cdot S, 1]</tex> || 1
|-
|<tex>[S \rightarrow \cdot T + S, 3]</tex> || 3
|-
|<tex>[S \rightarrow \cdot T, 3]</tex> || 3
|-
|<tex>[T \rightarrow \cdot F * T, 3]</tex> || 3
|-
|<tex>[T \rightarrow \cdot F, 3]</tex> || 3
|-
|<tex>[F \rightarrow \cdot ( S ), 3]</tex> || 3
|-
|<tex>[F \rightarrow \cdot a, 3]</tex> || 3
|}
|}

||

{| class="wikitable"
|-
!<tex>D_4</tex>
|-
|
{|
|-
!Ситуация !! Из правила
|-
|<tex>[F \rightarrow a \cdot , 3]</tex> || 1
|-
|<tex>[T \rightarrow F \cdot * T, 3]</tex> || 2
|-
|<tex>[T \rightarrow F \cdot , 3]</tex> || 2
|-
|<tex>[S \rightarrow T \cdot + S, 3]</tex> || 2
|-
|<tex>[S \rightarrow T \cdot , 3]</tex> || 2
|-
|<tex>[S \rightarrow T + S \cdot , 1]</tex> || 2
|-
|<tex>[F \rightarrow ( S \cdot ), 0]</tex> || 2
|}
|}

||

{| class="wikitable"
|-
!<tex>D_5</tex>
|-
|
{|
|-
!Ситуация !! Из правила
|-
|<tex>[F \rightarrow ( S )\cdot , 0]</tex> || 1
|-
|<tex>[T \rightarrow F \cdot * T, 0]</tex> || 2
|-
|<tex>[T \rightarrow F \cdot , 0]</tex> || 2
|-
|<tex>[S \rightarrow T \cdot + S, 0]</tex> || 2
|-
|<tex>[S \rightarrow T \cdot , 0]</tex> || 2
|-
|<tex>[S' \rightarrow S \cdot , 0]</tex> || 2
|}
|}

|}

Так как <tex>[S' \rightarrow S \cdot , 0] \in D_5</tex>, то <tex>w \in L(G) </tex>. 

==См. также==
* [[Алгоритм Кока-Янгера-Касами разбора грамматики в НФХ]]
* [[Алгоритм Кока-Янгера-Касами, модификация для произвольной грамматики]]

==Источники информации==
*[http://lpcs.math.msu.su/~sk/lehre/fivt2013/Earley.pdf Алексей Сорокин {{---}} Алгоритм Эрли]
* Ахо А., Ульман Д.{{---}} Теория синтакcического анализа, перевода и компиляции. Том 1. Синтаксический анализ. Пер. с англ. {{---}} М.:«Мир», 1978. С. 358 — 364.

[[Категория: Теория формальных языков]]
[[Категория: Контекстно-свободные грамматики]]
[[Категория: Алгоритмы разбора]]

Алгоритм Кока-Янгера-Касами, модификация для произвольной грамматики

2019-05-14T20:07:43Z

Gaporf: /* Алгоритм для произвольной грамматики */

{{Задача
|definition =
Пусть дана [[Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора|контекстно-свободная грамматика]] <tex>\Gamma</tex> и слово <tex>w \in \Sigma^{*}</tex>. Требуется выяснить, выводится ли это слово в данной грамматике.
}}

[[Алгоритм_Кока-Янгера-Касами_разбора_грамматики_в_НФХ|Базовая версия]] данного алгоритма работает только для грамматик в [[нормальная форма Хомского|нормальной форме Хомского]]. Модифицируем алгоритм для работы на произвольных контекстно-свободных грамматиках. Модификация алгоритма сильно проще в написании, чем приведение к [[нормальная форма Хомского|нормальной форме Хомского]], поэтому часто используют её, не смотря на то, что время работы у нее больше.

== Алгоритм для произвольной грамматики ==

Будем решать задачу динамическим программированием. Введём динамику <tex>a\left[A,i,j\right] = \left[A \Rightarrow^{*} w[i..j-1]\right] \ </tex>, аналогично [[Алгоритм_Кока-Янгера-Касами_разбора_грамматики_в_НФХ|базовой версии]] алгоритма.

Также введём вспомогательный четырехмерный массив <tex>h\left[A \rightarrow \alpha, i, j, k\right] = true \ </tex> тогда и только тогда, когда из префикса длины <tex>k</tex> правой части данного правила можно вывести <tex>w\left[i..j-1\right]</tex>.

Рассмотрим все тройки <tex>\lbrace \langle j, i \rangle \mid j-i=m \rbrace</tex>, где <tex>m</tex> {{---}} константа и <tex>m < n</tex>, и <tex>k</tex> такое, что <tex>k < \left|\alpha\right|</tex>.

* '''База динамики''':

:<tex>a\left[A, i, i+1\right] = true \ </tex>, если в грамматике <tex>\Gamma</tex> присутствует правило <tex>A \rightarrow w[i] \ </tex>, иначе <tex>a\left[A, i, i+1\right] = false \ </tex>;

:<tex>a\left[A, i, i\right] = true \ </tex>, если в грамматике <tex>\Gamma</tex> присутствует правило <tex>A \rightarrow \varepsilon \ </tex>, иначе <tex>a\left[A, i, i\right] = false \ </tex>;

:<tex>h\left[A \rightarrow \alpha, i, i, 0\right] = true \ </tex>.

* '''Переход''':

:Пусть значения для всех нетерминалов, пар <tex>\lbrace \langle j', i' \rangle \mid j' - i' < m \rbrace \ </tex> и <tex>\lbrace k' \mid k' < k \rbrace \ </tex> уже вычислены, поэтому вспомогательная динамика: <tex> h\left[A \rightarrow \alpha, i, j+1, k\right] = \bigvee\limits_{r=i..j+1}\left(h\left[A \rightarrow \alpha, i, r, k-1\right] \wedge a\left[\alpha\left[k\right],r,j+1\right]\right)</tex> То есть, подстроку <tex>w[i..j]</tex> можно вывести из префикса длины <tex>k</tex> правой части данного правила, если из префикса длины <tex>k-1</tex> правой части данного правила можно вывести <tex>w\left[i..r-1\right]</tex>, а подстрока <tex>w[r..j]</tex> выводится из <tex>k</tex>-го символа правой части правила. Это вычисление может обратится к <tex>a\left[A,i,j+1\right] </tex>, но на результат это не повлияет, так как в данный момент <tex>a\left[A,i,j+1\right]=false \ </tex>.

:Но если <tex>\alpha\left[k\right]</tex> {{---}} терминал, то подстроку <tex>w[i..j]</tex> можно вывести из префикса длины <tex>k</tex> правой части данного правила, если из префикса длины <tex>k-1</tex> правой части данного правила можно вывести <tex>w\left[i..r-1\right] \ </tex>, а подстрока <tex>w[r..j]</tex> выводится, если <tex>w\left[r..j\right]=\alpha\left[k\right] \ </tex>.

:Базовая динамика выражается так: <tex>a\left[A,i,j\right]=\bigvee\limits_{A \rightarrow \alpha}h\left[A \rightarrow \alpha, i, j, \left|\alpha\right|\right] \ </tex>. То есть, подстроку <tex>w[i..j-1] \ </tex> можно вывести из нетерминала <tex>A</tex>, если из длины правой части данного правила можно вывести <tex>w\left[i..j-1\right] </tex>.

* '''Завершение''':

:После окончания работы ответ содержится в ячейке <tex>a\left[S, 1, n\right] </tex>, где <tex>n = |w|</tex>.

== Псевдокод ==
<code>
'''CYK_Modified'''(S, Г): // S {{---}} строка длины n, Г {{---}} КС-грамматика 
'''for''' i = 1..n
'''for''' Rj -> alpha // перебор состояний 
'''if'''( A -> w[i] in Г) a[A, i, i+1] = true // если в грамматике Г присутствует правило A -> w[i] 
'''else''' a[A, i, i+1] = false
'''if'''( A -> eps in Г) a[A, i, i] = true // если в грамматике Г присутствует правило A -> eps 
'''else''' a[A, i, i] = false
h[A->alpha, i, i, 0] = true
'''for''' m = 1..n
'''for''' i = 1..n
j = i+m
'''for''' k = 1..M
'''for''' Rj -> alpha // перебор состояний 
h[A->alpha, i, j+1, k] = OR( for r = i..j+1) (h[A->alpha, i, r, k-1] & a[alpha[k],r,j+1])
'''for''' i = 1..n
'''for''' j = 1..n
'''for''' Rj -> alpha
a[A, i, j] = OR( for A->alpha) h[A->alpha, i, j, |alpha|] // где |alpha| {{---}} размер правой части правила
'''return''' a[S, 1, n]

</code>

== Оценка сложности ==
Обозначим <tex>M = \max\limits_{A \rightarrow \alpha}\left|\alpha\right|</tex> — максимальную длину правой части правила.

Обработки правил вида <tex>A \rightarrow w[i]</tex>, <tex>A \rightarrow \varepsilon</tex> и нахождение <tex>h\left[A \rightarrow \alpha, i, i, 0\right] \ </tex> выполняются за <tex>O(n \cdot |\Gamma|)</tex>.

Время одного перехода вспомогательной динамики <tex>O(n)</tex>, суммарное число состояний <tex>O(n^2 \cdot |\Gamma| \cdot M)</tex>. Отсюда расчёт вспомогательной динамики занимает <tex>O \left( n^3 \cdot |\Gamma| \cdot M \right) \ </tex> времени, базовая динамика находится, как <tex>O \left( n^2 \cdot |\Gamma| \right)</tex>. Итоговая временная сложность алгоритма равна <tex>O \left( n^3 \cdot |\Gamma| \cdot M \right)</tex>. Алгоритму требуется <tex>O(n^2 \cdot |\Gamma| \cdot M) \ </tex> памяти.

== См. также ==
* [[Алгоритм Кока-Янгера-Касами разбора грамматики в НФХ|Алгоритм Кока-Янгера-Касами разбора грамматики в НФХ]]
* [[Алгоритм_Эрли|Алгоритм Эрли]]

[[Категория: Теория формальных языков]]
[[Категория: Контекстно-свободные грамматики]]
[[Категория:Динамическое программирование]]

Алгоритм Кока-Янгера-Касами разбора грамматики в НФХ

2019-05-14T20:03:09Z

Gaporf: /* Минимальная стоимость вывода слова */

{{Задача
|definition =
Пусть дана [[Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора|контекстно-свободная грамматика]] <tex>\Gamma</tex> в [[нормальная форма Хомского|нормальной форме Хомского]] и слово <tex>w \in \Sigma^{*}</tex>. Требуется выяснить, выводится ли это слово в данной грамматике.
}}

== Контекстно-свободная грамматика ==
{{Определение
|definition =
'''[[Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора|Контекстно-свободная грамматика]]''' ('''КС-грамматика''', '''бесконтекстная грамматика''') {{---}} способ описания формального языка, представляющий собой четверку
<tex>\Gamma =\langle \Sigma, N, S \in N, P \subset N^{+}\times (\Sigma\cup N)^{*}\rangle</tex>, где:
* <tex>\Sigma</tex> {{---}} [[Основные_определения: алфавит, слово, язык, конкатенация, свободный моноид слов|алфавит]], элементы которого называют '''терминалами''' (англ. ''terminals'')
* <tex>N</tex> {{---}} множество, элементы которого называют '''нетерминалами''' (англ. ''nonterminals'')
* <tex>S</tex> {{---}} начальный символ грамматики (англ. ''start symbol'')
* <tex>P</tex> {{---}} набор правил вывода (англ. ''production rules'' или ''productions'') вида <tex>A \rightarrow B_1 B_2 ... B_n</tex>, где <tex>A \in N</tex>, <tex>B_i \in \Sigma \cup N</tex>, то есть у которых левые части {{---}} одиночные нетерминалы, а правые - последовательности терминалов и нетерминалов.
}}
=== Пример ===

Терминалы <tex>\Sigma = \{(, )\}</tex>.

Нетерминалы <tex>N = \{S\}</tex>.

Правила вывода <tex>P</tex>:

<tex>\begin{array}{l l}
S \rightarrow \varepsilon\\
S \rightarrow SS\\
S \rightarrow (S)\\
\end{array}</tex>

Данная грамматика задает язык [[Правильные_скобочные_последовательности|правильных скобочных последовательностей]]. Например, последовательность <tex>(()(()))</tex> может быть выведена следующим образом:

<tex> S \Rightarrow (S) \Rightarrow (SS) \Rightarrow (()(S)) \Rightarrow (()(())) </tex>

== Нормальная форма Хомского ==

'''[[Нормальная форма Хомского]]''' {{---}} нормальная форма КС-грамматик, в которой все продукции имеют вид:
* <tex>A \rightarrow a</tex>, где <tex>A</tex> {{---}} нетерминал, а <tex>a</tex> {{---}} терминал
* <tex>A \rightarrow BC</tex>, где <tex>A</tex>, <tex>B</tex>, <tex>C</tex> {{---}} нетерминалы, причем <tex>B</tex> и <tex>C</tex> не являются начальными нетерминалами
* <tex>S \rightarrow \varepsilon</tex>, где <tex>S</tex> {{---}} начальный нетерминал и <tex>\varepsilon</tex> {{---}} пустая строка (данная продукция необходима, если в языке присуствует пустая строка)

[[Нормальная форма Хомского|Можно показать]], что любую КС-грамматику можно привести к нормальной форме Хомского.

== Алгоритм ==
'''Алгоритм Кока-Янгера-Касами''' (англ. ''Cocke-Younger-Kasami algorithm'', англ. ''CYK-алгоритм'') {{---}} алгоритм, позволяющий по слову узнать, выводимо ли оно в заданной КС-грамматике в нормальной форме Хомского. Любую КС-грамматику можно привести к НФХ, поэтому алгоритм является универсальным для любой КС-грамматики.

Будем решать задачу [[Динамическое_программирование|динамическим программированием]]. Дана строка <tex>w</tex> размером <tex>n</tex>. Заведем для неё трехмерный массив <tex>d</tex> размером <tex>|N| \times n \times n</tex>, состоящий из логических значений, и <tex>d[A][i][j] = true \ </tex> тогда и только тогда, когда из нетерминала <tex>A</tex> правилами грамматики можно вывести подстроку <tex>w[i \dots j]</tex>.

Рассмотрим все пары <tex>\lbrace \langle j, i \rangle | j-i=m \rbrace</tex>, где <tex>m</tex> {{---}} константа и <tex>m < n</tex>.

* <tex>i = j</tex>. Инициализируем массив для всех нетерминалов, из которых выводится какой-либо символ строки <tex>w</tex>. В таком случае <tex>d[A][i][i] = true \ </tex>, если в грамматике <tex>\Gamma</tex> присутствует правило <tex>A \rightarrow w[i]</tex>. Иначе <tex>d[A][i][i] = false</tex>.

* <tex>i \ne j</tex>. Значения для всех нетерминалов и пар <tex>\lbrace \langle j', i' \rangle | j' - i' < m \rbrace</tex> уже вычислены, поэтому <tex>d[A][i][j] = \bigvee\limits_{A \rightarrow BC}\bigvee\limits_{k = i}^{j-1} d[B][i][k] \wedge d[C][k+1][j] \ \ </tex>. То есть, подстроку <tex>w[i \dots j]</tex> можно вывести из нетерминала <tex>A</tex>, если существует продукция вида <tex>A \rightarrow BC</tex> и такое <tex>k</tex>, что подстрока <tex>w[i \dots k]</tex> выводима из <tex>B</tex>, а подстрока <tex>w[k + 1 \dots j]</tex> выводится из <tex>C</tex>.
[[Файл:CYK_rule_2.jpg|400px]]

После окончания работы значение <tex>d[S][1][n]</tex> содержит ответ на вопрос, выводима ли данная строка в данной грамматике, где <tex>S</tex> {{---}} начальный символ грамматики.

== Модификации ==

=== Количество способов вывести слово ===
Если массив будет хранить целые числа, а формулу заменить на <tex>d[A][i][j] = \sum\limits_{A \rightarrow BC}\sum\limits_{k = i}^{j-1} d[B][i][k] \cdot d[C][k + 1][j] \ \ </tex>, то <tex>d[A][i][j]</tex> {{---}} количество способов получить подстроку <tex>w[i \dots j]</tex> из нетерминала <tex>A</tex>.

=== Минимальная стоимость вывода слова ===
Пусть <tex>H(A \rightarrow BC)</tex> {{---}} стоимость вывода по правилу <tex>A \rightarrow BC</tex>. Тогда, если использовать формулу <tex>d[A][i][j] = \min\limits_{A \rightarrow BC} \min\limits_{k = i}^{j-1} ( d[B][i][k] + d[C][k + 1][j] + H(A \rightarrow BC) ) \ \ </tex>, то <tex>d[A][i][j]</tex> {{---}} минимальная стоимость вывода подстроки <tex>w[i \dots j]</tex> из нетерминала <tex>A</tex>.

Таким образом, задача о выводе в КС-грамматике в нормальной форме Хомского является частным случаем задачи динамического программирования на подотрезке.

== Асимптотика ==
Обработка правил вида <tex>A \rightarrow w[i]</tex> выполняется за <tex>O(n \cdot |\Gamma|)</tex>.

Проход по всем подстрокам выполняется за <tex>O(n^2)</tex>. В обработке одной подстроки присутствует цикл по всем правилам вывода и по всем разбиениям на две подстроки, следовательно обработка работает за <tex>O(n \cdot |\Gamma|)</tex>. В итоге получаем конечную сложность <tex>O(n^3 \cdot |\Gamma|)</tex>.

Следовательно, общее время работы алгоритма {{---}} <tex>O(n^3 \cdot |\Gamma|)</tex>. Кроме того, алгоритму требуется память на массив <tex>d</tex> объемом <tex>O(n^2 \cdot |N|)</tex>, где <tex>|N|</tex> {{---}} количество [[Формальные_грамматики#Определения|нетерминалов]] грамматики.

== Пример работы ==
Дана грамматика [[Правильные_скобочные_последовательности|правильных скобочных последовательностей]] <tex>\Gamma</tex> в нормальной форме Хомского.

<tex>\begin{array}{l l}
A \rightarrow \varepsilon\ |\ BB\ |\ CD\\
B \rightarrow BB\ |\ CD\\
C \rightarrow (\\
D \rightarrow BE\ |\ )\\
E \rightarrow )\\
\end{array}</tex>

Дано слово <tex>w = ()(())</tex>.

Инициализация массива <tex>d</tex>.

{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|A
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|B
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|C
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
| align="center"| ●
|
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
| align="center"| ●
|
|
|
|-
! 4
|
|
|
| align="center"| ●
|
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|D
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|E
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
<div style="clear:both;"></div>

Заполнение массива <tex>d</tex>.

Итерация <tex>m = 1</tex>.

{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|A
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|B
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|C
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
| align="center"| ●
|
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
| align="center"| ●
|
|
|
|-
! 4
|
|
|
| align="center"| ●
|
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|D
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|E
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
<div style="clear:both;"></div>

Итерация <tex>m = 2</tex>.

{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|A
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|B
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|C
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
| align="center"| ●
|
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
| align="center"| ●
|
|
|
|-
! 4
|
|
|
| align="center"| ●
|
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|D
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
| align="center"| ●
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|E
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
<div style="clear:both;"></div>

Итерация <tex>m = 3</tex>.

{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|A
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
| align="center"| ●
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|B
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
| align="center"| ●
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|C
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
| align="center"| ●
|
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
| align="center"| ●
|
|
|
|-
! 4
|
|
|
| align="center"| ●
|
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|D
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
| align="center"| ●
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|E
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
<div style="clear:both;"></div>

Итерация <tex>m = 4</tex>.

{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|A
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
| align="center"| ●
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|B
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
| align="center"| ●
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|C
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
| align="center"| ●
|
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
| align="center"| ●
|
|
|
|-
! 4
|
|
|
| align="center"| ●
|
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|D
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
| align="center"| ●
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|E
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
<div style="clear:both;"></div>

Итерация <tex>m = 5</tex>.

{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|A
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
| align="center"| ●
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
| align="center"| ●
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|B
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
| align="center"| ●
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
| align="center"| ●
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|C
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
| align="center"| ●
|
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
| align="center"| ●
|
|
|
|-
! 4
|
|
|
| align="center"| ●
|
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|D
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
| align="center"| ●
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|E
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
<div style="clear:both;"></div>

== См. также ==
* [[Алгоритм Кока-Янгера-Касами, модификация для произвольной грамматики|Алгоритм Кока-Янгера-Касами, модификация для произвольной грамматики]]
* [[Алгоритм_Эрли|Алгоритм Эрли]]
==Источники информации==
* [[wikipedia:CYK_algorithm|Wikipedia {{---}} CYK algorithm]]
* [http://web.cs.ucdavis.edu/~rogaway/classes/120/winter12/CYK.pdf David Rodriguez-Velazquez, "The CYK Algorithm"]
* [https://www.princeton.edu/~achaney/tmve/wiki100k/docs/CYK_algorithm.html Princeton University, "The CYK Algorithm"]

[[Категория:Дискретная математика и алгоритмы]]
[[Категория:Динамическое программирование]]
[[Категория: Теория формальных языков]]
[[Категория: Контекстно-свободные грамматики]]
[[Категория: Алгоритмы разбора]]

Алгоритм Кока-Янгера-Касами разбора грамматики в НФХ

2019-05-14T20:02:33Z

Gaporf: /* Количество способов вывести слово */

{{Задача
|definition =
Пусть дана [[Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора|контекстно-свободная грамматика]] <tex>\Gamma</tex> в [[нормальная форма Хомского|нормальной форме Хомского]] и слово <tex>w \in \Sigma^{*}</tex>. Требуется выяснить, выводится ли это слово в данной грамматике.
}}

== Контекстно-свободная грамматика ==
{{Определение
|definition =
'''[[Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора|Контекстно-свободная грамматика]]''' ('''КС-грамматика''', '''бесконтекстная грамматика''') {{---}} способ описания формального языка, представляющий собой четверку
<tex>\Gamma =\langle \Sigma, N, S \in N, P \subset N^{+}\times (\Sigma\cup N)^{*}\rangle</tex>, где:
* <tex>\Sigma</tex> {{---}} [[Основные_определения: алфавит, слово, язык, конкатенация, свободный моноид слов|алфавит]], элементы которого называют '''терминалами''' (англ. ''terminals'')
* <tex>N</tex> {{---}} множество, элементы которого называют '''нетерминалами''' (англ. ''nonterminals'')
* <tex>S</tex> {{---}} начальный символ грамматики (англ. ''start symbol'')
* <tex>P</tex> {{---}} набор правил вывода (англ. ''production rules'' или ''productions'') вида <tex>A \rightarrow B_1 B_2 ... B_n</tex>, где <tex>A \in N</tex>, <tex>B_i \in \Sigma \cup N</tex>, то есть у которых левые части {{---}} одиночные нетерминалы, а правые - последовательности терминалов и нетерминалов.
}}
=== Пример ===

Терминалы <tex>\Sigma = \{(, )\}</tex>.

Нетерминалы <tex>N = \{S\}</tex>.

Правила вывода <tex>P</tex>:

<tex>\begin{array}{l l}
S \rightarrow \varepsilon\\
S \rightarrow SS\\
S \rightarrow (S)\\
\end{array}</tex>

Данная грамматика задает язык [[Правильные_скобочные_последовательности|правильных скобочных последовательностей]]. Например, последовательность <tex>(()(()))</tex> может быть выведена следующим образом:

<tex> S \Rightarrow (S) \Rightarrow (SS) \Rightarrow (()(S)) \Rightarrow (()(())) </tex>

== Нормальная форма Хомского ==

'''[[Нормальная форма Хомского]]''' {{---}} нормальная форма КС-грамматик, в которой все продукции имеют вид:
* <tex>A \rightarrow a</tex>, где <tex>A</tex> {{---}} нетерминал, а <tex>a</tex> {{---}} терминал
* <tex>A \rightarrow BC</tex>, где <tex>A</tex>, <tex>B</tex>, <tex>C</tex> {{---}} нетерминалы, причем <tex>B</tex> и <tex>C</tex> не являются начальными нетерминалами
* <tex>S \rightarrow \varepsilon</tex>, где <tex>S</tex> {{---}} начальный нетерминал и <tex>\varepsilon</tex> {{---}} пустая строка (данная продукция необходима, если в языке присуствует пустая строка)

[[Нормальная форма Хомского|Можно показать]], что любую КС-грамматику можно привести к нормальной форме Хомского.

== Алгоритм ==
'''Алгоритм Кока-Янгера-Касами''' (англ. ''Cocke-Younger-Kasami algorithm'', англ. ''CYK-алгоритм'') {{---}} алгоритм, позволяющий по слову узнать, выводимо ли оно в заданной КС-грамматике в нормальной форме Хомского. Любую КС-грамматику можно привести к НФХ, поэтому алгоритм является универсальным для любой КС-грамматики.

Будем решать задачу [[Динамическое_программирование|динамическим программированием]]. Дана строка <tex>w</tex> размером <tex>n</tex>. Заведем для неё трехмерный массив <tex>d</tex> размером <tex>|N| \times n \times n</tex>, состоящий из логических значений, и <tex>d[A][i][j] = true \ </tex> тогда и только тогда, когда из нетерминала <tex>A</tex> правилами грамматики можно вывести подстроку <tex>w[i \dots j]</tex>.

Рассмотрим все пары <tex>\lbrace \langle j, i \rangle | j-i=m \rbrace</tex>, где <tex>m</tex> {{---}} константа и <tex>m < n</tex>.

* <tex>i = j</tex>. Инициализируем массив для всех нетерминалов, из которых выводится какой-либо символ строки <tex>w</tex>. В таком случае <tex>d[A][i][i] = true \ </tex>, если в грамматике <tex>\Gamma</tex> присутствует правило <tex>A \rightarrow w[i]</tex>. Иначе <tex>d[A][i][i] = false</tex>.

* <tex>i \ne j</tex>. Значения для всех нетерминалов и пар <tex>\lbrace \langle j', i' \rangle | j' - i' < m \rbrace</tex> уже вычислены, поэтому <tex>d[A][i][j] = \bigvee\limits_{A \rightarrow BC}\bigvee\limits_{k = i}^{j-1} d[B][i][k] \wedge d[C][k+1][j] \ \ </tex>. То есть, подстроку <tex>w[i \dots j]</tex> можно вывести из нетерминала <tex>A</tex>, если существует продукция вида <tex>A \rightarrow BC</tex> и такое <tex>k</tex>, что подстрока <tex>w[i \dots k]</tex> выводима из <tex>B</tex>, а подстрока <tex>w[k + 1 \dots j]</tex> выводится из <tex>C</tex>.
[[Файл:CYK_rule_2.jpg|400px]]

После окончания работы значение <tex>d[S][1][n]</tex> содержит ответ на вопрос, выводима ли данная строка в данной грамматике, где <tex>S</tex> {{---}} начальный символ грамматики.

== Модификации ==

=== Количество способов вывести слово ===
Если массив будет хранить целые числа, а формулу заменить на <tex>d[A][i][j] = \sum\limits_{A \rightarrow BC}\sum\limits_{k = i}^{j-1} d[B][i][k] \cdot d[C][k + 1][j] \ \ </tex>, то <tex>d[A][i][j]</tex> {{---}} количество способов получить подстроку <tex>w[i \dots j]</tex> из нетерминала <tex>A</tex>.

=== Минимальная стоимость вывода слова ===
Пусть <tex>H(A \rightarrow BC)</tex> {{---}} стоимость вывода по правилу <tex>A \rightarrow BC</tex>. Тогда, если использовать формулу <tex>d[A][i][j] = \min\limits_{A \rightarrow BC} \min\limits_{k = i}^{j-1} ( d[B][i][k] + d[C][k + 1][j] + H(A \rightarrow BC) )</tex>, то <tex>d[A][i][j]</tex> {{---}} минимальная стоимость вывода подстроки <tex>w[i \dots j]</tex> из нетерминала <tex>A</tex>.

Таким образом, задача о выводе в КС-грамматике в нормальной форме Хомского является частным случаем задачи динамического программирования на подотрезке.

== Асимптотика ==
Обработка правил вида <tex>A \rightarrow w[i]</tex> выполняется за <tex>O(n \cdot |\Gamma|)</tex>.

Проход по всем подстрокам выполняется за <tex>O(n^2)</tex>. В обработке одной подстроки присутствует цикл по всем правилам вывода и по всем разбиениям на две подстроки, следовательно обработка работает за <tex>O(n \cdot |\Gamma|)</tex>. В итоге получаем конечную сложность <tex>O(n^3 \cdot |\Gamma|)</tex>.

Следовательно, общее время работы алгоритма {{---}} <tex>O(n^3 \cdot |\Gamma|)</tex>. Кроме того, алгоритму требуется память на массив <tex>d</tex> объемом <tex>O(n^2 \cdot |N|)</tex>, где <tex>|N|</tex> {{---}} количество [[Формальные_грамматики#Определения|нетерминалов]] грамматики.

== Пример работы ==
Дана грамматика [[Правильные_скобочные_последовательности|правильных скобочных последовательностей]] <tex>\Gamma</tex> в нормальной форме Хомского.

<tex>\begin{array}{l l}
A \rightarrow \varepsilon\ |\ BB\ |\ CD\\
B \rightarrow BB\ |\ CD\\
C \rightarrow (\\
D \rightarrow BE\ |\ )\\
E \rightarrow )\\
\end{array}</tex>

Дано слово <tex>w = ()(())</tex>.

Инициализация массива <tex>d</tex>.

{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|A
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|B
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|C
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
| align="center"| ●
|
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
| align="center"| ●
|
|
|
|-
! 4
|
|
|
| align="center"| ●
|
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|D
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|E
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
<div style="clear:both;"></div>

Заполнение массива <tex>d</tex>.

Итерация <tex>m = 1</tex>.

{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|A
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|B
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|C
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
| align="center"| ●
|
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
| align="center"| ●
|
|
|
|-
! 4
|
|
|
| align="center"| ●
|
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|D
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|E
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
<div style="clear:both;"></div>

Итерация <tex>m = 2</tex>.

{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|A
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|B
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|C
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
| align="center"| ●
|
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
| align="center"| ●
|
|
|
|-
! 4
|
|
|
| align="center"| ●
|
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|D
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
| align="center"| ●
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|E
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
<div style="clear:both;"></div>

Итерация <tex>m = 3</tex>.

{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|A
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
| align="center"| ●
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|B
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
| align="center"| ●
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|C
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
| align="center"| ●
|
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
| align="center"| ●
|
|
|
|-
! 4
|
|
|
| align="center"| ●
|
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|D
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
| align="center"| ●
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|E
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
<div style="clear:both;"></div>

Итерация <tex>m = 4</tex>.

{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|A
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
| align="center"| ●
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|B
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
| align="center"| ●
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|C
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
| align="center"| ●
|
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
| align="center"| ●
|
|
|
|-
! 4
|
|
|
| align="center"| ●
|
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|D
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
| align="center"| ●
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|E
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
<div style="clear:both;"></div>

Итерация <tex>m = 5</tex>.

{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|A
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
| align="center"| ●
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
| align="center"| ●
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|B
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
| align="center"| ●
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
| align="center"| ●
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|C
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
| align="center"| ●
|
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
| align="center"| ●
|
|
|
|-
! 4
|
|
|
| align="center"| ●
|
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|D
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
| align="center"| ●
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|E
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
<div style="clear:both;"></div>

== См. также ==
* [[Алгоритм Кока-Янгера-Касами, модификация для произвольной грамматики|Алгоритм Кока-Янгера-Касами, модификация для произвольной грамматики]]
* [[Алгоритм_Эрли|Алгоритм Эрли]]
==Источники информации==
* [[wikipedia:CYK_algorithm|Wikipedia {{---}} CYK algorithm]]
* [http://web.cs.ucdavis.edu/~rogaway/classes/120/winter12/CYK.pdf David Rodriguez-Velazquez, "The CYK Algorithm"]
* [https://www.princeton.edu/~achaney/tmve/wiki100k/docs/CYK_algorithm.html Princeton University, "The CYK Algorithm"]

[[Категория:Дискретная математика и алгоритмы]]
[[Категория:Динамическое программирование]]
[[Категория: Теория формальных языков]]
[[Категория: Контекстно-свободные грамматики]]
[[Категория: Алгоритмы разбора]]

Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора

2019-05-14T19:53:07Z

Gaporf: /* Однозначные грамматики */

==Основные определения==
{{Определение
|id=csgrammar
|definition=
'''Контекстно-свободной грамматикой''' (англ. ''сontext-free grammar'') называется [[Формальные грамматики|грамматика]], у которой в левых частях всех правил стоят только одиночные нетерминалы.
}}
{{Определение
|id=lang
|definition=
'''Контекстно-свободный язык''' (англ. ''context-free language'') {{---}} язык, задаваемый контекстно-свободной грамматикой.
}}

==Лево- и правосторонний вывод слова==

{{Определение
|definition=
'''Выводом слова''' (англ. ''derivation of a word'') <tex>\alpha</tex> называется последовательность строк, состоящих из терминалов и нетерминалов. Первая строка последовательности состоит из одного стартового нетерминала. Каждая последующая строка получена из предыдущей путем замены любого нетерминала по одному (любому) из правил, а последней строкой в последовательности является слово <tex>\alpha</tex>.
}}
'''Пример:'''

Рассмотрим грамматику, выводящую все правильные скобочные последовательности.
:<tex>(</tex> и <tex>)</tex> {{---}} терминальные символы
:<tex>S</tex> {{---}} стартовый нетерминал

Правила:
#<tex>S\rightarrow (S)S</tex>
#<tex>S\rightarrow S(S)</tex>
#<tex>S\rightarrow \varepsilon</tex>

Выведем слово <tex>(()(()))()</tex>:

<tex>\boldsymbol{S}\Rightarrow (S)\boldsymbol{S} \Rightarrow (S)(\boldsymbol{S})S\Rightarrow(S)()\boldsymbol{S}\Rightarrow(\boldsymbol{S})()\Rightarrow(\boldsymbol{S}(S))()\Rightarrow(S(S)(\boldsymbol{S}))()\Rightarrow(S(S)(\boldsymbol{S}(S)))()\Rightarrow (S(\boldsymbol{S})((S)))()\Rightarrow(\boldsymbol{S}()((S)))()\Rightarrow(()((\boldsymbol{S})))()\Rightarrow(()(()))()</tex>

{{Определение
|definition=
'''Левосторонним выводом слова''' (англ. ''leftmost derivation'') <tex>\alpha</tex> называется такой вывод слова <tex>\alpha</tex>, в котором каждая последующая строка получена из предыдущей путем замены по одному из правил самого левого встречающегося в строке нетерминала.
}}

{{Определение
|definition=
'''Правосторонним выводом слова''' (англ. ''rightmost derivation'') <tex>\alpha</tex> называется такой вывод слова <tex>\alpha</tex>, в котором каждая последующая строка получена из предыдущей путем замены по одному из правил самого правого встречающегося в строке нетерминала.
}}
Рассмотрим левосторонний вывод скобочной последовательности из примера:

<tex>\boldsymbol{S}\Rightarrow (\boldsymbol{S})S \Rightarrow ((\boldsymbol{S})S)S\Rightarrow (()\boldsymbol{S})S\Rightarrow(()\boldsymbol{S}(S))S\Rightarrow(()(\boldsymbol{S}))S\Rightarrow(()(\boldsymbol{S}(S)))S\Rightarrow(()((\boldsymbol{S})))S\Rightarrow(()(()))\boldsymbol{S}\Rightarrow(()(()))(\boldsymbol{S})S\Rightarrow(()(()))()\boldsymbol{S}\Rightarrow(()(()))()</tex>

==Дерево разбора==

{{Определение
|definition=
'''Деревом разбора грамматики''' (англ. ''parse tree'') называется дерево, в вершинах которого записаны терминалы или нетерминалы. Все вершины, помеченные терминалами, являются листьями. Все вершины, помеченные нетерминалами, имеют детей. Дети вершины, в которой записан нетерминал, соответствуют раскрытию нетерминала по одному любому правилу (в левой части которого стоит этот нетерминал) и упорядочены так же, как в правой части этого правила.
}}
{{Определение
|definition=
'''Крона дерева разбора''' (англ. ''leaves of the parse tree'') {{---}} множество терминальных символов, упорядоченное в соответствии с номерами их достижения при обходе дерева в глубину из корня. Крона дерева разбора представляет из себя слово языка, которое выводит это дерево.
}}

Построим дерево разбора скобочной последовательности из примера.

[[Файл:BracketsSequenceParsingTree1.png]]

{{Теорема
|id=t1
|statement=Пусть <tex>\Gamma = \langle \Sigma, N, S, P \rangle</tex> — КС-грамматика. Предположим, что существует дерево разбора с корнем, отмеченным <tex>A</tex>, и кроной <tex>\omega</tex>, где <tex>\omega \in N^{*}</tex>. Тогда в грамматике <tex>\Gamma</tex> существует левое порождение <tex>A \Rightarrow^{*}_{lm} \omega</tex>
|proof=
Используем индукцию по высоте дерева.

'''База:''' Базисом является высота <tex>1</tex>, наименьшая из возможных для дерева разбора с терминальной кроной.
:Поскольку это дерево является деревом разбора, <tex>A \rightarrow \omega</tex> должно быть продукцией. Таким образом, <tex>A \Rightarrow_{lm} \omega</tex> есть одношаговое левое порождение <tex>\omega</tex> из <tex>A</tex>.

'''Индукционный переход:''' Существует корень с отметкой <tex>A</tex> и сыновьями, отмеченными слева направо <tex>X_1X_2 \dots X_k</tex>. Символы <tex>X</tex> могут быть как терминалами, так и переменными.
# Если <tex>X_i</tex> — терминал, то определим <tex>\omega_i</tex> как цепочку, состоящую из одного <tex>X_i</tex>.
# Если <tex>X_i</tex> — переменная, то она должна быть корнем некоторого поддерева с терминальной кроной, которую обозначим <tex>\omega_i</tex>. Заметим, что в этом случае высота поддерева меньше <tex>n</tex>, поэтому к нему применимо предположение индукции. Следовательно, существует левое порождение <tex>X_i \Rightarrow^{*}_{lm} \omega_i</tex>.

Заметим, что <tex>\omega = \omega_1\omega_2 \dots \omega_k</tex>.
Построим левое порождение цепочки <tex>\omega</tex> следующим образом:
:Начнем с шага <tex>A \Rightarrow_{lm} X_1X_2\dots X_k</tex>.
:Затем для <tex>i = 1, 2, \dots, k \ </tex> покажем, что имеет место следующее порождение: <tex>A \Rightarrow^{*}_{lm} \omega_1\omega_2\dots\omega_iX_{i+1}X_{i+2}\dots X_k</tex>

Данное доказательство использует в действительности еще одну индукцию, на этот раз по <tex>i</tex>.
Для базиса <tex>i = 0</tex> мы уже знаем, что <tex>A \Rightarrow_{lm} X_1X_2\dots X_k</tex>.

Для индукции предположим, что существует следующее порождение: <tex>A \Rightarrow^{*}_{lm} \omega_1\omega_2\dots\omega_{i–1}X_iX_{i+1}\dots X_k</tex>

# Если <tex>X_i</tex> — терминал, то не делаем ничего, но в дальнейшем рассматриваем <tex>X_i</tex> как терминальную цепочку <tex>\omega_i</tex>. Таким образом, приходим к существованию следующего порождения. <tex>A \Rightarrow^{*}_{lm} \omega_1\omega_2\dots\omega_iX_{i+1}X_{i+2}\dots X_k</tex>
# Если <tex>X_i</tex> является переменной, то продолжаем порождением <tex>\omega_i</tex> из <tex>X_i</tex> в контексте уже построенного порождения. Таким образом, если этим порождением является: <tex>X_i \Rightarrow_{lm} \alpha_1 \Rightarrow_{lm} \alpha_2\dots \Rightarrow_{lm} \omega_i</tex>, то продолжаем следующими порождениями:

::<tex>\omega_1\omega_2\dots\omega_{i–1}X_iX_{i+1}\dots X_k \Rightarrow_{lm}</tex>

::<tex>\omega_1\omega_2\dots\omega_{i–1}\alpha_1X_{i+1}\dots X_k \Rightarrow_{lm}</tex>

::<tex>\omega_1\omega_2\dots\omega_{i–1}\alpha_2X_{i+1}\dots X_k \Rightarrow_{lm}</tex>

::<tex>\dots</tex>

::<tex>\omega_1\omega_2\dots\omega_iX_{i+1}X_{i+2}\dots X_k</tex>

Результатом является порождение <tex>A \Rightarrow^{*}_{lm} \omega_1\omega_2\dots\omega_iX_{i+1}X_{i+2}\dots X_k</tex>.
Когда <tex>i = k</tex>, результат представляет собой левое порождение <tex>\omega</tex> из <tex>A</tex>.
}}

{{Теорема
|id=t2
|statement=Для каждой грамматики <tex>\Gamma = \langle \Sigma, N, S, P \rangle</tex> и <tex>\omega</tex> из <tex>N^{*}</tex> цепочка <tex>\omega</tex> имеет два разных дерева разбора тогда и только тогда, когда <tex>\omega</tex> имеет два разных левых порождения из <tex>P</tex>.
|proof=
<tex>\Longrightarrow</tex>

:Внимательно рассмотрим построение левого порождения по дереву разбора в доказательстве [[#t1|теоремы]]. В любом случае, если у двух деревьев разбора впервые появляется узел, в котором применяются различные продукции, левые порождения, которые строятся, также используют разные продукции и, следовательно, являются различными.

<tex> \Longleftarrow </tex>

:Хотя мы предварительно не описали непосредственное построение дерева разбора по левому порождению, идея его проста. Начнем построение дерева с корня, отмеченного стартовым символом. Рассмотрим порождение пошагово. На каждом шаге заменяется переменная, и эта переменная будет соответствовать построенному крайнему слева узлу дерева, не имеющему сыновей, но отмеченному этой переменной. По продукции, использованной на этом шаге левого порождения, определим, какие сыновья должны быть у этого узла. Если существуют два разных порождения, то на первом шаге, где они различаются, построенные узлы получат разные списки сыновей, что гарантирует различие деревьев разбора.
}}

==Однозначные грамматики==

{{Определение
|definition=
Грамматика называется '''однозначной''' (англ. ''unambiguous grammar''), если у каждого слова имеется не более одного дерева разбора в этой грамматике.
}}

{{Лемма
|id=lemma-
|statement=
Пусть <tex>\Gamma</tex> {{---}} однозначная грамматика. Тогда <tex>\forall \omega \in \mathbb{L}(\Gamma)</tex> существует ровно один левосторонний (правосторонний) вывод.
|proof=
Очевидно, что по дереву разбора однозначно восстанавливается левосторонний(правосторонний) вывод. Поскольку каждое слово из языка выводится только одним деревом разбора, то существует только один левосторонний(правосторонний) вывод этого слова.
}}

{{Утверждение
|statement=Грамматика из примера не является однозначной.
|proof=Выше уже было построено дерево разбора для слова <tex>(()(()))()</tex>.
Построим еще одно дерево разбора для данного слова.

Например, оно будет выглядеть так:

[[Файл:BracketsSequenceParsingTree2.png]]
Таким образом, существует слово, у которого есть более одного дерева разбора в данной грамматике <tex>\Rightarrow</tex> эта грамматика не является однозначной.
}}

{{Утверждение
|statement=Существуют языки, которые можно задать одновременно как однозначными, так и неоднозначными грамматиками.
|proof=Для доказательства достаточно привести однозначную грамматику для языка правильных скобочных последовательностей (неоднозначной грамматикой для данного языка является грамматика из примера выше).

Рассмотрим грамматику:
:<tex>(</tex> и <tex>)</tex> {{---}} терминальные символы
:<tex>S</tex> {{---}} стартовый нетерминал

Правила:
#<tex>S\rightarrow (S)S</tex>
#<tex>S\rightarrow \varepsilon</tex>

Покажем, что эта грамматика однозначна.
Для этого, используя индукцию, докажем, что для любого слова <tex>\omega</tex>, являющегося правильной скобочной последовательностью, в данной грамматике существует только одно дерево разбора.

'''База:''' Если <tex>\omega=\varepsilon</tex>, то оно выводится только по второму правилу <tex>\Rightarrow</tex> для него существует единственное дерево разбора.

'''Индукционный переход:''' Пусть <tex>\left\vert \omega \right\vert=n</tex> и <tex>\forall \upsilon</tex>: <tex>\left\vert \upsilon \right\vert < n</tex> и <tex>\upsilon</tex> {{---}} правильная скобочная последовательность, у которой <tex>\exists!</tex> дерево разбора.

:Найдем в слове <tex>\omega</tex> минимальный индекс <tex>i \neq 0</tex> такой, что слово <tex>\omega[0..i]</tex> является правильной скобочной последовательностью. Так как <tex>i \neq 0</tex> минимальный, то <tex>\omega[0..i]=(\alpha)\ </tex>. Из того, что <tex>\omega</tex> является правильной скобочной последовательностью <tex>\Rightarrow</tex> <tex>\alpha</tex> и <tex>\beta=\omega[i+1..n-1]</tex> {{---}} правильные скобочные последовательности, при этом <tex>\left\vert \alpha \right\vert<n</tex> и <tex>\left\vert \beta \right\vert<n \Rightarrow</tex> по индукционному предположению предположению у <tex>\alpha</tex> и <tex>\beta</tex> существуют единственные деревья разбора.

:Если мы покажем, что из части <tex>(S)</tex> первого правила можно вывести только слово <tex>(\alpha)</tex>, то утверждение будет доказано (так как из первой части первого правила выводится <tex>\alpha</tex>, а из второй только <tex>\beta</tex> и для каждого из них по предположению существуют единственные деревья разбора).

:Пусть из <tex>(S)</tex> была выведена часть слова <tex>\omega[0..j]=(\gamma)</tex>, где <tex>j < i</tex>, при этом <tex>\gamma</tex> является правильной скобочной последовательностью, но тогда как минимальный индекс мы должны были выбрать <tex>j</tex>, а не <tex>i</tex> {{---}} противоречие.

:Аналогично из <tex>(S)</tex> не может быть выведена часть слова <tex>\omega[0..j] \ </tex>, где <tex>j > i</tex>, потому что тогда <tex>\omega[0..i]=(\alpha) \ </tex> не будет правильной скобочной последовательностью, так как в позиции <tex>i-1</tex> баланс скобок будет отрицательный.

:Значит, из <tex>(S)</tex> была выведена часть слова <tex>\omega[0..i] \Rightarrow \omega \ </tex> имеет единственное дерево разбора <tex>\Rightarrow</tex> данная грамматика однозначная.

Таким образом, для языка правильных скобочных последовательностей мы привели пример как однозначной, так и неоднозначной грамматики.
}}

Однако, есть КС-языки, для которых не существует однозначных КС-грамматик. Такие языки и грамматики их порождающие называют '''существенно неоднозначными'''.
{{main|Существенно неоднозначные языки}}

==См. также==
* [[Формальные грамматики]]
* [[Иерархия Хомского формальных грамматик]]
* [[Замкнутость КС-языков относительно различных операций]]
* [[Существенно неоднозначные языки]]

== Источники информации ==
* [[wikipedia:Context-free grammar | Wikipedia {{---}} Context-free grammar]]
* [[wikipedia:ru:Контекстно-свободная грамматика | Википедия {{---}} Контекстно-свободная грамматика]]
* ''Хопкрофт Д., Мотвани Р., Ульман Д.'' {{---}} '''Введение в теорию автоматов, языков и вычислений''', 2-е изд. : Пер. с англ. — Москва, Издательский дом «Вильямс», 2002. — 528 с. : ISBN 5-8459-0261-4 (рус.)

[[Категория: Теория формальных языков]]
[[Категория: Контекстно-свободные грамматики]]
[[Категория: Базовые понятия о грамматиках]]

Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора

2019-05-14T19:50:23Z

Gaporf: /* Лево- и правосторонний вывод слова */

==Основные определения==
{{Определение
|id=csgrammar
|definition=
'''Контекстно-свободной грамматикой''' (англ. ''сontext-free grammar'') называется [[Формальные грамматики|грамматика]], у которой в левых частях всех правил стоят только одиночные нетерминалы.
}}
{{Определение
|id=lang
|definition=
'''Контекстно-свободный язык''' (англ. ''context-free language'') {{---}} язык, задаваемый контекстно-свободной грамматикой.
}}

==Лево- и правосторонний вывод слова==

{{Определение
|definition=
'''Выводом слова''' (англ. ''derivation of a word'') <tex>\alpha</tex> называется последовательность строк, состоящих из терминалов и нетерминалов. Первая строка последовательности состоит из одного стартового нетерминала. Каждая последующая строка получена из предыдущей путем замены любого нетерминала по одному (любому) из правил, а последней строкой в последовательности является слово <tex>\alpha</tex>.
}}
'''Пример:'''

Рассмотрим грамматику, выводящую все правильные скобочные последовательности.
:<tex>(</tex> и <tex>)</tex> {{---}} терминальные символы
:<tex>S</tex> {{---}} стартовый нетерминал

Правила:
#<tex>S\rightarrow (S)S</tex>
#<tex>S\rightarrow S(S)</tex>
#<tex>S\rightarrow \varepsilon</tex>

Выведем слово <tex>(()(()))()</tex>:

<tex>\boldsymbol{S}\Rightarrow (S)\boldsymbol{S} \Rightarrow (S)(\boldsymbol{S})S\Rightarrow(S)()\boldsymbol{S}\Rightarrow(\boldsymbol{S})()\Rightarrow(\boldsymbol{S}(S))()\Rightarrow(S(S)(\boldsymbol{S}))()\Rightarrow(S(S)(\boldsymbol{S}(S)))()\Rightarrow (S(\boldsymbol{S})((S)))()\Rightarrow(\boldsymbol{S}()((S)))()\Rightarrow(()((\boldsymbol{S})))()\Rightarrow(()(()))()</tex>

{{Определение
|definition=
'''Левосторонним выводом слова''' (англ. ''leftmost derivation'') <tex>\alpha</tex> называется такой вывод слова <tex>\alpha</tex>, в котором каждая последующая строка получена из предыдущей путем замены по одному из правил самого левого встречающегося в строке нетерминала.
}}

{{Определение
|definition=
'''Правосторонним выводом слова''' (англ. ''rightmost derivation'') <tex>\alpha</tex> называется такой вывод слова <tex>\alpha</tex>, в котором каждая последующая строка получена из предыдущей путем замены по одному из правил самого правого встречающегося в строке нетерминала.
}}
Рассмотрим левосторонний вывод скобочной последовательности из примера:

<tex>\boldsymbol{S}\Rightarrow (\boldsymbol{S})S \Rightarrow ((\boldsymbol{S})S)S\Rightarrow (()\boldsymbol{S})S\Rightarrow(()\boldsymbol{S}(S))S\Rightarrow(()(\boldsymbol{S}))S\Rightarrow(()(\boldsymbol{S}(S)))S\Rightarrow(()((\boldsymbol{S})))S\Rightarrow(()(()))\boldsymbol{S}\Rightarrow(()(()))(\boldsymbol{S})S\Rightarrow(()(()))()\boldsymbol{S}\Rightarrow(()(()))()</tex>

==Дерево разбора==

{{Определение
|definition=
'''Деревом разбора грамматики''' (англ. ''parse tree'') называется дерево, в вершинах которого записаны терминалы или нетерминалы. Все вершины, помеченные терминалами, являются листьями. Все вершины, помеченные нетерминалами, имеют детей. Дети вершины, в которой записан нетерминал, соответствуют раскрытию нетерминала по одному любому правилу (в левой части которого стоит этот нетерминал) и упорядочены так же, как в правой части этого правила.
}}
{{Определение
|definition=
'''Крона дерева разбора''' (англ. ''leaves of the parse tree'') {{---}} множество терминальных символов, упорядоченное в соответствии с номерами их достижения при обходе дерева в глубину из корня. Крона дерева разбора представляет из себя слово языка, которое выводит это дерево.
}}

Построим дерево разбора скобочной последовательности из примера.

[[Файл:BracketsSequenceParsingTree1.png]]

{{Теорема
|id=t1
|statement=Пусть <tex>\Gamma = \langle \Sigma, N, S, P \rangle</tex> — КС-грамматика. Предположим, что существует дерево разбора с корнем, отмеченным <tex>A</tex>, и кроной <tex>\omega</tex>, где <tex>\omega \in N^{*}</tex>. Тогда в грамматике <tex>\Gamma</tex> существует левое порождение <tex>A \Rightarrow^{*}_{lm} \omega</tex>
|proof=
Используем индукцию по высоте дерева.

'''База:''' Базисом является высота <tex>1</tex>, наименьшая из возможных для дерева разбора с терминальной кроной.
:Поскольку это дерево является деревом разбора, <tex>A \rightarrow \omega</tex> должно быть продукцией. Таким образом, <tex>A \Rightarrow_{lm} \omega</tex> есть одношаговое левое порождение <tex>\omega</tex> из <tex>A</tex>.

'''Индукционный переход:''' Существует корень с отметкой <tex>A</tex> и сыновьями, отмеченными слева направо <tex>X_1X_2 \dots X_k</tex>. Символы <tex>X</tex> могут быть как терминалами, так и переменными.
# Если <tex>X_i</tex> — терминал, то определим <tex>\omega_i</tex> как цепочку, состоящую из одного <tex>X_i</tex>.
# Если <tex>X_i</tex> — переменная, то она должна быть корнем некоторого поддерева с терминальной кроной, которую обозначим <tex>\omega_i</tex>. Заметим, что в этом случае высота поддерева меньше <tex>n</tex>, поэтому к нему применимо предположение индукции. Следовательно, существует левое порождение <tex>X_i \Rightarrow^{*}_{lm} \omega_i</tex>.

Заметим, что <tex>\omega = \omega_1\omega_2 \dots \omega_k</tex>.
Построим левое порождение цепочки <tex>\omega</tex> следующим образом:
:Начнем с шага <tex>A \Rightarrow_{lm} X_1X_2\dots X_k</tex>.
:Затем для <tex>i = 1, 2, \dots, k \ </tex> покажем, что имеет место следующее порождение: <tex>A \Rightarrow^{*}_{lm} \omega_1\omega_2\dots\omega_iX_{i+1}X_{i+2}\dots X_k</tex>

Данное доказательство использует в действительности еще одну индукцию, на этот раз по <tex>i</tex>.
Для базиса <tex>i = 0</tex> мы уже знаем, что <tex>A \Rightarrow_{lm} X_1X_2\dots X_k</tex>.

Для индукции предположим, что существует следующее порождение: <tex>A \Rightarrow^{*}_{lm} \omega_1\omega_2\dots\omega_{i–1}X_iX_{i+1}\dots X_k</tex>

# Если <tex>X_i</tex> — терминал, то не делаем ничего, но в дальнейшем рассматриваем <tex>X_i</tex> как терминальную цепочку <tex>\omega_i</tex>. Таким образом, приходим к существованию следующего порождения. <tex>A \Rightarrow^{*}_{lm} \omega_1\omega_2\dots\omega_iX_{i+1}X_{i+2}\dots X_k</tex>
# Если <tex>X_i</tex> является переменной, то продолжаем порождением <tex>\omega_i</tex> из <tex>X_i</tex> в контексте уже построенного порождения. Таким образом, если этим порождением является: <tex>X_i \Rightarrow_{lm} \alpha_1 \Rightarrow_{lm} \alpha_2\dots \Rightarrow_{lm} \omega_i</tex>, то продолжаем следующими порождениями:

::<tex>\omega_1\omega_2\dots\omega_{i–1}X_iX_{i+1}\dots X_k \Rightarrow_{lm}</tex>

::<tex>\omega_1\omega_2\dots\omega_{i–1}\alpha_1X_{i+1}\dots X_k \Rightarrow_{lm}</tex>

::<tex>\omega_1\omega_2\dots\omega_{i–1}\alpha_2X_{i+1}\dots X_k \Rightarrow_{lm}</tex>

::<tex>\dots</tex>

::<tex>\omega_1\omega_2\dots\omega_iX_{i+1}X_{i+2}\dots X_k</tex>

Результатом является порождение <tex>A \Rightarrow^{*}_{lm} \omega_1\omega_2\dots\omega_iX_{i+1}X_{i+2}\dots X_k</tex>.
Когда <tex>i = k</tex>, результат представляет собой левое порождение <tex>\omega</tex> из <tex>A</tex>.
}}

{{Теорема
|id=t2
|statement=Для каждой грамматики <tex>\Gamma = \langle \Sigma, N, S, P \rangle</tex> и <tex>\omega</tex> из <tex>N^{*}</tex> цепочка <tex>\omega</tex> имеет два разных дерева разбора тогда и только тогда, когда <tex>\omega</tex> имеет два разных левых порождения из <tex>P</tex>.
|proof=
<tex>\Longrightarrow</tex>

:Внимательно рассмотрим построение левого порождения по дереву разбора в доказательстве [[#t1|теоремы]]. В любом случае, если у двух деревьев разбора впервые появляется узел, в котором применяются различные продукции, левые порождения, которые строятся, также используют разные продукции и, следовательно, являются различными.

<tex> \Longleftarrow </tex>

:Хотя мы предварительно не описали непосредственное построение дерева разбора по левому порождению, идея его проста. Начнем построение дерева с корня, отмеченного стартовым символом. Рассмотрим порождение пошагово. На каждом шаге заменяется переменная, и эта переменная будет соответствовать построенному крайнему слева узлу дерева, не имеющему сыновей, но отмеченному этой переменной. По продукции, использованной на этом шаге левого порождения, определим, какие сыновья должны быть у этого узла. Если существуют два разных порождения, то на первом шаге, где они различаются, построенные узлы получат разные списки сыновей, что гарантирует различие деревьев разбора.
}}

==Однозначные грамматики==

{{Определение
|definition=
Грамматика называется '''однозначной''' (англ. ''unambiguous grammar''), если у каждого слова имеется не более одного дерева разбора в этой грамматике.
}}

{{Лемма
|id=lemma-
|statement=
Пусть <tex>\Gamma</tex> {{---}} однозначная грамматика. Тогда <tex>\forall \omega \in \mathbb{L}(\Gamma)</tex> существует ровно один левосторонний (правосторонний) вывод.
|proof=
Очевидно, что по дереву разбора однозначно восстанавливается левосторонний(правосторонний) вывод. Поскольку каждое слово из языка выводится только одним деревом разбора, то существует только один левосторонний(правосторонний) вывод этого слова.
}}

{{Утверждение
|statement=Грамматика из примера не является однозначной.
|proof=Выше уже было построено дерево разбора для слова <tex>"(()(()))()"</tex>.
Построим еще одно дерево разбора для данного слова.

Например, оно будет выглядеть так:

[[Файл:BracketsSequenceParsingTree2.png]]
Таким образом, существует слово, у которого есть более одного дерева разбора в данной грамматике <tex>\Rightarrow</tex> эта грамматика не является однозначной.
}}

{{Утверждение
|statement=Существуют языки, которые можно задать одновременно как однозначными, так и неоднозначными грамматиками.
|proof=Для доказательства достаточно привести однозначную грамматику для языка правильных скобочных последовательностей (неоднозначной грамматикой для данного языка является грамматика из примера выше).

Рассмотрим грамматику:
:<tex>(</tex> и <tex>)</tex> {{---}} терминальные символы
:<tex>S</tex> {{---}} стартовый нетерминал

Правила:
#<tex>S\rightarrow (S)S</tex>
#<tex>S\rightarrow \varepsilon</tex>

Покажем, что эта грамматика однозначна.
Для этого, используя индукцию, докажем, что для любого слова <tex>\omega</tex>, являющегося правильной скобочной последовательностью, в данной грамматике существует только одно дерево разбора.

'''База:''' Если <tex>\omega=\varepsilon</tex>, то оно выводится только по второму правилу <tex>\Rightarrow</tex> для него существует единственное дерево разбора.

'''Индукционный переход:''' Пусть <tex>\left\vert \omega \right\vert=n</tex> и <tex>\forall \upsilon</tex>: <tex>\left\vert \upsilon \right\vert < n</tex> и <tex>\upsilon</tex> {{---}} правильная скобочная последовательность, у которой <tex>\exists!</tex> дерево разбора.

:Найдем в слове <tex>\omega</tex> минимальный индекс <tex>i \neq 0</tex> такой, что слово <tex>\omega[0..i]</tex> является правильной скобочной последовательностью. Так как <tex>i \neq 0</tex> минимальный, то <tex>\omega[0..i]=(\alpha)\ </tex>. Из того, что <tex>\omega</tex> является правильной скобочной последовательностью <tex>\Rightarrow</tex> <tex>\alpha</tex> и <tex>\beta=\omega[i+1..n-1]</tex> {{---}} правильные скобочные последовательности, при этом <tex>\left\vert \alpha \right\vert<n</tex> и <tex>\left\vert \beta \right\vert<n \Rightarrow</tex> по индукционному предположению предположению у <tex>\alpha</tex> и <tex>\beta</tex> существуют единственные деревья разбора.

:Если мы покажем, что из части <tex>(S)</tex> первого правила можно вывести только слово <tex>(\alpha)</tex>, то утверждение будет доказано (так как из первой части первого правила выводится <tex>\alpha</tex>, а из второй только <tex>\beta</tex> и для каждого из них по предположению существуют единственные деревья разбора).

:Пусть из <tex>(S)</tex> была выведена часть слова <tex>\omega[0..j]=(\gamma)</tex>, где <tex>j < i</tex>, при этом <tex>\gamma</tex> является правильной скобочной последовательностью, но тогда как минимальный индекс мы должны были выбрать <tex>j</tex>, а не <tex>i</tex> {{---}} противоречие.

:Аналогично из <tex>(S)</tex> не может быть выведена часть слова <tex>\omega[0..j] \ </tex>, где <tex>j > i</tex>, потому что тогда <tex>\omega[0..i]=(\alpha) \ </tex> не будет правильной скобочной последовательностью, так как в позиции <tex>i-1</tex> баланс скобок будет отрицательный.

:Значит, из <tex>(S)</tex> была выведена часть слова <tex>\omega[0..i] \Rightarrow \omega \ </tex> имеет единственное дерево разбора <tex>\Rightarrow</tex> данная грамматика однозначная.

Таким образом, для языка правильных скобочных последовательностей мы привели пример как однозначной, так и неоднозначной грамматики.
}}

Однако, есть КС-языки, для которых не существует однозначных КС-грамматик. Такие языки и грамматики их порождающие называют '''существенно неоднозначными'''.
{{main|Существенно неоднозначные языки}}

==См. также==
* [[Формальные грамматики]]
* [[Иерархия Хомского формальных грамматик]]
* [[Замкнутость КС-языков относительно различных операций]]
* [[Существенно неоднозначные языки]]

== Источники информации ==
* [[wikipedia:Context-free grammar | Wikipedia {{---}} Context-free grammar]]
* [[wikipedia:ru:Контекстно-свободная грамматика | Википедия {{---}} Контекстно-свободная грамматика]]
* ''Хопкрофт Д., Мотвани Р., Ульман Д.'' {{---}} '''Введение в теорию автоматов, языков и вычислений''', 2-е изд. : Пер. с англ. — Москва, Издательский дом «Вильямс», 2002. — 528 с. : ISBN 5-8459-0261-4 (рус.)

[[Категория: Теория формальных языков]]
[[Категория: Контекстно-свободные грамматики]]
[[Категория: Базовые понятия о грамматиках]]

Контексты и синтаксические моноиды

2019-05-14T19:47:43Z

Gaporf: /* Определения */

== Контексты ==
=== Правый контекст ===
{{Определение
|definition=
'''Правым контекстом''' (англ. ''right context'') <tex>C_L^R(y)</tex> слова <tex>y</tex> в языке <tex>L</tex> называется множество <tex>\{z \mid yz \in L\}</tex>.
}}

{{Лемма
|statement=
Язык <tex>L</tex> {{---}} регулярный <tex>\Leftrightarrow</tex> множество <tex>\{C_L^R(y) \mid y \in \Sigma^*\}</tex> его правых контекстов конечно.
|proof=
[[Файл:Автомат и правые контексты 1.png|315px|thumb|right|Автомат на правых контекстах. Легенда: начальное / промежуточное / дьявольское / терминальное состояния; контекст]]
<tex>\Leftarrow</tex>

:Пусть множество правых контекстов языка конечно. Построим распознающий его автомат. Состояния автомата будут соответствовать различным правым контекстам. Таким образом, каждая вершина автомата соответствует множеству допустимых «продолжений» считанного на данный момент слова. Переход по некоторому символу из одного состояния в другое осуществляется, если контекст, соответствующий первому состоянию, содержит все элементы, которые получаются приписыванием этого символа в начало элементам контекста, соответствующего второму. Вершина, соответствующая контексту пустого слова, является стартовой <tex>\left( C_L^R(\varepsilon) = L \right)</tex>. Вершины, контексты которых содержат <tex>\varepsilon</tex>, должны быть допускающими.

:Покажем что полученный автомат допускает в точности указанный язык. Выпишем свойства, которые мы стремились удовлетворить при построении:
:: 1. <tex> u \quad \leftrightarrow \quad C_L^R(x) ,\ v \quad \leftrightarrow \quad C_L^R(xc) \quad \leftrightarrow \quad \langle u,c \rangle \vdash \langle v, \varepsilon \rangle </tex>
:: 2. <tex> s \quad \leftrightarrow \quad C_L^R(\varepsilon), </tex> где <tex> s </tex> {{---}} стартовое состояние.
:: 3. <tex> \varepsilon \in C_L^R(\omega) \quad \Leftrightarrow \quad v \in T \quad ( v \quad \leftrightarrow \quad C_L^R(\omega) ) </tex>
:Из 1 следует
:: 1*. <tex> u \quad \leftrightarrow \quad C_L^R(x) ,\ v \quad \leftrightarrow \quad C_L^R(x \omega) \quad \Leftrightarrow \quad \langle u,\omega \rangle \vdash^* \langle v, \varepsilon \rangle </tex>
:Положив <tex> s = u </tex> и учтя 2, получим
:: <tex> v \quad \leftrightarrow \quad C_L^R(\omega) \quad \Leftrightarrow \quad \langle s,\omega \rangle \vdash^* \langle v, \varepsilon \rangle </tex>
:Теперь зафиксируем за состоянием <tex> v </tex> контекст <tex> C_L^R(\omega) </tex>. Тогда левая часть 3 равносильна <tex> \omega \in L </tex>, а правая, с учётом <tex> \langle s,\omega \rangle \vdash^* \langle v, \varepsilon \rangle </tex>, означает, что автомат допускает <tex> \omega </tex>.

<tex>\Rightarrow</tex>
 

:Пусть <tex>L</tex> {{---}} регулярный. В таком случае существует автомат <tex>\mathcal{A}</tex>, распознающий его.
:Рассмотрим произвольное слово <tex>y</tex>. Положим <tex>u</tex> {{---}} такое состояние <tex>\mathcal{A}</tex>, в которое можно перейти из начального по слову <tex>y</tex>. Тогда <tex>C_L^R(y)</tex> совпадает с множеством слов, по которым из состояния <tex>u</tex> можно попасть в допускающее.
:Причем если по какому-то слову <tex>z</tex> тоже можно перейти из начального состояния в <tex>u</tex>, то <tex>C_L^R(y) = C_L^R(z)</tex>. Наоборот, если <tex>C_L^R(y) = C_L^R(z)</tex>, то состояния, в которые можно перейти по словам <tex>y</tex> и <tex>z</tex>, эквивалентны. Таким образом, можно установить взаимное соответствие между правыми контекстами и классами эквивалентности вершин автомата, которых конечное число.
}}

=== Примеры ===
Здесь будем понимать под <tex> C_L^R(X) = Y </tex> не стандартное отображение множества в множество, а <tex> \forall x \in X :\ C_L^R(x) = Y </tex>. Рассмотрим правые контексты следующих языков:
[[Файл:Автомат и правые контексты 2.png|500px|thumb|right|Автомат к языку <tex> \{ 001, 111, 100 \} </tex>]]
==== Пример 1 ====
<tex> \{ 001, 111, 100 \} </tex>
: Возникающие контексты:
:: <tex>a) C_L^R(\varepsilon) = \{ 001, 111, 100 \} </tex> 
:: <tex>b) C_L^R(0) = \{ 01 \} </tex> 
:: <tex>c) C_L^R(00) = \{ 1 \} </tex> 
:: <tex>d) C_L^R(001) = \{ \varepsilon \} </tex> 
:: <tex>e) C_L^R(1) = \{ 11, 00 \} </tex> 
:: <tex>f) C_L^R(10) = \{ 0 \} </tex> 
:: <tex>g) C_L^R(100) = \{ \varepsilon \} </tex> 
:: <tex>h) C_L^R(11) = \{ 1 \} </tex> 
:: <tex>j) C_L^R(111) = \{ \varepsilon \} </tex> 
:: <tex>k) C_L^R(X) = \varnothing </tex>, где <tex> X </tex> {{---}} множество остальных аргументов. 
: Начальное состояние {{---}} <tex>a</tex> . Допускающие состояния: <tex>d, g, j</tex> (в них <tex> \varepsilon \in C_L^R(...) </tex>). Состояние <tex>k</tex> {{---}} [[Детерминированные_конечные_автоматы#допускает|дьявольское]]. Всего 8 состояний (именно столько имеется различных контекстов).
:[[Файл:Автомат и правые контексты 3.png|350px|thumb|right|Автомат к языку <tex> 0^*11 </tex>]]
==== Пример 2 ====
<tex> 0^*11 </tex>
: Возможные контексты (аргументы упорядочены в лексикографическом порядке):
:: <tex>a) C_L^R(0^*) = 0^*11 </tex> 
:: <tex>b) C_L^R(0^*1) = 1 </tex> 
:: <tex>c) C_L^R(0^*10(0|1)^*) = \varnothing </tex> 
:: <tex>d) C_L^R(0^*11) = \varepsilon </tex> 
:: <tex>e) C_L^R(0^*11(0|1)^+) = \varnothing </tex> 
: Итого 4 состояния; начальное состояние <tex>a</tex>, допускающее <tex>d</tex>, состояние <tex>c</tex>&<tex>e</tex> {{---}} дьявольское.

=== Левый контекст ===
{{Определение
|definition=
'''Левым контекстом''' (англ. ''left context'') <tex>C_L^L(y)</tex> слова <tex>y</tex> в языке <tex>L</tex> называется множество <tex>\{z \mid zy \in L\}</tex>.
}}

{{Лемма
|statement=
Язык <tex>L</tex> {{---}} регулярный <tex>\Leftrightarrow</tex> множество <tex>\{C_L^L(y) \mid y \in \Sigma^*\}</tex> его левых контекстов конечно.
|proof=
Поскольку множество регулярных языков замкнуто относительно операции разворота, то из того, что <tex>C_L^L(y) = \overleftarrow{C_{\overleftarrow{L}}^R(\overleftarrow{y})}</tex> и аналогичного утверждения о правых контекстах получаем требуемое.
}}

=== Двухсторонний контекст ===
{{Определение
|definition=
'''Двухсторонним контекстом''' (англ. ''two-sided context'') <tex>C_L(y)</tex> слова <tex>y</tex> в языке <tex>L</tex> называется множество <tex>\{\langle x,z\rangle \mid xyz \in L\}</tex>.
}}
'''Любопытное замечание:''' <tex>C_L(\varepsilon)</tex> состоит из всех пар строк, которые при конкатенации дают слово из языка.

Для доказательства последующих утверждений будем использовать бинарное отображение <tex> (\cdot) :\ Q \times \Sigma^* \rightarrow Q </tex> со свойством <tex> q \cdot \omega = q' \Leftrightarrow \langle q,\omega \rangle \vdash^* \langle q', \varepsilon \rangle</tex>.

{{Лемма
|statement=
Язык <tex>L</tex> {{---}} регулярный <tex>\Leftrightarrow</tex> множество <tex>\{C_L(y) \mid y \in \Sigma^*\}</tex> его двухсторонних контекстов конечно.
|proof=
<tex>\Leftarrow</tex>
:Заметим, что <tex> \{ z \mid \langle \varepsilon, z \rangle \in C_L(y) \} = C_L^R(y) </tex>. Следовательно, если множество двухсторонних контекстов языка конечно, то конечно и множество его правых контекстов, а это значит, что язык регулярный.
 <tex>\Rightarrow</tex>
:Пусть <tex>L</tex> {{---}} регулярный. В таком случае существует детерминированный автомат <tex>\mathcal{A}</tex>, распознающий его. Понятно, что для любого слова <tex> xyz </tex>, допускаемого автоматом, существуют <tex> u ,\ v </tex> такие, что <tex> s \cdot x = u ,\ u \cdot y = v ,\ v \cdot z \in T </tex> (где <tex> s </tex> {{---}} начальное состояние).
:Тогда справедливо равенство <tex> C_L(y) = \bigcup\limits_{(u, v) :\ u \cdot y = v} \{ \langle x, z \rangle \mid s \cdot x = u ,\ v \cdot z \in T \} </tex>. Учитывая <tex> | \{ (u, v) \mid u,v \in Q \} | = |Q|^2 </tex>, получаем <tex> | \{ C_L(y) \mid y \in \Sigma^* \} | \leqslant 2^{|Q|^2} </tex>, то есть множество контекстов конечно.
}}

== Синтаксический моноид ==
=== Определения ===
{{Определение
|definition=
'''Синтаксическим моноидом''' (англ. ''syntactic monoid'') <tex>M(L)</tex> языка <tex>L</tex> называется множество, состоящее из его классов эквивалентности <tex>[[x]] = \{ y \in \Sigma^* \mid C_L(x) = C_L(y) \} \ </tex>, с введённым на нём операцией конкатенации <tex>\circ</tex>, где <tex>[[x]]\circ[[y]] = [[xy]] \ \ </tex>. Нейтральным элементом в нём является <tex>[[\varepsilon]]</tex>.
}}
{{Определение
|definition=
'''Групповой язык''' (англ. ''group language'') {{---}} это язык, синтаксический моноид которого является [[Группа|группой]].
}}

=== Свойства ===
Синтаксический моноид <tex>M(L)</tex> определён для любого <tex>L \in \Sigma^*</tex>, однако некоторые свойства языка можно определить по структуре его синтаксического моноида. Размер синтаксического моноида является мерой структурной сложности языка.

{{Теорема
|statement=
Язык <tex>L</tex> {{---}} регулярный <tex>\Leftrightarrow</tex> его синтаксический моноид <tex>M(L)</tex> конечен.
|proof=
Размер синтаксического моноида <tex>M(L)</tex> языка <tex>L</tex> равен количеству его различных двухсторонних контекстов <tex>C_L</tex>. Применяя лемму, доказанную ранее, получаем:
Язык <tex>L</tex> {{---}} регулярный <tex>\Leftrightarrow</tex> множество <tex>\{C_L(y) \mid y \in \Sigma^*\}</tex> его двухсторонних контекстов конечно <tex>\Leftrightarrow</tex> его синтаксический моноид <tex>M(L)</tex> конечен.
}}

{{Лемма
|statement=
Пусть язык <tex>L</tex> распознается [[Детерминированные конечные автоматы|ДКА]] <tex>\mathcal{A} = \langle \Sigma,Q,s,T,\delta \rangle</tex>. Тогда размер его синтаксического моноида <tex>M(L)</tex> не превосходит <tex>|Q|^{|Q|}</tex>.
|proof=
Введём следующее отношение эквивалентности на строках:
 <tex>x \cong y \Leftrightarrow \forall q \in Q: q \cdot x = q \cdot y</tex>
 Оценим количество классов, на которые отношение <tex>\cong</tex> разбивает язык <tex>L</tex>. Для этого пронумеруем состояния, и каждому слову <tex> \omega</tex> сопоставим вектор <tex> a_{\omega} \in Q^{|Q|} </tex> такой, что <tex> a_{\omega}[i] = q_j \Leftrightarrow q_i \cdot \omega = q_j </tex>. Количество различных таких векторов {{---}} <tex> {|Q|}^{|Q|} </tex>. В то же время неэквивалентным словам соответствуют разные <tex> a </tex>, тогда количество классов эквивалентности также ограничено <tex> {|Q|}^{|Q|} </tex>.

Остаётся показать, что существует взаимно-однозначное соответствие между нашими классами эквивалентности и синтаксическими моноидами. Смотрим:
 <tex> x \cong y </tex>
 <tex> \Leftrightarrow </tex>
 <tex> s \cdot (uxv) = ((s \cdot u) \cdot x) \cdot v = ((s \cdot u) \cdot y) \cdot v = s \cdot (uyv) \ </tex> (пусть <tex> s \cdot u = q </tex> из определения <tex> \cong </tex>, тогда <tex> (s \cdot u) \cdot x = q \cdot x = q' = q \cdot y = (s \cdot u) \cdot y \ </tex>)
 <tex> \Leftrightarrow </tex>
 <tex> s \cdot (uxv) \in T \Leftrightarrow s \cdot (uyv) \in T </tex>
 <tex> \Leftrightarrow </tex>
 <tex> uxv \in L \Leftrightarrow uyv \in L </tex>
 <tex> \Leftrightarrow </tex>
 <tex> [[x]] = [[y]] </tex>
(<tex> s </tex> {{---}} начальное состояние).
}}

Пусть <tex>\mathcal{A} = \langle \Sigma,Q,s,T,\delta \rangle</tex> {{---}} [[Детерминированные конечные автоматы|ДКА]]. Каждое слово <tex>\omega \in \Sigma^*</tex> порождает отображение <tex>f_\omega : Q \rightarrow Q</tex>, определённое следующим образом: <tex>f_\omega(q) = q \cdot \omega</tex>.
{{Определение
|definition=
'''Моноидом переходов''' (англ. ''transition monoid'') <tex>M(\mathcal{A})</tex> называется множество отображений <tex>f_\omega</tex> с операцией композиции. <tex>f_x \cdot f_y = f_{xy}</tex>. Нейтральным элементом в данном моноиде является отображение <tex>f_\varepsilon</tex>.
}}

{{Теорема
|statement=
Пусть <tex>\mathcal{A} = \langle \Sigma,Q,s,T,\delta \rangle</tex> {{---}} минимальный [[Детерминированные конечные автоматы|ДКА]], задающий язык <tex>L</tex>. Тогда <tex>M(\mathcal{A})</tex> и <tex>M(L)</tex> изоморфны.
|proof=
Покажем, что <tex>f_x = f_y \quad \Leftrightarrow \quad [[x]] = [[y]]</tex>.

<tex>\Rightarrow</tex>
 

:Данный факт был показан в доказательстве предыдущей леммы, он не требует минимальности автомата.

<tex>\Leftarrow</tex>
 

:Пусть <tex>[[x]] = [[y]] \ </tex> и <tex>q \in Q</tex>. Тогда <tex>q = s \cdot u</tex> для некоторого слова <tex>u</tex>. Пусть <tex>q_1 = f_x(q) = s \cdot ux</tex> и <tex>q_2 = f_y(q) = s \cdot uy</tex>. Поскольку <tex>[[x]] = [[y]]</tex>, справедливо <tex>uxv \in L \quad \Leftrightarrow \quad uyv \in L</tex>. Следовательно, <tex>q_1 \cdot v \in T \Leftrightarrow q_2 \cdot v \in T</tex>, то есть <tex>q_1</tex> и <tex>q_2</tex> эквивалентны. Значит, <tex>q_1 = q_2</tex>, так как автомат <tex>\mathcal{A}</tex> минимален. То есть, <tex>f_x = f_y</tex>.
}}

=== Примеры ===
====Язык слов четной длины====
Рассмотрим язык <tex>L = \{\omega \mid |\omega| \bmod 2 = 0 \}</tex>.

<tex>\{\langle u, v \rangle \mid uxv \in L\}</tex> {{---}} это множество всех пар <tex>\langle u,v \rangle</tex>, таких что <tex>|u| + |v| = |x| \ (\mathrm{mod} \ 2 )</tex>.

Значит, <tex>M(L)</tex> состоит из двух элементов: множества слов чётной длины и множества слов нечётной длины. Нейтральным элементом в данном моноиде является множество слов чётной длины.

Оба элемента являются обратными самим себе, значит <tex>M(L)</tex> является группой, следовательно <tex>L</tex> {{---}} групповой язык.

====Язык над алфавитом из 0 и 1, заданный регулярным выражением 1(0|1)*====
Язык <tex>L</tex> над алфавитом <tex>\Sigma = \{0,1\}</tex> задан регулярным выражением <tex>1(0|1)^*</tex>. Его синтаксический моноид <tex>M(L)</tex> содержит три элемента:

:<tex>a)</tex> <tex>[[\varepsilon]] \ </tex> {{---}} нейтральный элемент. Включает в себя только пустую строку.

:<tex>b)</tex> <tex>[[0]] \ </tex> содержит все строки, распознаваемые регулярным выражением <tex>0(0|1)^*</tex>. <tex>\forall x \in [[0]]: C_L(x) = \{\langle u, v \rangle \mid u \in L, v \in \Sigma^* \}</tex>.

:<tex>c)</tex> <tex>[[1]] \ </tex> содержит все строки, принадлежащие языку, то есть, распознаваемые регулярным выражением <tex>1(0|1)^*</tex>. <tex>\forall x \in [[1]]: C_L(x) = C_L(\varepsilon) \cup \{\langle \varepsilon, v \rangle \mid v \in \Sigma^* \}</tex>.

Заметим, что <tex>[[0]] \ </tex> и <tex>[[1]] \ </tex> не имеют обратных элементов в данном моноиде, так как нейтральный элемент содержит только пустую строку, а её невозможно получить из непустой с помощью конкатенации. Следовательно <tex>L</tex> не является групповым языком.

====Язык из последовательных N нулей и N единиц====
Язык <tex>L = 0^n1^n</tex> задан над алфавитом <tex>\Sigma = \{0,1\}</tex>.

Балансом слова <tex>|\omega|_b</tex> назовём число, равное разности между количеством нулей и единиц, встречающихся в данном слове. Если слово <tex>\omega = uxv</tex> принадлежит языку <tex>L</tex>, то <tex>|x|_b = -(|u|_b + |v|_b)</tex>. Но <tex>|x|_b</tex> может принимать любое целое значение, при том, что <tex>x</tex> имеет непустой двухсторонний контекст.

Значит, синтаксический моноид <tex>M(L)</tex> имеет бесконечное количество элементов, что значит, что данный язык не является регулярным.

== Источники информации ==

* ''Howard Straubing'' Finite automata, formal logic, and circuit complexity, 1994. ISBN 3-7643-3719-2. {{---}} C. 53.
* ''James A. Anderson'' Automata theory with modern applications, 2006. ISBN 0-521-61324-8. {{---}} С. 72.
* [http://en.wikipedia.org/wiki/Syntactic_monoid Wikipedia {{---}} Syntactic monoid]

[[Категория: Теория формальных языков]]
[[Категория: Автоматы и регулярные языки]]

Контексты и синтаксические моноиды

2019-05-14T19:43:47Z

Gaporf: /* Правый контекст */

== Контексты ==
=== Правый контекст ===
{{Определение
|definition=
'''Правым контекстом''' (англ. ''right context'') <tex>C_L^R(y)</tex> слова <tex>y</tex> в языке <tex>L</tex> называется множество <tex>\{z \mid yz \in L\}</tex>.
}}

{{Лемма
|statement=
Язык <tex>L</tex> {{---}} регулярный <tex>\Leftrightarrow</tex> множество <tex>\{C_L^R(y) \mid y \in \Sigma^*\}</tex> его правых контекстов конечно.
|proof=
[[Файл:Автомат и правые контексты 1.png|315px|thumb|right|Автомат на правых контекстах. Легенда: начальное / промежуточное / дьявольское / терминальное состояния; контекст]]
<tex>\Leftarrow</tex>

:Пусть множество правых контекстов языка конечно. Построим распознающий его автомат. Состояния автомата будут соответствовать различным правым контекстам. Таким образом, каждая вершина автомата соответствует множеству допустимых «продолжений» считанного на данный момент слова. Переход по некоторому символу из одного состояния в другое осуществляется, если контекст, соответствующий первому состоянию, содержит все элементы, которые получаются приписыванием этого символа в начало элементам контекста, соответствующего второму. Вершина, соответствующая контексту пустого слова, является стартовой <tex>\left( C_L^R(\varepsilon) = L \right)</tex>. Вершины, контексты которых содержат <tex>\varepsilon</tex>, должны быть допускающими.

:Покажем что полученный автомат допускает в точности указанный язык. Выпишем свойства, которые мы стремились удовлетворить при построении:
:: 1. <tex> u \quad \leftrightarrow \quad C_L^R(x) ,\ v \quad \leftrightarrow \quad C_L^R(xc) \quad \leftrightarrow \quad \langle u,c \rangle \vdash \langle v, \varepsilon \rangle </tex>
:: 2. <tex> s \quad \leftrightarrow \quad C_L^R(\varepsilon), </tex> где <tex> s </tex> {{---}} стартовое состояние.
:: 3. <tex> \varepsilon \in C_L^R(\omega) \quad \Leftrightarrow \quad v \in T \quad ( v \quad \leftrightarrow \quad C_L^R(\omega) ) </tex>
:Из 1 следует
:: 1*. <tex> u \quad \leftrightarrow \quad C_L^R(x) ,\ v \quad \leftrightarrow \quad C_L^R(x \omega) \quad \Leftrightarrow \quad \langle u,\omega \rangle \vdash^* \langle v, \varepsilon \rangle </tex>
:Положив <tex> s = u </tex> и учтя 2, получим
:: <tex> v \quad \leftrightarrow \quad C_L^R(\omega) \quad \Leftrightarrow \quad \langle s,\omega \rangle \vdash^* \langle v, \varepsilon \rangle </tex>
:Теперь зафиксируем за состоянием <tex> v </tex> контекст <tex> C_L^R(\omega) </tex>. Тогда левая часть 3 равносильна <tex> \omega \in L </tex>, а правая, с учётом <tex> \langle s,\omega \rangle \vdash^* \langle v, \varepsilon \rangle </tex>, означает, что автомат допускает <tex> \omega </tex>.

<tex>\Rightarrow</tex>
 

:Пусть <tex>L</tex> {{---}} регулярный. В таком случае существует автомат <tex>\mathcal{A}</tex>, распознающий его.
:Рассмотрим произвольное слово <tex>y</tex>. Положим <tex>u</tex> {{---}} такое состояние <tex>\mathcal{A}</tex>, в которое можно перейти из начального по слову <tex>y</tex>. Тогда <tex>C_L^R(y)</tex> совпадает с множеством слов, по которым из состояния <tex>u</tex> можно попасть в допускающее.
:Причем если по какому-то слову <tex>z</tex> тоже можно перейти из начального состояния в <tex>u</tex>, то <tex>C_L^R(y) = C_L^R(z)</tex>. Наоборот, если <tex>C_L^R(y) = C_L^R(z)</tex>, то состояния, в которые можно перейти по словам <tex>y</tex> и <tex>z</tex>, эквивалентны. Таким образом, можно установить взаимное соответствие между правыми контекстами и классами эквивалентности вершин автомата, которых конечное число.
}}

=== Примеры ===
Здесь будем понимать под <tex> C_L^R(X) = Y </tex> не стандартное отображение множества в множество, а <tex> \forall x \in X :\ C_L^R(x) = Y </tex>. Рассмотрим правые контексты следующих языков:
[[Файл:Автомат и правые контексты 2.png|500px|thumb|right|Автомат к языку <tex> \{ 001, 111, 100 \} </tex>]]
==== Пример 1 ====
<tex> \{ 001, 111, 100 \} </tex>
: Возникающие контексты:
:: <tex>a) C_L^R(\varepsilon) = \{ 001, 111, 100 \} </tex> 
:: <tex>b) C_L^R(0) = \{ 01 \} </tex> 
:: <tex>c) C_L^R(00) = \{ 1 \} </tex> 
:: <tex>d) C_L^R(001) = \{ \varepsilon \} </tex> 
:: <tex>e) C_L^R(1) = \{ 11, 00 \} </tex> 
:: <tex>f) C_L^R(10) = \{ 0 \} </tex> 
:: <tex>g) C_L^R(100) = \{ \varepsilon \} </tex> 
:: <tex>h) C_L^R(11) = \{ 1 \} </tex> 
:: <tex>j) C_L^R(111) = \{ \varepsilon \} </tex> 
:: <tex>k) C_L^R(X) = \varnothing </tex>, где <tex> X </tex> {{---}} множество остальных аргументов. 
: Начальное состояние {{---}} <tex>a</tex> . Допускающие состояния: <tex>d, g, j</tex> (в них <tex> \varepsilon \in C_L^R(...) </tex>). Состояние <tex>k</tex> {{---}} [[Детерминированные_конечные_автоматы#допускает|дьявольское]]. Всего 8 состояний (именно столько имеется различных контекстов).
:[[Файл:Автомат и правые контексты 3.png|350px|thumb|right|Автомат к языку <tex> 0^*11 </tex>]]
==== Пример 2 ====
<tex> 0^*11 </tex>
: Возможные контексты (аргументы упорядочены в лексикографическом порядке):
:: <tex>a) C_L^R(0^*) = 0^*11 </tex> 
:: <tex>b) C_L^R(0^*1) = 1 </tex> 
:: <tex>c) C_L^R(0^*10(0|1)^*) = \varnothing </tex> 
:: <tex>d) C_L^R(0^*11) = \varepsilon </tex> 
:: <tex>e) C_L^R(0^*11(0|1)^+) = \varnothing </tex> 
: Итого 4 состояния; начальное состояние <tex>a</tex>, допускающее <tex>d</tex>, состояние <tex>c</tex>&<tex>e</tex> {{---}} дьявольское.

=== Левый контекст ===
{{Определение
|definition=
'''Левым контекстом''' (англ. ''left context'') <tex>C_L^L(y)</tex> слова <tex>y</tex> в языке <tex>L</tex> называется множество <tex>\{z \mid zy \in L\}</tex>.
}}

{{Лемма
|statement=
Язык <tex>L</tex> {{---}} регулярный <tex>\Leftrightarrow</tex> множество <tex>\{C_L^L(y) \mid y \in \Sigma^*\}</tex> его левых контекстов конечно.
|proof=
Поскольку множество регулярных языков замкнуто относительно операции разворота, то из того, что <tex>C_L^L(y) = \overleftarrow{C_{\overleftarrow{L}}^R(\overleftarrow{y})}</tex> и аналогичного утверждения о правых контекстах получаем требуемое.
}}

=== Двухсторонний контекст ===
{{Определение
|definition=
'''Двухсторонним контекстом''' (англ. ''two-sided context'') <tex>C_L(y)</tex> слова <tex>y</tex> в языке <tex>L</tex> называется множество <tex>\{\langle x,z\rangle \mid xyz \in L\}</tex>.
}}
'''Любопытное замечание:''' <tex>C_L(\varepsilon)</tex> состоит из всех пар строк, которые при конкатенации дают слово из языка.

Для доказательства последующих утверждений будем использовать бинарное отображение <tex> (\cdot) :\ Q \times \Sigma^* \rightarrow Q </tex> со свойством <tex> q \cdot \omega = q' \Leftrightarrow \langle q,\omega \rangle \vdash^* \langle q', \varepsilon \rangle</tex>.

{{Лемма
|statement=
Язык <tex>L</tex> {{---}} регулярный <tex>\Leftrightarrow</tex> множество <tex>\{C_L(y) \mid y \in \Sigma^*\}</tex> его двухсторонних контекстов конечно.
|proof=
<tex>\Leftarrow</tex>
:Заметим, что <tex> \{ z \mid \langle \varepsilon, z \rangle \in C_L(y) \} = C_L^R(y) </tex>. Следовательно, если множество двухсторонних контекстов языка конечно, то конечно и множество его правых контекстов, а это значит, что язык регулярный.
 <tex>\Rightarrow</tex>
:Пусть <tex>L</tex> {{---}} регулярный. В таком случае существует детерминированный автомат <tex>\mathcal{A}</tex>, распознающий его. Понятно, что для любого слова <tex> xyz </tex>, допускаемого автоматом, существуют <tex> u ,\ v </tex> такие, что <tex> s \cdot x = u ,\ u \cdot y = v ,\ v \cdot z \in T </tex> (где <tex> s </tex> {{---}} начальное состояние).
:Тогда справедливо равенство <tex> C_L(y) = \bigcup\limits_{(u, v) :\ u \cdot y = v} \{ \langle x, z \rangle \mid s \cdot x = u ,\ v \cdot z \in T \} </tex>. Учитывая <tex> | \{ (u, v) \mid u,v \in Q \} | = |Q|^2 </tex>, получаем <tex> | \{ C_L(y) \mid y \in \Sigma^* \} | \leqslant 2^{|Q|^2} </tex>, то есть множество контекстов конечно.
}}

== Синтаксический моноид ==
=== Определения ===
{{Определение
|definition=
'''Синтаксическим моноидом''' (англ. ''syntactic monoid'') <tex>M(L)</tex> языка <tex>L</tex> называется множество, состоящее из его классов эквивалентности <tex>[[x]] = \{ y \in \Sigma^* \mid C_L(x) = C_L(y) \}</tex>, с введённым на нём операцией конкатенации <tex>\circ</tex>, где <tex>[[x]]\circ[[y]] = [[xy]] \ \ </tex>. Нейтральным элементом в нём является <tex>[[\varepsilon]]</tex>.
}}
{{Определение
|definition=
'''Групповой язык''' (англ. ''group language'') {{---}} это язык, синтаксический моноид которого является [[Группа|группой]].
}}

=== Свойства ===
Синтаксический моноид <tex>M(L)</tex> определён для любого <tex>L \in \Sigma^*</tex>, однако некоторые свойства языка можно определить по структуре его синтаксического моноида. Размер синтаксического моноида является мерой структурной сложности языка.

{{Теорема
|statement=
Язык <tex>L</tex> {{---}} регулярный <tex>\Leftrightarrow</tex> его синтаксический моноид <tex>M(L)</tex> конечен.
|proof=
Размер синтаксического моноида <tex>M(L)</tex> языка <tex>L</tex> равен количеству его различных двухсторонних контекстов <tex>C_L</tex>. Применяя лемму, доказанную ранее, получаем:
Язык <tex>L</tex> {{---}} регулярный <tex>\Leftrightarrow</tex> множество <tex>\{C_L(y) \mid y \in \Sigma^*\}</tex> его двухсторонних контекстов конечно <tex>\Leftrightarrow</tex> его синтаксический моноид <tex>M(L)</tex> конечен.
}}

{{Лемма
|statement=
Пусть язык <tex>L</tex> распознается [[Детерминированные конечные автоматы|ДКА]] <tex>\mathcal{A} = \langle \Sigma,Q,s,T,\delta \rangle</tex>. Тогда размер его синтаксического моноида <tex>M(L)</tex> не превосходит <tex>|Q|^{|Q|}</tex>.
|proof=
Введём следующее отношение эквивалентности на строках:
 <tex>x \cong y \Leftrightarrow \forall q \in Q: q \cdot x = q \cdot y</tex>
 Оценим количество классов, на которые отношение <tex>\cong</tex> разбивает язык <tex>L</tex>. Для этого пронумеруем состояния, и каждому слову <tex> \omega</tex> сопоставим вектор <tex> a_{\omega} \in Q^{|Q|} </tex> такой, что <tex> a_{\omega}[i] = q_j \Leftrightarrow q_i \cdot \omega = q_j </tex>. Количество различных таких векторов {{---}} <tex> {|Q|}^{|Q|} </tex>. В то же время неэквивалентным словам соответствуют разные <tex> a </tex>, тогда количество классов эквивалентности также ограничено <tex> {|Q|}^{|Q|} </tex>.

Остаётся показать, что существует взаимно-однозначное соответствие между нашими классами эквивалентности и синтаксическими моноидами. Смотрим:
 <tex> x \cong y </tex>
 <tex> \Leftrightarrow </tex>
 <tex> s \cdot (uxv) = ((s \cdot u) \cdot x) \cdot v = ((s \cdot u) \cdot y) \cdot v = s \cdot (uyv) \ </tex> (пусть <tex> s \cdot u = q </tex> из определения <tex> \cong </tex>, тогда <tex> (s \cdot u) \cdot x = q \cdot x = q' = q \cdot y = (s \cdot u) \cdot y \ </tex>)
 <tex> \Leftrightarrow </tex>
 <tex> s \cdot (uxv) \in T \Leftrightarrow s \cdot (uyv) \in T </tex>
 <tex> \Leftrightarrow </tex>
 <tex> uxv \in L \Leftrightarrow uyv \in L </tex>
 <tex> \Leftrightarrow </tex>
 <tex> [[x]] = [[y]] </tex>
(<tex> s </tex> {{---}} начальное состояние).
}}

Пусть <tex>\mathcal{A} = \langle \Sigma,Q,s,T,\delta \rangle</tex> {{---}} [[Детерминированные конечные автоматы|ДКА]]. Каждое слово <tex>\omega \in \Sigma^*</tex> порождает отображение <tex>f_\omega : Q \rightarrow Q</tex>, определённое следующим образом: <tex>f_\omega(q) = q \cdot \omega</tex>.
{{Определение
|definition=
'''Моноидом переходов''' (англ. ''transition monoid'') <tex>M(\mathcal{A})</tex> называется множество отображений <tex>f_\omega</tex> с операцией композиции. <tex>f_x \cdot f_y = f_{xy}</tex>. Нейтральным элементом в данном моноиде является отображение <tex>f_\varepsilon</tex>.
}}

{{Теорема
|statement=
Пусть <tex>\mathcal{A} = \langle \Sigma,Q,s,T,\delta \rangle</tex> {{---}} минимальный [[Детерминированные конечные автоматы|ДКА]], задающий язык <tex>L</tex>. Тогда <tex>M(\mathcal{A})</tex> и <tex>M(L)</tex> изоморфны.
|proof=
Покажем, что <tex>f_x = f_y \quad \Leftrightarrow \quad [[x]] = [[y]]</tex>.

<tex>\Rightarrow</tex>
 

:Данный факт был показан в доказательстве предыдущей леммы, он не требует минимальности автомата.

<tex>\Leftarrow</tex>
 

:Пусть <tex>[[x]] = [[y]] \ </tex> и <tex>q \in Q</tex>. Тогда <tex>q = s \cdot u</tex> для некоторого слова <tex>u</tex>. Пусть <tex>q_1 = f_x(q) = s \cdot ux</tex> и <tex>q_2 = f_y(q) = s \cdot uy</tex>. Поскольку <tex>[[x]] = [[y]]</tex>, справедливо <tex>uxv \in L \quad \Leftrightarrow \quad uyv \in L</tex>. Следовательно, <tex>q_1 \cdot v \in T \Leftrightarrow q_2 \cdot v \in T</tex>, то есть <tex>q_1</tex> и <tex>q_2</tex> эквивалентны. Значит, <tex>q_1 = q_2</tex>, так как автомат <tex>\mathcal{A}</tex> минимален. То есть, <tex>f_x = f_y</tex>.
}}

=== Примеры ===
====Язык слов четной длины====
Рассмотрим язык <tex>L = \{\omega \mid |\omega| \bmod 2 = 0 \}</tex>.

<tex>\{\langle u, v \rangle \mid uxv \in L\}</tex> {{---}} это множество всех пар <tex>\langle u,v \rangle</tex>, таких что <tex>|u| + |v| = |x| \ (\mathrm{mod} \ 2 )</tex>.

Значит, <tex>M(L)</tex> состоит из двух элементов: множества слов чётной длины и множества слов нечётной длины. Нейтральным элементом в данном моноиде является множество слов чётной длины.

Оба элемента являются обратными самим себе, значит <tex>M(L)</tex> является группой, следовательно <tex>L</tex> {{---}} групповой язык.

====Язык над алфавитом из 0 и 1, заданный регулярным выражением 1(0|1)*====
Язык <tex>L</tex> над алфавитом <tex>\Sigma = \{0,1\}</tex> задан регулярным выражением <tex>1(0|1)^*</tex>. Его синтаксический моноид <tex>M(L)</tex> содержит три элемента:

:<tex>a)</tex> <tex>[[\varepsilon]] \ </tex> {{---}} нейтральный элемент. Включает в себя только пустую строку.

:<tex>b)</tex> <tex>[[0]] \ </tex> содержит все строки, распознаваемые регулярным выражением <tex>0(0|1)^*</tex>. <tex>\forall x \in [[0]]: C_L(x) = \{\langle u, v \rangle \mid u \in L, v \in \Sigma^* \}</tex>.

:<tex>c)</tex> <tex>[[1]] \ </tex> содержит все строки, принадлежащие языку, то есть, распознаваемые регулярным выражением <tex>1(0|1)^*</tex>. <tex>\forall x \in [[1]]: C_L(x) = C_L(\varepsilon) \cup \{\langle \varepsilon, v \rangle \mid v \in \Sigma^* \}</tex>.

Заметим, что <tex>[[0]] \ </tex> и <tex>[[1]] \ </tex> не имеют обратных элементов в данном моноиде, так как нейтральный элемент содержит только пустую строку, а её невозможно получить из непустой с помощью конкатенации. Следовательно <tex>L</tex> не является групповым языком.

====Язык из последовательных N нулей и N единиц====
Язык <tex>L = 0^n1^n</tex> задан над алфавитом <tex>\Sigma = \{0,1\}</tex>.

Балансом слова <tex>|\omega|_b</tex> назовём число, равное разности между количеством нулей и единиц, встречающихся в данном слове. Если слово <tex>\omega = uxv</tex> принадлежит языку <tex>L</tex>, то <tex>|x|_b = -(|u|_b + |v|_b)</tex>. Но <tex>|x|_b</tex> может принимать любое целое значение, при том, что <tex>x</tex> имеет непустой двухсторонний контекст.

Значит, синтаксический моноид <tex>M(L)</tex> имеет бесконечное количество элементов, что значит, что данный язык не является регулярным.

== Источники информации ==

* ''Howard Straubing'' Finite automata, formal logic, and circuit complexity, 1994. ISBN 3-7643-3719-2. {{---}} C. 53.
* ''James A. Anderson'' Automata theory with modern applications, 2006. ISBN 0-521-61324-8. {{---}} С. 72.
* [http://en.wikipedia.org/wiki/Syntactic_monoid Wikipedia {{---}} Syntactic monoid]

[[Категория: Теория формальных языков]]
[[Категория: Автоматы и регулярные языки]]

Алгоритм Эрли

2019-05-14T19:05:10Z

Gaporf:

__TOC__
'''Алгоритм Эрли''' позволяет определить, выводится ли данное слово <tex>w</tex> в данной [[Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора|контекстно-свободной]] грамматике <tex>G</tex>.

'''Вход:''' КС грамматика <tex> G=\langle N,\Sigma, P, S \rangle</tex> и слово <tex>w</tex>. 
'''Выход:''' <tex>true</tex>, если <tex>w</tex> выводится в <tex>G</tex>; <tex>false</tex> — иначе.

{{Определение
|definition =
Пусть <tex>G = \langle N, \Sigma, P, S \rangle</tex> {{---}} [[Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора|контекстно-свободная]] грамматика и <tex>w = w_0 w_1 ... w_{n-1}</tex> {{---}} входная цепочка из <tex>\Sigma^*</tex>.
Объект вида <tex>[A \rightarrow \alpha \cdot \beta, i]</tex>, где <tex>A \rightarrow \alpha \beta </tex> — правило из <tex>P</tex> и <tex>0 \leqslant i \leqslant n</tex> — позиция в <tex>w</tex>, называется '''ситуацией''', относящейся к цепочке <tex>w</tex>, где '''<tex> \cdot </tex>''' {{---}} вспомогательный символ, который не явлется терминалом или нетерминалом ( <tex> \cdot \notin \Sigma \cup N</tex>).
}}

{{Определение
|definition =
Ситуации хранятся в множествах <tex>D_0,...,D_{n-1}</tex>, называемых '''списками ситуаций'''. Причем наличие ситуации <tex>[A \rightarrow \alpha \cdot \beta , i]</tex> в <tex>j</tex>-м списке ситуаций <tex>D_j</tex> равносильно тому, что
<tex>\exists \delta \in \Sigma \cup N : ((S' \Rightarrow^* w_0...w_{i-1} A \delta) \wedge A \Rightarrow^* w_i...w_{j-1})</tex>.
}}

{{Определение
|definition =
Последовательность списков ситуаций <tex>D_0, D_1, .., D_{n-1} \ </tex> называется списком разбора для входной цепочки <tex>w</tex>.
}}

== Алгоритм Эрли ==
Чтобы воспользоваться леммой, необходимо найти <tex>D_n</tex> для <tex>w</tex>. Алгоритм Эрли является [[Динамическое программирование|динамическим алгоритмом]]: он последовательно строит список разбора, причём при построении <tex>D_j</tex> используются <tex>D_0, \ldots, D_{j}</tex> (то есть элементы списков с меньшими номерами и ситуации, содержащиеся в текущем списке на данный момент).

Алгоритм основывается на следующих трёх правилах:
# Если <tex>[A \rightarrow \alpha \cdot w_{j} \beta, i] \in D_{j-1}</tex> (где <tex>w_j</tex> — <tex>j</tex>-ый символ строки), то <tex>[A \rightarrow \alpha w_{j} \cdot \beta, i] \in D_j</tex>.
# Если <tex>[B \rightarrow \eta \ \cdot, i] \in D_j</tex> и <tex>[A \rightarrow \alpha \cdot B \beta, k] \in D_i</tex>, то <tex>[A \rightarrow \alpha B \cdot \beta, k] \in D_j</tex>.
# Если <tex>[A \rightarrow \alpha \ \cdot B \beta, i] \in D_{j} </tex> и <tex>(B \rightarrow \eta) \in P </tex>, то <tex>[B \rightarrow \cdot \ \eta, j] \in D_{j}</tex>.

=== Псевдокод ===
Для простоты добавим новый стартовый вспомогательный нетерминал <tex>S'</tex> и правило <tex>(S' \rightarrow S)</tex>.

'''function''' <tex>\mathtt{earley}(G, w)</tex>:
// Инициализация 
<tex> D_{0} = \lbrace [S' \rightarrow \cdot \ S, 0] \rbrace </tex>
'''for''' <tex>i = 1</tex> '''to''' <tex>len(w) - 1</tex>
<tex>D_i</tex> = <tex>\varnothing </tex>
// Вычисление ситуаций 
'''for''' <tex>j = 0</tex> '''to''' <tex>len(w) - 1</tex>
<tex>\mathtt{scan}(D, j, G, w)</tex>
'''while''' <tex>D_j</tex> изменяется
<tex>\mathtt{complete}(D, j, G, w)</tex>
<tex>\mathtt{predict}(D, j, G, w)</tex>
// Результат 
'''if''' <tex>[S' \rightarrow S \ \cdot, 0] \in D_{len(w)} </tex>
'''return''' ''true''
'''else'''
'''return''' ''false''

// Первое правило 
'''function''' <tex>\mathtt{scan}(D, j, G, w)</tex>:
'''if''' <tex>j</tex> == <tex>0</tex>
'''return'''
'''for''' <tex>[A \rightarrow \alpha \cdot a \beta, i] \in D_{j - 1} </tex>
'''if''' <tex>a</tex> == <tex>w_{j - 1}</tex>
<tex>D_{j}</tex> <tex> \cup</tex>= <tex>[A \rightarrow \alpha \cdot a \beta, i]</tex>

// Второе правило 
'''function''' <tex>\mathtt{complete}(D, j, G, w)</tex>:
'''for''' <tex>[B \rightarrow \eta \ \cdot, i] \in D_{j} </tex>
'''for''' <tex>[A \rightarrow \alpha \cdot B \beta, k] \in D_{i} </tex>
<tex>D_{j}</tex> <tex> \cup</tex>= <tex>[A \rightarrow \alpha B \cdot \beta, k]</tex>

// Третье правило 
'''function''' <tex>\mathtt{predict}(D, j, G, w)</tex>:
'''for''' <tex>[A \rightarrow \alpha \cdot B \beta, i] \in D_{j} </tex>
'''for''' <tex>(B \rightarrow \eta) \in P </tex>
<tex>D_{j}</tex> <tex>\cup</tex>= <tex>[B \rightarrow \cdot \ \eta, j]</tex>

==Корректность алгоритма==
{{Теорема
|statement = Приведенный алгоритм правильно строит все списки ситуаций.
То есть алгоритм поддерживает инвариант <tex> [A \rightarrow \alpha \cdot \beta, i] \in D_{j} \Longleftrightarrow \exists \delta \in \Sigma \cup N : ((S' \Rightarrow^* w_0...w_{i-1} A \delta) \wedge A \Rightarrow^* w_i...w_{j-1})</tex>
|proof =

<tex>\Longrightarrow</tex> 
Докажем индукцией по исполнению алгоритма. 
 ''База индукции:'' 
<tex>[S' \rightarrow \cdot S, 0] \in D_0</tex>. 
 ''Индукционный переход:'' 
Пусть предположение верно для всех списков ситуаций с номерами меньше <tex> j </tex>. Разберемся, в результате применения какого правила ситуация <tex> [A \rightarrow \alpha \cdot \beta, i] </tex> попала в <tex>D_{j}</tex> 

1. Включаем по правилу <tex> \mathtt{scan}</tex>. 
Это произошло, если <tex> \alpha = \alpha ' a</tex>, <tex>a = w_{j-1}</tex> и <tex> [A \rightarrow \alpha ' \cdot a \beta, i] \in D_{j-1}</tex>. 
По предположению индукции <tex>S' \Rightarrow^* w_0...w_{i-1} A \delta</tex> и <tex>\alpha' \Rightarrow^* w_i...w_{j-2}</tex>, 
тогда в силу <tex>a = w_{j-1}</tex> получаем <tex>\alpha = \alpha ' a \Rightarrow^* w_i...w_{j-2}w_{j-1} = w_i...w_{j-1}</tex>. 
Таким образом условия: <tex>S' \Rightarrow^* w_0...w_{i-1} A \delta</tex> и <tex>\alpha \Rightarrow^* w_i...w_{j-1}</tex> выполняются.

2. Включаем по правилу <tex> \mathtt{predict}</tex>. 
По построению: <tex> \alpha = \varepsilon </tex> и <tex>i=j</tex>, что автоматически влечет второй пункт утверждения. 
Кроме того <tex>\exists i' \le i</tex> и ситуация <tex>[A' \rightarrow \alpha ' \cdot A \delta ', i'] \in D_i</tex>, из чего по предположению индукции следует <tex>S' \Rightarrow^* w_0...w_{i'-1} A' \delta ''</tex>
и <tex> \alpha ' \Rightarrow^* w_{i'}...w_{i-1}</tex>. 
Получаем, что <tex>S' \Rightarrow^* w_0...w_{i'-1} A' \delta ''</tex>, значит <tex>S \Rightarrow^* w_0...w_{i'-1} \alpha' A \delta' \delta '' </tex>, следовательно <tex> S' \Rightarrow^* w_0...w_{i'-1} w_{i'}...w_{i-1} A \delta' \delta ''
</tex>, в итоге <tex> S' \Rightarrow^* w_0...w_{i-1} A \delta</tex>, что нам и требовалось.

3. Включаем по правилу <tex> \mathtt{complete}</tex>. 
По построению: <tex> \alpha = \alpha ' A' </tex> и <tex>\exists i', \delta : [A \rightarrow \alpha ' \cdot A' \beta, i] \in D_{i'} \wedge [A' \rightarrow \eta \cdot, i'] \in D_j</tex>. 
Cледовательно <tex>\alpha = \alpha ' A' \Rightarrow^* w_i...w_{i'-1} w_{i'}...w_{j} = w_i...w_{j-1}</tex>, что дает нам второй пункт утверждения, а так как первый пункт следует из индукционного предположения, все хорошо.

<tex>\Longleftarrow</tex> 
В обратную сторону будем доказывать индукцией по суммарной длине вывода <tex>w_0...w_{i-1} A \delta</tex> из <tex>S'</tex> и <tex>w_i...w_{j-1}</tex> из <tex>\alpha</tex>. После чего применим
индукцию по длине вывода <tex>w_i...w_{j-1}</tex> из <tex>\alpha</tex>. 
Рассмотрим три случая последнего символа <tex>\alpha</tex>:

1. <tex>\alpha = \alpha ' a</tex>, тогда <tex>a = w_{j-1}</tex> и <tex>\alpha ' \Rightarrow^* w_i...w_{j-2}</tex>. 
По предположению индукции: <tex>[A \rightarrow \alpha ' \cdot a \beta, i] \in D_{j-1}</tex>, а отсюда по правилу <tex> \mathtt{scan}</tex> получаем <tex>[A \rightarrow \alpha ' a \cdot \beta, i] \in D_{j}</tex>.

2. <tex>\alpha = \alpha ' B</tex>, тогда <tex>\exists i' : \alpha ' \Rightarrow^* w_i...w_{i'-1} \wedge B ' \Rightarrow^* w_{i'}...w_{j-1}</tex>. 
Тогда имеем <tex>[A \rightarrow \alpha ' a \cdot \beta, i] \in D_{j}</tex>. Также можно записать <tex>S' \Rightarrow^* w_0...w_{i-1} A \delta</tex>, как <tex>S' \Rightarrow^* w_0...w_{i-1} w_i...w_{i'-1}B \beta \delta</tex>,
а также <tex>B \rightarrow \eta \wedge \eta \rightarrow w_{i'}...w_{j-1}</tex>. 
Применяя индукцию по второму параметру получим <tex>[B \rightarrow \eta \cdot, i'] \in D_j</tex>, откуда по правилу <tex> \mathtt{complete}</tex> получаем <tex>[A \rightarrow \alpha ' B \cdot \beta, i] \in D_{j}</tex>.

3. <tex>\alpha = \varepsilon </tex>, тогда <tex>i=j</tex>. 
Тогда либо <tex>i = 0 \wedge A = S \wedge \delta = \varepsilon</tex>, что доказывает базу индукции, 
либо вывод можно записать в виде <tex>S' \Rightarrow^* w_0...w{i'-1}w_{i'}...w{i-1} A \delta ' \delta '' = w_0...w_{i-1} A \delta</tex> для некоторого правила <tex>(A' \rightarrow w_{i'}...w_{i-1} A \delta ') \in P</tex>. 
Отсюда по предположению индукции <tex>[A' \rightarrow \cdot w_{i'}...w_{i-1} A \delta ', i'] \in D_{i'}</tex>,
что после нескольких применений правила <tex> \mathtt{scan}</tex> приводит к <tex>[A' \rightarrow w_{i'}...w_{i-1} \cdot A \delta ', i'] \in D_{i}</tex>,
после чего по правилу <tex> \mathtt{predict}</tex> получим <tex>[A \rightarrow \cdot \beta, i] \in D_{j}</tex>, что и требовалось.

}}

==Пример==
Построим список разбора для строки <tex>w = (a + a)</tex> в грамматике со следующими правилами:
* <tex>S \rightarrow T + S</tex>
* <tex>S \rightarrow T </tex>
* <tex>T \rightarrow F * T</tex>
* <tex>T \rightarrow F</tex>
* <tex>F \rightarrow ( S )</tex>
* <tex>F \rightarrow a</tex>

{|
|-
|

{| class="wikitable"
|-
!<tex>D_0</tex>
|-
|
{|
|-
!Ситуация !! Из правила
|-
|<tex>[S' \rightarrow \cdot S, 0]</tex> || 0
|-
|<tex>[S \rightarrow \cdot T + S, 0]</tex> || 3
|-
|<tex>[S \rightarrow \cdot T, 0]</tex> || 3
|-
|<tex>[T \rightarrow \cdot F * T, 0]</tex> || 3
|-
|<tex>[T \rightarrow \cdot F, 0]</tex> || 3
|-
|<tex>[F \rightarrow \cdot ( S ), 0]</tex> || 3
|-
|<tex>[F \rightarrow \cdot a, 0]</tex> || 3
|}
|}

||

{| class="wikitable"
|-
!<tex>D_1</tex>
|-
|
{|
|-
!Ситуация !! Из правила
|-
|<tex>[F \rightarrow ( \cdot S ), 0]</tex> || 1
|-
|<tex>[S \rightarrow \cdot T + S, 1]</tex> || 3
|-
|<tex>[S \rightarrow \cdot T, 1]</tex> || 3
|-
|<tex>[T \rightarrow \cdot F * T, 1]</tex> || 3
|-
|<tex>[T \rightarrow \cdot F, 1]</tex> || 3
|-
|<tex>[F \rightarrow \cdot ( S ), 1]</tex> || 3
|-
|<tex>[F \rightarrow \cdot a, 1]</tex> || 3
|}
|}

||

{| class="wikitable"
|-
!<tex>D_2</tex>
|-
|
{|
|-
!Ситуация !! Из правила
|-
|<tex>[F \rightarrow a \cdot, 1]</tex> || 1
|-
|<tex>[T \rightarrow F \cdot * T, 1]</tex> || 2
|-
|<tex>[T \rightarrow F \cdot , 1]</tex> || 2
|-
|<tex>[S \rightarrow T \cdot , 1]</tex> || 2
|-
|<tex>[S \rightarrow T \cdot + S, 1]</tex> || 2
|-
|<tex>[F \rightarrow ( S \cdot ), 0]</tex> || 2
|}
|}

|-
|

{| class="wikitable"
|-
!<tex>D_3</tex>
|-
|
{|
|-
!Ситуация !! Из правила
|-
|<tex>[S \rightarrow T + \cdot S, 1]</tex> || 1
|-
|<tex>[S \rightarrow \cdot T + S, 3]</tex> || 3
|-
|<tex>[S \rightarrow \cdot T, 3]</tex> || 3
|-
|<tex>[T \rightarrow \cdot F * T, 3]</tex> || 3
|-
|<tex>[T \rightarrow \cdot F, 3]</tex> || 3
|-
|<tex>[F \rightarrow \cdot ( S ), 3]</tex> || 3
|-
|<tex>[F \rightarrow \cdot a, 3]</tex> || 3
|}
|}

||

{| class="wikitable"
|-
!<tex>D_4</tex>
|-
|
{|
|-
!Ситуация !! Из правила
|-
|<tex>[F \rightarrow a \cdot , 3]</tex> || 1
|-
|<tex>[T \rightarrow F \cdot * T, 3]</tex> || 2
|-
|<tex>[T \rightarrow F \cdot , 3]</tex> || 2
|-
|<tex>[S \rightarrow T \cdot + S, 3]</tex> || 2
|-
|<tex>[S \rightarrow T \cdot , 3]</tex> || 2
|-
|<tex>[S \rightarrow T + S \cdot , 1]</tex> || 2
|-
|<tex>[F \rightarrow ( S \cdot ), 0]</tex> || 2
|}
|}

||

{| class="wikitable"
|-
!<tex>D_5</tex>
|-
|
{|
|-
!Ситуация !! Из правила
|-
|<tex>[F \rightarrow ( S )\cdot , 0]</tex> || 1
|-
|<tex>[T \rightarrow F \cdot * T, 0]</tex> || 2
|-
|<tex>[T \rightarrow F \cdot , 0]</tex> || 2
|-
|<tex>[S \rightarrow T \cdot + S, 0]</tex> || 2
|-
|<tex>[S \rightarrow T \cdot , 0]</tex> || 2
|-
|<tex>[S' \rightarrow S \cdot , 0]</tex> || 2
|}
|}

|}

Так как <tex>[S' \rightarrow S \cdot , 0] \in D_5</tex>, то <tex>w \in L(G) </tex>. 

==См. также==
* [[Алгоритм Кока-Янгера-Касами разбора грамматики в НФХ]]
* [[Алгоритм Кока-Янгера-Касами, модификация для произвольной грамматики]]

==Источники информации==
*[http://lpcs.math.msu.su/~sk/lehre/fivt2013/Earley.pdf Алексей Сорокин {{---}} Алгоритм Эрли]
* Ахо А., Ульман Д.{{---}} Теория синтакcического анализа, перевода и компиляции. Том 1. Синтаксический анализ. Пер. с англ. {{---}} М.:«Мир», 1978. С. 358 — 364.

[[Категория: Теория формальных языков]]
[[Категория: Контекстно-свободные грамматики]]
[[Категория: Алгоритмы разбора]]

Алгоритм Эрли

2019-05-14T18:53:32Z

Gaporf: /* Алгоритм Эрли */

__TOC__
'''Алгоритм Эрли''' позволяет определить, выводится ли данное слово <tex>w</tex> в данной [[Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора|контекстно-свободной]] грамматике <tex>G</tex>.

'''Вход:''' КС грамматика <tex> G=\langle N,\Sigma, P, S \rangle</tex> и слово <tex>w</tex>. 
'''Выход:''' <tex>true</tex>, если <tex>w</tex> выводится в <tex>G</tex>; <tex>false</tex> — иначе.

{{Определение
|definition =
Пусть <tex>G = \langle N, \Sigma, P, S \rangle</tex> {{---}} [[Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора|контекстно-свободная]] грамматика и <tex>w = w_0 w_1 ... w_{n-1}</tex> {{---}} входная цепочка из <tex>\Sigma^*</tex>.
Объект вида <tex>[A \rightarrow \alpha \cdot \beta, i]</tex>, где <tex>A \rightarrow \alpha \beta </tex> — правило из <tex>P</tex> и <tex>0 \leqslant i \leqslant n</tex> — позиция в <tex>w</tex>, называется '''ситуацией''', относящейся к цепочке <tex>w</tex>, где '''<tex> \cdot </tex>''' {{---}} вспомогательный символ, который не явлется терминалом или нетерминалом ( <tex> \cdot \notin \Sigma \cup N</tex>).
}}

{{Определение
|definition =
Ситуации хранятся в множествах <tex>D_0,...,D_{n-1}</tex>, называемых '''списками ситуаций'''. Причем наличие ситуации <tex>[A \rightarrow \alpha \cdot \beta , i]</tex> в <tex>j</tex>-м списке ситуаций <tex>D_j</tex> равносильно тому, что
<tex>\exists \delta \in \Sigma \cup N : ((S' \Rightarrow^* w_0...w_{i-1} A \delta) \wedge A \Rightarrow^* w_i...w_{j-1})</tex>.
}}

{{Определение
|definition =
Последовательность списков ситуаций <tex>D_0, D_1, .., D_{n-1}</tex> называется списком разбора для входной цепочки <tex>w</tex>.
}}

== Алгоритм Эрли ==
Чтобы воспользоваться леммой, необходимо найти <tex>D_n</tex> для <tex>w</tex>. Алгоритм Эрли является [[Динамическое программирование|динамическим алгоритмом]]: он последовательно строит список разбора, причём при построении <tex>D_j</tex> используются <tex>D_0, \ldots, D_{j}</tex> (то есть элементы списков с меньшими номерами и ситуации, содержащиеся в текущем списке на данный момент).

Алгоритм основывается на следующих трёх правилах:
# Если <tex>[A \rightarrow \alpha \cdot w_{j} \beta, i] \in D_{j-1}</tex> (где <tex>w_j</tex> — <tex>j</tex>-ый символ строки), то <tex>[A \rightarrow \alpha w_{j} \cdot \beta, i] \in D_j</tex>.
# Если <tex>[B \rightarrow \eta \ \cdot, i] \in D_j</tex> и <tex>[A \rightarrow \alpha \cdot B \beta, k] \in D_i</tex>, то <tex>[A \rightarrow \alpha B \cdot \beta, k] \in D_j</tex>.
# Если <tex>[A \rightarrow \alpha \ \cdot B \beta, i] \in D_{j} </tex> и <tex>(B \rightarrow \eta) \in P </tex>, то <tex>[B \rightarrow \cdot \ \eta, j] \in D_{j}</tex>.

=== Псевдокод ===
Для простоты добавим новый стартовый вспомогательный нетерминал <tex>S'</tex> и правило <tex>(S' \rightarrow S)</tex>.

'''function''' <tex>\mathtt{earley}(G, w)</tex>:
// Инициализация 
<tex> D_{0} = \lbrace [S' \rightarrow \cdot \ S, 0] \rbrace </tex>
'''for''' <tex>i = 1</tex> '''to''' <tex>len(w) - 1</tex>
<tex>D_i</tex> = <tex>\varnothing </tex>
// Вычисление ситуаций 
'''for''' <tex>j = 0</tex> '''to''' <tex>len(w) - 1</tex>
<tex>\mathtt{scan}(D, j, G, w)</tex>
'''while''' <tex>D_j</tex> изменяется
<tex>\mathtt{complete}(D, j, G, w)</tex>
<tex>\mathtt{predict}(D, j, G, w)</tex>
// Результат 
'''if''' <tex>[S' \rightarrow S \ \cdot, 0] \in D_{len(w)} </tex>
'''return''' ''true''
'''else'''
'''return''' ''false''

// Первое правило 
'''function''' <tex>\mathtt{scan}(D, j, G, w)</tex>:
'''if''' <tex>j</tex> == <tex>0</tex>
'''return'''
'''for''' <tex>[A \rightarrow \alpha \cdot a \beta, i] \in D_{j - 1} </tex>
'''if''' <tex>a</tex> == <tex>w_{j - 1}</tex>
<tex>D_{j}</tex> <tex> \cup</tex>= <tex>[A \rightarrow \alpha \cdot a \beta, i]</tex>

// Второе правило 
'''function''' <tex>\mathtt{complete}(D, j, G, w)</tex>:
'''for''' <tex>[B \rightarrow \eta \ \cdot, i] \in D_{j} </tex>
'''for''' <tex>[A \rightarrow \alpha \cdot B \beta, k] \in D_{i} </tex>
<tex>D_{j}</tex> <tex> \cup</tex>= <tex>[A \rightarrow \alpha B \cdot \beta, k]</tex>

// Третье правило 
'''function''' <tex>\mathtt{predict}(D, j, G, w)</tex>:
'''for''' <tex>[A \rightarrow \alpha \cdot B \beta, i] \in D_{j} </tex>
'''for''' <tex>(B \rightarrow \eta) \in P </tex>
<tex>D_{j}</tex> <tex>\cup</tex>= <tex>[B \rightarrow \cdot \ \eta, j]</tex>

==Корректность алгоритма==
{{Теорема
|statement = Приведенный алгоритм правильно строит все списки ситуаций.
То есть алгоритм поддерживает инвариант <tex> [A \rightarrow \alpha \cdot \beta, i] \in D_{j} \Longleftrightarrow \exists \delta \in \Sigma \cup N : ((S' \Rightarrow^* w_0...w_{i-1} A \delta) \wedge A \Rightarrow^* w_i...w_{j-1})</tex>
|proof =

<tex>\Longrightarrow</tex> 
Докажем индукцией по исполнению алгоритма. 
 ''База индукции:'' 
<tex>[S' \rightarrow \cdot S, 0] \in D_0</tex>. 
 ''Индукционный переход:'' 
Пусть предположение верно для всех списков ситуаций с номерами меньше <tex> j </tex>. Разберемся, в результате применения какого правила ситуация <tex> [A \rightarrow \alpha \cdot \beta, i] </tex> попала в <tex>D_{j}</tex> 

1. Включаем по правилу <tex> \mathtt{scan}</tex>. 
Это произошло, если <tex> \alpha = \alpha ' a</tex>, <tex>a = w_{j-1}</tex> и <tex> [A \rightarrow \alpha ' \cdot a \beta, i] \in D_{j-1}</tex>. 
По предположению индукции <tex>S' \Rightarrow^* w_0...w_{i-1} A \delta</tex> и <tex>\alpha' \Rightarrow^* w_i...w_{j-2}</tex>, 
тогда в силу <tex>a = w_{j-1}</tex> получаем <tex>\alpha = \alpha ' a \Rightarrow^* w_i...w_{j-2}w_{j-1} = w_i...w_{j-1}</tex>. 
Таким образом условия: <tex>S' \Rightarrow^* w_0...w_{i-1} A \delta</tex> и <tex>\alpha \Rightarrow^* w_i...w_{j-1}</tex> выполняются.

2. Включаем по правилу <tex> \mathtt{predict}</tex>. 
По построению: <tex> \alpha = \varepsilon </tex> и <tex>i=j</tex>, что автоматически влечет второй пункт утверждения. 
Кроме того <tex>\exists i' \le i</tex> и ситуация <tex>[A' \rightarrow \alpha ' \cdot A \delta ', i'] \in D_i</tex>, из чего по предположению индукции следует <tex>S' \Rightarrow^* w_0...w_{i'-1} A' \delta ''</tex>
и <tex> \alpha ' \Rightarrow^* w_{i'}...w_{i-1}</tex>. 
Получаем, что <tex>S' \Rightarrow^* w_0...w_{i'-1} A' \delta ''</tex>, значит <tex>S \Rightarrow^* w_0...w_{i'-1} \alpha' A \delta' \delta '' </tex>, следовательно <tex> S' \Rightarrow^* w_0...w_{i'-1} w_{i'}...w_{i-1} A \delta' \delta ''
</tex>, в итоге <tex> S' \Rightarrow^* w_0...w_{i-1} A \delta</tex>, что нам и требовалось.

3. Включаем по правилу <tex> \mathtt{complete}</tex>. 
По построению: <tex> \alpha = \alpha ' A' </tex> и <tex>\exists i', \delta : [A \rightarrow \alpha ' \cdot A' \beta, i] \in D_{i'} \wedge [A' \rightarrow \eta \cdot, i'] \in D_j</tex>. 
Cледовательно <tex>\alpha = \alpha ' A' \Rightarrow^* w_i...w_{i'-1} w_{i'}...w_{j} = w_i...w_{j-1}</tex>, что дает нам второй пункт утверждения, а так как первый пункт следует из индукционного предположения, все хорошо.

<tex>\Longleftarrow</tex> 
В обратную сторону будем доказывать индукцией по суммарной длине вывода <tex>w_0...w_{i-1} A \delta</tex> из <tex>S'</tex> и <tex>w_i...w_{j-1}</tex> из <tex>\alpha</tex>. После чего применим
индукцию по длине вывода <tex>w_i...w_{j-1}</tex> из <tex>\alpha</tex>. 
Рассмотрим три случая последнего символа <tex>\alpha</tex>:

1. <tex>\alpha = \alpha ' a</tex>, тогда <tex>a = w_{j-1}</tex> и <tex>\alpha ' \Rightarrow^* w_i...w_{j-2}</tex>. 
По предположению индукции: <tex>[A \rightarrow \alpha ' \cdot a \beta, i] \in D_{j-1}</tex>, а отсюда по правилу <tex> \mathtt{scan}</tex> получаем <tex>[A \rightarrow \alpha ' a \cdot \beta, i] \in D_{j}</tex>.

2. <tex>\alpha = \alpha ' B</tex>, тогда <tex>\exists i' : \alpha ' \Rightarrow^* w_i...w_{i'-1} \wedge B ' \Rightarrow^* w_{i'}...w_{j-1}</tex>. 
Тогда имеем <tex>[A \rightarrow \alpha ' a \cdot \beta, i] \in D_{j}</tex>. Также можно записать <tex>S' \Rightarrow^* w_0...w_{i-1} A \delta</tex>, как <tex>S' \Rightarrow^* w_0...w_{i-1} w_i...w_{i'-1}B \beta \delta</tex>,
а также <tex>B \rightarrow \eta \wedge \eta \rightarrow w_{i'}...w_{j-1}</tex>. 
Применяя индукцию по второму параметру получим <tex>[B \rightarrow \eta \cdot, i'] \in D_j</tex>, откуда по правилу <tex> \mathtt{complete}</tex> получаем <tex>[A \rightarrow \alpha ' B \cdot \beta, i] \in D_{j}</tex>.

3. <tex>\alpha = \varepsilon </tex>, тогда <tex>i=j</tex>. 
Тогда либо <tex>i = 0 \wedge A = S \wedge \delta = \varepsilon</tex>, что доказывает базу индукции, 
либо вывод можно записать в виде <tex>S' \Rightarrow^* w_0...w{i'-1}w_{i'}...w{i-1} A \delta ' \delta '' = w_0...w_{i-1} A \delta</tex> для некоторого правила <tex>(A' \rightarrow w_{i'}...w_{i-1} A \delta ') \in P</tex>. 
Отсюда по предположению индукции <tex>[A' \rightarrow \cdot w_{i'}...w_{i-1} A \delta ', i'] \in D_{i'}</tex>,
что после нескольких применений правила <tex> \mathtt{scan}</tex> приводит к <tex>[A' \rightarrow w_{i'}...w_{i-1} \cdot A \delta ', i'] \in D_{i}</tex>,
после чего по правилу <tex> \mathtt{predict}</tex> получим <tex>[A \rightarrow \cdot \beta, i] \in D_{j}</tex>, что и требовалось.

}}

==Пример==
Построим список разбора для строки <tex>w = (a + a)</tex> в грамматике со следующими правилами:
* <tex>S \rightarrow T + S</tex>
* <tex>S \rightarrow T </tex>
* <tex>T \rightarrow F * T</tex>
* <tex>T \rightarrow F</tex>
* <tex>F \rightarrow ( S )</tex>
* <tex>F \rightarrow a</tex>

{|
|-
|

{| class="wikitable"
|-
!<tex>D_0</tex>
|-
|
{|
|-
!Ситуация !! Из правила
|-
|<tex>[S' \rightarrow \cdot S, 0]</tex> || 0
|-
|<tex>[S \rightarrow \cdot T + S, 0]</tex> || 3
|-
|<tex>[S \rightarrow \cdot T, 0]</tex> || 3
|-
|<tex>[T \rightarrow \cdot F * T, 0]</tex> || 3
|-
|<tex>[T \rightarrow \cdot F, 0]</tex> || 3
|-
|<tex>[F \rightarrow \cdot ( S ), 0]</tex> || 3
|-
|<tex>[F \rightarrow \cdot a, 0]</tex> || 3
|}
|}

||

{| class="wikitable"
|-
!<tex>D_1</tex>
|-
|
{|
|-
!Ситуация !! Из правила
|-
|<tex>[F \rightarrow ( \cdot S ), 0]</tex> || 1
|-
|<tex>[S \rightarrow \cdot T + S, 1]</tex> || 3
|-
|<tex>[S \rightarrow \cdot T, 1]</tex> || 3
|-
|<tex>[T \rightarrow \cdot F * T, 1]</tex> || 3
|-
|<tex>[T \rightarrow \cdot F, 1]</tex> || 3
|-
|<tex>[F \rightarrow \cdot ( S ), 1]</tex> || 3
|-
|<tex>[F \rightarrow \cdot a, 1]</tex> || 3
|}
|}

||

{| class="wikitable"
|-
!<tex>D_2</tex>
|-
|
{|
|-
!Ситуация !! Из правила
|-
|<tex>[F \rightarrow a \cdot, 1]</tex> || 1
|-
|<tex>[T \rightarrow F \cdot * T, 1]</tex> || 2
|-
|<tex>[T \rightarrow F \cdot , 1]</tex> || 2
|-
|<tex>[S \rightarrow T \cdot , 1]</tex> || 2
|-
|<tex>[S \rightarrow T \cdot + S, 1]</tex> || 2
|-
|<tex>[F \rightarrow ( S \cdot ), 0]</tex> || 2
|}
|}

|-
|

{| class="wikitable"
|-
!<tex>D_3</tex>
|-
|
{|
|-
!Ситуация !! Из правила
|-
|<tex>[S \rightarrow T + \cdot S, 1]</tex> || 1
|-
|<tex>[S \rightarrow \cdot T + S, 3]</tex> || 3
|-
|<tex>[S \rightarrow \cdot T, 3]</tex> || 3
|-
|<tex>[T \rightarrow \cdot F * T, 3]</tex> || 3
|-
|<tex>[T \rightarrow \cdot F, 3]</tex> || 3
|-
|<tex>[F \rightarrow \cdot ( S ), 3]</tex> || 3
|-
|<tex>[F \rightarrow \cdot a, 3]</tex> || 3
|}
|}

||

{| class="wikitable"
|-
!<tex>D_4</tex>
|-
|
{|
|-
!Ситуация !! Из правила
|-
|<tex>[F \rightarrow a \cdot , 3]</tex> || 1
|-
|<tex>[T \rightarrow F \cdot * T, 3]</tex> || 2
|-
|<tex>[T \rightarrow F \cdot , 3]</tex> || 2
|-
|<tex>[S \rightarrow T \cdot + S, 3]</tex> || 2
|-
|<tex>[S \rightarrow T \cdot , 3]</tex> || 2
|-
|<tex>[S \rightarrow T + S \cdot , 1]</tex> || 2
|-
|<tex>[F \rightarrow ( S \cdot ), 0]</tex> || 2
|}
|}

||

{| class="wikitable"
|-
!<tex>D_5</tex>
|-
|
{|
|-
!Ситуация !! Из правила
|-
|<tex>[F \rightarrow ( S )\cdot , 0]</tex> || 1
|-
|<tex>[T \rightarrow F \cdot * T, 0]</tex> || 2
|-
|<tex>[T \rightarrow F \cdot , 0]</tex> || 2
|-
|<tex>[S \rightarrow T \cdot + S, 0]</tex> || 2
|-
|<tex>[S \rightarrow T \cdot , 0]</tex> || 2
|-
|<tex>[S' \rightarrow S \cdot , 0]</tex> || 2
|}
|}

|}

Так как <tex>[S' \rightarrow S \cdot , 0] \in D_5</tex>, то <tex>w \in L(G) </tex>. 

==См. также==
* [[Алгоритм Кока-Янгера-Касами разбора грамматики в НФХ]]
* [[Алгоритм Кока-Янгера-Касами, модификация для произвольной грамматики]]

==Источники информации==
*[http://lpcs.math.msu.su/~sk/lehre/fivt2013/Earley.pdf Алексей Сорокин {{---}} Алгоритм Эрли]
* Ахо А., Ульман Д.{{---}} Теория синтакcического анализа, перевода и компиляции. Том 1. Синтаксический анализ. Пер. с англ. {{---}} М.:«Мир», 1978. С. 358 — 364.

[[Категория: Теория формальных языков]]
[[Категория: Контекстно-свободные грамматики]]
[[Категория: Алгоритмы разбора]]

Алгоритм Кока-Янгера-Касами, модификация для произвольной грамматики

2019-05-14T15:26:43Z

Gaporf: /* Оценка сложности */

{{Задача
|definition =
Пусть дана [[Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора|контекстно-свободная грамматика]] <tex>\Gamma</tex> и слово <tex>w \in \Sigma^{*}</tex>. Требуется выяснить, выводится ли это слово в данной грамматике.
}}

[[Алгоритм_Кока-Янгера-Касами_разбора_грамматики_в_НФХ|Базовая версия]] данного алгоритма работает только для грамматик в [[нормальная форма Хомского|нормальной форме Хомского]]. Модифицируем алгоритм для работы на произвольных контекстно-свободных грамматиках. Модификация алгоритма сильно проще в написании, чем приведение к [[нормальная форма Хомского|нормальной форме Хомского]], поэтому часто используют её, не смотря на то, что время работы у нее больше.

== Алгоритм для произвольной грамматики ==

Будем решать задачу динамическим программированием. Введём динамику <tex>a\left[A,i,j\right] = \left[A \Rightarrow^{*} w[i..j-1]\right] \ </tex>, аналогично [[Алгоритм_Кока-Янгера-Касами_разбора_грамматики_в_НФХ|базовой версии]] алгоритма.

Также введём вспомогательный четырехмерный массив <tex>h\left[A \rightarrow \alpha, i, j, k\right] = true \ </tex> тогда и только тогда, когда из префикса длины <tex>k</tex> правой части данного правила можно вывести <tex>w\left[i..j-1\right]</tex>.

Рассмотрим все тройки <tex>\lbrace \langle j, i \rangle \mid j-i=m \rbrace</tex>, где <tex>m</tex> {{---}} константа и <tex>m < n</tex>, и <tex>k</tex> такое, что <tex>k < \left|\alpha\right|</tex>.

* '''База динамики''':

:<tex>a\left[A, i, i+1\right] = true \ </tex>, если в грамматике <tex>\Gamma</tex> присутствует правило <tex>A \rightarrow w[i] \ </tex>, иначе <tex>a\left[A, i, i+1\right] = false \ </tex>;

:<tex>a\left[A, i, i\right] = true \ </tex>, если в грамматике <tex>\Gamma</tex> присутствует правило <tex>A \rightarrow \varepsilon \ </tex>, иначе <tex>a\left[A, i, i\right] = false \ </tex>;

:<tex>h\left[A \rightarrow \alpha, i, i, 0\right] = true \ </tex>.

* '''Переход''':

:Пусть значения для всех нетерминалов, пар <tex>\lbrace \langle j', i' \rangle \mid j' - i' < m \rbrace \ </tex> и <tex>\lbrace k' \mid k' < k \rbrace \ </tex> уже вычислены, поэтому вспомогательная динамика: <tex> h\left[A \rightarrow \alpha, i, j+1, k\right] = \bigvee\limits_{r=i..j+1}\left(h\left[A \rightarrow \alpha, i, r, k-1\right] \wedge a\left[\alpha\left[k\right],r,j+1\right]\right)</tex>. То есть, подстроку <tex>w[i..j]</tex> можно вывести из префикса длины <tex>k</tex> правой части данного правила, если из префикса длины <tex>k-1</tex> правой части данного правила можно вывести <tex>w\left[i..r-1\right]</tex>, а подстрока <tex>w[r..j]</tex> выводится из <tex>k</tex>-го символа правой части правила. Это вычисление может обратится к <tex>a\left[A,i,j+1\right]</tex>, но на результат это не повлияет, так как в данный момент <tex>a\left[A,i,j+1\right]=false</tex>.

:Но если <tex>\alpha\left[k\right]</tex> {{---}} терминал, то подстроку <tex>w[i..j]</tex> можно вывести из префикса длины <tex>k</tex> правой части данного правила, если из префикса длины <tex>k-1</tex> правой части данного правила можно вывести <tex>w\left[i..r-1\right] \ </tex>, а подстрока <tex>w[r..j]</tex> выводится, если <tex>w\left[r..j\right]=\alpha\left[k\right]</tex>.

:Базовая динамика выражается так: <tex>a\left[A,i,j\right]=\bigvee\limits_{A \rightarrow \alpha}h\left[A \rightarrow \alpha, i, j, \left|\alpha\right|\right] \ </tex>. То есть, подстроку <tex>w[i..j-1] \ </tex> можно вывести из нетерминала <tex>A</tex>, если из длины правой части данного правила можно вывести <tex>w\left[i..j-1\right] \ </tex>.

* '''Завершение''':

:После окончания работы ответ содержится в ячейке <tex>a\left[S, 1, n\right] </tex>, где <tex>n = |w|</tex>.

== Псевдокод ==
<code>
'''CYK_Modified'''(S, Г): // S {{---}} строка длины n, Г {{---}} КС-грамматика 
'''for''' i = 1..n
'''for''' Rj -> alpha // перебор состояний 
'''if'''( A -> w[i] in Г) a[A, i, i+1] = true // если в грамматике Г присутствует правило A -> w[i] 
'''else''' a[A, i, i+1] = false
'''if'''( A -> eps in Г) a[A, i, i] = true // если в грамматике Г присутствует правило A -> eps 
'''else''' a[A, i, i] = false
h[A->alpha, i, i, 0] = true
'''for''' m = 1..n
'''for''' i = 1..n
j = i+m
'''for''' k = 1..M
'''for''' Rj -> alpha // перебор состояний 
h[A->alpha, i, j+1, k] = OR( for r = i..j+1) (h[A->alpha, i, r, k-1] & a[alpha[k],r,j+1])
'''for''' i = 1..n
'''for''' j = 1..n
'''for''' Rj -> alpha
a[A, i, j] = OR( for A->alpha) h[A->alpha, i, j, |alpha|] // где |alpha| {{---}} размер правой части правила
'''return''' a[S, 1, n]

</code>

== Оценка сложности ==
Обозначим <tex>M = \max\limits_{A \rightarrow \alpha}\left|\alpha\right|</tex> — максимальную длину правой части правила.

Обработки правил вида <tex>A \rightarrow w[i]</tex>, <tex>A \rightarrow \varepsilon</tex> и нахождение <tex>h\left[A \rightarrow \alpha, i, i, 0\right] \ </tex> выполняются за <tex>O(n \cdot |\Gamma|)</tex>.

Время одного перехода вспомогательной динамики <tex>O(n)</tex>, суммарное число состояний <tex>O(n^2 \cdot |\Gamma| \cdot M)</tex>. Отсюда расчёт вспомогательной динамики занимает <tex>O \left( n^3 \cdot |\Gamma| \cdot M \right) \ </tex> времени, базовая динамика находится, как <tex>O \left( n^2 \cdot |\Gamma| \right)</tex>. Итоговая временная сложность алгоритма равна <tex>O \left( n^3 \cdot |\Gamma| \cdot M \right)</tex>. Алгоритму требуется <tex>O(n^2 \cdot |\Gamma| \cdot M) \ </tex> памяти.

== См. также ==
* [[Алгоритм Кока-Янгера-Касами разбора грамматики в НФХ|Алгоритм Кока-Янгера-Касами разбора грамматики в НФХ]]
* [[Алгоритм_Эрли|Алгоритм Эрли]]

[[Категория: Теория формальных языков]]
[[Категория: Контекстно-свободные грамматики]]
[[Категория:Динамическое программирование]]

Алгоритм Кока-Янгера-Касами, модификация для произвольной грамматики

2019-05-14T15:25:55Z

Gaporf: /* Алгоритм для произвольной грамматики */

{{Задача
|definition =
Пусть дана [[Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора|контекстно-свободная грамматика]] <tex>\Gamma</tex> и слово <tex>w \in \Sigma^{*}</tex>. Требуется выяснить, выводится ли это слово в данной грамматике.
}}

[[Алгоритм_Кока-Янгера-Касами_разбора_грамматики_в_НФХ|Базовая версия]] данного алгоритма работает только для грамматик в [[нормальная форма Хомского|нормальной форме Хомского]]. Модифицируем алгоритм для работы на произвольных контекстно-свободных грамматиках. Модификация алгоритма сильно проще в написании, чем приведение к [[нормальная форма Хомского|нормальной форме Хомского]], поэтому часто используют её, не смотря на то, что время работы у нее больше.

== Алгоритм для произвольной грамматики ==

Будем решать задачу динамическим программированием. Введём динамику <tex>a\left[A,i,j\right] = \left[A \Rightarrow^{*} w[i..j-1]\right] \ </tex>, аналогично [[Алгоритм_Кока-Янгера-Касами_разбора_грамматики_в_НФХ|базовой версии]] алгоритма.

Также введём вспомогательный четырехмерный массив <tex>h\left[A \rightarrow \alpha, i, j, k\right] = true \ </tex> тогда и только тогда, когда из префикса длины <tex>k</tex> правой части данного правила можно вывести <tex>w\left[i..j-1\right]</tex>.

Рассмотрим все тройки <tex>\lbrace \langle j, i \rangle \mid j-i=m \rbrace</tex>, где <tex>m</tex> {{---}} константа и <tex>m < n</tex>, и <tex>k</tex> такое, что <tex>k < \left|\alpha\right|</tex>.

* '''База динамики''':

:<tex>a\left[A, i, i+1\right] = true \ </tex>, если в грамматике <tex>\Gamma</tex> присутствует правило <tex>A \rightarrow w[i] \ </tex>, иначе <tex>a\left[A, i, i+1\right] = false \ </tex>;

:<tex>a\left[A, i, i\right] = true \ </tex>, если в грамматике <tex>\Gamma</tex> присутствует правило <tex>A \rightarrow \varepsilon \ </tex>, иначе <tex>a\left[A, i, i\right] = false \ </tex>;

:<tex>h\left[A \rightarrow \alpha, i, i, 0\right] = true \ </tex>.

* '''Переход''':

:Пусть значения для всех нетерминалов, пар <tex>\lbrace \langle j', i' \rangle \mid j' - i' < m \rbrace \ </tex> и <tex>\lbrace k' \mid k' < k \rbrace \ </tex> уже вычислены, поэтому вспомогательная динамика: <tex> h\left[A \rightarrow \alpha, i, j+1, k\right] = \bigvee\limits_{r=i..j+1}\left(h\left[A \rightarrow \alpha, i, r, k-1\right] \wedge a\left[\alpha\left[k\right],r,j+1\right]\right)</tex>. То есть, подстроку <tex>w[i..j]</tex> можно вывести из префикса длины <tex>k</tex> правой части данного правила, если из префикса длины <tex>k-1</tex> правой части данного правила можно вывести <tex>w\left[i..r-1\right]</tex>, а подстрока <tex>w[r..j]</tex> выводится из <tex>k</tex>-го символа правой части правила. Это вычисление может обратится к <tex>a\left[A,i,j+1\right]</tex>, но на результат это не повлияет, так как в данный момент <tex>a\left[A,i,j+1\right]=false</tex>.

:Но если <tex>\alpha\left[k\right]</tex> {{---}} терминал, то подстроку <tex>w[i..j]</tex> можно вывести из префикса длины <tex>k</tex> правой части данного правила, если из префикса длины <tex>k-1</tex> правой части данного правила можно вывести <tex>w\left[i..r-1\right] \ </tex>, а подстрока <tex>w[r..j]</tex> выводится, если <tex>w\left[r..j\right]=\alpha\left[k\right]</tex>.

:Базовая динамика выражается так: <tex>a\left[A,i,j\right]=\bigvee\limits_{A \rightarrow \alpha}h\left[A \rightarrow \alpha, i, j, \left|\alpha\right|\right] \ </tex>. То есть, подстроку <tex>w[i..j-1] \ </tex> можно вывести из нетерминала <tex>A</tex>, если из длины правой части данного правила можно вывести <tex>w\left[i..j-1\right] \ </tex>.

* '''Завершение''':

:После окончания работы ответ содержится в ячейке <tex>a\left[S, 1, n\right] </tex>, где <tex>n = |w|</tex>.

== Псевдокод ==
<code>
'''CYK_Modified'''(S, Г): // S {{---}} строка длины n, Г {{---}} КС-грамматика 
'''for''' i = 1..n
'''for''' Rj -> alpha // перебор состояний 
'''if'''( A -> w[i] in Г) a[A, i, i+1] = true // если в грамматике Г присутствует правило A -> w[i] 
'''else''' a[A, i, i+1] = false
'''if'''( A -> eps in Г) a[A, i, i] = true // если в грамматике Г присутствует правило A -> eps 
'''else''' a[A, i, i] = false
h[A->alpha, i, i, 0] = true
'''for''' m = 1..n
'''for''' i = 1..n
j = i+m
'''for''' k = 1..M
'''for''' Rj -> alpha // перебор состояний 
h[A->alpha, i, j+1, k] = OR( for r = i..j+1) (h[A->alpha, i, r, k-1] & a[alpha[k],r,j+1])
'''for''' i = 1..n
'''for''' j = 1..n
'''for''' Rj -> alpha
a[A, i, j] = OR( for A->alpha) h[A->alpha, i, j, |alpha|] // где |alpha| {{---}} размер правой части правила
'''return''' a[S, 1, n]

</code>

== Оценка сложности ==
Обозначим <tex>M = \max\limits_{A \rightarrow \alpha}\left|\alpha\right|</tex> — максимальную длину правой части правила.

Обработки правил вида <tex>A \rightarrow w[i]</tex>, <tex>A \rightarrow \varepsilon</tex> и нахождение <tex>h\left[A \rightarrow \alpha, i, i, 0\right]</tex> выполняются за <tex>O(n \cdot |\Gamma|)</tex>.

Время одного перехода вспомогательной динамики <tex>O(n)</tex>, суммарное число состояний <tex>O(n^2 \cdot |\Gamma| \cdot M)</tex>. Отсюда расчёт вспомогательной динамики занимает <tex>O \left( n^3 \cdot |\Gamma| \cdot M \right)</tex> времени, базовая динамика находится, как <tex>O \left( n^2 \cdot |\Gamma| \right)</tex>. Итоговая временная сложность алгоритма равна <tex>O \left( n^3 \cdot |\Gamma| \cdot M \right)</tex>. Алгоритму требуется <tex>O(n^2 \cdot |\Gamma| \cdot M)</tex> памяти.

== См. также ==
* [[Алгоритм Кока-Янгера-Касами разбора грамматики в НФХ|Алгоритм Кока-Янгера-Касами разбора грамматики в НФХ]]
* [[Алгоритм_Эрли|Алгоритм Эрли]]

[[Категория: Теория формальных языков]]
[[Категория: Контекстно-свободные грамматики]]
[[Категория:Динамическое программирование]]

Алгоритм Кока-Янгера-Касами разбора грамматики в НФХ

2019-05-14T15:22:14Z

Gaporf: /* Пример работы */

{{Задача
|definition =
Пусть дана [[Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора|контекстно-свободная грамматика]] <tex>\Gamma</tex> в [[нормальная форма Хомского|нормальной форме Хомского]] и слово <tex>w \in \Sigma^{*}</tex>. Требуется выяснить, выводится ли это слово в данной грамматике.
}}

== Контекстно-свободная грамматика ==
{{Определение
|definition =
'''[[Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора|Контекстно-свободная грамматика]]''' ('''КС-грамматика''', '''бесконтекстная грамматика''') {{---}} способ описания формального языка, представляющий собой четверку
<tex>\Gamma =\langle \Sigma, N, S \in N, P \subset N^{+}\times (\Sigma\cup N)^{*}\rangle</tex>, где:
* <tex>\Sigma</tex> {{---}} [[Основные_определения: алфавит, слово, язык, конкатенация, свободный моноид слов|алфавит]], элементы которого называют '''терминалами''' (англ. ''terminals'')
* <tex>N</tex> {{---}} множество, элементы которого называют '''нетерминалами''' (англ. ''nonterminals'')
* <tex>S</tex> {{---}} начальный символ грамматики (англ. ''start symbol'')
* <tex>P</tex> {{---}} набор правил вывода (англ. ''production rules'' или ''productions'') вида <tex>A \rightarrow B_1 B_2 ... B_n</tex>, где <tex>A \in N</tex>, <tex>B_i \in \Sigma \cup N</tex>, то есть у которых левые части {{---}} одиночные нетерминалы, а правые - последовательности терминалов и нетерминалов.
}}
=== Пример ===

Терминалы <tex>\Sigma = \{(, )\}</tex>.

Нетерминалы <tex>N = \{S\}</tex>.

Правила вывода <tex>P</tex>:

<tex>\begin{array}{l l}
S \rightarrow \varepsilon\\
S \rightarrow SS\\
S \rightarrow (S)\\
\end{array}</tex>

Данная грамматика задает язык [[Правильные_скобочные_последовательности|правильных скобочных последовательностей]]. Например, последовательность <tex>(()(()))</tex> может быть выведена следующим образом:

<tex> S \Rightarrow (S) \Rightarrow (SS) \Rightarrow (()(S)) \Rightarrow (()(())) </tex>

== Нормальная форма Хомского ==

'''[[Нормальная форма Хомского]]''' {{---}} нормальная форма КС-грамматик, в которой все продукции имеют вид:
* <tex>A \rightarrow a</tex>, где <tex>A</tex> {{---}} нетерминал, а <tex>a</tex> {{---}} терминал
* <tex>A \rightarrow BC</tex>, где <tex>A</tex>, <tex>B</tex>, <tex>C</tex> {{---}} нетерминалы, причем <tex>B</tex> и <tex>C</tex> не являются начальными нетерминалами
* <tex>S \rightarrow \varepsilon</tex>, где <tex>S</tex> {{---}} начальный нетерминал и <tex>\varepsilon</tex> {{---}} пустая строка (данная продукция необходима, если в языке присуствует пустая строка)

[[Нормальная форма Хомского|Можно показать]], что любую КС-грамматику можно привести к нормальной форме Хомского.

== Алгоритм ==
'''Алгоритм Кока-Янгера-Касами''' (англ. ''Cocke-Younger-Kasami algorithm'', англ. ''CYK-алгоритм'') {{---}} алгоритм, позволяющий по слову узнать, выводимо ли оно в заданной КС-грамматике в нормальной форме Хомского. Любую КС-грамматику можно привести к НФХ, поэтому алгоритм является универсальным для любой КС-грамматики.

Будем решать задачу [[Динамическое_программирование|динамическим программированием]]. Дана строка <tex>w</tex> размером <tex>n</tex>. Заведем для неё трехмерный массив <tex>d</tex> размером <tex>|N| \times n \times n</tex>, состоящий из логических значений, и <tex>d[A][i][j] = true \ </tex> тогда и только тогда, когда из нетерминала <tex>A</tex> правилами грамматики можно вывести подстроку <tex>w[i \dots j]</tex>.

Рассмотрим все пары <tex>\lbrace \langle j, i \rangle | j-i=m \rbrace</tex>, где <tex>m</tex> {{---}} константа и <tex>m < n</tex>.

* <tex>i = j</tex>. Инициализируем массив для всех нетерминалов, из которых выводится какой-либо символ строки <tex>w</tex>. В таком случае <tex>d[A][i][i] = true \ </tex>, если в грамматике <tex>\Gamma</tex> присутствует правило <tex>A \rightarrow w[i]</tex>. Иначе <tex>d[A][i][i] = false</tex>.

* <tex>i \ne j</tex>. Значения для всех нетерминалов и пар <tex>\lbrace \langle j', i' \rangle | j' - i' < m \rbrace</tex> уже вычислены, поэтому <tex>d[A][i][j] = \bigvee\limits_{A \rightarrow BC}\bigvee\limits_{k = i}^{j-1} d[B][i][k] \wedge d[C][k+1][j] \ \ </tex>. То есть, подстроку <tex>w[i \dots j]</tex> можно вывести из нетерминала <tex>A</tex>, если существует продукция вида <tex>A \rightarrow BC</tex> и такое <tex>k</tex>, что подстрока <tex>w[i \dots k]</tex> выводима из <tex>B</tex>, а подстрока <tex>w[k + 1 \dots j]</tex> выводится из <tex>C</tex>.
[[Файл:CYK_rule_2.jpg|400px]]

После окончания работы значение <tex>d[S][1][n]</tex> содержит ответ на вопрос, выводима ли данная строка в данной грамматике, где <tex>S</tex> {{---}} начальный символ грамматики.

== Модификации ==

=== Количество способов вывести слово ===
Если массив будет хранить целые числа, а формулу заменить на <tex>d[A][i][j] = \sum\limits_{A \rightarrow BC}\sum\limits_{k = i}^{j-1} d[B][i][k] \cdot d[C][k + 1][j]</tex>, то <tex>d[A][i][j]</tex> {{---}} количество способов получить подстроку <tex>w[i \dots j]</tex> из нетерминала <tex>A</tex>.

=== Минимальная стоимость вывода слова ===
Пусть <tex>H(A \rightarrow BC)</tex> {{---}} стоимость вывода по правилу <tex>A \rightarrow BC</tex>. Тогда, если использовать формулу <tex>d[A][i][j] = \min\limits_{A \rightarrow BC} \min\limits_{k = i}^{j-1} ( d[B][i][k] + d[C][k + 1][j] + H(A \rightarrow BC) )</tex>, то <tex>d[A][i][j]</tex> {{---}} минимальная стоимость вывода подстроки <tex>w[i \dots j]</tex> из нетерминала <tex>A</tex>.

Таким образом, задача о выводе в КС-грамматике в нормальной форме Хомского является частным случаем задачи динамического программирования на подотрезке.

== Асимптотика ==
Обработка правил вида <tex>A \rightarrow w[i]</tex> выполняется за <tex>O(n \cdot |\Gamma|)</tex>.

Проход по всем подстрокам выполняется за <tex>O(n^2)</tex>. В обработке одной подстроки присутствует цикл по всем правилам вывода и по всем разбиениям на две подстроки, следовательно обработка работает за <tex>O(n \cdot |\Gamma|)</tex>. В итоге получаем конечную сложность <tex>O(n^3 \cdot |\Gamma|)</tex>.

Следовательно, общее время работы алгоритма {{---}} <tex>O(n^3 \cdot |\Gamma|)</tex>. Кроме того, алгоритму требуется память на массив <tex>d</tex> объемом <tex>O(n^2 \cdot |N|)</tex>, где <tex>|N|</tex> {{---}} количество [[Формальные_грамматики#Определения|нетерминалов]] грамматики.

== Пример работы ==
Дана грамматика [[Правильные_скобочные_последовательности|правильных скобочных последовательностей]] <tex>\Gamma</tex> в нормальной форме Хомского.

<tex>\begin{array}{l l}
A \rightarrow \varepsilon\ |\ BB\ |\ CD\\
B \rightarrow BB\ |\ CD\\
C \rightarrow (\\
D \rightarrow BE\ |\ )\\
E \rightarrow )\\
\end{array}</tex>

Дано слово <tex>w = ()(())</tex>.

Инициализация массива <tex>d</tex>.

{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|A
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|B
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|C
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
| align="center"| ●
|
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
| align="center"| ●
|
|
|
|-
! 4
|
|
|
| align="center"| ●
|
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|D
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|E
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
<div style="clear:both;"></div>

Заполнение массива <tex>d</tex>.

Итерация <tex>m = 1</tex>.

{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|A
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|B
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|C
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
| align="center"| ●
|
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
| align="center"| ●
|
|
|
|-
! 4
|
|
|
| align="center"| ●
|
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|D
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|E
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
<div style="clear:both;"></div>

Итерация <tex>m = 2</tex>.

{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|A
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|B
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|C
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
| align="center"| ●
|
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
| align="center"| ●
|
|
|
|-
! 4
|
|
|
| align="center"| ●
|
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|D
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
| align="center"| ●
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|E
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
<div style="clear:both;"></div>

Итерация <tex>m = 3</tex>.

{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|A
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
| align="center"| ●
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|B
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
| align="center"| ●
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|C
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
| align="center"| ●
|
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
| align="center"| ●
|
|
|
|-
! 4
|
|
|
| align="center"| ●
|
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|D
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
| align="center"| ●
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|E
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
<div style="clear:both;"></div>

Итерация <tex>m = 4</tex>.

{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|A
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
| align="center"| ●
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|B
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
| align="center"| ●
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|C
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
| align="center"| ●
|
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
| align="center"| ●
|
|
|
|-
! 4
|
|
|
| align="center"| ●
|
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|D
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
| align="center"| ●
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|E
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
<div style="clear:both;"></div>

Итерация <tex>m = 5</tex>.

{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|A
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
| align="center"| ●
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
| align="center"| ●
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|B
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
| align="center"| ●
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
| align="center"| ●
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|C
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
| align="center"| ●
|
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
| align="center"| ●
|
|
|
|-
! 4
|
|
|
| align="center"| ●
|
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|D
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
| align="center"| ●
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|E
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
<div style="clear:both;"></div>

== См. также ==
* [[Алгоритм Кока-Янгера-Касами, модификация для произвольной грамматики|Алгоритм Кока-Янгера-Касами, модификация для произвольной грамматики]]
* [[Алгоритм_Эрли|Алгоритм Эрли]]
==Источники информации==
* [[wikipedia:CYK_algorithm|Wikipedia {{---}} CYK algorithm]]
* [http://web.cs.ucdavis.edu/~rogaway/classes/120/winter12/CYK.pdf David Rodriguez-Velazquez, "The CYK Algorithm"]
* [https://www.princeton.edu/~achaney/tmve/wiki100k/docs/CYK_algorithm.html Princeton University, "The CYK Algorithm"]

[[Категория:Дискретная математика и алгоритмы]]
[[Категория:Динамическое программирование]]
[[Категория: Теория формальных языков]]
[[Категория: Контекстно-свободные грамматики]]
[[Категория: Алгоритмы разбора]]

Алгоритм Кока-Янгера-Касами разбора грамматики в НФХ

2019-05-14T15:21:36Z

Gaporf: /* Алгоритм */

{{Задача
|definition =
Пусть дана [[Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора|контекстно-свободная грамматика]] <tex>\Gamma</tex> в [[нормальная форма Хомского|нормальной форме Хомского]] и слово <tex>w \in \Sigma^{*}</tex>. Требуется выяснить, выводится ли это слово в данной грамматике.
}}

== Контекстно-свободная грамматика ==
{{Определение
|definition =
'''[[Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора|Контекстно-свободная грамматика]]''' ('''КС-грамматика''', '''бесконтекстная грамматика''') {{---}} способ описания формального языка, представляющий собой четверку
<tex>\Gamma =\langle \Sigma, N, S \in N, P \subset N^{+}\times (\Sigma\cup N)^{*}\rangle</tex>, где:
* <tex>\Sigma</tex> {{---}} [[Основные_определения: алфавит, слово, язык, конкатенация, свободный моноид слов|алфавит]], элементы которого называют '''терминалами''' (англ. ''terminals'')
* <tex>N</tex> {{---}} множество, элементы которого называют '''нетерминалами''' (англ. ''nonterminals'')
* <tex>S</tex> {{---}} начальный символ грамматики (англ. ''start symbol'')
* <tex>P</tex> {{---}} набор правил вывода (англ. ''production rules'' или ''productions'') вида <tex>A \rightarrow B_1 B_2 ... B_n</tex>, где <tex>A \in N</tex>, <tex>B_i \in \Sigma \cup N</tex>, то есть у которых левые части {{---}} одиночные нетерминалы, а правые - последовательности терминалов и нетерминалов.
}}
=== Пример ===

Терминалы <tex>\Sigma = \{(, )\}</tex>.

Нетерминалы <tex>N = \{S\}</tex>.

Правила вывода <tex>P</tex>:

<tex>\begin{array}{l l}
S \rightarrow \varepsilon\\
S \rightarrow SS\\
S \rightarrow (S)\\
\end{array}</tex>

Данная грамматика задает язык [[Правильные_скобочные_последовательности|правильных скобочных последовательностей]]. Например, последовательность <tex>(()(()))</tex> может быть выведена следующим образом:

<tex> S \Rightarrow (S) \Rightarrow (SS) \Rightarrow (()(S)) \Rightarrow (()(())) </tex>

== Нормальная форма Хомского ==

'''[[Нормальная форма Хомского]]''' {{---}} нормальная форма КС-грамматик, в которой все продукции имеют вид:
* <tex>A \rightarrow a</tex>, где <tex>A</tex> {{---}} нетерминал, а <tex>a</tex> {{---}} терминал
* <tex>A \rightarrow BC</tex>, где <tex>A</tex>, <tex>B</tex>, <tex>C</tex> {{---}} нетерминалы, причем <tex>B</tex> и <tex>C</tex> не являются начальными нетерминалами
* <tex>S \rightarrow \varepsilon</tex>, где <tex>S</tex> {{---}} начальный нетерминал и <tex>\varepsilon</tex> {{---}} пустая строка (данная продукция необходима, если в языке присуствует пустая строка)

[[Нормальная форма Хомского|Можно показать]], что любую КС-грамматику можно привести к нормальной форме Хомского.

== Алгоритм ==
'''Алгоритм Кока-Янгера-Касами''' (англ. ''Cocke-Younger-Kasami algorithm'', англ. ''CYK-алгоритм'') {{---}} алгоритм, позволяющий по слову узнать, выводимо ли оно в заданной КС-грамматике в нормальной форме Хомского. Любую КС-грамматику можно привести к НФХ, поэтому алгоритм является универсальным для любой КС-грамматики.

Будем решать задачу [[Динамическое_программирование|динамическим программированием]]. Дана строка <tex>w</tex> размером <tex>n</tex>. Заведем для неё трехмерный массив <tex>d</tex> размером <tex>|N| \times n \times n</tex>, состоящий из логических значений, и <tex>d[A][i][j] = true \ </tex> тогда и только тогда, когда из нетерминала <tex>A</tex> правилами грамматики можно вывести подстроку <tex>w[i \dots j]</tex>.

Рассмотрим все пары <tex>\lbrace \langle j, i \rangle | j-i=m \rbrace</tex>, где <tex>m</tex> {{---}} константа и <tex>m < n</tex>.

* <tex>i = j</tex>. Инициализируем массив для всех нетерминалов, из которых выводится какой-либо символ строки <tex>w</tex>. В таком случае <tex>d[A][i][i] = true \ </tex>, если в грамматике <tex>\Gamma</tex> присутствует правило <tex>A \rightarrow w[i]</tex>. Иначе <tex>d[A][i][i] = false</tex>.

* <tex>i \ne j</tex>. Значения для всех нетерминалов и пар <tex>\lbrace \langle j', i' \rangle | j' - i' < m \rbrace</tex> уже вычислены, поэтому <tex>d[A][i][j] = \bigvee\limits_{A \rightarrow BC}\bigvee\limits_{k = i}^{j-1} d[B][i][k] \wedge d[C][k+1][j] \ \ </tex>. То есть, подстроку <tex>w[i \dots j]</tex> можно вывести из нетерминала <tex>A</tex>, если существует продукция вида <tex>A \rightarrow BC</tex> и такое <tex>k</tex>, что подстрока <tex>w[i \dots k]</tex> выводима из <tex>B</tex>, а подстрока <tex>w[k + 1 \dots j]</tex> выводится из <tex>C</tex>.
[[Файл:CYK_rule_2.jpg|400px]]

После окончания работы значение <tex>d[S][1][n]</tex> содержит ответ на вопрос, выводима ли данная строка в данной грамматике, где <tex>S</tex> {{---}} начальный символ грамматики.

== Модификации ==

=== Количество способов вывести слово ===
Если массив будет хранить целые числа, а формулу заменить на <tex>d[A][i][j] = \sum\limits_{A \rightarrow BC}\sum\limits_{k = i}^{j-1} d[B][i][k] \cdot d[C][k + 1][j]</tex>, то <tex>d[A][i][j]</tex> {{---}} количество способов получить подстроку <tex>w[i \dots j]</tex> из нетерминала <tex>A</tex>.

=== Минимальная стоимость вывода слова ===
Пусть <tex>H(A \rightarrow BC)</tex> {{---}} стоимость вывода по правилу <tex>A \rightarrow BC</tex>. Тогда, если использовать формулу <tex>d[A][i][j] = \min\limits_{A \rightarrow BC} \min\limits_{k = i}^{j-1} ( d[B][i][k] + d[C][k + 1][j] + H(A \rightarrow BC) )</tex>, то <tex>d[A][i][j]</tex> {{---}} минимальная стоимость вывода подстроки <tex>w[i \dots j]</tex> из нетерминала <tex>A</tex>.

Таким образом, задача о выводе в КС-грамматике в нормальной форме Хомского является частным случаем задачи динамического программирования на подотрезке.

== Асимптотика ==
Обработка правил вида <tex>A \rightarrow w[i]</tex> выполняется за <tex>O(n \cdot |\Gamma|)</tex>.

Проход по всем подстрокам выполняется за <tex>O(n^2)</tex>. В обработке одной подстроки присутствует цикл по всем правилам вывода и по всем разбиениям на две подстроки, следовательно обработка работает за <tex>O(n \cdot |\Gamma|)</tex>. В итоге получаем конечную сложность <tex>O(n^3 \cdot |\Gamma|)</tex>.

Следовательно, общее время работы алгоритма {{---}} <tex>O(n^3 \cdot |\Gamma|)</tex>. Кроме того, алгоритму требуется память на массив <tex>d</tex> объемом <tex>O(n^2 \cdot |N|)</tex>, где <tex>|N|</tex> {{---}} количество [[Формальные_грамматики#Определения|нетерминалов]] грамматики.

== Пример работы ==
Дана грамматика [[Правильные_скобочные_последовательности|правильных скобочных последовательностей]] <tex>\Gamma</tex> в нормальной форме Хомского.

<tex>\begin{array}{l l}
A \rightarrow \varepsilon\ |\ BB\ |\ CD\\
B \rightarrow BB\ |\ CD\\
C \rightarrow (\\
D \rightarrow BE\ |\ )\\
E \rightarrow )\\
\end{array}</tex>

Дано слово <tex>w = $()(())$</tex>.

Инициализация массива <tex>d</tex>.

{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|A
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|B
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|C
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
| align="center"| ●
|
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
| align="center"| ●
|
|
|
|-
! 4
|
|
|
| align="center"| ●
|
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|D
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|E
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
<div style="clear:both;"></div>

Заполнение массива <tex>d</tex>.

Итерация <tex>m = 1</tex>.

{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|A
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|B
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|C
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
| align="center"| ●
|
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
| align="center"| ●
|
|
|
|-
! 4
|
|
|
| align="center"| ●
|
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|D
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|E
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
<div style="clear:both;"></div>

Итерация <tex>m = 2</tex>.

{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|A
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|B
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|C
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
| align="center"| ●
|
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
| align="center"| ●
|
|
|
|-
! 4
|
|
|
| align="center"| ●
|
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|D
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
| align="center"| ●
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|E
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
<div style="clear:both;"></div>

Итерация <tex>m = 3</tex>.

{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|A
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
| align="center"| ●
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|B
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
| align="center"| ●
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|C
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
| align="center"| ●
|
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
| align="center"| ●
|
|
|
|-
! 4
|
|
|
| align="center"| ●
|
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|D
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
| align="center"| ●
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|E
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
<div style="clear:both;"></div>

Итерация <tex>m = 4</tex>.

{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|A
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
| align="center"| ●
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|B
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
| align="center"| ●
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|C
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
| align="center"| ●
|
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
| align="center"| ●
|
|
|
|-
! 4
|
|
|
| align="center"| ●
|
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|D
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
| align="center"| ●
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|E
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
<div style="clear:both;"></div>

Итерация <tex>m = 5</tex>.

{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|A
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
| align="center"| ●
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
| align="center"| ●
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|B
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
| align="center"| ●
|
|
|
| align="center"| ●
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
|
|
|
| align="center"| ●
|-
! 4
|
|
|
|
| align="center"| ●
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|C
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
| align="center"| ●
|
|
|
|
|
|-
! 2
|
|
|
|
|
|
|-
! 3
|
|
| align="center"| ●
|
|
|
|-
! 4
|
|
|
| align="center"| ●
|
|
|-
! 5
|
|
|
|
|
|
|-
! 6
|
|
|
|
|
|
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|D
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
| align="center"| ●
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
{| border="1" class="wikitable" style="width: 150px; height: 150px; float: left;"
! colspan="7" style="background:#ffdead;"|E
|-
!
! 1
! 2
! 3
! 4
! 5
! 6
|-
! 1
|
|
|
|
|
|
|-
! 2
|
| align="center"| ●
|
|
|
|
|-
! 3
|
|
|
|
|
|
|-
! 4
|
|
|
|
|
|
|-
! 5
|
|
|
|
| align="center"| ●
|
|-
! 6
|
|
|
|
|
| align="center"| ●
|}
<div style="clear:both;"></div>

== См. также ==
* [[Алгоритм Кока-Янгера-Касами, модификация для произвольной грамматики|Алгоритм Кока-Янгера-Касами, модификация для произвольной грамматики]]
* [[Алгоритм_Эрли|Алгоритм Эрли]]
==Источники информации==
* [[wikipedia:CYK_algorithm|Wikipedia {{---}} CYK algorithm]]
* [http://web.cs.ucdavis.edu/~rogaway/classes/120/winter12/CYK.pdf David Rodriguez-Velazquez, "The CYK Algorithm"]
* [https://www.princeton.edu/~achaney/tmve/wiki100k/docs/CYK_algorithm.html Princeton University, "The CYK Algorithm"]

[[Категория:Дискретная математика и алгоритмы]]
[[Категория:Динамическое программирование]]
[[Категория: Теория формальных языков]]
[[Категория: Контекстно-свободные грамматики]]
[[Категория: Алгоритмы разбора]]

Удаление eps-правил из грамматики

2019-05-14T15:17:19Z

Gaporf: /* Алгоритм удаления ε-правил из грамматики */

== Используемые определения ==
{{Определение
|definition = Правила вида <tex>A \to \varepsilon</tex> называются '''<tex>\varepsilon</tex>-правилами''' (англ. ''<tex>\varepsilon</tex>-rule'').
}}
{{Определение
|definition = Нетерминал <tex>A</tex> называется '''<tex>\varepsilon</tex>-порождающим''' (англ. ''<tex>\varepsilon</tex>-generating''), если <tex>A \Rightarrow^* \varepsilon</tex>.
}}

== Алгоритм поиска ε-порождающих нетерминалов ==
'''Вход:''' КС-грамматика <tex> \Gamma=\langle N,\Sigma, P, S \rangle</tex>. 
'''Выход:''' множество <tex>\varepsilon</tex>-порождающих нетерминалов.

# Найти все <tex>\varepsilon</tex>-правила. Составить множество, состоящее из нетерминалов, входящих в левые части таких правил.
# Перебираем правила грамматики <tex>\Gamma</tex>. Если найдено правило <tex>A \rightarrow C_1C_2...C_k</tex>, для которого верно, что каждый <tex>C_i</tex> принадлежит множеству, то добавить <tex>A</tex> в множество.
# Если на шаге 2 множество изменилось, то повторить шаг 2.

=== Доказательство корректности ===
{{Теорема
|statement = Описанный выше алгоритм находит все <tex>\varepsilon</tex>-порождающие нетерминалы грамматики <tex>\Gamma</tex>.
|proof =

Для доказательства корректности алгоритма достаточно показать, что, если множество <tex>\varepsilon</tex>-порождающих нетерминалов на очередной итерации алгоритма не изменялось, то алгоритм нашел все <tex>\varepsilon</tex>-порождающие нетерминалы.

Пусть после завершения алгоритма существуют нетерминалы такие, что они являются <tex>\varepsilon</tex>-порождающими, но не были найдены алгоритмом. Выберем из этих нетерминалов нетерминал <tex>B</tex>, из которого выводится <tex>\varepsilon</tex> за наименьшее число шагов. Тогда в грамматике есть правило <tex>B \rightarrow C_1C_2...C_k</tex>, где каждый нетерминал <tex>C_i</tex> {{---}} <tex>\varepsilon</tex>-порождающий. Каждый <tex>C_i</tex> входит в множество <tex>\varepsilon</tex>-порождающих нетерминалов, так как иначе вместо <tex>B</tex> необходимо было взять <tex>C_i</tex>. Следовательно, на одной из итераций алгоритма <tex>B</tex> уже добавился в множество <tex>\varepsilon</tex>-порождающих нетерминалов. Противоречие. Следовательно, алгоритм находит все <tex>\varepsilon</tex>-порождающие нетерминалы.
}}

=== Модификация с очередью ===
Заведем несколько структур:
*<tex>\mathtt{isEpsilon[nonterm_i]} \ </tex> {{---}} для каждого нетерминала будем хранить пометку, является он <tex>\varepsilon</tex>-порождающим или нет.
*<tex>\mathtt{concernedRules[nonterm_i]} \ </tex> {{---}} для каждого нетерминала будем хранить список номеров тех правил, в правой части которых он встречается;
*<tex>\mathtt{counter[rule_i]} \ </tex> {{---}} для каждого правила будем хранить счетчик количества нетерминалов в правой части, которые еще не помечены <tex>\varepsilon</tex>-порождающими;
*<tex>\mathtt{Q} \ </tex> {{---}} очередь нетерминалов, помеченных <tex>\varepsilon</tex>-порождающими, но еще не обработанных.

Сначала проставим <tex>\mathtt{false}</tex> в <tex>\mathtt{isEpsilon} \ </tex> для всех нетерминалов, а в <tex>\mathtt{counter} \ </tex> для каждого правила запишем количество нетерминалов справа от него. Те правила, для которых <tex>\mathtt{counter} \ </tex> сразу же оказался нулевым, добавим в <tex>\mathtt{Q}</tex> и объявим истинным соответствующий <tex>\mathtt{isEpsilon}</tex>, так как это <tex>\varepsilon</tex>-правила. Теперь будем доставать из очереди по одному нетерминалу, смотреть на список <tex>\mathtt{concernedRules} \ </tex> для него и уменьшать <tex>\mathtt{counter}</tex> для всех правил оттуда. Если <tex>\mathtt{counter} \ </tex> какого-то правила в этот момент обнулился, то нетерминал из левой части этого правила помечается <tex>\varepsilon</tex>-порождающим, если еще не был помечен до этого, и добавляется в <tex>\mathtt{Q}</tex>. Продолжаем, пока очередь не станет пустой.

=== Время работы алгоритма ===
Базовый алгоритм работает за <tex>O(\left| \Gamma \right| ^ 2)</tex>. В алгоритме с модификацией нетерминал попадает в очередь ровно один раз, соответственно ровно один раз мы пройдемся по списку правил, в правой части которых он лежит. Суммарно получается <tex>O(\left| \Gamma \right|)</tex>.

=== Пример ===
Рассмотрим грамматику, причем сразу пронумеруем правила:
#<tex>S\rightarrow ABC</tex>
#<tex>S\rightarrow DS </tex>
#<tex>A\rightarrow \varepsilon</tex>
#<tex>B\rightarrow AC</tex>
#<tex>C\rightarrow \varepsilon</tex>
#<tex>D\rightarrow d</tex>

''Поскольку правило 6 содержит справа терминалы, оно заведомо не будет влиять на ответ, поэтому мы не будем его учитывать.''

Построим массив списков <tex>\mathtt{concernedRules}</tex>.
{| class="wikitable"
| colspan=5 |<tex>\mathtt{concernedRules}</tex>
|-
!<tex>S</tex>
!<tex>A</tex>
!<tex>B</tex>
!<tex>C</tex>
!<tex>D</tex>
|-
|2
|1, 4
|1
|1, 4
|2
|}

{| class="wikitable" style="border:solid 2px gray"
!style="border-right:solid 2px gray"|<tex>\mathtt{Q}</tex>
!style="border-right:solid 2px gray" colspan=5| <tex>\mathtt{isEpsilon}</tex>
!style="border-right:solid 2px gray" colspan=5| <tex>\mathtt{counter}</tex>
!Комментарий
|-
!style="border-top:solid 2px gray; border-right:solid 2px gray" rowspan=2|<tex>\left \{ \right \}</tex>
!style="border-top:solid 2px gray"|<tex>S</tex>
!style="border-top:solid 2px gray"|<tex>A</tex>
!style="border-top:solid 2px gray"|<tex>B</tex>
!style="border-top:solid 2px gray"|<tex>C</tex>
!style="border-top:solid 2px gray; border-right:solid 2px gray"|<tex>D</tex>
!style="border-top:solid 2px gray"|1
!style="border-top:solid 2px gray"|2
!style="border-top:solid 2px gray"|3
!style="border-top:solid 2px gray"|4
!style="border-top:solid 2px gray; border-right:solid 2px gray"|5
|style="border-top:solid 2px gray" rowspan=2|Зададим начальные значения массивам <tex>\mathtt{counter} \ </tex> и <tex>\mathtt{isEpsilon}</tex>.
|-
|0
|0
|0
|0
|style="border-right:solid 2px gray"|0
|3
|2
|0
|2
|style="border-right:solid 2px gray"|0
|-
|style="border-top:solid 2px gray; border-right:solid 2px gray" rowspan=2|<tex>\left \{A,C \right \}</tex>
!style="border-top:solid 2px gray"|<tex>S</tex>
!style="border-top:solid 2px gray"|<tex>A</tex>
!style="border-top:solid 2px gray"|<tex>B</tex>
!style="border-top:solid 2px gray"|<tex>C</tex>
!style="border-top:solid 2px gray; border-right:solid 2px gray"|<tex>D</tex>
!style="border-top:solid 2px gray"|1
!style="border-top:solid 2px gray"|2
!style="border-top:solid 2px gray"|3
!style="border-top:solid 2px gray"|4
!style="border-top:solid 2px gray; border-right:solid 2px gray"|5
|style="border-top:solid 2px gray" rowspan=2 |Заметим, что правила 3 и 5 являются <tex>\varepsilon</tex>-правилами. Пометим левые нетерминалы из этих правил и добавим их в очередь. После этого в <tex>\mathtt{Q}</tex> лежит <tex>A</tex> и <tex>C</tex>, а <tex>\mathtt{counter} \ </tex> остался без изменений.
|-
|0
|1
|0
|1
|style="border-right:solid 2px gray"|0
|3
|2
|0
|2
|style="border-right:solid 2px gray"|0
|-
|style="border-top:solid 2px gray; border-right:solid 2px gray" rowspan=2|<tex>\left\{C \right\}</tex>
!style="border-top:solid 2px gray"|<tex>S</tex>
!style="border-top:solid 2px gray"|<tex>A</tex>
!style="border-top:solid 2px gray"|<tex>B</tex>
!style="border-top:solid 2px gray"|<tex>C</tex>
!style="border-top:solid 2px gray; border-right:solid 2px gray"|<tex>D</tex>
!style="border-top:solid 2px gray"|1
!style="border-top:solid 2px gray"|2
!style="border-top:solid 2px gray"|3
!style="border-top:solid 2px gray"|4
!style="border-top:solid 2px gray; border-right:solid 2px gray"|5
|style="border-top:solid 2px gray" rowspan=2|Достанем из очереди <tex>A</tex>, декрементируем те счетчики, которые относятся к связанным с ним правилам. К очереди ничего не добавится.
|-
|0
|1
|0
|1
|style="border-right:solid 2px gray"|0
|2
|2
|0
|1
|style="border-right:solid 2px gray"|0
|-
|style="border-top:solid 2px gray; border-right:solid 2px gray" rowspan=2|<tex>\left\{B \right\}</tex>
!style="border-top:solid 2px gray"|<tex>S</tex>
!style="border-top:solid 2px gray"|<tex>A</tex>
!style="border-top:solid 2px gray"|<tex>B</tex>
!style="border-top:solid 2px gray"|<tex>C</tex>
!style="border-top:solid 2px gray; border-right:solid 2px gray"|<tex>D</tex>
!style="border-top:solid 2px gray"|1
!style="border-top:solid 2px gray"|2
!style="border-top:solid 2px gray"|3
!style="border-top:solid 2px gray"|4
!style="border-top:solid 2px gray; border-right:solid 2px gray"|5
|style="border-top:solid 2px gray" rowspan=2|Достанем из очереди <tex>C</tex>. После проведения действий из алгоритма в очередь добавится <tex>B</tex>.
|-
|0
|1
|1
|1
|style="border-right:solid 2px gray"|0
|1
|2
|0
|0
|style="border-right:solid 2px gray"|0
|-
|style="border-top:solid 2px gray; border-right:solid 2px gray" rowspan=2|<tex>\left\{S \right\}</tex>
!style="border-top:solid 2px gray"|<tex>S</tex>
!style="border-top:solid 2px gray"|<tex>A</tex>
!style="border-top:solid 2px gray"|<tex>B</tex>
!style="border-top:solid 2px gray"|<tex>C</tex>
!style="border-top:solid 2px gray; border-right:solid 2px gray"|<tex>D</tex>
!style="border-top:solid 2px gray"|1
!style="border-top:solid 2px gray"|2
!style="border-top:solid 2px gray"|3
!style="border-top:solid 2px gray"|4
!style="border-top:solid 2px gray; border-right:solid 2px gray"|5
|style="border-top:solid 2px gray" rowspan=2|Достанем из очереди <tex>B</tex>. После действий алгоритма в очередь добавится <tex>S</tex>.
|-
|1
|1
|1
|1
|style="border-right:solid 2px gray"|0
|0
|2
|0
|0
|style="border-right:solid 2px gray"|0
|-
|style="border-top:solid 2px gray; border-right:solid 2px gray" rowspan=2|<tex>\left\{ \right\}</tex>
!style="border-top:solid 2px gray"|<tex>S</tex>
!style="border-top:solid 2px gray"|<tex>A</tex>
!style="border-top:solid 2px gray"|<tex>B</tex>
!style="border-top:solid 2px gray"|<tex>C</tex>
!style="border-top:solid 2px gray; border-right:solid 2px gray"|<tex>D</tex>
!style="border-top:solid 2px gray"|1
!style="border-top:solid 2px gray"|2
!style="border-top:solid 2px gray"|3
!style="border-top:solid 2px gray"|4
!style="border-top:solid 2px gray; border-right:solid 2px gray"|5
|style="border-top:solid 2px gray" rowspan=2|Достанем из очереди <tex>S</tex>. Ничего не добавится в очередь и она останется пустой. Алгоритм закончил свое выполнение. Итого в множество <tex>\varepsilon</tex>-правил входят все нетерминалы, кроме <tex>D</tex>.
|-
|1
|1
|1
|1
|style="border-right:solid 2px gray"|0
|0
|1
|0
|0
|style="border-right:solid 2px gray"|0
|}

Если применять алгоритм без модификации с очередью, то действия будут следующие:
# Возьмём множество состоящее из <tex>\varepsilon</tex>-порождающих нетерминалов <tex>\lbrace A, C \rbrace</tex>.
# Добавим <tex>B</tex> в множество, так как правая часть правила <tex>B\rightarrow AC</tex> состоит только из нетерминалов из множества.
# Повторим второй пункт для правила <tex>S\rightarrow ABC</tex> и получим множество <tex>\lbrace A, B, C, S \rbrace</tex>.
# Больше нет нерассмотренных правил, содержащих справа только нетерминалы из множества.

Таким образом <tex>\varepsilon</tex>-порождающими нетерминалами являются <tex>A</tex>, <tex>B</tex>, <tex>C</tex> и <tex>S</tex>.

== Алгоритм удаления ε-правил из грамматики ==
'''Вход:''' КС-грамматика <tex> \Gamma=\langle N,\Sigma, P, S \rangle</tex>. 
'''Выход:''' КС-грамматика <tex> \Gamma'=\langle N,\Sigma, P', S' \rangle</tex> без <tex>\varepsilon</tex>-правил (может присутствовать правило <tex>S \rightarrow \varepsilon</tex>, но в этом случае <tex>S</tex> не встречается в правых частях правил); <tex>L(\Gamma') = L(\Gamma)</tex>.

# Добавить все правила из <tex>P</tex> в <tex>P'</tex>.
# Найти все <tex>\varepsilon</tex>-порождаюшие нетерминалы.
# Для каждого правила вида <tex>A \rightarrow \alpha_0 B_1 \alpha_1 B_2 \alpha_2 ... B_k \alpha_k \ </tex> (где <tex>\alpha_i</tex> — последовательности из терминалов и нетерминалов, <tex>B_j</tex> — <tex>\varepsilon</tex>-порождающие нетерминалы) добавить в <tex>P'</tex> все возможные варианты правил, в которых либо присутствует, либо удалён каждый из нетерминалов <tex>B_j\; (1 \leqslant j \leqslant k)</tex>.
# Удалить все <tex>\varepsilon</tex>-правила из <tex>P'</tex>.
# Если в исходной грамматике <tex>\Gamma</tex> выводилось <tex>\varepsilon</tex>, то необходимо добавить новый нетерминал <tex>S'</tex>, сделать его стартовым, добавить правило <tex>S' \rightarrow S|\varepsilon</tex>.

=== Доказательство корректности ===
{{Теорема
|statement = Если грамматика <tex>\Gamma'</tex> была построена с помощью описанного выше алгоритма по грамматике <tex>\Gamma</tex>, то <tex>L(\Gamma') = L(\Gamma)</tex>.
|proof =
Сначала докажем, что, если не выполнять шаг 5 алгоритма, то получится грамматика <tex>\Gamma' : L(\Gamma') = L(\Gamma) \setminus \lbrace \varepsilon \rbrace </tex>. 
Для этого достаточно доказать, что
<tex>A \underset{\Gamma'}{\Rightarrow}^*w</tex> тогда и только тогда, когда <tex>A \underset{\Gamma}{\Rightarrow}^*w</tex> и <tex>w \ne \varepsilon</tex> (*).

<tex>\Rightarrow</tex>
Пусть <tex>A \underset{\Gamma'}{\Rightarrow}^*w</tex>  и  <tex>w \ne \varepsilon</tex>. 
Докажем индукцией по длине порождения в грамматике <tex>\Gamma'</tex>, что <tex>A \underset{\Gamma}{\Rightarrow}^*w</tex>. 
'''База'''. <tex>A \underset{\Gamma'}{\Rightarrow} w</tex>. 
В этом случае в <tex>\Gamma'</tex> есть правило <tex>A \rightarrow w</tex>. По построению <tex>\Gamma'</tex> в <tex>\Gamma</tex> есть правило <tex>A \rightarrow \alpha</tex>, причем <tex>\alpha</tex> — цепочка <tex>w</tex>, элементы которой, возможно, перемежаются <tex>\varepsilon</tex>-порождающими нетерминалами. Тогда в <tex>\Gamma</tex> есть порождения <tex>A \underset{\Gamma}{\Rightarrow} \alpha \underset{\Gamma}{\Rightarrow}^*w</tex>. 
'''Предположение индукции'''. Пусть из <tex>A \underset{\Gamma'}{\Rightarrow}^*w \ne \varepsilon</tex> менее, чем за <tex>n</tex> шагов, следует, что <tex>A \underset{\Gamma}{\Rightarrow}^*w</tex>. 
'''Переход'''.
Пусть в порождении <tex>n</tex> шагов, <tex>n > 1</tex>. Тогда оно имеет вид <tex>A\underset{\Gamma'}{\Rightarrow}X_1 X_2...X_k \underset{\Gamma'}{\Rightarrow}^*w</tex>, где <tex>X_i \in N \cup \Sigma </tex>. Первое использованное правило должно быть построено по правилу грамматики <tex>\Gamma</tex> <tex>A \rightarrow Y_1 Y_2...Y_m</tex>, где последовательность <tex>Y_1 Y_2...Y_m</tex> совпадает с последовательностью <tex>X_1 X_2...X_k</tex>, символы которой, возможно, перемежаются <tex>\varepsilon</tex>-порождающими нетерминалами. 
Цепочку <tex>w</tex> можно разбить на <tex>w_1 w_2...w_k</tex>, где <tex>X_i \underset{\Gamma'}{\Rightarrow}^*w_i</tex>. Если <tex>X_i</tex> — терминал, то <tex>w_i = X_i</tex>, a если нетерминал, то порождение <tex>X_i \underset{\Gamma'}{\Rightarrow}^*w_i</tex> содержит менее <tex>n</tex> шагов. По предположению <tex>X_i \underset{\Gamma}{\Rightarrow}^*w_i</tex>, значит <tex>A \underset {\Gamma}{\Rightarrow} Y_1 Y_2...Y_m \underset{\Gamma}{\Rightarrow}^* X_1 X_2...X_k \underset{\Gamma}{\Rightarrow}^* w_1 w_2...w_k = w</tex>.

<tex>\Leftarrow</tex> 
Пусть <tex>A \underset{\Gamma}{\Rightarrow}^*w</tex>  и  <tex>w \ne \varepsilon</tex>. 
Докажем индукцией по длине порождения в грамматике <tex>\Gamma</tex>, что <tex>A \underset{\Gamma'}{\Rightarrow}^*w</tex>. 
'''База'''. <tex>A \underset{\Gamma}{\Rightarrow} w</tex>. 
Правило <tex>A \rightarrow w</tex> присутствует в <tex>\Gamma</tex>. Поскольку <tex>w \ne \varepsilon</tex>, это же правило будет и в <tex>\Gamma'</tex>, поэтому <tex>A \underset{\Gamma'}{\Rightarrow}^*w</tex>. 
'''Предположение индукции'''. Пусть из <tex>A \underset{\Gamma}{\Rightarrow}^*w \ne \varepsilon</tex> менее, чем за <tex>n</tex> шагов, следует, что <tex>A \underset{\Gamma'}{\Rightarrow}^*w </tex>. 
'''Переход'''. Пусть в порождении <tex>n</tex> шагов, <tex>n > 1</tex>. Тогда оно имеет вид <tex>A\underset{\Gamma}{\Rightarrow}Y_1 Y_2...Y_m \underset{\Gamma}{\Rightarrow}^*w</tex>, где <tex>Y_i \in N \cup \Sigma </tex>. Цепочку <tex>w</tex> можно разбить на <tex>w_1 w_2...w_m</tex>, где <tex>Y_i \underset{\Gamma}{\Rightarrow}^*w_i</tex>. 
Пусть <tex>Y_{i_1}, Y_{i_2}, ..., Y_{i_p}</tex> — подпоследовательность, состоящая из всех элементов, таких, что <tex>w_{i_k} \ne \varepsilon</tex>, то есть <tex>Y_{i_1} Y_{i_2} ... Y_{i_p} \underset{\Gamma}{\Rightarrow}^*w</tex>. <tex>p \geqslant 1</tex>, поскольку <tex>w \ne \varepsilon</tex>. Значит, <tex>A \rightarrow Y_{i_1} Y_{i_2} ... Y_{i_p}</tex> является правилом в <tex>\Gamma'</tex> по построению <tex>\Gamma'</tex>. 
Так как каждое из порождений <tex>Y_i \underset{\Gamma}{\Rightarrow}^*w_i</tex> содержит менее <tex>n</tex> шагов, к ним можно применить предположение индукции и заключить, что, если <tex>w_i \ne \varepsilon</tex>, то <tex>Y_i \underset{\Gamma'}{\Rightarrow}^*w_i</tex>. 
Таким образом, <tex>A \underset{\Gamma'}{\Rightarrow} Y_{i_1} Y_{i_2} ... Y_{i_p} \underset{\Gamma'}{\Rightarrow}^* w</tex>.

Подставив <tex>S</tex> вместо <tex>A</tex> в утверждение (*), видим, что <tex>w \in L(\Gamma)</tex> для <tex>w \ne \varepsilon</tex> тогда и только тогда, когда <tex>w \in L(\Gamma')</tex>. Так как после выполнения шага 5 алгоритма в <tex>\Gamma'</tex> могло добавиться только пустое слово <tex>\varepsilon</tex>, то язык, задаваемый КС-грамматикой <tex>\Gamma'</tex>, совпадает с языком, задаваемым КС-грамматикой <tex>\Gamma</tex>.
}}

=== Время работы алгоритма ===
Рассмотрим грамматику <tex>\Gamma</tex>:
:<tex>S\rightarrow T_1 T_2 T_3 \ldots T_n</tex>
:<tex>T_1\rightarrow t_1|\varepsilon</tex>
:<tex>T_2\rightarrow t_2|\varepsilon</tex>
:<tex>\ldots\</tex>
:<tex>T_n\rightarrow t_n|\varepsilon</tex>

<tex>\left| \Gamma \right| = O(n)</tex>. Из нетерминала <tex>S</tex> можно вывести <tex>2^n</tex> сочетаний нетерминалов <tex>T_i</tex>. Таким образом в худшем случае алгоритм работает за <tex>O(2^{\left| \Gamma \right|})</tex>. 
Рассмотрим теперь грамматику с устраненными [[Удаление_длинных_правил_из_грамматики|длинными правилами]]. После применения данного алгоритма, который работает за <tex>O(\left| \Gamma \right|)</tex>, в грамматике станет на <tex>O(\left| \Gamma \right|)</tex> больше правил, но при этом все они будут размером <tex>O(1)</tex>. Итого по-прежнему <tex>\left| \Gamma \right| = O(n)</tex>. Однако алгоритм удаления <tex>\varepsilon</tex>-правил будет работать за <tex>O(\left| \Gamma \right|)</tex>, поскольку для каждого правила можно будет добавить только <tex>O(1)</tex> сочетаний нетерминалов.

=== Пример ===
Рассмотрим грамматику:
:<tex>S\rightarrow ABCd</tex>
:<tex>A\rightarrow a|\varepsilon</tex>
:<tex>B\rightarrow AC</tex>
:<tex>C\rightarrow c|\varepsilon</tex>

В ней <tex>A</tex>, <tex>B</tex> и <tex>C</tex> являются <tex>\varepsilon</tex>-порождающими нетерминалами.
# Переберём для каждого правила все возможные сочетания ε-порождающих нетерминалов и добавим новые правила:
#* <tex>S\rightarrow Ad|ABd|ACd|Bd|BCd|Cd|d</tex> для <tex>S \rightarrow ABCd</tex>
#* <tex>B \rightarrow A|C</tex> для <tex>B \rightarrow AC</tex>
# Удалим праила <tex>A\rightarrow \varepsilon</tex> и <tex>C\rightarrow \varepsilon</tex>

В результате мы получим новую грамматику без <tex>\varepsilon</tex>-правил:
:<tex>S\rightarrow Ad|ABd|ACd|ABCd|Bd|BCd|Cd|d</tex>
:<tex>A\rightarrow a</tex>
:<tex>B\rightarrow A|AC|C</tex>
:<tex>C\rightarrow c</tex>

== См. также ==
* [[Контекстно-свободные_грамматики,_вывод,_лево-_и_правосторонний_вывод,_дерево_разбора|Контекстно-свободные грамматики]]
* [[Нормальная_форма_Хомского|Нормальная форма Хомского]]

== Источники информации ==
* ''Хопкрофт Д., Мотвани Р., Ульман Д.'' '''Введение в теорию автоматов, языков и вычислений''', 2-е изд. : Пер. с англ. — Москва, Издательский дом «Вильямс», 2002. — С. 273: ISBN 5-8459-0261-4 (рус.)
* [http://en.wikipedia.org/wiki/Chomsky_normal_form Wikipedia — Chomsky normal form]

[[Категория: Теория формальных языков]]
[[Категория: Контекстно-свободные грамматики]]
[[Категория: Нормальные формы КС-грамматик]]

Удаление eps-правил из грамматики

2019-05-14T15:14:35Z

Gaporf: /* Пример */

== Используемые определения ==
{{Определение
|definition = Правила вида <tex>A \to \varepsilon</tex> называются '''<tex>\varepsilon</tex>-правилами''' (англ. ''<tex>\varepsilon</tex>-rule'').
}}
{{Определение
|definition = Нетерминал <tex>A</tex> называется '''<tex>\varepsilon</tex>-порождающим''' (англ. ''<tex>\varepsilon</tex>-generating''), если <tex>A \Rightarrow^* \varepsilon</tex>.
}}

== Алгоритм поиска ε-порождающих нетерминалов ==
'''Вход:''' КС-грамматика <tex> \Gamma=\langle N,\Sigma, P, S \rangle</tex>. 
'''Выход:''' множество <tex>\varepsilon</tex>-порождающих нетерминалов.

# Найти все <tex>\varepsilon</tex>-правила. Составить множество, состоящее из нетерминалов, входящих в левые части таких правил.
# Перебираем правила грамматики <tex>\Gamma</tex>. Если найдено правило <tex>A \rightarrow C_1C_2...C_k</tex>, для которого верно, что каждый <tex>C_i</tex> принадлежит множеству, то добавить <tex>A</tex> в множество.
# Если на шаге 2 множество изменилось, то повторить шаг 2.

=== Доказательство корректности ===
{{Теорема
|statement = Описанный выше алгоритм находит все <tex>\varepsilon</tex>-порождающие нетерминалы грамматики <tex>\Gamma</tex>.
|proof =

Для доказательства корректности алгоритма достаточно показать, что, если множество <tex>\varepsilon</tex>-порождающих нетерминалов на очередной итерации алгоритма не изменялось, то алгоритм нашел все <tex>\varepsilon</tex>-порождающие нетерминалы.

Пусть после завершения алгоритма существуют нетерминалы такие, что они являются <tex>\varepsilon</tex>-порождающими, но не были найдены алгоритмом. Выберем из этих нетерминалов нетерминал <tex>B</tex>, из которого выводится <tex>\varepsilon</tex> за наименьшее число шагов. Тогда в грамматике есть правило <tex>B \rightarrow C_1C_2...C_k</tex>, где каждый нетерминал <tex>C_i</tex> {{---}} <tex>\varepsilon</tex>-порождающий. Каждый <tex>C_i</tex> входит в множество <tex>\varepsilon</tex>-порождающих нетерминалов, так как иначе вместо <tex>B</tex> необходимо было взять <tex>C_i</tex>. Следовательно, на одной из итераций алгоритма <tex>B</tex> уже добавился в множество <tex>\varepsilon</tex>-порождающих нетерминалов. Противоречие. Следовательно, алгоритм находит все <tex>\varepsilon</tex>-порождающие нетерминалы.
}}

=== Модификация с очередью ===
Заведем несколько структур:
*<tex>\mathtt{isEpsilon[nonterm_i]} \ </tex> {{---}} для каждого нетерминала будем хранить пометку, является он <tex>\varepsilon</tex>-порождающим или нет.
*<tex>\mathtt{concernedRules[nonterm_i]} \ </tex> {{---}} для каждого нетерминала будем хранить список номеров тех правил, в правой части которых он встречается;
*<tex>\mathtt{counter[rule_i]} \ </tex> {{---}} для каждого правила будем хранить счетчик количества нетерминалов в правой части, которые еще не помечены <tex>\varepsilon</tex>-порождающими;
*<tex>\mathtt{Q} \ </tex> {{---}} очередь нетерминалов, помеченных <tex>\varepsilon</tex>-порождающими, но еще не обработанных.

Сначала проставим <tex>\mathtt{false}</tex> в <tex>\mathtt{isEpsilon} \ </tex> для всех нетерминалов, а в <tex>\mathtt{counter} \ </tex> для каждого правила запишем количество нетерминалов справа от него. Те правила, для которых <tex>\mathtt{counter} \ </tex> сразу же оказался нулевым, добавим в <tex>\mathtt{Q}</tex> и объявим истинным соответствующий <tex>\mathtt{isEpsilon}</tex>, так как это <tex>\varepsilon</tex>-правила. Теперь будем доставать из очереди по одному нетерминалу, смотреть на список <tex>\mathtt{concernedRules} \ </tex> для него и уменьшать <tex>\mathtt{counter}</tex> для всех правил оттуда. Если <tex>\mathtt{counter} \ </tex> какого-то правила в этот момент обнулился, то нетерминал из левой части этого правила помечается <tex>\varepsilon</tex>-порождающим, если еще не был помечен до этого, и добавляется в <tex>\mathtt{Q}</tex>. Продолжаем, пока очередь не станет пустой.

=== Время работы алгоритма ===
Базовый алгоритм работает за <tex>O(\left| \Gamma \right| ^ 2)</tex>. В алгоритме с модификацией нетерминал попадает в очередь ровно один раз, соответственно ровно один раз мы пройдемся по списку правил, в правой части которых он лежит. Суммарно получается <tex>O(\left| \Gamma \right|)</tex>.

=== Пример ===
Рассмотрим грамматику, причем сразу пронумеруем правила:
#<tex>S\rightarrow ABC</tex>
#<tex>S\rightarrow DS </tex>
#<tex>A\rightarrow \varepsilon</tex>
#<tex>B\rightarrow AC</tex>
#<tex>C\rightarrow \varepsilon</tex>
#<tex>D\rightarrow d</tex>

''Поскольку правило 6 содержит справа терминалы, оно заведомо не будет влиять на ответ, поэтому мы не будем его учитывать.''

Построим массив списков <tex>\mathtt{concernedRules}</tex>.
{| class="wikitable"
| colspan=5 |<tex>\mathtt{concernedRules}</tex>
|-
!<tex>S</tex>
!<tex>A</tex>
!<tex>B</tex>
!<tex>C</tex>
!<tex>D</tex>
|-
|2
|1, 4
|1
|1, 4
|2
|}

{| class="wikitable" style="border:solid 2px gray"
!style="border-right:solid 2px gray"|<tex>\mathtt{Q}</tex>
!style="border-right:solid 2px gray" colspan=5| <tex>\mathtt{isEpsilon}</tex>
!style="border-right:solid 2px gray" colspan=5| <tex>\mathtt{counter}</tex>
!Комментарий
|-
!style="border-top:solid 2px gray; border-right:solid 2px gray" rowspan=2|<tex>\left \{ \right \}</tex>
!style="border-top:solid 2px gray"|<tex>S</tex>
!style="border-top:solid 2px gray"|<tex>A</tex>
!style="border-top:solid 2px gray"|<tex>B</tex>
!style="border-top:solid 2px gray"|<tex>C</tex>
!style="border-top:solid 2px gray; border-right:solid 2px gray"|<tex>D</tex>
!style="border-top:solid 2px gray"|1
!style="border-top:solid 2px gray"|2
!style="border-top:solid 2px gray"|3
!style="border-top:solid 2px gray"|4
!style="border-top:solid 2px gray; border-right:solid 2px gray"|5
|style="border-top:solid 2px gray" rowspan=2|Зададим начальные значения массивам <tex>\mathtt{counter} \ </tex> и <tex>\mathtt{isEpsilon}</tex>.
|-
|0
|0
|0
|0
|style="border-right:solid 2px gray"|0
|3
|2
|0
|2
|style="border-right:solid 2px gray"|0
|-
|style="border-top:solid 2px gray; border-right:solid 2px gray" rowspan=2|<tex>\left \{A,C \right \}</tex>
!style="border-top:solid 2px gray"|<tex>S</tex>
!style="border-top:solid 2px gray"|<tex>A</tex>
!style="border-top:solid 2px gray"|<tex>B</tex>
!style="border-top:solid 2px gray"|<tex>C</tex>
!style="border-top:solid 2px gray; border-right:solid 2px gray"|<tex>D</tex>
!style="border-top:solid 2px gray"|1
!style="border-top:solid 2px gray"|2
!style="border-top:solid 2px gray"|3
!style="border-top:solid 2px gray"|4
!style="border-top:solid 2px gray; border-right:solid 2px gray"|5
|style="border-top:solid 2px gray" rowspan=2 |Заметим, что правила 3 и 5 являются <tex>\varepsilon</tex>-правилами. Пометим левые нетерминалы из этих правил и добавим их в очередь. После этого в <tex>\mathtt{Q}</tex> лежит <tex>A</tex> и <tex>C</tex>, а <tex>\mathtt{counter} \ </tex> остался без изменений.
|-
|0
|1
|0
|1
|style="border-right:solid 2px gray"|0
|3
|2
|0
|2
|style="border-right:solid 2px gray"|0
|-
|style="border-top:solid 2px gray; border-right:solid 2px gray" rowspan=2|<tex>\left\{C \right\}</tex>
!style="border-top:solid 2px gray"|<tex>S</tex>
!style="border-top:solid 2px gray"|<tex>A</tex>
!style="border-top:solid 2px gray"|<tex>B</tex>
!style="border-top:solid 2px gray"|<tex>C</tex>
!style="border-top:solid 2px gray; border-right:solid 2px gray"|<tex>D</tex>
!style="border-top:solid 2px gray"|1
!style="border-top:solid 2px gray"|2
!style="border-top:solid 2px gray"|3
!style="border-top:solid 2px gray"|4
!style="border-top:solid 2px gray; border-right:solid 2px gray"|5
|style="border-top:solid 2px gray" rowspan=2|Достанем из очереди <tex>A</tex>, декрементируем те счетчики, которые относятся к связанным с ним правилам. К очереди ничего не добавится.
|-
|0
|1
|0
|1
|style="border-right:solid 2px gray"|0
|2
|2
|0
|1
|style="border-right:solid 2px gray"|0
|-
|style="border-top:solid 2px gray; border-right:solid 2px gray" rowspan=2|<tex>\left\{B \right\}</tex>
!style="border-top:solid 2px gray"|<tex>S</tex>
!style="border-top:solid 2px gray"|<tex>A</tex>
!style="border-top:solid 2px gray"|<tex>B</tex>
!style="border-top:solid 2px gray"|<tex>C</tex>
!style="border-top:solid 2px gray; border-right:solid 2px gray"|<tex>D</tex>
!style="border-top:solid 2px gray"|1
!style="border-top:solid 2px gray"|2
!style="border-top:solid 2px gray"|3
!style="border-top:solid 2px gray"|4
!style="border-top:solid 2px gray; border-right:solid 2px gray"|5
|style="border-top:solid 2px gray" rowspan=2|Достанем из очереди <tex>C</tex>. После проведения действий из алгоритма в очередь добавится <tex>B</tex>.
|-
|0
|1
|1
|1
|style="border-right:solid 2px gray"|0
|1
|2
|0
|0
|style="border-right:solid 2px gray"|0
|-
|style="border-top:solid 2px gray; border-right:solid 2px gray" rowspan=2|<tex>\left\{S \right\}</tex>
!style="border-top:solid 2px gray"|<tex>S</tex>
!style="border-top:solid 2px gray"|<tex>A</tex>
!style="border-top:solid 2px gray"|<tex>B</tex>
!style="border-top:solid 2px gray"|<tex>C</tex>
!style="border-top:solid 2px gray; border-right:solid 2px gray"|<tex>D</tex>
!style="border-top:solid 2px gray"|1
!style="border-top:solid 2px gray"|2
!style="border-top:solid 2px gray"|3
!style="border-top:solid 2px gray"|4
!style="border-top:solid 2px gray; border-right:solid 2px gray"|5
|style="border-top:solid 2px gray" rowspan=2|Достанем из очереди <tex>B</tex>. После действий алгоритма в очередь добавится <tex>S</tex>.
|-
|1
|1
|1
|1
|style="border-right:solid 2px gray"|0
|0
|2
|0
|0
|style="border-right:solid 2px gray"|0
|-
|style="border-top:solid 2px gray; border-right:solid 2px gray" rowspan=2|<tex>\left\{ \right\}</tex>
!style="border-top:solid 2px gray"|<tex>S</tex>
!style="border-top:solid 2px gray"|<tex>A</tex>
!style="border-top:solid 2px gray"|<tex>B</tex>
!style="border-top:solid 2px gray"|<tex>C</tex>
!style="border-top:solid 2px gray; border-right:solid 2px gray"|<tex>D</tex>
!style="border-top:solid 2px gray"|1
!style="border-top:solid 2px gray"|2
!style="border-top:solid 2px gray"|3
!style="border-top:solid 2px gray"|4
!style="border-top:solid 2px gray; border-right:solid 2px gray"|5
|style="border-top:solid 2px gray" rowspan=2|Достанем из очереди <tex>S</tex>. Ничего не добавится в очередь и она останется пустой. Алгоритм закончил свое выполнение. Итого в множество <tex>\varepsilon</tex>-правил входят все нетерминалы, кроме <tex>D</tex>.
|-
|1
|1
|1
|1
|style="border-right:solid 2px gray"|0
|0
|1
|0
|0
|style="border-right:solid 2px gray"|0
|}

Если применять алгоритм без модификации с очередью, то действия будут следующие:
# Возьмём множество состоящее из <tex>\varepsilon</tex>-порождающих нетерминалов <tex>\lbrace A, C \rbrace</tex>.
# Добавим <tex>B</tex> в множество, так как правая часть правила <tex>B\rightarrow AC</tex> состоит только из нетерминалов из множества.
# Повторим второй пункт для правила <tex>S\rightarrow ABC</tex> и получим множество <tex>\lbrace A, B, C, S \rbrace</tex>.
# Больше нет нерассмотренных правил, содержащих справа только нетерминалы из множества.

Таким образом <tex>\varepsilon</tex>-порождающими нетерминалами являются <tex>A</tex>, <tex>B</tex>, <tex>C</tex> и <tex>S</tex>.

== Алгоритм удаления ε-правил из грамматики ==
'''Вход:''' КС-грамматика <tex> \Gamma=\langle N,\Sigma, P, S \rangle</tex>. 
'''Выход:''' КС-грамматика <tex> \Gamma'=\langle N,\Sigma, P', S' \rangle</tex> без <tex>\varepsilon</tex>-правил (может присутствовать правило <tex>S \rightarrow \varepsilon</tex>, но в этом случае <tex>S</tex> не встречается в правых частях правил); <tex>L(\Gamma') = L(\Gamma)</tex>.

# Добавить все правила из <tex>P</tex> в <tex>P'</tex>.
# Найти все <tex>\varepsilon</tex>-порождаюшие нетерминалы.
# Для каждого правила вида <tex>A \rightarrow \alpha_0 B_1 \alpha_1 B_2 \alpha_2 ... B_k \alpha_k</tex> (где <tex>\alpha_i</tex> — последовательности из терминалов и нетерминалов, <tex>B_j</tex> — <tex>\varepsilon</tex>-порождающие нетерминалы) добавить в <tex>P'</tex> все возможные варианты правил, в которых либо присутствует, либо удалён каждый из нетерминалов <tex>B_j\; (1 \leqslant j \leqslant k)</tex>.
# Удалить все <tex>\varepsilon</tex>-правила из <tex>P'</tex>.
# Если в исходной грамматике <tex>\Gamma</tex> выводилось <tex>\varepsilon</tex>, то необходимо добавить новый нетерминал <tex>S'</tex>, сделать его стартовым, добавить правило <tex>S' \rightarrow S|\varepsilon</tex>.

=== Доказательство корректности ===
{{Теорема
|statement = Если грамматика <tex>\Gamma'</tex> была построена с помощью описанного выше алгоритма по грамматике <tex>\Gamma</tex>, то <tex>L(\Gamma') = L(\Gamma)</tex>.
|proof =
Сначала докажем, что, если не выполнять шаг 5 алгоритма, то получится грамматика <tex>\Gamma' : L(\Gamma') = L(\Gamma) \setminus \lbrace \varepsilon \rbrace </tex>. 
Для этого достаточно доказать, что
<tex>A \underset{\Gamma'}{\Rightarrow}^*w</tex> тогда и только тогда, когда <tex>A \underset{\Gamma}{\Rightarrow}^*w</tex> и <tex>w \ne \varepsilon</tex> (*).

<tex>\Rightarrow</tex><br\>
Пусть <tex>A \underset{\Gamma'}{\Rightarrow}^*w</tex>  и  <tex>w \ne \varepsilon</tex>. 
Докажем индукцией по длине порождения в грамматике <tex>\Gamma'</tex>, что <tex>A \underset{\Gamma}{\Rightarrow}^*w</tex>. 
'''База'''. <tex>A \underset{\Gamma'}{\Rightarrow} w</tex>. 
В этом случае в <tex>\Gamma'</tex> есть правило <tex>A \rightarrow w</tex>. По построению <tex>\Gamma'</tex> в <tex>\Gamma</tex> есть правило <tex>A \rightarrow \alpha</tex>, причем <tex>\alpha</tex> — цепочка <tex>w</tex>, элементы которой, возможно, перемежаются <tex>\varepsilon</tex>-порождающими нетерминалами. Тогда в <tex>\Gamma</tex> есть порождения <tex>A \underset{\Gamma}{\Rightarrow} \alpha \underset{\Gamma}{\Rightarrow}^*w</tex>. 
'''Предположение индукции'''. Пусть из <tex>A \underset{\Gamma'}{\Rightarrow}^*w \ne \varepsilon</tex> менее, чем за <tex>n</tex> шагов, следует, что <tex>A \underset{\Gamma}{\Rightarrow}^*w</tex>. 
'''Переход'''.
Пусть в порождении <tex>n</tex> шагов, <tex>n > 1</tex>. Тогда оно имеет вид <tex>A\underset{\Gamma'}{\Rightarrow}X_1 X_2...X_k \underset{\Gamma'}{\Rightarrow}^*w</tex>, где <tex>X_i \in N \cup \Sigma </tex>. Первое использованное правило должно быть построено по правилу грамматики <tex>\Gamma</tex> <tex>A \rightarrow Y_1 Y_2...Y_m</tex>, где последовательность <tex>Y_1 Y_2...Y_m</tex> совпадает с последовательностью <tex>X_1 X_2...X_k</tex>, символы которой, возможно, перемежаются <tex>\varepsilon</tex>-порождающими нетерминалами. 
Цепочку <tex>w</tex> можно разбить на <tex>w_1 w_2...w_k</tex>, где <tex>X_i \underset{\Gamma'}{\Rightarrow}^*w_i</tex>. Если <tex>X_i</tex> — терминал, то <tex>w_i = X_i</tex>, a если нетерминал, то порождение <tex>X_i \underset{\Gamma'}{\Rightarrow}^*w_i</tex> содержит менее <tex>n</tex> шагов. По предположению <tex>X_i \underset{\Gamma}{\Rightarrow}^*w_i</tex>, значит <tex>A \underset {\Gamma}{\Rightarrow} Y_1 Y_2...Y_m \underset{\Gamma}{\Rightarrow}^* X_1 X_2...X_k \underset{\Gamma}{\Rightarrow}^* w_1 w_2...w_k = w</tex>.

<tex>\Leftarrow</tex> 
Пусть <tex>A \underset{\Gamma}{\Rightarrow}^*w</tex>  и  <tex>w \ne \varepsilon</tex>. 
Докажем индукцией по длине порождения в грамматике <tex>\Gamma</tex>, что <tex>A \underset{\Gamma'}{\Rightarrow}^*w</tex>. 
'''База'''. <tex>A \underset{\Gamma}{\Rightarrow} w</tex>. 
Правило <tex>A \rightarrow w</tex> присутствует в <tex>\Gamma</tex>. Поскольку <tex>w \ne \varepsilon</tex>, это же правило будет и в <tex>\Gamma'</tex>, поэтому <tex>A \underset{\Gamma'}{\Rightarrow}^*w</tex>. 
'''Предположение индукции'''. Пусть из <tex>A \underset{\Gamma}{\Rightarrow}^*w \ne \varepsilon</tex> менее, чем за <tex>n</tex> шагов, следует, что <tex>A \underset{\Gamma'}{\Rightarrow}^*w </tex>. 
'''Переход'''. Пусть в порождении <tex>n</tex> шагов, <tex>n > 1</tex>. Тогда оно имеет вид <tex>A\underset{\Gamma}{\Rightarrow}Y_1 Y_2...Y_m \underset{\Gamma}{\Rightarrow}^*w</tex>, где <tex>Y_i \in N \cup \Sigma </tex>. Цепочку <tex>w</tex> можно разбить на <tex>w_1 w_2...w_m</tex>, где <tex>Y_i \underset{\Gamma}{\Rightarrow}^*w_i</tex>. 
Пусть <tex>Y_{i_1}, Y_{i_2}, ..., Y_{i_p}</tex> — подпоследовательность, состоящая из всех элементов, таких, что <tex>w_{i_k} \ne \varepsilon</tex>, то есть <tex>Y_{i_1} Y_{i_2} ... Y_{i_p} \underset{\Gamma}{\Rightarrow}^*w</tex>. <tex>p \geqslant 1</tex>, поскольку <tex>w \ne \varepsilon</tex>. Значит, <tex>A \rightarrow Y_{i_1} Y_{i_2} ... Y_{i_p}</tex> является правилом в <tex>\Gamma'</tex> по построению <tex>\Gamma'</tex>. 
Так как каждое из порождений <tex>Y_i \underset{\Gamma}{\Rightarrow}^*w_i</tex> содержит менее <tex>n</tex> шагов, к ним можно применить предположение индукции и заключить, что, если <tex>w_i \ne \varepsilon</tex>, то <tex>Y_i \underset{\Gamma'}{\Rightarrow}^*w_i</tex>. 
Таким образом, <tex>A \underset{\Gamma'}{\Rightarrow} Y_{i_1} Y_{i_2} ... Y_{i_p} \underset{\Gamma'}{\Rightarrow}^* w</tex>.

Подставив <tex>S</tex> вместо <tex>A</tex> в утверждение (*), видим, что <tex>w \in L(\Gamma)</tex> для <tex>w \ne \varepsilon</tex> тогда и только тогда, когда <tex>w \in L(\Gamma')</tex>. Так как после выполнения шага 5 алгоритма в <tex>\Gamma'</tex> могло добавиться только пустое слово <tex>\varepsilon</tex>, то язык, задаваемый КС-грамматикой <tex>\Gamma'</tex>, совпадает с языком, задаваемым КС-грамматикой <tex>\Gamma</tex>.
}}

=== Время работы алгоритма ===
Рассмотрим грамматику <tex>\Gamma</tex>:
:<tex>S\rightarrow T_1 T_2 T_3 \ldots T_n</tex>
:<tex>T_1\rightarrow t_1|\varepsilon</tex>
:<tex>T_2\rightarrow t_2|\varepsilon</tex>
:<tex>\ldots\</tex>
:<tex>T_n\rightarrow t_n|\varepsilon</tex>

<tex>\left| \Gamma \right| = O(n)</tex>. Из нетерминала <tex>S</tex> можно вывести <tex>2^n</tex> сочетаний нетерминалов <tex>T_i</tex>. Таким образом в худшем случае алгоритм работает за <tex>O(2^{\left| \Gamma \right|})</tex>. 
Рассмотрим теперь грамматику с устраненными [[Удаление_длинных_правил_из_грамматики|длинными правилами]]. После применения данного алгоритма, который работает за <tex>O(\left| \Gamma \right|)</tex>, в грамматике станет на <tex>O(\left| \Gamma \right|)</tex> больше правил, но при этом все они будут размером <tex>O(1)</tex>. Итого по-прежнему <tex>\left| \Gamma \right| = O(n)</tex>. Однако алгоритм удаления <tex>\varepsilon</tex>-правил будет работать за <tex>O(\left| \Gamma \right|)</tex>, поскольку для каждого правила можно будет добавить только <tex>O(1)</tex> сочетаний нетерминалов.

=== Пример ===
Рассмотрим грамматику:
:<tex>S\rightarrow ABCd</tex>
:<tex>A\rightarrow a|\varepsilon</tex>
:<tex>B\rightarrow AC</tex>
:<tex>C\rightarrow c|\varepsilon</tex>

В ней <tex>A</tex>, <tex>B</tex> и <tex>C</tex> являются <tex>\varepsilon</tex>-порождающими нетерминалами.
# Переберём для каждого правила все возможные сочетания ε-порождающих нетерминалов и добавим новые правила:
#* <tex>S\rightarrow Ad|ABd|ACd|Bd|BCd|Cd|d</tex> для <tex>S \rightarrow ABCd</tex>
#* <tex>B \rightarrow A|C</tex> для <tex>B \rightarrow AC</tex>
# Удалим праила <tex>A\rightarrow \varepsilon</tex> и <tex>C\rightarrow \varepsilon</tex>

В результате мы получим новую грамматику без <tex>\varepsilon</tex>-правил:
:<tex>S\rightarrow Ad|ABd|ACd|ABCd|Bd|BCd|Cd|d</tex>
:<tex>A\rightarrow a</tex>
:<tex>B\rightarrow A|AC|C</tex>
:<tex>C\rightarrow c</tex>

== См. также ==
* [[Контекстно-свободные_грамматики,_вывод,_лево-_и_правосторонний_вывод,_дерево_разбора|Контекстно-свободные грамматики]]
* [[Нормальная_форма_Хомского|Нормальная форма Хомского]]

== Источники информации ==
* ''Хопкрофт Д., Мотвани Р., Ульман Д.'' '''Введение в теорию автоматов, языков и вычислений''', 2-е изд. : Пер. с англ. — Москва, Издательский дом «Вильямс», 2002. — С. 273: ISBN 5-8459-0261-4 (рус.)
* [http://en.wikipedia.org/wiki/Chomsky_normal_form Wikipedia — Chomsky normal form]

[[Категория: Теория формальных языков]]
[[Категория: Контекстно-свободные грамматики]]
[[Категория: Нормальные формы КС-грамматик]]

Удаление eps-правил из грамматики

2019-05-14T15:13:44Z

Gaporf: /* Модификация с очередью */

== Используемые определения ==
{{Определение
|definition = Правила вида <tex>A \to \varepsilon</tex> называются '''<tex>\varepsilon</tex>-правилами''' (англ. ''<tex>\varepsilon</tex>-rule'').
}}
{{Определение
|definition = Нетерминал <tex>A</tex> называется '''<tex>\varepsilon</tex>-порождающим''' (англ. ''<tex>\varepsilon</tex>-generating''), если <tex>A \Rightarrow^* \varepsilon</tex>.
}}

== Алгоритм поиска ε-порождающих нетерминалов ==
'''Вход:''' КС-грамматика <tex> \Gamma=\langle N,\Sigma, P, S \rangle</tex>. 
'''Выход:''' множество <tex>\varepsilon</tex>-порождающих нетерминалов.

# Найти все <tex>\varepsilon</tex>-правила. Составить множество, состоящее из нетерминалов, входящих в левые части таких правил.
# Перебираем правила грамматики <tex>\Gamma</tex>. Если найдено правило <tex>A \rightarrow C_1C_2...C_k</tex>, для которого верно, что каждый <tex>C_i</tex> принадлежит множеству, то добавить <tex>A</tex> в множество.
# Если на шаге 2 множество изменилось, то повторить шаг 2.

=== Доказательство корректности ===
{{Теорема
|statement = Описанный выше алгоритм находит все <tex>\varepsilon</tex>-порождающие нетерминалы грамматики <tex>\Gamma</tex>.
|proof =

Для доказательства корректности алгоритма достаточно показать, что, если множество <tex>\varepsilon</tex>-порождающих нетерминалов на очередной итерации алгоритма не изменялось, то алгоритм нашел все <tex>\varepsilon</tex>-порождающие нетерминалы.

Пусть после завершения алгоритма существуют нетерминалы такие, что они являются <tex>\varepsilon</tex>-порождающими, но не были найдены алгоритмом. Выберем из этих нетерминалов нетерминал <tex>B</tex>, из которого выводится <tex>\varepsilon</tex> за наименьшее число шагов. Тогда в грамматике есть правило <tex>B \rightarrow C_1C_2...C_k</tex>, где каждый нетерминал <tex>C_i</tex> {{---}} <tex>\varepsilon</tex>-порождающий. Каждый <tex>C_i</tex> входит в множество <tex>\varepsilon</tex>-порождающих нетерминалов, так как иначе вместо <tex>B</tex> необходимо было взять <tex>C_i</tex>. Следовательно, на одной из итераций алгоритма <tex>B</tex> уже добавился в множество <tex>\varepsilon</tex>-порождающих нетерминалов. Противоречие. Следовательно, алгоритм находит все <tex>\varepsilon</tex>-порождающие нетерминалы.
}}

=== Модификация с очередью ===
Заведем несколько структур:
*<tex>\mathtt{isEpsilon[nonterm_i]} \ </tex> {{---}} для каждого нетерминала будем хранить пометку, является он <tex>\varepsilon</tex>-порождающим или нет.
*<tex>\mathtt{concernedRules[nonterm_i]} \ </tex> {{---}} для каждого нетерминала будем хранить список номеров тех правил, в правой части которых он встречается;
*<tex>\mathtt{counter[rule_i]} \ </tex> {{---}} для каждого правила будем хранить счетчик количества нетерминалов в правой части, которые еще не помечены <tex>\varepsilon</tex>-порождающими;
*<tex>\mathtt{Q} \ </tex> {{---}} очередь нетерминалов, помеченных <tex>\varepsilon</tex>-порождающими, но еще не обработанных.

Сначала проставим <tex>\mathtt{false}</tex> в <tex>\mathtt{isEpsilon} \ </tex> для всех нетерминалов, а в <tex>\mathtt{counter} \ </tex> для каждого правила запишем количество нетерминалов справа от него. Те правила, для которых <tex>\mathtt{counter} \ </tex> сразу же оказался нулевым, добавим в <tex>\mathtt{Q}</tex> и объявим истинным соответствующий <tex>\mathtt{isEpsilon}</tex>, так как это <tex>\varepsilon</tex>-правила. Теперь будем доставать из очереди по одному нетерминалу, смотреть на список <tex>\mathtt{concernedRules} \ </tex> для него и уменьшать <tex>\mathtt{counter}</tex> для всех правил оттуда. Если <tex>\mathtt{counter} \ </tex> какого-то правила в этот момент обнулился, то нетерминал из левой части этого правила помечается <tex>\varepsilon</tex>-порождающим, если еще не был помечен до этого, и добавляется в <tex>\mathtt{Q}</tex>. Продолжаем, пока очередь не станет пустой.

=== Время работы алгоритма ===
Базовый алгоритм работает за <tex>O(\left| \Gamma \right| ^ 2)</tex>. В алгоритме с модификацией нетерминал попадает в очередь ровно один раз, соответственно ровно один раз мы пройдемся по списку правил, в правой части которых он лежит. Суммарно получается <tex>O(\left| \Gamma \right|)</tex>.

=== Пример ===
Рассмотрим грамматику, причем сразу пронумеруем правила:
#<tex>S\rightarrow ABC</tex>
#<tex>S\rightarrow DS </tex>
#<tex>A\rightarrow \varepsilon</tex>
#<tex>B\rightarrow AC</tex>
#<tex>C\rightarrow \varepsilon</tex>
#<tex>D\rightarrow d</tex>

''Поскольку правило 6 содержит справа терминалы, оно заведомо не будет влиять на ответ, поэтому мы не будем его учитывать.''

Построим массив списков <tex>\mathtt{concernedRules}</tex>.
{| class="wikitable"
| colspan=5 |<tex>\mathtt{concernedRules}</tex>
|-
!<tex>S</tex>
!<tex>A</tex>
!<tex>B</tex>
!<tex>C</tex>
!<tex>D</tex>
|-
|2
|1, 4
|1
|1, 4
|2
|}

{| class="wikitable" style="border:solid 2px gray"
!style="border-right:solid 2px gray"|<tex>\mathtt{Q}</tex>
!style="border-right:solid 2px gray" colspan=5| <tex>\mathtt{isEpsilon}</tex>
!style="border-right:solid 2px gray" colspan=5| <tex>\mathtt{counter}</tex>
!Комментарий
|-
!style="border-top:solid 2px gray; border-right:solid 2px gray" rowspan=2|<tex>\left \{ \right \}</tex>
!style="border-top:solid 2px gray"|<tex>S</tex>
!style="border-top:solid 2px gray"|<tex>A</tex>
!style="border-top:solid 2px gray"|<tex>B</tex>
!style="border-top:solid 2px gray"|<tex>C</tex>
!style="border-top:solid 2px gray; border-right:solid 2px gray"|<tex>D</tex>
!style="border-top:solid 2px gray"|1
!style="border-top:solid 2px gray"|2
!style="border-top:solid 2px gray"|3
!style="border-top:solid 2px gray"|4
!style="border-top:solid 2px gray; border-right:solid 2px gray"|5
|style="border-top:solid 2px gray" rowspan=2|Зададим начальные значения массивам <tex>\mathtt{counter}</tex> и <tex>\mathtt{isEpsilon}</tex>.
|-
|0
|0
|0
|0
|style="border-right:solid 2px gray"|0
|3
|2
|0
|2
|style="border-right:solid 2px gray"|0
|-
|style="border-top:solid 2px gray; border-right:solid 2px gray" rowspan=2|<tex>\left \{A,C \right \}</tex>
!style="border-top:solid 2px gray"|<tex>S</tex>
!style="border-top:solid 2px gray"|<tex>A</tex>
!style="border-top:solid 2px gray"|<tex>B</tex>
!style="border-top:solid 2px gray"|<tex>C</tex>
!style="border-top:solid 2px gray; border-right:solid 2px gray"|<tex>D</tex>
!style="border-top:solid 2px gray"|1
!style="border-top:solid 2px gray"|2
!style="border-top:solid 2px gray"|3
!style="border-top:solid 2px gray"|4
!style="border-top:solid 2px gray; border-right:solid 2px gray"|5
|style="border-top:solid 2px gray" rowspan=2 |Заметим, что правила 3 и 5 являются <tex>\varepsilon</tex>-правилами. Пометим левые нетерминалы из этих правил и добавим их в очередь. После этого в <tex>\mathtt{Q}</tex> лежит <tex>A</tex> и <tex>C</tex>, а <tex>\mathtt{counter}</tex> остался без изменений.
|-
|0
|1
|0
|1
|style="border-right:solid 2px gray"|0
|3
|2
|0
|2
|style="border-right:solid 2px gray"|0
|-
|style="border-top:solid 2px gray; border-right:solid 2px gray" rowspan=2|<tex>\left\{C \right\}</tex>
!style="border-top:solid 2px gray"|<tex>S</tex>
!style="border-top:solid 2px gray"|<tex>A</tex>
!style="border-top:solid 2px gray"|<tex>B</tex>
!style="border-top:solid 2px gray"|<tex>C</tex>
!style="border-top:solid 2px gray; border-right:solid 2px gray"|<tex>D</tex>
!style="border-top:solid 2px gray"|1
!style="border-top:solid 2px gray"|2
!style="border-top:solid 2px gray"|3
!style="border-top:solid 2px gray"|4
!style="border-top:solid 2px gray; border-right:solid 2px gray"|5
|style="border-top:solid 2px gray" rowspan=2|Достанем из очереди <tex>A</tex>, декрементируем те счетчики, которые относятся к связанным с ним правилам. К очереди ничего не добавится.
|-
|0
|1
|0
|1
|style="border-right:solid 2px gray"|0
|2
|2
|0
|1
|style="border-right:solid 2px gray"|0
|-
|style="border-top:solid 2px gray; border-right:solid 2px gray" rowspan=2|<tex>\left\{B \right\}</tex>
!style="border-top:solid 2px gray"|<tex>S</tex>
!style="border-top:solid 2px gray"|<tex>A</tex>
!style="border-top:solid 2px gray"|<tex>B</tex>
!style="border-top:solid 2px gray"|<tex>C</tex>
!style="border-top:solid 2px gray; border-right:solid 2px gray"|<tex>D</tex>
!style="border-top:solid 2px gray"|1
!style="border-top:solid 2px gray"|2
!style="border-top:solid 2px gray"|3
!style="border-top:solid 2px gray"|4
!style="border-top:solid 2px gray; border-right:solid 2px gray"|5
|style="border-top:solid 2px gray" rowspan=2|Достанем из очереди <tex>C</tex>. После проведения действий из алгоритма в очередь добавится <tex>B</tex>.
|-
|0
|1
|1
|1
|style="border-right:solid 2px gray"|0
|1
|2
|0
|0
|style="border-right:solid 2px gray"|0
|-
|style="border-top:solid 2px gray; border-right:solid 2px gray" rowspan=2|<tex>\left\{S \right\}</tex>
!style="border-top:solid 2px gray"|<tex>S</tex>
!style="border-top:solid 2px gray"|<tex>A</tex>
!style="border-top:solid 2px gray"|<tex>B</tex>
!style="border-top:solid 2px gray"|<tex>C</tex>
!style="border-top:solid 2px gray; border-right:solid 2px gray"|<tex>D</tex>
!style="border-top:solid 2px gray"|1
!style="border-top:solid 2px gray"|2
!style="border-top:solid 2px gray"|3
!style="border-top:solid 2px gray"|4
!style="border-top:solid 2px gray; border-right:solid 2px gray"|5
|style="border-top:solid 2px gray" rowspan=2|Достанем из очереди <tex>B</tex>. После действий алгоритма в очередь добавится <tex>S</tex>.
|-
|1
|1
|1
|1
|style="border-right:solid 2px gray"|0
|0
|2
|0
|0
|style="border-right:solid 2px gray"|0
|-
|style="border-top:solid 2px gray; border-right:solid 2px gray" rowspan=2|<tex>\left\{ \right\}</tex>
!style="border-top:solid 2px gray"|<tex>S</tex>
!style="border-top:solid 2px gray"|<tex>A</tex>
!style="border-top:solid 2px gray"|<tex>B</tex>
!style="border-top:solid 2px gray"|<tex>C</tex>
!style="border-top:solid 2px gray; border-right:solid 2px gray"|<tex>D</tex>
!style="border-top:solid 2px gray"|1
!style="border-top:solid 2px gray"|2
!style="border-top:solid 2px gray"|3
!style="border-top:solid 2px gray"|4
!style="border-top:solid 2px gray; border-right:solid 2px gray"|5
|style="border-top:solid 2px gray" rowspan=2|Достанем из очереди <tex>S</tex>. Ничего не добавится в очередь и она останется пустой. Алгоритм закончил свое выполнение. Итого в множество <tex>\varepsilon</tex>-правил входят все нетерминалы, кроме <tex>D</tex>.
|-
|1
|1
|1
|1
|style="border-right:solid 2px gray"|0
|0
|1
|0
|0
|style="border-right:solid 2px gray"|0
|}

Если применять алгоритм без модификации с очередью, то действия будут следующие:
# Возьмём множество состоящее из <tex>\varepsilon</tex>-порождающих нетерминалов <tex>\lbrace A, C \rbrace</tex>.
# Добавим <tex>B</tex> в множество, так как правая часть правила <tex>B\rightarrow AC</tex> состоит только из нетерминалов из множества.
# Повторим второй пункт для правила <tex>S\rightarrow ABC</tex> и получим множество <tex>\lbrace A, B, C, S \rbrace</tex>.
# Больше нет нерассмотренных правил, содержащих справа только нетерминалы из множества.

Таким образом <tex>\varepsilon</tex>-порождающими нетерминалами являются <tex>A</tex>, <tex>B</tex>, <tex>C</tex> и <tex>S</tex>.

== Алгоритм удаления ε-правил из грамматики ==
'''Вход:''' КС-грамматика <tex> \Gamma=\langle N,\Sigma, P, S \rangle</tex>. 
'''Выход:''' КС-грамматика <tex> \Gamma'=\langle N,\Sigma, P', S' \rangle</tex> без <tex>\varepsilon</tex>-правил (может присутствовать правило <tex>S \rightarrow \varepsilon</tex>, но в этом случае <tex>S</tex> не встречается в правых частях правил); <tex>L(\Gamma') = L(\Gamma)</tex>.

# Добавить все правила из <tex>P</tex> в <tex>P'</tex>.
# Найти все <tex>\varepsilon</tex>-порождаюшие нетерминалы.
# Для каждого правила вида <tex>A \rightarrow \alpha_0 B_1 \alpha_1 B_2 \alpha_2 ... B_k \alpha_k</tex> (где <tex>\alpha_i</tex> — последовательности из терминалов и нетерминалов, <tex>B_j</tex> — <tex>\varepsilon</tex>-порождающие нетерминалы) добавить в <tex>P'</tex> все возможные варианты правил, в которых либо присутствует, либо удалён каждый из нетерминалов <tex>B_j\; (1 \leqslant j \leqslant k)</tex>.
# Удалить все <tex>\varepsilon</tex>-правила из <tex>P'</tex>.
# Если в исходной грамматике <tex>\Gamma</tex> выводилось <tex>\varepsilon</tex>, то необходимо добавить новый нетерминал <tex>S'</tex>, сделать его стартовым, добавить правило <tex>S' \rightarrow S|\varepsilon</tex>.

=== Доказательство корректности ===
{{Теорема
|statement = Если грамматика <tex>\Gamma'</tex> была построена с помощью описанного выше алгоритма по грамматике <tex>\Gamma</tex>, то <tex>L(\Gamma') = L(\Gamma)</tex>.
|proof =
Сначала докажем, что, если не выполнять шаг 5 алгоритма, то получится грамматика <tex>\Gamma' : L(\Gamma') = L(\Gamma) \setminus \lbrace \varepsilon \rbrace </tex>. 
Для этого достаточно доказать, что
<tex>A \underset{\Gamma'}{\Rightarrow}^*w</tex> тогда и только тогда, когда <tex>A \underset{\Gamma}{\Rightarrow}^*w</tex> и <tex>w \ne \varepsilon</tex> (*).

<tex>\Rightarrow</tex><br\>
Пусть <tex>A \underset{\Gamma'}{\Rightarrow}^*w</tex>  и  <tex>w \ne \varepsilon</tex>. 
Докажем индукцией по длине порождения в грамматике <tex>\Gamma'</tex>, что <tex>A \underset{\Gamma}{\Rightarrow}^*w</tex>. 
'''База'''. <tex>A \underset{\Gamma'}{\Rightarrow} w</tex>. 
В этом случае в <tex>\Gamma'</tex> есть правило <tex>A \rightarrow w</tex>. По построению <tex>\Gamma'</tex> в <tex>\Gamma</tex> есть правило <tex>A \rightarrow \alpha</tex>, причем <tex>\alpha</tex> — цепочка <tex>w</tex>, элементы которой, возможно, перемежаются <tex>\varepsilon</tex>-порождающими нетерминалами. Тогда в <tex>\Gamma</tex> есть порождения <tex>A \underset{\Gamma}{\Rightarrow} \alpha \underset{\Gamma}{\Rightarrow}^*w</tex>. 
'''Предположение индукции'''. Пусть из <tex>A \underset{\Gamma'}{\Rightarrow}^*w \ne \varepsilon</tex> менее, чем за <tex>n</tex> шагов, следует, что <tex>A \underset{\Gamma}{\Rightarrow}^*w</tex>. 
'''Переход'''.
Пусть в порождении <tex>n</tex> шагов, <tex>n > 1</tex>. Тогда оно имеет вид <tex>A\underset{\Gamma'}{\Rightarrow}X_1 X_2...X_k \underset{\Gamma'}{\Rightarrow}^*w</tex>, где <tex>X_i \in N \cup \Sigma </tex>. Первое использованное правило должно быть построено по правилу грамматики <tex>\Gamma</tex> <tex>A \rightarrow Y_1 Y_2...Y_m</tex>, где последовательность <tex>Y_1 Y_2...Y_m</tex> совпадает с последовательностью <tex>X_1 X_2...X_k</tex>, символы которой, возможно, перемежаются <tex>\varepsilon</tex>-порождающими нетерминалами. 
Цепочку <tex>w</tex> можно разбить на <tex>w_1 w_2...w_k</tex>, где <tex>X_i \underset{\Gamma'}{\Rightarrow}^*w_i</tex>. Если <tex>X_i</tex> — терминал, то <tex>w_i = X_i</tex>, a если нетерминал, то порождение <tex>X_i \underset{\Gamma'}{\Rightarrow}^*w_i</tex> содержит менее <tex>n</tex> шагов. По предположению <tex>X_i \underset{\Gamma}{\Rightarrow}^*w_i</tex>, значит <tex>A \underset {\Gamma}{\Rightarrow} Y_1 Y_2...Y_m \underset{\Gamma}{\Rightarrow}^* X_1 X_2...X_k \underset{\Gamma}{\Rightarrow}^* w_1 w_2...w_k = w</tex>.

<tex>\Leftarrow</tex> 
Пусть <tex>A \underset{\Gamma}{\Rightarrow}^*w</tex>  и  <tex>w \ne \varepsilon</tex>. 
Докажем индукцией по длине порождения в грамматике <tex>\Gamma</tex>, что <tex>A \underset{\Gamma'}{\Rightarrow}^*w</tex>. 
'''База'''. <tex>A \underset{\Gamma}{\Rightarrow} w</tex>. 
Правило <tex>A \rightarrow w</tex> присутствует в <tex>\Gamma</tex>. Поскольку <tex>w \ne \varepsilon</tex>, это же правило будет и в <tex>\Gamma'</tex>, поэтому <tex>A \underset{\Gamma'}{\Rightarrow}^*w</tex>. 
'''Предположение индукции'''. Пусть из <tex>A \underset{\Gamma}{\Rightarrow}^*w \ne \varepsilon</tex> менее, чем за <tex>n</tex> шагов, следует, что <tex>A \underset{\Gamma'}{\Rightarrow}^*w </tex>. 
'''Переход'''. Пусть в порождении <tex>n</tex> шагов, <tex>n > 1</tex>. Тогда оно имеет вид <tex>A\underset{\Gamma}{\Rightarrow}Y_1 Y_2...Y_m \underset{\Gamma}{\Rightarrow}^*w</tex>, где <tex>Y_i \in N \cup \Sigma </tex>. Цепочку <tex>w</tex> можно разбить на <tex>w_1 w_2...w_m</tex>, где <tex>Y_i \underset{\Gamma}{\Rightarrow}^*w_i</tex>. 
Пусть <tex>Y_{i_1}, Y_{i_2}, ..., Y_{i_p}</tex> — подпоследовательность, состоящая из всех элементов, таких, что <tex>w_{i_k} \ne \varepsilon</tex>, то есть <tex>Y_{i_1} Y_{i_2} ... Y_{i_p} \underset{\Gamma}{\Rightarrow}^*w</tex>. <tex>p \geqslant 1</tex>, поскольку <tex>w \ne \varepsilon</tex>. Значит, <tex>A \rightarrow Y_{i_1} Y_{i_2} ... Y_{i_p}</tex> является правилом в <tex>\Gamma'</tex> по построению <tex>\Gamma'</tex>. 
Так как каждое из порождений <tex>Y_i \underset{\Gamma}{\Rightarrow}^*w_i</tex> содержит менее <tex>n</tex> шагов, к ним можно применить предположение индукции и заключить, что, если <tex>w_i \ne \varepsilon</tex>, то <tex>Y_i \underset{\Gamma'}{\Rightarrow}^*w_i</tex>. 
Таким образом, <tex>A \underset{\Gamma'}{\Rightarrow} Y_{i_1} Y_{i_2} ... Y_{i_p} \underset{\Gamma'}{\Rightarrow}^* w</tex>.

Подставив <tex>S</tex> вместо <tex>A</tex> в утверждение (*), видим, что <tex>w \in L(\Gamma)</tex> для <tex>w \ne \varepsilon</tex> тогда и только тогда, когда <tex>w \in L(\Gamma')</tex>. Так как после выполнения шага 5 алгоритма в <tex>\Gamma'</tex> могло добавиться только пустое слово <tex>\varepsilon</tex>, то язык, задаваемый КС-грамматикой <tex>\Gamma'</tex>, совпадает с языком, задаваемым КС-грамматикой <tex>\Gamma</tex>.
}}

=== Время работы алгоритма ===
Рассмотрим грамматику <tex>\Gamma</tex>:
:<tex>S\rightarrow T_1 T_2 T_3 \ldots T_n</tex>
:<tex>T_1\rightarrow t_1|\varepsilon</tex>
:<tex>T_2\rightarrow t_2|\varepsilon</tex>
:<tex>\ldots\</tex>
:<tex>T_n\rightarrow t_n|\varepsilon</tex>

<tex>\left| \Gamma \right| = O(n)</tex>. Из нетерминала <tex>S</tex> можно вывести <tex>2^n</tex> сочетаний нетерминалов <tex>T_i</tex>. Таким образом в худшем случае алгоритм работает за <tex>O(2^{\left| \Gamma \right|})</tex>. 
Рассмотрим теперь грамматику с устраненными [[Удаление_длинных_правил_из_грамматики|длинными правилами]]. После применения данного алгоритма, который работает за <tex>O(\left| \Gamma \right|)</tex>, в грамматике станет на <tex>O(\left| \Gamma \right|)</tex> больше правил, но при этом все они будут размером <tex>O(1)</tex>. Итого по-прежнему <tex>\left| \Gamma \right| = O(n)</tex>. Однако алгоритм удаления <tex>\varepsilon</tex>-правил будет работать за <tex>O(\left| \Gamma \right|)</tex>, поскольку для каждого правила можно будет добавить только <tex>O(1)</tex> сочетаний нетерминалов.

=== Пример ===
Рассмотрим грамматику:
:<tex>S\rightarrow ABCd</tex>
:<tex>A\rightarrow a|\varepsilon</tex>
:<tex>B\rightarrow AC</tex>
:<tex>C\rightarrow c|\varepsilon</tex>

В ней <tex>A</tex>, <tex>B</tex> и <tex>C</tex> являются <tex>\varepsilon</tex>-порождающими нетерминалами.
# Переберём для каждого правила все возможные сочетания ε-порождающих нетерминалов и добавим новые правила:
#* <tex>S\rightarrow Ad|ABd|ACd|Bd|BCd|Cd|d</tex> для <tex>S \rightarrow ABCd</tex>
#* <tex>B \rightarrow A|C</tex> для <tex>B \rightarrow AC</tex>
# Удалим праила <tex>A\rightarrow \varepsilon</tex> и <tex>C\rightarrow \varepsilon</tex>

В результате мы получим новую грамматику без <tex>\varepsilon</tex>-правил:
:<tex>S\rightarrow Ad|ABd|ACd|ABCd|Bd|BCd|Cd|d</tex>
:<tex>A\rightarrow a</tex>
:<tex>B\rightarrow A|AC|C</tex>
:<tex>C\rightarrow c</tex>

== См. также ==
* [[Контекстно-свободные_грамматики,_вывод,_лево-_и_правосторонний_вывод,_дерево_разбора|Контекстно-свободные грамматики]]
* [[Нормальная_форма_Хомского|Нормальная форма Хомского]]

== Источники информации ==
* ''Хопкрофт Д., Мотвани Р., Ульман Д.'' '''Введение в теорию автоматов, языков и вычислений''', 2-е изд. : Пер. с англ. — Москва, Издательский дом «Вильямс», 2002. — С. 273: ISBN 5-8459-0261-4 (рус.)
* [http://en.wikipedia.org/wiki/Chomsky_normal_form Wikipedia — Chomsky normal form]

[[Категория: Теория формальных языков]]
[[Категория: Контекстно-свободные грамматики]]
[[Категория: Нормальные формы КС-грамматик]]

Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора

2019-05-14T14:52:13Z

Gaporf: /* Однозначные грамматики */

==Основные определения==
{{Определение
|id=csgrammar
|definition=
'''Контекстно-свободной грамматикой''' (англ. ''сontext-free grammar'') называется [[Формальные грамматики|грамматика]], у которой в левых частях всех правил стоят только одиночные нетерминалы.
}}
{{Определение
|id=lang
|definition=
'''Контекстно-свободный язык''' (англ. ''context-free language'') {{---}} язык, задаваемый контекстно-свободной грамматикой.
}}

==Лево- и правосторонний вывод слова==

{{Определение
|definition=
'''Выводом слова''' (англ. ''derivation of a word'') <tex>\alpha</tex> называется последовательность строк, состоящих из терминалов и нетерминалов. Первая строка последовательности состоит из одного стартового нетерминала. Каждая последующая строка получена из предыдущей путем замены любого нетерминала по одному (любому) из правил, а последней строкой в последовательности является слово <tex>\alpha</tex>.
}}
'''Пример:'''

Рассмотрим грамматику, выводящую все правильные скобочные последовательности.
:<tex>"("</tex> и <tex>")"</tex> {{---}} терминальные символы
:<tex>S</tex> {{---}} стартовый нетерминал

Правила:
#<tex>S\rightarrow (S)S</tex>
#<tex>S\rightarrow S(S)</tex>
#<tex>S\rightarrow \varepsilon</tex>

Выведем слово <tex>"(()(()))()"</tex>:

<tex>\boldsymbol{S}\Rightarrow (S)\boldsymbol{S} \Rightarrow (S)(\boldsymbol{S})S\Rightarrow(S)()\boldsymbol{S}\Rightarrow(\boldsymbol{S})()\Rightarrow(\boldsymbol{S}(S))()\Rightarrow(S(S)(\boldsymbol{S}))()\Rightarrow(S(S)(\boldsymbol{S}(S)))()\Rightarrow (S(\boldsymbol{S})((S)))()\Rightarrow(\boldsymbol{S}()((S)))()\Rightarrow(()((\boldsymbol{S})))()\Rightarrow(()(()))()</tex>

{{Определение
|definition=
'''Левосторонним выводом слова''' (англ. ''leftmost derivation'') <tex>\alpha</tex> называется такой вывод слова <tex>\alpha</tex>, в котором каждая последующая строка получена из предыдущей путем замены по одному из правил самого левого встречающегося в строке нетерминала.
}}

{{Определение
|definition=
'''Правосторонним выводом слова''' (англ. ''rightmost derivation'') <tex>\alpha</tex> называется такой вывод слова <tex>\alpha</tex>, в котором каждая последующая строка получена из предыдущей путем замены по одному из правил самого правого встречающегося в строке нетерминала.
}}
Рассмотрим левосторонний вывод скобочной последовательности из примера:

<tex>\boldsymbol{S}\Rightarrow (\boldsymbol{S})S \Rightarrow ((\boldsymbol{S})S)S\Rightarrow (()\boldsymbol{S})S\Rightarrow(()\boldsymbol{S}(S))S\Rightarrow(()(\boldsymbol{S}))S\Rightarrow(()(\boldsymbol{S}(S)))S\Rightarrow(()((\boldsymbol{S})))S\Rightarrow(()(()))\boldsymbol{S}\Rightarrow(()(()))(\boldsymbol{S})S\Rightarrow(()(()))()\boldsymbol{S}\Rightarrow(()(()))()</tex>

==Дерево разбора==

{{Определение
|definition=
'''Деревом разбора грамматики''' (англ. ''parse tree'') называется дерево, в вершинах которого записаны терминалы или нетерминалы. Все вершины, помеченные терминалами, являются листьями. Все вершины, помеченные нетерминалами, имеют детей. Дети вершины, в которой записан нетерминал, соответствуют раскрытию нетерминала по одному любому правилу (в левой части которого стоит этот нетерминал) и упорядочены так же, как в правой части этого правила.
}}
{{Определение
|definition=
'''Крона дерева разбора''' (англ. ''leaves of the parse tree'') {{---}} множество терминальных символов, упорядоченное в соответствии с номерами их достижения при обходе дерева в глубину из корня. Крона дерева разбора представляет из себя слово языка, которое выводит это дерево.
}}

Построим дерево разбора скобочной последовательности из примера.

[[Файл:BracketsSequenceParsingTree1.png]]

{{Теорема
|id=t1
|statement=Пусть <tex>\Gamma = \langle \Sigma, N, S, P \rangle</tex> — КС-грамматика. Предположим, что существует дерево разбора с корнем, отмеченным <tex>A</tex>, и кроной <tex>\omega</tex>, где <tex>\omega \in N^{*}</tex>. Тогда в грамматике <tex>\Gamma</tex> существует левое порождение <tex>A \Rightarrow^{*}_{lm} \omega</tex>
|proof=
Используем индукцию по высоте дерева.

'''База:''' Базисом является высота <tex>1</tex>, наименьшая из возможных для дерева разбора с терминальной кроной.
:Поскольку это дерево является деревом разбора, <tex>A \rightarrow \omega</tex> должно быть продукцией. Таким образом, <tex>A \Rightarrow_{lm} \omega</tex> есть одношаговое левое порождение <tex>\omega</tex> из <tex>A</tex>.

'''Индукционный переход:''' Существует корень с отметкой <tex>A</tex> и сыновьями, отмеченными слева направо <tex>X_1X_2 \dots X_k</tex>. Символы <tex>X</tex> могут быть как терминалами, так и переменными.
# Если <tex>X_i</tex> — терминал, то определим <tex>\omega_i</tex> как цепочку, состоящую из одного <tex>X_i</tex>.
# Если <tex>X_i</tex> — переменная, то она должна быть корнем некоторого поддерева с терминальной кроной, которую обозначим <tex>\omega_i</tex>. Заметим, что в этом случае высота поддерева меньше <tex>n</tex>, поэтому к нему применимо предположение индукции. Следовательно, существует левое порождение <tex>X_i \Rightarrow^{*}_{lm} \omega_i</tex>.

Заметим, что <tex>\omega = \omega_1\omega_2 \dots \omega_k</tex>.
Построим левое порождение цепочки <tex>\omega</tex> следующим образом:
:Начнем с шага <tex>A \Rightarrow_{lm} X_1X_2\dots X_k</tex>.
:Затем для <tex>i = 1, 2, \dots, k \ </tex> покажем, что имеет место следующее порождение: <tex>A \Rightarrow^{*}_{lm} \omega_1\omega_2\dots\omega_iX_{i+1}X_{i+2}\dots X_k</tex>

Данное доказательство использует в действительности еще одну индукцию, на этот раз по <tex>i</tex>.
Для базиса <tex>i = 0</tex> мы уже знаем, что <tex>A \Rightarrow_{lm} X_1X_2\dots X_k</tex>.

Для индукции предположим, что существует следующее порождение: <tex>A \Rightarrow^{*}_{lm} \omega_1\omega_2\dots\omega_{i–1}X_iX_{i+1}\dots X_k</tex>

# Если <tex>X_i</tex> — терминал, то не делаем ничего, но в дальнейшем рассматриваем <tex>X_i</tex> как терминальную цепочку <tex>\omega_i</tex>. Таким образом, приходим к существованию следующего порождения. <tex>A \Rightarrow^{*}_{lm} \omega_1\omega_2\dots\omega_iX_{i+1}X_{i+2}\dots X_k</tex>
# Если <tex>X_i</tex> является переменной, то продолжаем порождением <tex>\omega_i</tex> из <tex>X_i</tex> в контексте уже построенного порождения. Таким образом, если этим порождением является: <tex>X_i \Rightarrow_{lm} \alpha_1 \Rightarrow_{lm} \alpha_2\dots \Rightarrow_{lm} \omega_i</tex>, то продолжаем следующими порождениями:

::<tex>\omega_1\omega_2\dots\omega_{i–1}X_iX_{i+1}\dots X_k \Rightarrow_{lm}</tex>

::<tex>\omega_1\omega_2\dots\omega_{i–1}\alpha_1X_{i+1}\dots X_k \Rightarrow_{lm}</tex>

::<tex>\omega_1\omega_2\dots\omega_{i–1}\alpha_2X_{i+1}\dots X_k \Rightarrow_{lm}</tex>

::<tex>\dots</tex>

::<tex>\omega_1\omega_2\dots\omega_iX_{i+1}X_{i+2}\dots X_k</tex>

Результатом является порождение <tex>A \Rightarrow^{*}_{lm} \omega_1\omega_2\dots\omega_iX_{i+1}X_{i+2}\dots X_k</tex>.
Когда <tex>i = k</tex>, результат представляет собой левое порождение <tex>\omega</tex> из <tex>A</tex>.
}}

{{Теорема
|id=t2
|statement=Для каждой грамматики <tex>\Gamma = \langle \Sigma, N, S, P \rangle</tex> и <tex>\omega</tex> из <tex>N^{*}</tex> цепочка <tex>\omega</tex> имеет два разных дерева разбора тогда и только тогда, когда <tex>\omega</tex> имеет два разных левых порождения из <tex>P</tex>.
|proof=
<tex>\Longrightarrow</tex>

:Внимательно рассмотрим построение левого порождения по дереву разбора в доказательстве [[#t1|теоремы]]. В любом случае, если у двух деревьев разбора впервые появляется узел, в котором применяются различные продукции, левые порождения, которые строятся, также используют разные продукции и, следовательно, являются различными.

<tex> \Longleftarrow </tex>

:Хотя мы предварительно не описали непосредственное построение дерева разбора по левому порождению, идея его проста. Начнем построение дерева с корня, отмеченного стартовым символом. Рассмотрим порождение пошагово. На каждом шаге заменяется переменная, и эта переменная будет соответствовать построенному крайнему слева узлу дерева, не имеющему сыновей, но отмеченному этой переменной. По продукции, использованной на этом шаге левого порождения, определим, какие сыновья должны быть у этого узла. Если существуют два разных порождения, то на первом шаге, где они различаются, построенные узлы получат разные списки сыновей, что гарантирует различие деревьев разбора.
}}

==Однозначные грамматики==

{{Определение
|definition=
Грамматика называется '''однозначной''' (англ. ''unambiguous grammar''), если у каждого слова имеется не более одного дерева разбора в этой грамматике.
}}

{{Лемма
|id=lemma-
|statement=
Пусть <tex>\Gamma</tex> {{---}} однозначная грамматика. Тогда <tex>\forall \omega \in \mathbb{L}(\Gamma)</tex> существует ровно один левосторонний (правосторонний) вывод.
|proof=
Очевидно, что по дереву разбора однозначно восстанавливается левосторонний(правосторонний) вывод. Поскольку каждое слово из языка выводится только одним деревом разбора, то существует только один левосторонний(правосторонний) вывод этого слова.
}}

{{Утверждение
|statement=Грамматика из примера не является однозначной.
|proof=Выше уже было построено дерево разбора для слова <tex>"(()(()))()"</tex>.
Построим еще одно дерево разбора для данного слова.

Например, оно будет выглядеть так:

[[Файл:BracketsSequenceParsingTree2.png]]
Таким образом, существует слово, у которого есть более одного дерева разбора в данной грамматике <tex>\Rightarrow</tex> эта грамматика не является однозначной.
}}

{{Утверждение
|statement=Существуют языки, которые можно задать одновременно как однозначными, так и неоднозначными грамматиками.
|proof=Для доказательства достаточно привести однозначную грамматику для языка правильных скобочных последовательностей (неоднозначной грамматикой для данного языка является грамматика из примера выше).

Рассмотрим грамматику:
:<tex>(</tex> и <tex>)</tex> {{---}} терминальные символы
:<tex>S</tex> {{---}} стартовый нетерминал

Правила:
#<tex>S\rightarrow (S)S</tex>
#<tex>S\rightarrow \varepsilon</tex>

Покажем, что эта грамматика однозначна.
Для этого, используя индукцию, докажем, что для любого слова <tex>\omega</tex>, являющегося правильной скобочной последовательностью, в данной грамматике существует только одно дерево разбора.

'''База:''' Если <tex>\omega=\varepsilon</tex>, то оно выводится только по второму правилу <tex>\Rightarrow</tex> для него существует единственное дерево разбора.

'''Индукционный переход:''' Пусть <tex>\left\vert \omega \right\vert=n</tex> и <tex>\forall \upsilon</tex>: <tex>\left\vert \upsilon \right\vert < n</tex> и <tex>\upsilon</tex> {{---}} правильная скобочная последовательность, у которой <tex>\exists!</tex> дерево разбора.

:Найдем в слове <tex>\omega</tex> минимальный индекс <tex>i \neq 0</tex> такой, что слово <tex>\omega[0..i]</tex> является правильной скобочной последовательностью. Так как <tex>i \neq 0</tex> минимальный, то <tex>\omega[0..i]=(\alpha)\ </tex>. Из того, что <tex>\omega</tex> является правильной скобочной последовательностью <tex>\Rightarrow</tex> <tex>\alpha</tex> и <tex>\beta=\omega[i+1..n-1]</tex> {{---}} правильные скобочные последовательности, при этом <tex>\left\vert \alpha \right\vert<n</tex> и <tex>\left\vert \beta \right\vert<n \Rightarrow</tex> по индукционному предположению предположению у <tex>\alpha</tex> и <tex>\beta</tex> существуют единственные деревья разбора.

:Если мы покажем, что из части <tex>(S)</tex> первого правила можно вывести только слово <tex>(\alpha)</tex>, то утверждение будет доказано (так как из первой части первого правила выводится <tex>\alpha</tex>, а из второй только <tex>\beta</tex> и для каждого из них по предположению существуют единственные деревья разбора).

:Пусть из <tex>(S)</tex> была выведена часть слова <tex>\omega[0..j]=(\gamma)</tex>, где <tex>j < i</tex>, при этом <tex>\gamma</tex> является правильной скобочной последовательностью, но тогда как минимальный индекс мы должны были выбрать <tex>j</tex>, а не <tex>i</tex> {{---}} противоречие.

:Аналогично из <tex>(S)</tex> не может быть выведена часть слова <tex>\omega[0..j] \ </tex>, где <tex>j > i</tex>, потому что тогда <tex>\omega[0..i]=(\alpha) \ </tex> не будет правильной скобочной последовательностью, так как в позиции <tex>i-1</tex> баланс скобок будет отрицательный.

:Значит, из <tex>(S)</tex> была выведена часть слова <tex>\omega[0..i] \Rightarrow \omega \ </tex> имеет единственное дерево разбора <tex>\Rightarrow</tex> данная грамматика однозначная.

Таким образом, для языка правильных скобочных последовательностей мы привели пример как однозначной, так и неоднозначной грамматики.
}}

Однако, есть КС-языки, для которых не существует однозначных КС-грамматик. Такие языки и грамматики их порождающие называют '''существенно неоднозначными'''.
{{main|Существенно неоднозначные языки}}

==См. также==
* [[Формальные грамматики]]
* [[Иерархия Хомского формальных грамматик]]
* [[Замкнутость КС-языков относительно различных операций]]
* [[Существенно неоднозначные языки]]

== Источники информации ==
* [[wikipedia:Context-free grammar | Wikipedia {{---}} Context-free grammar]]
* [[wikipedia:ru:Контекстно-свободная грамматика | Википедия {{---}} Контекстно-свободная грамматика]]
* ''Хопкрофт Д., Мотвани Р., Ульман Д.'' {{---}} '''Введение в теорию автоматов, языков и вычислений''', 2-е изд. : Пер. с англ. — Москва, Издательский дом «Вильямс», 2002. — 528 с. : ISBN 5-8459-0261-4 (рус.)

[[Категория: Теория формальных языков]]
[[Категория: Контекстно-свободные грамматики]]
[[Категория: Базовые понятия о грамматиках]]

Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора

2019-05-14T14:51:37Z

Gaporf: /* Однозначные грамматики */

==Основные определения==
{{Определение
|id=csgrammar
|definition=
'''Контекстно-свободной грамматикой''' (англ. ''сontext-free grammar'') называется [[Формальные грамматики|грамматика]], у которой в левых частях всех правил стоят только одиночные нетерминалы.
}}
{{Определение
|id=lang
|definition=
'''Контекстно-свободный язык''' (англ. ''context-free language'') {{---}} язык, задаваемый контекстно-свободной грамматикой.
}}

==Лево- и правосторонний вывод слова==

{{Определение
|definition=
'''Выводом слова''' (англ. ''derivation of a word'') <tex>\alpha</tex> называется последовательность строк, состоящих из терминалов и нетерминалов. Первая строка последовательности состоит из одного стартового нетерминала. Каждая последующая строка получена из предыдущей путем замены любого нетерминала по одному (любому) из правил, а последней строкой в последовательности является слово <tex>\alpha</tex>.
}}
'''Пример:'''

Рассмотрим грамматику, выводящую все правильные скобочные последовательности.
:<tex>"("</tex> и <tex>")"</tex> {{---}} терминальные символы
:<tex>S</tex> {{---}} стартовый нетерминал

Правила:
#<tex>S\rightarrow (S)S</tex>
#<tex>S\rightarrow S(S)</tex>
#<tex>S\rightarrow \varepsilon</tex>

Выведем слово <tex>"(()(()))()"</tex>:

<tex>\boldsymbol{S}\Rightarrow (S)\boldsymbol{S} \Rightarrow (S)(\boldsymbol{S})S\Rightarrow(S)()\boldsymbol{S}\Rightarrow(\boldsymbol{S})()\Rightarrow(\boldsymbol{S}(S))()\Rightarrow(S(S)(\boldsymbol{S}))()\Rightarrow(S(S)(\boldsymbol{S}(S)))()\Rightarrow (S(\boldsymbol{S})((S)))()\Rightarrow(\boldsymbol{S}()((S)))()\Rightarrow(()((\boldsymbol{S})))()\Rightarrow(()(()))()</tex>

{{Определение
|definition=
'''Левосторонним выводом слова''' (англ. ''leftmost derivation'') <tex>\alpha</tex> называется такой вывод слова <tex>\alpha</tex>, в котором каждая последующая строка получена из предыдущей путем замены по одному из правил самого левого встречающегося в строке нетерминала.
}}

{{Определение
|definition=
'''Правосторонним выводом слова''' (англ. ''rightmost derivation'') <tex>\alpha</tex> называется такой вывод слова <tex>\alpha</tex>, в котором каждая последующая строка получена из предыдущей путем замены по одному из правил самого правого встречающегося в строке нетерминала.
}}
Рассмотрим левосторонний вывод скобочной последовательности из примера:

<tex>\boldsymbol{S}\Rightarrow (\boldsymbol{S})S \Rightarrow ((\boldsymbol{S})S)S\Rightarrow (()\boldsymbol{S})S\Rightarrow(()\boldsymbol{S}(S))S\Rightarrow(()(\boldsymbol{S}))S\Rightarrow(()(\boldsymbol{S}(S)))S\Rightarrow(()((\boldsymbol{S})))S\Rightarrow(()(()))\boldsymbol{S}\Rightarrow(()(()))(\boldsymbol{S})S\Rightarrow(()(()))()\boldsymbol{S}\Rightarrow(()(()))()</tex>

==Дерево разбора==

{{Определение
|definition=
'''Деревом разбора грамматики''' (англ. ''parse tree'') называется дерево, в вершинах которого записаны терминалы или нетерминалы. Все вершины, помеченные терминалами, являются листьями. Все вершины, помеченные нетерминалами, имеют детей. Дети вершины, в которой записан нетерминал, соответствуют раскрытию нетерминала по одному любому правилу (в левой части которого стоит этот нетерминал) и упорядочены так же, как в правой части этого правила.
}}
{{Определение
|definition=
'''Крона дерева разбора''' (англ. ''leaves of the parse tree'') {{---}} множество терминальных символов, упорядоченное в соответствии с номерами их достижения при обходе дерева в глубину из корня. Крона дерева разбора представляет из себя слово языка, которое выводит это дерево.
}}

Построим дерево разбора скобочной последовательности из примера.

[[Файл:BracketsSequenceParsingTree1.png]]

{{Теорема
|id=t1
|statement=Пусть <tex>\Gamma = \langle \Sigma, N, S, P \rangle</tex> — КС-грамматика. Предположим, что существует дерево разбора с корнем, отмеченным <tex>A</tex>, и кроной <tex>\omega</tex>, где <tex>\omega \in N^{*}</tex>. Тогда в грамматике <tex>\Gamma</tex> существует левое порождение <tex>A \Rightarrow^{*}_{lm} \omega</tex>
|proof=
Используем индукцию по высоте дерева.

'''База:''' Базисом является высота <tex>1</tex>, наименьшая из возможных для дерева разбора с терминальной кроной.
:Поскольку это дерево является деревом разбора, <tex>A \rightarrow \omega</tex> должно быть продукцией. Таким образом, <tex>A \Rightarrow_{lm} \omega</tex> есть одношаговое левое порождение <tex>\omega</tex> из <tex>A</tex>.

'''Индукционный переход:''' Существует корень с отметкой <tex>A</tex> и сыновьями, отмеченными слева направо <tex>X_1X_2 \dots X_k</tex>. Символы <tex>X</tex> могут быть как терминалами, так и переменными.
# Если <tex>X_i</tex> — терминал, то определим <tex>\omega_i</tex> как цепочку, состоящую из одного <tex>X_i</tex>.
# Если <tex>X_i</tex> — переменная, то она должна быть корнем некоторого поддерева с терминальной кроной, которую обозначим <tex>\omega_i</tex>. Заметим, что в этом случае высота поддерева меньше <tex>n</tex>, поэтому к нему применимо предположение индукции. Следовательно, существует левое порождение <tex>X_i \Rightarrow^{*}_{lm} \omega_i</tex>.

Заметим, что <tex>\omega = \omega_1\omega_2 \dots \omega_k</tex>.
Построим левое порождение цепочки <tex>\omega</tex> следующим образом:
:Начнем с шага <tex>A \Rightarrow_{lm} X_1X_2\dots X_k</tex>.
:Затем для <tex>i = 1, 2, \dots, k \ </tex> покажем, что имеет место следующее порождение: <tex>A \Rightarrow^{*}_{lm} \omega_1\omega_2\dots\omega_iX_{i+1}X_{i+2}\dots X_k</tex>

Данное доказательство использует в действительности еще одну индукцию, на этот раз по <tex>i</tex>.
Для базиса <tex>i = 0</tex> мы уже знаем, что <tex>A \Rightarrow_{lm} X_1X_2\dots X_k</tex>.

Для индукции предположим, что существует следующее порождение: <tex>A \Rightarrow^{*}_{lm} \omega_1\omega_2\dots\omega_{i–1}X_iX_{i+1}\dots X_k</tex>

# Если <tex>X_i</tex> — терминал, то не делаем ничего, но в дальнейшем рассматриваем <tex>X_i</tex> как терминальную цепочку <tex>\omega_i</tex>. Таким образом, приходим к существованию следующего порождения. <tex>A \Rightarrow^{*}_{lm} \omega_1\omega_2\dots\omega_iX_{i+1}X_{i+2}\dots X_k</tex>
# Если <tex>X_i</tex> является переменной, то продолжаем порождением <tex>\omega_i</tex> из <tex>X_i</tex> в контексте уже построенного порождения. Таким образом, если этим порождением является: <tex>X_i \Rightarrow_{lm} \alpha_1 \Rightarrow_{lm} \alpha_2\dots \Rightarrow_{lm} \omega_i</tex>, то продолжаем следующими порождениями:

::<tex>\omega_1\omega_2\dots\omega_{i–1}X_iX_{i+1}\dots X_k \Rightarrow_{lm}</tex>

::<tex>\omega_1\omega_2\dots\omega_{i–1}\alpha_1X_{i+1}\dots X_k \Rightarrow_{lm}</tex>

::<tex>\omega_1\omega_2\dots\omega_{i–1}\alpha_2X_{i+1}\dots X_k \Rightarrow_{lm}</tex>

::<tex>\dots</tex>

::<tex>\omega_1\omega_2\dots\omega_iX_{i+1}X_{i+2}\dots X_k</tex>

Результатом является порождение <tex>A \Rightarrow^{*}_{lm} \omega_1\omega_2\dots\omega_iX_{i+1}X_{i+2}\dots X_k</tex>.
Когда <tex>i = k</tex>, результат представляет собой левое порождение <tex>\omega</tex> из <tex>A</tex>.
}}

{{Теорема
|id=t2
|statement=Для каждой грамматики <tex>\Gamma = \langle \Sigma, N, S, P \rangle</tex> и <tex>\omega</tex> из <tex>N^{*}</tex> цепочка <tex>\omega</tex> имеет два разных дерева разбора тогда и только тогда, когда <tex>\omega</tex> имеет два разных левых порождения из <tex>P</tex>.
|proof=
<tex>\Longrightarrow</tex>

:Внимательно рассмотрим построение левого порождения по дереву разбора в доказательстве [[#t1|теоремы]]. В любом случае, если у двух деревьев разбора впервые появляется узел, в котором применяются различные продукции, левые порождения, которые строятся, также используют разные продукции и, следовательно, являются различными.

<tex> \Longleftarrow </tex>

:Хотя мы предварительно не описали непосредственное построение дерева разбора по левому порождению, идея его проста. Начнем построение дерева с корня, отмеченного стартовым символом. Рассмотрим порождение пошагово. На каждом шаге заменяется переменная, и эта переменная будет соответствовать построенному крайнему слева узлу дерева, не имеющему сыновей, но отмеченному этой переменной. По продукции, использованной на этом шаге левого порождения, определим, какие сыновья должны быть у этого узла. Если существуют два разных порождения, то на первом шаге, где они различаются, построенные узлы получат разные списки сыновей, что гарантирует различие деревьев разбора.
}}

==Однозначные грамматики==

{{Определение
|definition=
Грамматика называется '''однозначной''' (англ. ''unambiguous grammar''), если у каждого слова имеется не более одного дерева разбора в этой грамматике.
}}

{{Лемма
|id=lemma-
|statement=
Пусть <tex>\Gamma</tex> {{---}} однозначная грамматика. Тогда <tex>\forall \omega \in \mathbb{L}(\Gamma)</tex> существует ровно один левосторонний (правосторонний) вывод.
|proof=
Очевидно, что по дереву разбора однозначно восстанавливается левосторонний(правосторонний) вывод. Поскольку каждое слово из языка выводится только одним деревом разбора, то существует только один левосторонний(правосторонний) вывод этого слова.
}}

{{Утверждение
|statement=Грамматика из примера не является однозначной.
|proof=Выше уже было построено дерево разбора для слова <tex>"(()(()))()"</tex>.
Построим еще одно дерево разбора для данного слова.

Например, оно будет выглядеть так:

[[Файл:BracketsSequenceParsingTree2.png]]
Таким образом, существует слово, у которого есть более одного дерева разбора в данной грамматике <tex>\Rightarrow</tex> эта грамматика не является однозначной.
}}

{{Утверждение
|statement=Существуют языки, которые можно задать одновременно как однозначными, так и неоднозначными грамматиками.
|proof=Для доказательства достаточно привести однозначную грамматику для языка правильных скобочных последовательностей (неоднозначной грамматикой для данного языка является грамматика из примера выше).

Рассмотрим грамматику:
:<tex>(</tex> и <tex>)</tex> {{---}} терминальные символы
:<tex>S</tex> {{---}} стартовый нетерминал

Правила:
#<tex>S\rightarrow (S)S</tex>
#<tex>S\rightarrow \varepsilon</tex>

Покажем, что эта грамматика однозначна.
Для этого, используя индукцию, докажем, что для любого слова <tex>\omega</tex>, являющегося правильной скобочной последовательностью, в данной грамматике существует только одно дерево разбора.

'''База:''' Если <tex>\omega=\varepsilon</tex>, то оно выводится только по второму правилу <tex>\Rightarrow</tex> для него существует единственное дерево разбора.

'''Индукционный переход:''' Пусть <tex>\left\vert \omega \right\vert=n</tex> и <tex>\forall \upsilon</tex>: <tex>\left\vert \upsilon \right\vert < n</tex> и <tex>\upsilon</tex> {{---}} правильная скобочная последовательность, у которой <tex>\exists!</tex> дерево разбора.

:Найдем в слове <tex>\omega</tex> минимальный индекс <tex>i \neq 0</tex> такой, что слово <tex>\omega[0..i]</tex> является правильной скобочной последовательностью. Так как <tex>i \neq 0</tex> минимальный, то <tex>\omega[0..i]=(\alpha)\ </tex>. Из того, что <tex>\omega</tex> является правильной скобочной последовательностью <tex>\Rightarrow</tex> <tex>\alpha</tex> и <tex>\beta=\omega[i+1..n-1]</tex> {{---}} правильные скобочные последовательности, при этом <tex>\left\vert \alpha \right\vert<n</tex> и <tex>\left\vert \beta \right\vert<n \Rightarrow</tex> по индукционному предположению предположению у <tex>\alpha</tex> и <tex>\beta</tex> существуют единственные деревья разбора.

:Если мы покажем, что из части <tex>(S)</tex> первого правила можно вывести только слово <tex>(\alpha)</tex>, то утверждение будет доказано (так как из первой части первого правила выводится <tex>\alpha</tex>, а из второй только <tex>\beta</tex> и для каждого из них по предположению существуют единственные деревья разбора).

:Пусть из <tex>(S)</tex> была выведена часть слова <tex>\omega[0..j]=(\gamma)</tex>, где <tex>j < i</tex>, при этом <tex>\gamma</tex> является правильной скобочной последовательностью, но тогда как минимальный индекс мы должны были выбрать <tex>j</tex>, а не <tex>i</tex> {{---}} противоречие.

:Аналогично из <tex>(S)</tex> не может быть выведена часть слова <tex>\omega[0..j] \ </tex>, где <tex>j > i</tex>, потому что тогда <tex>\omega[0..i]=(\alpha)</tex> не будет правильной скобочной последовательностью, так как в позиции <tex>i-1</tex> баланс скобок будет отрицательный.

:Значит, из <tex>(S)</tex> была выведена часть слова <tex>\omega[0..i] \Rightarrow \omega \ </tex> имеет единственное дерево разбора <tex>\Rightarrow</tex> данная грамматика однозначная.

Таким образом, для языка правильных скобочных последовательностей мы привели пример как однозначной, так и неоднозначной грамматики.
}}

Однако, есть КС-языки, для которых не существует однозначных КС-грамматик. Такие языки и грамматики их порождающие называют '''существенно неоднозначными'''.
{{main|Существенно неоднозначные языки}}

==См. также==
* [[Формальные грамматики]]
* [[Иерархия Хомского формальных грамматик]]
* [[Замкнутость КС-языков относительно различных операций]]
* [[Существенно неоднозначные языки]]

== Источники информации ==
* [[wikipedia:Context-free grammar | Wikipedia {{---}} Context-free grammar]]
* [[wikipedia:ru:Контекстно-свободная грамматика | Википедия {{---}} Контекстно-свободная грамматика]]
* ''Хопкрофт Д., Мотвани Р., Ульман Д.'' {{---}} '''Введение в теорию автоматов, языков и вычислений''', 2-е изд. : Пер. с англ. — Москва, Издательский дом «Вильямс», 2002. — 528 с. : ISBN 5-8459-0261-4 (рус.)

[[Категория: Теория формальных языков]]
[[Категория: Контекстно-свободные грамматики]]
[[Категория: Базовые понятия о грамматиках]]

Контекстно-свободные грамматики, вывод, лево- и правосторонний вывод, дерево разбора

2019-05-14T14:39:56Z

Gaporf: /* Дерево разбора */

==Основные определения==
{{Определение
|id=csgrammar
|definition=
'''Контекстно-свободной грамматикой''' (англ. ''сontext-free grammar'') называется [[Формальные грамматики|грамматика]], у которой в левых частях всех правил стоят только одиночные нетерминалы.
}}
{{Определение
|id=lang
|definition=
'''Контекстно-свободный язык''' (англ. ''context-free language'') {{---}} язык, задаваемый контекстно-свободной грамматикой.
}}

==Лево- и правосторонний вывод слова==

{{Определение
|definition=
'''Выводом слова''' (англ. ''derivation of a word'') <tex>\alpha</tex> называется последовательность строк, состоящих из терминалов и нетерминалов. Первая строка последовательности состоит из одного стартового нетерминала. Каждая последующая строка получена из предыдущей путем замены любого нетерминала по одному (любому) из правил, а последней строкой в последовательности является слово <tex>\alpha</tex>.
}}
'''Пример:'''

Рассмотрим грамматику, выводящую все правильные скобочные последовательности.
:<tex>"("</tex> и <tex>")"</tex> {{---}} терминальные символы
:<tex>S</tex> {{---}} стартовый нетерминал

Правила:
#<tex>S\rightarrow (S)S</tex>
#<tex>S\rightarrow S(S)</tex>
#<tex>S\rightarrow \varepsilon</tex>

Выведем слово <tex>"(()(()))()"</tex>:

<tex>\boldsymbol{S}\Rightarrow (S)\boldsymbol{S} \Rightarrow (S)(\boldsymbol{S})S\Rightarrow(S)()\boldsymbol{S}\Rightarrow(\boldsymbol{S})()\Rightarrow(\boldsymbol{S}(S))()\Rightarrow(S(S)(\boldsymbol{S}))()\Rightarrow(S(S)(\boldsymbol{S}(S)))()\Rightarrow (S(\boldsymbol{S})((S)))()\Rightarrow(\boldsymbol{S}()((S)))()\Rightarrow(()((\boldsymbol{S})))()\Rightarrow(()(()))()</tex>

{{Определение
|definition=
'''Левосторонним выводом слова''' (англ. ''leftmost derivation'') <tex>\alpha</tex> называется такой вывод слова <tex>\alpha</tex>, в котором каждая последующая строка получена из предыдущей путем замены по одному из правил самого левого встречающегося в строке нетерминала.
}}

{{Определение
|definition=
'''Правосторонним выводом слова''' (англ. ''rightmost derivation'') <tex>\alpha</tex> называется такой вывод слова <tex>\alpha</tex>, в котором каждая последующая строка получена из предыдущей путем замены по одному из правил самого правого встречающегося в строке нетерминала.
}}
Рассмотрим левосторонний вывод скобочной последовательности из примера:

<tex>\boldsymbol{S}\Rightarrow (\boldsymbol{S})S \Rightarrow ((\boldsymbol{S})S)S\Rightarrow (()\boldsymbol{S})S\Rightarrow(()\boldsymbol{S}(S))S\Rightarrow(()(\boldsymbol{S}))S\Rightarrow(()(\boldsymbol{S}(S)))S\Rightarrow(()((\boldsymbol{S})))S\Rightarrow(()(()))\boldsymbol{S}\Rightarrow(()(()))(\boldsymbol{S})S\Rightarrow(()(()))()\boldsymbol{S}\Rightarrow(()(()))()</tex>

==Дерево разбора==

{{Определение
|definition=
'''Деревом разбора грамматики''' (англ. ''parse tree'') называется дерево, в вершинах которого записаны терминалы или нетерминалы. Все вершины, помеченные терминалами, являются листьями. Все вершины, помеченные нетерминалами, имеют детей. Дети вершины, в которой записан нетерминал, соответствуют раскрытию нетерминала по одному любому правилу (в левой части которого стоит этот нетерминал) и упорядочены так же, как в правой части этого правила.
}}
{{Определение
|definition=
'''Крона дерева разбора''' (англ. ''leaves of the parse tree'') {{---}} множество терминальных символов, упорядоченное в соответствии с номерами их достижения при обходе дерева в глубину из корня. Крона дерева разбора представляет из себя слово языка, которое выводит это дерево.
}}

Построим дерево разбора скобочной последовательности из примера.

[[Файл:BracketsSequenceParsingTree1.png]]

{{Теорема
|id=t1
|statement=Пусть <tex>\Gamma = \langle \Sigma, N, S, P \rangle</tex> — КС-грамматика. Предположим, что существует дерево разбора с корнем, отмеченным <tex>A</tex>, и кроной <tex>\omega</tex>, где <tex>\omega \in N^{*}</tex>. Тогда в грамматике <tex>\Gamma</tex> существует левое порождение <tex>A \Rightarrow^{*}_{lm} \omega</tex>
|proof=
Используем индукцию по высоте дерева.

'''База:''' Базисом является высота <tex>1</tex>, наименьшая из возможных для дерева разбора с терминальной кроной.
:Поскольку это дерево является деревом разбора, <tex>A \rightarrow \omega</tex> должно быть продукцией. Таким образом, <tex>A \Rightarrow_{lm} \omega</tex> есть одношаговое левое порождение <tex>\omega</tex> из <tex>A</tex>.

'''Индукционный переход:''' Существует корень с отметкой <tex>A</tex> и сыновьями, отмеченными слева направо <tex>X_1X_2 \dots X_k</tex>. Символы <tex>X</tex> могут быть как терминалами, так и переменными.
# Если <tex>X_i</tex> — терминал, то определим <tex>\omega_i</tex> как цепочку, состоящую из одного <tex>X_i</tex>.
# Если <tex>X_i</tex> — переменная, то она должна быть корнем некоторого поддерева с терминальной кроной, которую обозначим <tex>\omega_i</tex>. Заметим, что в этом случае высота поддерева меньше <tex>n</tex>, поэтому к нему применимо предположение индукции. Следовательно, существует левое порождение <tex>X_i \Rightarrow^{*}_{lm} \omega_i</tex>.

Заметим, что <tex>\omega = \omega_1\omega_2 \dots \omega_k</tex>.
Построим левое порождение цепочки <tex>\omega</tex> следующим образом:
:Начнем с шага <tex>A \Rightarrow_{lm} X_1X_2\dots X_k</tex>.
:Затем для <tex>i = 1, 2, \dots, k \ </tex> покажем, что имеет место следующее порождение: <tex>A \Rightarrow^{*}_{lm} \omega_1\omega_2\dots\omega_iX_{i+1}X_{i+2}\dots X_k</tex>

Данное доказательство использует в действительности еще одну индукцию, на этот раз по <tex>i</tex>.
Для базиса <tex>i = 0</tex> мы уже знаем, что <tex>A \Rightarrow_{lm} X_1X_2\dots X_k</tex>.

Для индукции предположим, что существует следующее порождение: <tex>A \Rightarrow^{*}_{lm} \omega_1\omega_2\dots\omega_{i–1}X_iX_{i+1}\dots X_k</tex>

# Если <tex>X_i</tex> — терминал, то не делаем ничего, но в дальнейшем рассматриваем <tex>X_i</tex> как терминальную цепочку <tex>\omega_i</tex>. Таким образом, приходим к существованию следующего порождения. <tex>A \Rightarrow^{*}_{lm} \omega_1\omega_2\dots\omega_iX_{i+1}X_{i+2}\dots X_k</tex>
# Если <tex>X_i</tex> является переменной, то продолжаем порождением <tex>\omega_i</tex> из <tex>X_i</tex> в контексте уже построенного порождения. Таким образом, если этим порождением является: <tex>X_i \Rightarrow_{lm} \alpha_1 \Rightarrow_{lm} \alpha_2\dots \Rightarrow_{lm} \omega_i</tex>, то продолжаем следующими порождениями:

::<tex>\omega_1\omega_2\dots\omega_{i–1}X_iX_{i+1}\dots X_k \Rightarrow_{lm}</tex>

::<tex>\omega_1\omega_2\dots\omega_{i–1}\alpha_1X_{i+1}\dots X_k \Rightarrow_{lm}</tex>

::<tex>\omega_1\omega_2\dots\omega_{i–1}\alpha_2X_{i+1}\dots X_k \Rightarrow_{lm}</tex>

::<tex>\dots</tex>

::<tex>\omega_1\omega_2\dots\omega_iX_{i+1}X_{i+2}\dots X_k</tex>

Результатом является порождение <tex>A \Rightarrow^{*}_{lm} \omega_1\omega_2\dots\omega_iX_{i+1}X_{i+2}\dots X_k</tex>.
Когда <tex>i = k</tex>, результат представляет собой левое порождение <tex>\omega</tex> из <tex>A</tex>.
}}

{{Теорема
|id=t2
|statement=Для каждой грамматики <tex>\Gamma = \langle \Sigma, N, S, P \rangle</tex> и <tex>\omega</tex> из <tex>N^{*}</tex> цепочка <tex>\omega</tex> имеет два разных дерева разбора тогда и только тогда, когда <tex>\omega</tex> имеет два разных левых порождения из <tex>P</tex>.
|proof=
<tex>\Longrightarrow</tex>

:Внимательно рассмотрим построение левого порождения по дереву разбора в доказательстве [[#t1|теоремы]]. В любом случае, если у двух деревьев разбора впервые появляется узел, в котором применяются различные продукции, левые порождения, которые строятся, также используют разные продукции и, следовательно, являются различными.

<tex> \Longleftarrow </tex>

:Хотя мы предварительно не описали непосредственное построение дерева разбора по левому порождению, идея его проста. Начнем построение дерева с корня, отмеченного стартовым символом. Рассмотрим порождение пошагово. На каждом шаге заменяется переменная, и эта переменная будет соответствовать построенному крайнему слева узлу дерева, не имеющему сыновей, но отмеченному этой переменной. По продукции, использованной на этом шаге левого порождения, определим, какие сыновья должны быть у этого узла. Если существуют два разных порождения, то на первом шаге, где они различаются, построенные узлы получат разные списки сыновей, что гарантирует различие деревьев разбора.
}}

==Однозначные грамматики==

{{Определение
|definition=
Грамматика называется '''однозначной''' (англ. ''unambiguous grammar''), если у каждого слова имеется не более одного дерева разбора в этой грамматике.
}}

{{Лемма
|id=lemma-
|statement=
Пусть <tex>\Gamma</tex> {{---}} однозначная грамматика. Тогда <tex>\forall \omega \in \mathbb{L}(\Gamma)</tex> существует ровно один левосторонний (правосторонний) вывод.
|proof=
Очевидно, что по дереву разбора однозначно восстанавливается левосторонний(правосторонний) вывод. Поскольку каждое слово из языка выводится только одним деревом разбора, то существует только один левосторонний(правосторонний) вывод этого слова.
}}

{{Утверждение
|statement=Грамматика из примера не является однозначной.
|proof=Выше уже было построено дерево разбора для слова <tex>"(()(()))()"</tex>.
Построим еще одно дерево разбора для данного слова.

Например, оно будет выглядеть так:

[[Файл:BracketsSequenceParsingTree2.png]]
Таким образом, существует слово, у которого есть более одного дерева разбора в данной грамматике <tex>\Rightarrow</tex> эта грамматика не является однозначной.
}}

{{Утверждение
|statement=Существуют языки, которые можно задать одновременно как однозначными, так и неоднозначными грамматиками.
|proof=Для доказательства достаточно привести однозначную грамматику для языка правильных скобочных последовательностей (неоднозначной грамматикой для данного языка является грамматика из примера выше).

Рассмотрим грамматику:
:<tex>"("</tex> и <tex>")"</tex> {{---}} терминальные символы
:<tex>S</tex> {{---}} стартовый нетерминал

Правила:
#<tex>S\rightarrow (S)S</tex>
#<tex>S\rightarrow \varepsilon</tex>

Покажем, что эта грамматика однозначна.
Для этого, используя индукцию, докажем, что для любого слова <tex>\omega</tex>, являющегося правильной скобочной последовательностью, в данной грамматике существует только одно дерево разбора.

'''База:''' Если <tex>\omega=\varepsilon</tex>, то оно выводится только по второму правилу <tex>\Rightarrow</tex> для него существует единственное дерево разбора.

'''Индукционный переход:''' Пусть <tex>\left\vert \omega \right\vert=n</tex> и <tex>\forall \upsilon</tex>: <tex>\left\vert \upsilon \right\vert < n</tex> и <tex>\upsilon</tex> {{---}} правильная скобочная последовательность, у которой <tex>\exists!</tex> дерево разбора.

:Найдем в слове <tex>\omega</tex> минимальный индекс <tex>i \neq 0</tex> такой, что слово <tex>\omega[0..i]</tex> является правильной скобочной последовательностью. Так как <tex>i \neq 0</tex> минимальный, то <tex>\omega[0..i]=(\alpha)</tex>. Из того, что <tex>\omega</tex> является правильной скобочной последовательностью <tex>\Rightarrow</tex> <tex>\alpha</tex> и <tex>\beta=\omega[i+1..n-1]</tex> {{---}} правильные скобочные последовательности, при этом <tex>\left\vert \alpha \right\vert<n</tex> и <tex>\left\vert \beta \right\vert<n \Rightarrow</tex> по индукционному предположению предположению у <tex>\alpha</tex> и <tex>\beta</tex> существуют единственные деревья разбора.

:Если мы покажем, что из части <tex>(S)</tex> первого правила можно вывести только слово <tex>(\alpha)</tex>, то утверждение будет доказано (так как из первой части первого правила выводится <tex>\alpha</tex>, а из второй только <tex>\beta</tex> и для каждого из них по предположению существуют единственные деревья разбора).

:Пусть из <tex>(S)</tex> была выведена часть слова <tex>\omega[0..j]=(\gamma)</tex>, где <tex>j < i</tex>, при этом <tex>\gamma</tex> является правильной скобочной последовательностью, но тогда как минимальный индекс мы должны были выбрать <tex>j</tex>, а не <tex>i</tex> {{---}} противоречие.

:Аналогично из <tex>(S)</tex> не может быть выведена часть слова <tex>\omega[0..j]</tex>, где <tex>j > i</tex>, потому что тогда <tex>\omega[0..i]=(\alpha)</tex> не будет правильной скобочной последовательностью, так как в позиции <tex>i-1</tex> баланс скобок будет отрицательный.

:Значит, из <tex>(S)</tex> была выведена часть слова <tex>\omega[0..i] \Rightarrow \omega</tex> имеет единственное дерево разбора <tex>\Rightarrow</tex> данная грамматика однозначная.

Таким образом, для языка правильных скобочных последовательностей мы привели пример как однозначной, так и неоднозначной грамматики.
}}

Однако, есть КС-языки, для которых не существует однозначных КС-грамматик. Такие языки и грамматики их порождающие называют '''существенно неоднозначными'''.
{{main|Существенно неоднозначные языки}}

==См. также==
* [[Формальные грамматики]]
* [[Иерархия Хомского формальных грамматик]]
* [[Замкнутость КС-языков относительно различных операций]]
* [[Существенно неоднозначные языки]]

== Источники информации ==
* [[wikipedia:Context-free grammar | Wikipedia {{---}} Context-free grammar]]
* [[wikipedia:ru:Контекстно-свободная грамматика | Википедия {{---}} Контекстно-свободная грамматика]]
* ''Хопкрофт Д., Мотвани Р., Ульман Д.'' {{---}} '''Введение в теорию автоматов, языков и вычислений''', 2-е изд. : Пер. с англ. — Москва, Издательский дом «Вильямс», 2002. — 528 с. : ISBN 5-8459-0261-4 (рус.)

[[Категория: Теория формальных языков]]
[[Категория: Контекстно-свободные грамматики]]
[[Категория: Базовые понятия о грамматиках]]

Контексты и синтаксические моноиды

2019-05-14T14:34:32Z

Gaporf: /* Свойства */

== Контексты ==
=== Правый контекст ===
{{Определение
|definition=
'''Правым контекстом''' (англ. ''right context'') <tex>C_L^R(y)</tex> слова <tex>y</tex> в языке <tex>L</tex> называется множество <tex>\{z \mid yz \in L\}</tex>.
}}

{{Лемма
|statement=
Язык <tex>L</tex> {{---}} регулярный <tex>\Leftrightarrow</tex> множество <tex>\{C_L^R(y) \mid y \in \Sigma^*\}</tex> его правых контекстов конечно.
|proof=
[[Файл:Автомат и правые контексты 1.png|315px|thumb|right|Автомат на правых контекстах. Легенда: начальное / промежуточное / дьявольское / терминальное состояния; контекст]]
<tex>\Leftarrow</tex>quad
 

:Пусть множество правых контекстов языка конечно. Построим распознающий его автомат. Состояния автомата будут соответствовать различным правым контекстам. Таким образом, каждая вершина автомата соответствует множеству допустимых «продолжений» считанного на данный момент слова. Переход по некоторому символу из одного состояния в другое осуществляется, если контекст, соответствующий первому состоянию, содержит все элементы, которые получаются приписыванием этого символа в начало элементам контекста, соответствующего второму. Вершина, соответствующая контексту пустого слова, является стартовой <tex>\left( C_L^R(\varepsilon) = L \right)</tex>. Вершины, контексты которых содержат <tex>\varepsilon</tex>, должны быть допускающими.

:Покажем что полученный автомат допускает в точности указанный язык. Выпишем свойства, которые мы стремились удовлетворить при построении:
:: 1. <tex> u \quad \leftrightarrow \quad C_L^R(x) ,\ v \quad \leftrightarrow \quad C_L^R(xc) \quad \leftrightarrow \quad \langle u,c \rangle \vdash \langle v, \varepsilon \rangle </tex>
:: 2. <tex> s \quad \leftrightarrow \quad C_L^R(\varepsilon), </tex> где <tex> s </tex> {{---}} стартовое состояние.
:: 3. <tex> \varepsilon \in C_L^R(\omega) \quad \Leftrightarrow \quad v \in T \quad ( v \quad \leftrightarrow \quad C_L^R(\omega) ) </tex>
:Из 1 следует
:: 1*. <tex> u \quad \leftrightarrow \quad C_L^R(x) ,\ v \quad \leftrightarrow \quad C_L^R(x \omega) \quad \Leftrightarrow \quad \langle u,\omega \rangle \vdash^* \langle v, \varepsilon \rangle </tex>
:Положив <tex> s = u </tex> и учтя 2, получим
:: <tex> v \quad \leftrightarrow \quad C_L^R(\omega) \quad \Leftrightarrow \quad \langle s,\omega \rangle \vdash^* \langle v, \varepsilon \rangle </tex>
:Теперь зафиксируем за состоянием <tex> v </tex> контекст <tex> C_L^R(\omega) </tex>. Тогда левая часть 3 равносильна <tex> \omega \in L </tex>, а правая, с учётом <tex> \langle s,\omega \rangle \vdash^* \langle v, \varepsilon \rangle </tex>, означает, что автомат допускает <tex> \omega </tex>.

<tex>\Rightarrow</tex>
 

:Пусть <tex>L</tex> {{---}} регулярный. В таком случае существует автомат <tex>\mathcal{A}</tex>, распознающий его.
:Рассмотрим произвольное слово <tex>y</tex>. Положим <tex>u</tex> {{---}} такое состояние <tex>\mathcal{A}</tex>, в которое можно перейти из начального по слову <tex>y</tex>. Тогда <tex>C_L^R(y)</tex> совпадает с множеством слов, по которым из состояния <tex>u</tex> можно попасть в допускающее.
:Причем если по какому-то слову <tex>z</tex> тоже можно перейти из начального состояния в <tex>u</tex>, то <tex>C_L^R(y) = C_L^R(z)</tex>. Наоборот, если <tex>C_L^R(y) = C_L^R(z)</tex>, то состояния, в которые можно перейти по словам <tex>y</tex> и <tex>z</tex>, эквивалентны. Таким образом, можно установить взаимное соответствие между правыми контекстами и классами эквивалентности вершин автомата, которых конечное число.
}}

=== Примеры ===
Здесь будем понимать под <tex> C_L^R(X) = Y </tex> не стандартное отображение множества в множество, а <tex> \forall x \in X :\ C_L^R(x) = Y </tex>. Рассмотрим правые контексты следующих языков:
[[Файл:Автомат и правые контексты 2.png|500px|thumb|right|Автомат к языку <tex> \{ 001, 111, 100 \} </tex>]]
==== Пример 1 ====
<tex> \{ 001, 111, 100 \} </tex>
: Возникающие контексты:
:: <tex>a) C_L^R(\varepsilon) = \{ 001, 111, 100 \} </tex> 
:: <tex>b) C_L^R(0) = \{ 01 \} </tex> 
:: <tex>c) C_L^R(00) = \{ 1 \} </tex> 
:: <tex>d) C_L^R(001) = \{ \varepsilon \} </tex> 
:: <tex>e) C_L^R(1) = \{ 11, 00 \} </tex> 
:: <tex>f) C_L^R(10) = \{ 0 \} </tex> 
:: <tex>g) C_L^R(100) = \{ \varepsilon \} </tex> 
:: <tex>h) C_L^R(11) = \{ 1 \} </tex> 
:: <tex>j) C_L^R(111) = \{ \varepsilon \} </tex> 
:: <tex>k) C_L^R(X) = \varnothing </tex>, где <tex> X </tex> {{---}} множество остальных аргументов. 
: Начальное состояние {{---}} <tex>a</tex> . Допускающие состояния: <tex>d, g, j</tex> (в них <tex> \varepsilon \in C_L^R(...) </tex>). Состояние <tex>k</tex> {{---}} [[Детерминированные_конечные_автоматы#допускает|дьявольское]]. Всего 8 состояний (именно столько имеется различных контекстов).
:[[Файл:Автомат и правые контексты 3.png|350px|thumb|right|Автомат к языку <tex> 0^*11 </tex>]]
==== Пример 2 ====
<tex> 0^*11 </tex>
: Возможные контексты (аргументы упорядочены в лексикографическом порядке):
:: <tex>a) C_L^R(0^*) = 0^*11 </tex> 
:: <tex>b) C_L^R(0^*1) = 1 </tex> 
:: <tex>c) C_L^R(0^*10(0|1)^*) = \varnothing </tex> 
:: <tex>d) C_L^R(0^*11) = \varepsilon </tex> 
:: <tex>e) C_L^R(0^*11(0|1)^+) = \varnothing </tex> 
: Итого 4 состояния; начальное состояние <tex>a</tex>, допускающее <tex>d</tex>, состояние <tex>c</tex>&<tex>e</tex> {{---}} дьявольское.

=== Левый контекст ===
{{Определение
|definition=
'''Левым контекстом''' (англ. ''left context'') <tex>C_L^L(y)</tex> слова <tex>y</tex> в языке <tex>L</tex> называется множество <tex>\{z \mid zy \in L\}</tex>.
}}

{{Лемма
|statement=
Язык <tex>L</tex> {{---}} регулярный <tex>\Leftrightarrow</tex> множество <tex>\{C_L^L(y) \mid y \in \Sigma^*\}</tex> его левых контекстов конечно.
|proof=
Поскольку множество регулярных языков замкнуто относительно операции разворота, то из того, что <tex>C_L^L(y) = \overleftarrow{C_{\overleftarrow{L}}^R(\overleftarrow{y})}</tex> и аналогичного утверждения о правых контекстах получаем требуемое.
}}

=== Двухсторонний контекст ===
{{Определение
|definition=
'''Двухсторонним контекстом''' (англ. ''two-sided context'') <tex>C_L(y)</tex> слова <tex>y</tex> в языке <tex>L</tex> называется множество <tex>\{\langle x,z\rangle \mid xyz \in L\}</tex>.
}}
'''Любопытное замечание:''' <tex>C_L(\varepsilon)</tex> состоит из всех пар строк, которые при конкатенации дают слово из языка.

Для доказательства последующих утверждений будем использовать бинарное отображение <tex> (\cdot) :\ Q \times \Sigma^* \rightarrow Q </tex> со свойством <tex> q \cdot \omega = q' \Leftrightarrow \langle q,\omega \rangle \vdash^* \langle q', \varepsilon \rangle</tex>.

{{Лемма
|statement=
Язык <tex>L</tex> {{---}} регулярный <tex>\Leftrightarrow</tex> множество <tex>\{C_L(y) \mid y \in \Sigma^*\}</tex> его двухсторонних контекстов конечно.
|proof=
<tex>\Leftarrow</tex>
:Заметим, что <tex> \{ z \mid \langle \varepsilon, z \rangle \in C_L(y) \} = C_L^R(y) </tex>. Следовательно, если множество двухсторонних контекстов языка конечно, то конечно и множество его правых контекстов, а это значит, что язык регулярный.
 <tex>\Rightarrow</tex>
:Пусть <tex>L</tex> {{---}} регулярный. В таком случае существует детерминированный автомат <tex>\mathcal{A}</tex>, распознающий его. Понятно, что для любого слова <tex> xyz </tex>, допускаемого автоматом, существуют <tex> u ,\ v </tex> такие, что <tex> s \cdot x = u ,\ u \cdot y = v ,\ v \cdot z \in T </tex> (где <tex> s </tex> {{---}} начальное состояние).
:Тогда справедливо равенство <tex> C_L(y) = \bigcup\limits_{(u, v) :\ u \cdot y = v} \{ \langle x, z \rangle \mid s \cdot x = u ,\ v \cdot z \in T \} </tex>. Учитывая <tex> | \{ (u, v) \mid u,v \in Q \} | = |Q|^2 </tex>, получаем <tex> | \{ C_L(y) \mid y \in \Sigma^* \} | \leqslant 2^{|Q|^2} </tex>, то есть множество контекстов конечно.
}}

== Синтаксический моноид ==
=== Определения ===
{{Определение
|definition=
'''Синтаксическим моноидом''' (англ. ''syntactic monoid'') <tex>M(L)</tex> языка <tex>L</tex> называется множество, состоящее из его классов эквивалентности <tex>[[x]] = \{ y \in \Sigma^* \mid C_L(x) = C_L(y) \}</tex>, с введённым на нём операцией конкатенации <tex>\circ</tex>, где <tex>[[x]]\circ[[y]] = [[xy]] \ \ </tex>. Нейтральным элементом в нём является <tex>[[\varepsilon]]</tex>.
}}
{{Определение
|definition=
'''Групповой язык''' (англ. ''group language'') {{---}} это язык, синтаксический моноид которого является [[Группа|группой]].
}}

=== Свойства ===
Синтаксический моноид <tex>M(L)</tex> определён для любого <tex>L \in \Sigma^*</tex>, однако некоторые свойства языка можно определить по структуре его синтаксического моноида. Размер синтаксического моноида является мерой структурной сложности языка.

{{Теорема
|statement=
Язык <tex>L</tex> {{---}} регулярный <tex>\Leftrightarrow</tex> его синтаксический моноид <tex>M(L)</tex> конечен.
|proof=
Размер синтаксического моноида <tex>M(L)</tex> языка <tex>L</tex> равен количеству его различных двухсторонних контекстов <tex>C_L</tex>. Применяя лемму, доказанную ранее, получаем:
Язык <tex>L</tex> {{---}} регулярный <tex>\Leftrightarrow</tex> множество <tex>\{C_L(y) \mid y \in \Sigma^*\}</tex> его двухсторонних контекстов конечно <tex>\Leftrightarrow</tex> его синтаксический моноид <tex>M(L)</tex> конечен.
}}

{{Лемма
|statement=
Пусть язык <tex>L</tex> распознается [[Детерминированные конечные автоматы|ДКА]] <tex>\mathcal{A} = \langle \Sigma,Q,s,T,\delta \rangle</tex>. Тогда размер его синтаксического моноида <tex>M(L)</tex> не превосходит <tex>|Q|^{|Q|}</tex>.
|proof=
Введём следующее отношение эквивалентности на строках:
 <tex>x \cong y \Leftrightarrow \forall q \in Q: q \cdot x = q \cdot y</tex>
 Оценим количество классов, на которые отношение <tex>\cong</tex> разбивает язык <tex>L</tex>. Для этого пронумеруем состояния, и каждому слову <tex> \omega</tex> сопоставим вектор <tex> a_{\omega} \in Q^{|Q|} </tex> такой, что <tex> a_{\omega}[i] = q_j \Leftrightarrow q_i \cdot \omega = q_j </tex>. Количество различных таких векторов {{---}} <tex> {|Q|}^{|Q|} </tex>. В то же время неэквивалентным словам соответствуют разные <tex> a </tex>, тогда количество классов эквивалентности также ограничено <tex> {|Q|}^{|Q|} </tex>.

Остаётся показать, что существует взаимно-однозначное соответствие между нашими классами эквивалентности и синтаксическими моноидами. Смотрим:
 <tex> x \cong y </tex>
 <tex> \Leftrightarrow </tex>
 <tex> s \cdot (uxv) = ((s \cdot u) \cdot x) \cdot v = ((s \cdot u) \cdot y) \cdot v = s \cdot (uyv) \ </tex> (пусть <tex> s \cdot u = q </tex> из определения <tex> \cong </tex>, тогда <tex> (s \cdot u) \cdot x = q \cdot x = q' = q \cdot y = (s \cdot u) \cdot y \ </tex>)
 <tex> \Leftrightarrow </tex>
 <tex> s \cdot (uxv) \in T \Leftrightarrow s \cdot (uyv) \in T </tex>
 <tex> \Leftrightarrow </tex>
 <tex> uxv \in L \Leftrightarrow uyv \in L </tex>
 <tex> \Leftrightarrow </tex>
 <tex> [[x]] = [[y]] </tex>
(<tex> s </tex> {{---}} начальное состояние).
}}

Пусть <tex>\mathcal{A} = \langle \Sigma,Q,s,T,\delta \rangle</tex> {{---}} [[Детерминированные конечные автоматы|ДКА]]. Каждое слово <tex>\omega \in \Sigma^*</tex> порождает отображение <tex>f_\omega : Q \rightarrow Q</tex>, определённое следующим образом: <tex>f_\omega(q) = q \cdot \omega</tex>.
{{Определение
|definition=
'''Моноидом переходов''' (англ. ''transition monoid'') <tex>M(\mathcal{A})</tex> называется множество отображений <tex>f_\omega</tex> с операцией композиции. <tex>f_x \cdot f_y = f_{xy}</tex>. Нейтральным элементом в данном моноиде является отображение <tex>f_\varepsilon</tex>.
}}

{{Теорема
|statement=
Пусть <tex>\mathcal{A} = \langle \Sigma,Q,s,T,\delta \rangle</tex> {{---}} минимальный [[Детерминированные конечные автоматы|ДКА]], задающий язык <tex>L</tex>. Тогда <tex>M(\mathcal{A})</tex> и <tex>M(L)</tex> изоморфны.
|proof=
Покажем, что <tex>f_x = f_y \quad \Leftrightarrow \quad [[x]] = [[y]]</tex>.

<tex>\Rightarrow</tex>
 

:Данный факт был показан в доказательстве предыдущей леммы, он не требует минимальности автомата.

<tex>\Leftarrow</tex>
 

:Пусть <tex>[[x]] = [[y]] \ </tex> и <tex>q \in Q</tex>. Тогда <tex>q = s \cdot u</tex> для некоторого слова <tex>u</tex>. Пусть <tex>q_1 = f_x(q) = s \cdot ux</tex> и <tex>q_2 = f_y(q) = s \cdot uy</tex>. Поскольку <tex>[[x]] = [[y]]</tex>, справедливо <tex>uxv \in L \quad \Leftrightarrow \quad uyv \in L</tex>. Следовательно, <tex>q_1 \cdot v \in T \Leftrightarrow q_2 \cdot v \in T</tex>, то есть <tex>q_1</tex> и <tex>q_2</tex> эквивалентны. Значит, <tex>q_1 = q_2</tex>, так как автомат <tex>\mathcal{A}</tex> минимален. То есть, <tex>f_x = f_y</tex>.
}}

=== Примеры ===
====Язык слов четной длины====
Рассмотрим язык <tex>L = \{\omega \mid |\omega| \bmod 2 = 0 \}</tex>.

<tex>\{\langle u, v \rangle \mid uxv \in L\}</tex> {{---}} это множество всех пар <tex>\langle u,v \rangle</tex>, таких что <tex>|u| + |v| = |x| \ (\mathrm{mod} \ 2 )</tex>.

Значит, <tex>M(L)</tex> состоит из двух элементов: множества слов чётной длины и множества слов нечётной длины. Нейтральным элементом в данном моноиде является множество слов чётной длины.

Оба элемента являются обратными самим себе, значит <tex>M(L)</tex> является группой, следовательно <tex>L</tex> {{---}} групповой язык.

====Язык над алфавитом из 0 и 1, заданный регулярным выражением 1(0|1)*====
Язык <tex>L</tex> над алфавитом <tex>\Sigma = \{0,1\}</tex> задан регулярным выражением <tex>1(0|1)^*</tex>. Его синтаксический моноид <tex>M(L)</tex> содержит три элемента:

:<tex>a)</tex> <tex>[[\varepsilon]] \ </tex> {{---}} нейтральный элемент. Включает в себя только пустую строку.

:<tex>b)</tex> <tex>[[0]] \ </tex> содержит все строки, распознаваемые регулярным выражением <tex>0(0|1)^*</tex>. <tex>\forall x \in [[0]]: C_L(x) = \{\langle u, v \rangle \mid u \in L, v \in \Sigma^* \}</tex>.

:<tex>c)</tex> <tex>[[1]] \ </tex> содержит все строки, принадлежащие языку, то есть, распознаваемые регулярным выражением <tex>1(0|1)^*</tex>. <tex>\forall x \in [[1]]: C_L(x) = C_L(\varepsilon) \cup \{\langle \varepsilon, v \rangle \mid v \in \Sigma^* \}</tex>.

Заметим, что <tex>[[0]] \ </tex> и <tex>[[1]] \ </tex> не имеют обратных элементов в данном моноиде, так как нейтральный элемент содержит только пустую строку, а её невозможно получить из непустой с помощью конкатенации. Следовательно <tex>L</tex> не является групповым языком.

====Язык из последовательных N нулей и N единиц====
Язык <tex>L = 0^n1^n</tex> задан над алфавитом <tex>\Sigma = \{0,1\}</tex>.

Балансом слова <tex>|\omega|_b</tex> назовём число, равное разности между количеством нулей и единиц, встречающихся в данном слове. Если слово <tex>\omega = uxv</tex> принадлежит языку <tex>L</tex>, то <tex>|x|_b = -(|u|_b + |v|_b)</tex>. Но <tex>|x|_b</tex> может принимать любое целое значение, при том, что <tex>x</tex> имеет непустой двухсторонний контекст.

Значит, синтаксический моноид <tex>M(L)</tex> имеет бесконечное количество элементов, что значит, что данный язык не является регулярным.

== Источники информации ==

* ''Howard Straubing'' Finite automata, formal logic, and circuit complexity, 1994. ISBN 3-7643-3719-2. {{---}} C. 53.
* ''James A. Anderson'' Automata theory with modern applications, 2006. ISBN 0-521-61324-8. {{---}} С. 72.
* [http://en.wikipedia.org/wiki/Syntactic_monoid Wikipedia {{---}} Syntactic monoid]

[[Категория: Теория формальных языков]]
[[Категория: Автоматы и регулярные языки]]

Контексты и синтаксические моноиды

2019-05-14T14:30:08Z

Gaporf: /* Язык слов четной длины */

== Контексты ==
=== Правый контекст ===
{{Определение
|definition=
'''Правым контекстом''' (англ. ''right context'') <tex>C_L^R(y)</tex> слова <tex>y</tex> в языке <tex>L</tex> называется множество <tex>\{z \mid yz \in L\}</tex>.
}}

{{Лемма
|statement=
Язык <tex>L</tex> {{---}} регулярный <tex>\Leftrightarrow</tex> множество <tex>\{C_L^R(y) \mid y \in \Sigma^*\}</tex> его правых контекстов конечно.
|proof=
[[Файл:Автомат и правые контексты 1.png|315px|thumb|right|Автомат на правых контекстах. Легенда: начальное / промежуточное / дьявольское / терминальное состояния; контекст]]
<tex>\Leftarrow</tex>quad
 

:Пусть множество правых контекстов языка конечно. Построим распознающий его автомат. Состояния автомата будут соответствовать различным правым контекстам. Таким образом, каждая вершина автомата соответствует множеству допустимых «продолжений» считанного на данный момент слова. Переход по некоторому символу из одного состояния в другое осуществляется, если контекст, соответствующий первому состоянию, содержит все элементы, которые получаются приписыванием этого символа в начало элементам контекста, соответствующего второму. Вершина, соответствующая контексту пустого слова, является стартовой <tex>\left( C_L^R(\varepsilon) = L \right)</tex>. Вершины, контексты которых содержат <tex>\varepsilon</tex>, должны быть допускающими.

:Покажем что полученный автомат допускает в точности указанный язык. Выпишем свойства, которые мы стремились удовлетворить при построении:
:: 1. <tex> u \quad \leftrightarrow \quad C_L^R(x) ,\ v \quad \leftrightarrow \quad C_L^R(xc) \quad \leftrightarrow \quad \langle u,c \rangle \vdash \langle v, \varepsilon \rangle </tex>
:: 2. <tex> s \quad \leftrightarrow \quad C_L^R(\varepsilon), </tex> где <tex> s </tex> {{---}} стартовое состояние.
:: 3. <tex> \varepsilon \in C_L^R(\omega) \quad \Leftrightarrow \quad v \in T \quad ( v \quad \leftrightarrow \quad C_L^R(\omega) ) </tex>
:Из 1 следует
:: 1*. <tex> u \quad \leftrightarrow \quad C_L^R(x) ,\ v \quad \leftrightarrow \quad C_L^R(x \omega) \quad \Leftrightarrow \quad \langle u,\omega \rangle \vdash^* \langle v, \varepsilon \rangle </tex>
:Положив <tex> s = u </tex> и учтя 2, получим
:: <tex> v \quad \leftrightarrow \quad C_L^R(\omega) \quad \Leftrightarrow \quad \langle s,\omega \rangle \vdash^* \langle v, \varepsilon \rangle </tex>
:Теперь зафиксируем за состоянием <tex> v </tex> контекст <tex> C_L^R(\omega) </tex>. Тогда левая часть 3 равносильна <tex> \omega \in L </tex>, а правая, с учётом <tex> \langle s,\omega \rangle \vdash^* \langle v, \varepsilon \rangle </tex>, означает, что автомат допускает <tex> \omega </tex>.

<tex>\Rightarrow</tex>
 

:Пусть <tex>L</tex> {{---}} регулярный. В таком случае существует автомат <tex>\mathcal{A}</tex>, распознающий его.
:Рассмотрим произвольное слово <tex>y</tex>. Положим <tex>u</tex> {{---}} такое состояние <tex>\mathcal{A}</tex>, в которое можно перейти из начального по слову <tex>y</tex>. Тогда <tex>C_L^R(y)</tex> совпадает с множеством слов, по которым из состояния <tex>u</tex> можно попасть в допускающее.
:Причем если по какому-то слову <tex>z</tex> тоже можно перейти из начального состояния в <tex>u</tex>, то <tex>C_L^R(y) = C_L^R(z)</tex>. Наоборот, если <tex>C_L^R(y) = C_L^R(z)</tex>, то состояния, в которые можно перейти по словам <tex>y</tex> и <tex>z</tex>, эквивалентны. Таким образом, можно установить взаимное соответствие между правыми контекстами и классами эквивалентности вершин автомата, которых конечное число.
}}

=== Примеры ===
Здесь будем понимать под <tex> C_L^R(X) = Y </tex> не стандартное отображение множества в множество, а <tex> \forall x \in X :\ C_L^R(x) = Y </tex>. Рассмотрим правые контексты следующих языков:
[[Файл:Автомат и правые контексты 2.png|500px|thumb|right|Автомат к языку <tex> \{ 001, 111, 100 \} </tex>]]
==== Пример 1 ====
<tex> \{ 001, 111, 100 \} </tex>
: Возникающие контексты:
:: <tex>a) C_L^R(\varepsilon) = \{ 001, 111, 100 \} </tex> 
:: <tex>b) C_L^R(0) = \{ 01 \} </tex> 
:: <tex>c) C_L^R(00) = \{ 1 \} </tex> 
:: <tex>d) C_L^R(001) = \{ \varepsilon \} </tex> 
:: <tex>e) C_L^R(1) = \{ 11, 00 \} </tex> 
:: <tex>f) C_L^R(10) = \{ 0 \} </tex> 
:: <tex>g) C_L^R(100) = \{ \varepsilon \} </tex> 
:: <tex>h) C_L^R(11) = \{ 1 \} </tex> 
:: <tex>j) C_L^R(111) = \{ \varepsilon \} </tex> 
:: <tex>k) C_L^R(X) = \varnothing </tex>, где <tex> X </tex> {{---}} множество остальных аргументов. 
: Начальное состояние {{---}} <tex>a</tex> . Допускающие состояния: <tex>d, g, j</tex> (в них <tex> \varepsilon \in C_L^R(...) </tex>). Состояние <tex>k</tex> {{---}} [[Детерминированные_конечные_автоматы#допускает|дьявольское]]. Всего 8 состояний (именно столько имеется различных контекстов).
:[[Файл:Автомат и правые контексты 3.png|350px|thumb|right|Автомат к языку <tex> 0^*11 </tex>]]
==== Пример 2 ====
<tex> 0^*11 </tex>
: Возможные контексты (аргументы упорядочены в лексикографическом порядке):
:: <tex>a) C_L^R(0^*) = 0^*11 </tex> 
:: <tex>b) C_L^R(0^*1) = 1 </tex> 
:: <tex>c) C_L^R(0^*10(0|1)^*) = \varnothing </tex> 
:: <tex>d) C_L^R(0^*11) = \varepsilon </tex> 
:: <tex>e) C_L^R(0^*11(0|1)^+) = \varnothing </tex> 
: Итого 4 состояния; начальное состояние <tex>a</tex>, допускающее <tex>d</tex>, состояние <tex>c</tex>&<tex>e</tex> {{---}} дьявольское.

=== Левый контекст ===
{{Определение
|definition=
'''Левым контекстом''' (англ. ''left context'') <tex>C_L^L(y)</tex> слова <tex>y</tex> в языке <tex>L</tex> называется множество <tex>\{z \mid zy \in L\}</tex>.
}}

{{Лемма
|statement=
Язык <tex>L</tex> {{---}} регулярный <tex>\Leftrightarrow</tex> множество <tex>\{C_L^L(y) \mid y \in \Sigma^*\}</tex> его левых контекстов конечно.
|proof=
Поскольку множество регулярных языков замкнуто относительно операции разворота, то из того, что <tex>C_L^L(y) = \overleftarrow{C_{\overleftarrow{L}}^R(\overleftarrow{y})}</tex> и аналогичного утверждения о правых контекстах получаем требуемое.
}}

=== Двухсторонний контекст ===
{{Определение
|definition=
'''Двухсторонним контекстом''' (англ. ''two-sided context'') <tex>C_L(y)</tex> слова <tex>y</tex> в языке <tex>L</tex> называется множество <tex>\{\langle x,z\rangle \mid xyz \in L\}</tex>.
}}
'''Любопытное замечание:''' <tex>C_L(\varepsilon)</tex> состоит из всех пар строк, которые при конкатенации дают слово из языка.

Для доказательства последующих утверждений будем использовать бинарное отображение <tex> (\cdot) :\ Q \times \Sigma^* \rightarrow Q </tex> со свойством <tex> q \cdot \omega = q' \Leftrightarrow \langle q,\omega \rangle \vdash^* \langle q', \varepsilon \rangle</tex>.

{{Лемма
|statement=
Язык <tex>L</tex> {{---}} регулярный <tex>\Leftrightarrow</tex> множество <tex>\{C_L(y) \mid y \in \Sigma^*\}</tex> его двухсторонних контекстов конечно.
|proof=
<tex>\Leftarrow</tex>
:Заметим, что <tex> \{ z \mid \langle \varepsilon, z \rangle \in C_L(y) \} = C_L^R(y) </tex>. Следовательно, если множество двухсторонних контекстов языка конечно, то конечно и множество его правых контекстов, а это значит, что язык регулярный.
 <tex>\Rightarrow</tex>
:Пусть <tex>L</tex> {{---}} регулярный. В таком случае существует детерминированный автомат <tex>\mathcal{A}</tex>, распознающий его. Понятно, что для любого слова <tex> xyz </tex>, допускаемого автоматом, существуют <tex> u ,\ v </tex> такие, что <tex> s \cdot x = u ,\ u \cdot y = v ,\ v \cdot z \in T </tex> (где <tex> s </tex> {{---}} начальное состояние).
:Тогда справедливо равенство <tex> C_L(y) = \bigcup\limits_{(u, v) :\ u \cdot y = v} \{ \langle x, z \rangle \mid s \cdot x = u ,\ v \cdot z \in T \} </tex>. Учитывая <tex> | \{ (u, v) \mid u,v \in Q \} | = |Q|^2 </tex>, получаем <tex> | \{ C_L(y) \mid y \in \Sigma^* \} | \leqslant 2^{|Q|^2} </tex>, то есть множество контекстов конечно.
}}

== Синтаксический моноид ==
=== Определения ===
{{Определение
|definition=
'''Синтаксическим моноидом''' (англ. ''syntactic monoid'') <tex>M(L)</tex> языка <tex>L</tex> называется множество, состоящее из его классов эквивалентности <tex>[[x]] = \{ y \in \Sigma^* \mid C_L(x) = C_L(y) \}</tex>, с введённым на нём операцией конкатенации <tex>\circ</tex>, где <tex>[[x]]\circ[[y]] = [[xy]] \ \ </tex>. Нейтральным элементом в нём является <tex>[[\varepsilon]]</tex>.
}}
{{Определение
|definition=
'''Групповой язык''' (англ. ''group language'') {{---}} это язык, синтаксический моноид которого является [[Группа|группой]].
}}

=== Свойства ===
Синтаксический моноид <tex>M(L)</tex> определён для любого <tex>L \in \Sigma^*</tex>, однако некоторые свойства языка можно определить по структуре его синтаксического моноида. Размер синтаксического моноида является мерой структурной сложности языка.

{{Теорема
|statement=
Язык <tex>L</tex> {{---}} регулярный <tex>\Leftrightarrow</tex> его синтаксический моноид <tex>M(L)</tex> конечен.
|proof=
Размер синтаксического моноида <tex>M(L)</tex> языка <tex>L</tex> равен количеству его различных двухсторонних контекстов <tex>C_L</tex>. Применяя лемму, доказанную ранее, получаем:
Язык <tex>L</tex> {{---}} регулярный <tex>\Leftrightarrow</tex> множество <tex>\{C_L(y) \mid y \in \Sigma^*\}</tex> его двухсторонних контекстов конечно <tex>\Leftrightarrow</tex> его синтаксический моноид <tex>M(L)</tex> конечен.
}}

{{Лемма
|statement=
Пусть язык <tex>L</tex> распознается [[Детерминированные конечные автоматы|ДКА]] <tex>\mathcal{A} = \langle \Sigma,Q,s,T,\delta \rangle</tex>. Тогда размер его синтаксического моноида <tex>M(L)</tex> не превосходит <tex>|Q|^{|Q|}</tex>.
|proof=
Введём следующее отношение эквивалентности на строках:
 <tex>x \cong y \Leftrightarrow \forall q \in Q: q \cdot x = q \cdot y</tex>
 Оценим количество классов, на которые отношение <tex>\cong</tex> разбивает язык <tex>L</tex>. Для этого пронумеруем состояния, и каждому слову <tex> \omega</tex> сопоставим вектор <tex> a_{\omega} \in Q^{|Q|} </tex> такой, что <tex> a_{\omega}[i] = q_j \Leftrightarrow q_i \cdot \omega = q_j </tex>. Количество различных таких векторов {{---}} <tex> {|Q|}^{|Q|} </tex>. В то же время неэквивалентным словам соответствуют разные <tex> a </tex>, тогда количество классов эквивалентности также ограничено <tex> {|Q|}^{|Q|} </tex>.

Остаётся показать, что существует взаимно-однозначное соответствие между нашими классами эквивалентности и синтаксическими моноидами. Смотрим:
 <tex> x \cong y </tex>
 <tex> \Leftrightarrow </tex>
 <tex> s \cdot (uxv) = ((s \cdot u) \cdot x) \cdot v = ((s \cdot u) \cdot y) \cdot v = s \cdot (uyv) </tex> (пусть <tex> s \cdot u </tex> равно <tex> q </tex> из определения <tex> \cong </tex>, тогда <tex> (s \cdot u) \cdot x = q \cdot x = q' = q \cdot y = (s \cdot u) \cdot y </tex>)
 <tex> \Leftrightarrow </tex>
 <tex> s \cdot (uxv) \in T \Leftrightarrow s \cdot (uyv) \in T </tex>
 <tex> \Leftrightarrow </tex>
 <tex> uxv \in L \Leftrightarrow uyv \in L </tex>
 <tex> \Leftrightarrow </tex>
 <tex> [[x]] = [[y]] </tex>
(<tex> s </tex> {{---}} начальное состояние).
}}

Пусть <tex>\mathcal{A} = \langle \Sigma,Q,s,T,\delta \rangle</tex> {{---}} [[Детерминированные конечные автоматы|ДКА]]. Каждое слово <tex>\omega \in \Sigma^*</tex> порождает отображение <tex>f_\omega : Q \rightarrow Q</tex>, определённое следующим образом: <tex>f_\omega(q) = q \cdot \omega</tex>.
{{Определение
|definition=
'''Моноидом переходов''' (англ. ''transition monoid'') <tex>M(\mathcal{A})</tex> называется множество отображений <tex>f_\omega</tex> с операцией композиции. <tex>f_x \cdot f_y = f_{xy}</tex>. Нейтральным элементом в данном моноиде является отображение <tex>f_\varepsilon</tex>.
}}

{{Теорема
|statement=
Пусть <tex>\mathcal{A} = \langle \Sigma,Q,s,T,\delta \rangle</tex> {{---}} минимальный [[Детерминированные конечные автоматы|ДКА]], задающий язык <tex>L</tex>. Тогда <tex>M(\mathcal{A})</tex> и <tex>M(L)</tex> изоморфны.
|proof=
Покажем, что <tex>f_x = f_y \quad \Leftrightarrow \quad [[x]] = [[y]]</tex>.

<tex>\Rightarrow</tex>
 

:Данный факт был показан в доказательстве предыдущей леммы, он не требует минимальности автомата.

<tex>\Leftarrow</tex>
 

:Пусть <tex>[[x]] = [[y]]</tex> и <tex>q \in Q</tex>. Тогда <tex>q = s \cdot u</tex> для некоторого слова <tex>u</tex>. Пусть <tex>q_1 = f_x(q) = s \cdot ux</tex> и <tex>q_2 = f_y(q) = s \cdot uy</tex>. Поскольку <tex>[[x]] = [[y]]</tex>, справедливо <tex>uxv \in L \quad \Leftrightarrow \quad uyv \in L</tex>. Следовательно, <tex>q_1 \cdot v \in T \Leftrightarrow q_2 \cdot v \in T</tex>, то есть <tex>q_1</tex> и <tex>q_2</tex> эквивалентны. Значит, <tex>q_1 = q_2</tex>, так как автомат <tex>\mathcal{A}</tex> минимален. То есть, <tex>f_x = f_y</tex>.
}}

=== Примеры ===
====Язык слов четной длины====
Рассмотрим язык <tex>L = \{\omega \mid |\omega| \bmod 2 = 0 \}</tex>.

<tex>\{\langle u, v \rangle \mid uxv \in L\}</tex> {{---}} это множество всех пар <tex>\langle u,v \rangle</tex>, таких что <tex>|u| + |v| = |x| \ (\mathrm{mod} \ 2 )</tex>.

Значит, <tex>M(L)</tex> состоит из двух элементов: множества слов чётной длины и множества слов нечётной длины. Нейтральным элементом в данном моноиде является множество слов чётной длины.

Оба элемента являются обратными самим себе, значит <tex>M(L)</tex> является группой, следовательно <tex>L</tex> {{---}} групповой язык.

====Язык над алфавитом из 0 и 1, заданный регулярным выражением 1(0|1)*====
Язык <tex>L</tex> над алфавитом <tex>\Sigma = \{0,1\}</tex> задан регулярным выражением <tex>1(0|1)^*</tex>. Его синтаксический моноид <tex>M(L)</tex> содержит три элемента:

:<tex>a)</tex> <tex>[[\varepsilon]] \ </tex> {{---}} нейтральный элемент. Включает в себя только пустую строку.

:<tex>b)</tex> <tex>[[0]] \ </tex> содержит все строки, распознаваемые регулярным выражением <tex>0(0|1)^*</tex>. <tex>\forall x \in [[0]]: C_L(x) = \{\langle u, v \rangle \mid u \in L, v \in \Sigma^* \}</tex>.

:<tex>c)</tex> <tex>[[1]] \ </tex> содержит все строки, принадлежащие языку, то есть, распознаваемые регулярным выражением <tex>1(0|1)^*</tex>. <tex>\forall x \in [[1]]: C_L(x) = C_L(\varepsilon) \cup \{\langle \varepsilon, v \rangle \mid v \in \Sigma^* \}</tex>.

Заметим, что <tex>[[0]] \ </tex> и <tex>[[1]] \ </tex> не имеют обратных элементов в данном моноиде, так как нейтральный элемент содержит только пустую строку, а её невозможно получить из непустой с помощью конкатенации. Следовательно <tex>L</tex> не является групповым языком.

====Язык из последовательных N нулей и N единиц====
Язык <tex>L = 0^n1^n</tex> задан над алфавитом <tex>\Sigma = \{0,1\}</tex>.

Балансом слова <tex>|\omega|_b</tex> назовём число, равное разности между количеством нулей и единиц, встречающихся в данном слове. Если слово <tex>\omega = uxv</tex> принадлежит языку <tex>L</tex>, то <tex>|x|_b = -(|u|_b + |v|_b)</tex>. Но <tex>|x|_b</tex> может принимать любое целое значение, при том, что <tex>x</tex> имеет непустой двухсторонний контекст.

Значит, синтаксический моноид <tex>M(L)</tex> имеет бесконечное количество элементов, что значит, что данный язык не является регулярным.

== Источники информации ==

* ''Howard Straubing'' Finite automata, formal logic, and circuit complexity, 1994. ISBN 3-7643-3719-2. {{---}} C. 53.
* ''James A. Anderson'' Automata theory with modern applications, 2006. ISBN 0-521-61324-8. {{---}} С. 72.
* [http://en.wikipedia.org/wiki/Syntactic_monoid Wikipedia {{---}} Syntactic monoid]

[[Категория: Теория формальных языков]]
[[Категория: Автоматы и регулярные языки]]

Контексты и синтаксические моноиды

2019-05-14T14:27:31Z

Gaporf: /* Язык над алфавитом из 0 и 1, заданный регулярным выражением 1(0|1)* */

== Контексты ==
=== Правый контекст ===
{{Определение
|definition=
'''Правым контекстом''' (англ. ''right context'') <tex>C_L^R(y)</tex> слова <tex>y</tex> в языке <tex>L</tex> называется множество <tex>\{z \mid yz \in L\}</tex>.
}}

{{Лемма
|statement=
Язык <tex>L</tex> {{---}} регулярный <tex>\Leftrightarrow</tex> множество <tex>\{C_L^R(y) \mid y \in \Sigma^*\}</tex> его правых контекстов конечно.
|proof=
[[Файл:Автомат и правые контексты 1.png|315px|thumb|right|Автомат на правых контекстах. Легенда: начальное / промежуточное / дьявольское / терминальное состояния; контекст]]
<tex>\Leftarrow</tex>quad
 

:Пусть множество правых контекстов языка конечно. Построим распознающий его автомат. Состояния автомата будут соответствовать различным правым контекстам. Таким образом, каждая вершина автомата соответствует множеству допустимых «продолжений» считанного на данный момент слова. Переход по некоторому символу из одного состояния в другое осуществляется, если контекст, соответствующий первому состоянию, содержит все элементы, которые получаются приписыванием этого символа в начало элементам контекста, соответствующего второму. Вершина, соответствующая контексту пустого слова, является стартовой <tex>\left( C_L^R(\varepsilon) = L \right)</tex>. Вершины, контексты которых содержат <tex>\varepsilon</tex>, должны быть допускающими.

:Покажем что полученный автомат допускает в точности указанный язык. Выпишем свойства, которые мы стремились удовлетворить при построении:
:: 1. <tex> u \quad \leftrightarrow \quad C_L^R(x) ,\ v \quad \leftrightarrow \quad C_L^R(xc) \quad \leftrightarrow \quad \langle u,c \rangle \vdash \langle v, \varepsilon \rangle </tex>
:: 2. <tex> s \quad \leftrightarrow \quad C_L^R(\varepsilon), </tex> где <tex> s </tex> {{---}} стартовое состояние.
:: 3. <tex> \varepsilon \in C_L^R(\omega) \quad \Leftrightarrow \quad v \in T \quad ( v \quad \leftrightarrow \quad C_L^R(\omega) ) </tex>
:Из 1 следует
:: 1*. <tex> u \quad \leftrightarrow \quad C_L^R(x) ,\ v \quad \leftrightarrow \quad C_L^R(x \omega) \quad \Leftrightarrow \quad \langle u,\omega \rangle \vdash^* \langle v, \varepsilon \rangle </tex>
:Положив <tex> s = u </tex> и учтя 2, получим
:: <tex> v \quad \leftrightarrow \quad C_L^R(\omega) \quad \Leftrightarrow \quad \langle s,\omega \rangle \vdash^* \langle v, \varepsilon \rangle </tex>
:Теперь зафиксируем за состоянием <tex> v </tex> контекст <tex> C_L^R(\omega) </tex>. Тогда левая часть 3 равносильна <tex> \omega \in L </tex>, а правая, с учётом <tex> \langle s,\omega \rangle \vdash^* \langle v, \varepsilon \rangle </tex>, означает, что автомат допускает <tex> \omega </tex>.

<tex>\Rightarrow</tex>
 

:Пусть <tex>L</tex> {{---}} регулярный. В таком случае существует автомат <tex>\mathcal{A}</tex>, распознающий его.
:Рассмотрим произвольное слово <tex>y</tex>. Положим <tex>u</tex> {{---}} такое состояние <tex>\mathcal{A}</tex>, в которое можно перейти из начального по слову <tex>y</tex>. Тогда <tex>C_L^R(y)</tex> совпадает с множеством слов, по которым из состояния <tex>u</tex> можно попасть в допускающее.
:Причем если по какому-то слову <tex>z</tex> тоже можно перейти из начального состояния в <tex>u</tex>, то <tex>C_L^R(y) = C_L^R(z)</tex>. Наоборот, если <tex>C_L^R(y) = C_L^R(z)</tex>, то состояния, в которые можно перейти по словам <tex>y</tex> и <tex>z</tex>, эквивалентны. Таким образом, можно установить взаимное соответствие между правыми контекстами и классами эквивалентности вершин автомата, которых конечное число.
}}

=== Примеры ===
Здесь будем понимать под <tex> C_L^R(X) = Y </tex> не стандартное отображение множества в множество, а <tex> \forall x \in X :\ C_L^R(x) = Y </tex>. Рассмотрим правые контексты следующих языков:
[[Файл:Автомат и правые контексты 2.png|500px|thumb|right|Автомат к языку <tex> \{ 001, 111, 100 \} </tex>]]
==== Пример 1 ====
<tex> \{ 001, 111, 100 \} </tex>
: Возникающие контексты:
:: <tex>a) C_L^R(\varepsilon) = \{ 001, 111, 100 \} </tex> 
:: <tex>b) C_L^R(0) = \{ 01 \} </tex> 
:: <tex>c) C_L^R(00) = \{ 1 \} </tex> 
:: <tex>d) C_L^R(001) = \{ \varepsilon \} </tex> 
:: <tex>e) C_L^R(1) = \{ 11, 00 \} </tex> 
:: <tex>f) C_L^R(10) = \{ 0 \} </tex> 
:: <tex>g) C_L^R(100) = \{ \varepsilon \} </tex> 
:: <tex>h) C_L^R(11) = \{ 1 \} </tex> 
:: <tex>j) C_L^R(111) = \{ \varepsilon \} </tex> 
:: <tex>k) C_L^R(X) = \varnothing </tex>, где <tex> X </tex> {{---}} множество остальных аргументов. 
: Начальное состояние {{---}} <tex>a</tex> . Допускающие состояния: <tex>d, g, j</tex> (в них <tex> \varepsilon \in C_L^R(...) </tex>). Состояние <tex>k</tex> {{---}} [[Детерминированные_конечные_автоматы#допускает|дьявольское]]. Всего 8 состояний (именно столько имеется различных контекстов).
:[[Файл:Автомат и правые контексты 3.png|350px|thumb|right|Автомат к языку <tex> 0^*11 </tex>]]
==== Пример 2 ====
<tex> 0^*11 </tex>
: Возможные контексты (аргументы упорядочены в лексикографическом порядке):
:: <tex>a) C_L^R(0^*) = 0^*11 </tex> 
:: <tex>b) C_L^R(0^*1) = 1 </tex> 
:: <tex>c) C_L^R(0^*10(0|1)^*) = \varnothing </tex> 
:: <tex>d) C_L^R(0^*11) = \varepsilon </tex> 
:: <tex>e) C_L^R(0^*11(0|1)^+) = \varnothing </tex> 
: Итого 4 состояния; начальное состояние <tex>a</tex>, допускающее <tex>d</tex>, состояние <tex>c</tex>&<tex>e</tex> {{---}} дьявольское.

=== Левый контекст ===
{{Определение
|definition=
'''Левым контекстом''' (англ. ''left context'') <tex>C_L^L(y)</tex> слова <tex>y</tex> в языке <tex>L</tex> называется множество <tex>\{z \mid zy \in L\}</tex>.
}}

{{Лемма
|statement=
Язык <tex>L</tex> {{---}} регулярный <tex>\Leftrightarrow</tex> множество <tex>\{C_L^L(y) \mid y \in \Sigma^*\}</tex> его левых контекстов конечно.
|proof=
Поскольку множество регулярных языков замкнуто относительно операции разворота, то из того, что <tex>C_L^L(y) = \overleftarrow{C_{\overleftarrow{L}}^R(\overleftarrow{y})}</tex> и аналогичного утверждения о правых контекстах получаем требуемое.
}}

=== Двухсторонний контекст ===
{{Определение
|definition=
'''Двухсторонним контекстом''' (англ. ''two-sided context'') <tex>C_L(y)</tex> слова <tex>y</tex> в языке <tex>L</tex> называется множество <tex>\{\langle x,z\rangle \mid xyz \in L\}</tex>.
}}
'''Любопытное замечание:''' <tex>C_L(\varepsilon)</tex> состоит из всех пар строк, которые при конкатенации дают слово из языка.

Для доказательства последующих утверждений будем использовать бинарное отображение <tex> (\cdot) :\ Q \times \Sigma^* \rightarrow Q </tex> со свойством <tex> q \cdot \omega = q' \Leftrightarrow \langle q,\omega \rangle \vdash^* \langle q', \varepsilon \rangle</tex>.

{{Лемма
|statement=
Язык <tex>L</tex> {{---}} регулярный <tex>\Leftrightarrow</tex> множество <tex>\{C_L(y) \mid y \in \Sigma^*\}</tex> его двухсторонних контекстов конечно.
|proof=
<tex>\Leftarrow</tex>
:Заметим, что <tex> \{ z \mid \langle \varepsilon, z \rangle \in C_L(y) \} = C_L^R(y) </tex>. Следовательно, если множество двухсторонних контекстов языка конечно, то конечно и множество его правых контекстов, а это значит, что язык регулярный.
 <tex>\Rightarrow</tex>
:Пусть <tex>L</tex> {{---}} регулярный. В таком случае существует детерминированный автомат <tex>\mathcal{A}</tex>, распознающий его. Понятно, что для любого слова <tex> xyz </tex>, допускаемого автоматом, существуют <tex> u ,\ v </tex> такие, что <tex> s \cdot x = u ,\ u \cdot y = v ,\ v \cdot z \in T </tex> (где <tex> s </tex> {{---}} начальное состояние).
:Тогда справедливо равенство <tex> C_L(y) = \bigcup\limits_{(u, v) :\ u \cdot y = v} \{ \langle x, z \rangle \mid s \cdot x = u ,\ v \cdot z \in T \} </tex>. Учитывая <tex> | \{ (u, v) \mid u,v \in Q \} | = |Q|^2 </tex>, получаем <tex> | \{ C_L(y) \mid y \in \Sigma^* \} | \leqslant 2^{|Q|^2} </tex>, то есть множество контекстов конечно.
}}

== Синтаксический моноид ==
=== Определения ===
{{Определение
|definition=
'''Синтаксическим моноидом''' (англ. ''syntactic monoid'') <tex>M(L)</tex> языка <tex>L</tex> называется множество, состоящее из его классов эквивалентности <tex>[[x]] = \{ y \in \Sigma^* \mid C_L(x) = C_L(y) \}</tex>, с введённым на нём операцией конкатенации <tex>\circ</tex>, где <tex>[[x]]\circ[[y]] = [[xy]] \ \ </tex>. Нейтральным элементом в нём является <tex>[[\varepsilon]]</tex>.
}}
{{Определение
|definition=
'''Групповой язык''' (англ. ''group language'') {{---}} это язык, синтаксический моноид которого является [[Группа|группой]].
}}

=== Свойства ===
Синтаксический моноид <tex>M(L)</tex> определён для любого <tex>L \in \Sigma^*</tex>, однако некоторые свойства языка можно определить по структуре его синтаксического моноида. Размер синтаксического моноида является мерой структурной сложности языка.

{{Теорема
|statement=
Язык <tex>L</tex> {{---}} регулярный <tex>\Leftrightarrow</tex> его синтаксический моноид <tex>M(L)</tex> конечен.
|proof=
Размер синтаксического моноида <tex>M(L)</tex> языка <tex>L</tex> равен количеству его различных двухсторонних контекстов <tex>C_L</tex>. Применяя лемму, доказанную ранее, получаем:
Язык <tex>L</tex> {{---}} регулярный <tex>\Leftrightarrow</tex> множество <tex>\{C_L(y) \mid y \in \Sigma^*\}</tex> его двухсторонних контекстов конечно <tex>\Leftrightarrow</tex> его синтаксический моноид <tex>M(L)</tex> конечен.
}}

{{Лемма
|statement=
Пусть язык <tex>L</tex> распознается [[Детерминированные конечные автоматы|ДКА]] <tex>\mathcal{A} = \langle \Sigma,Q,s,T,\delta \rangle</tex>. Тогда размер его синтаксического моноида <tex>M(L)</tex> не превосходит <tex>|Q|^{|Q|}</tex>.
|proof=
Введём следующее отношение эквивалентности на строках:
 <tex>x \cong y \Leftrightarrow \forall q \in Q: q \cdot x = q \cdot y</tex>
 Оценим количество классов, на которые отношение <tex>\cong</tex> разбивает язык <tex>L</tex>. Для этого пронумеруем состояния, и каждому слову <tex> \omega</tex> сопоставим вектор <tex> a_{\omega} \in Q^{|Q|} </tex> такой, что <tex> a_{\omega}[i] = q_j \Leftrightarrow q_i \cdot \omega = q_j </tex>. Количество различных таких векторов {{---}} <tex> {|Q|}^{|Q|} </tex>. В то же время неэквивалентным словам соответствуют разные <tex> a </tex>, тогда количество классов эквивалентности также ограничено <tex> {|Q|}^{|Q|} </tex>.

Остаётся показать, что существует взаимно-однозначное соответствие между нашими классами эквивалентности и синтаксическими моноидами. Смотрим:
 <tex> x \cong y </tex>
 <tex> \Leftrightarrow </tex>
 <tex> s \cdot (uxv) = ((s \cdot u) \cdot x) \cdot v = ((s \cdot u) \cdot y) \cdot v = s \cdot (uyv) </tex> (пусть <tex> s \cdot u </tex> равно <tex> q </tex> из определения <tex> \cong </tex>, тогда <tex> (s \cdot u) \cdot x = q \cdot x = q' = q \cdot y = (s \cdot u) \cdot y </tex>)
 <tex> \Leftrightarrow </tex>
 <tex> s \cdot (uxv) \in T \Leftrightarrow s \cdot (uyv) \in T </tex>
 <tex> \Leftrightarrow </tex>
 <tex> uxv \in L \Leftrightarrow uyv \in L </tex>
 <tex> \Leftrightarrow </tex>
 <tex> [[x]] = [[y]] </tex>
(<tex> s </tex> {{---}} начальное состояние).
}}

Пусть <tex>\mathcal{A} = \langle \Sigma,Q,s,T,\delta \rangle</tex> {{---}} [[Детерминированные конечные автоматы|ДКА]]. Каждое слово <tex>\omega \in \Sigma^*</tex> порождает отображение <tex>f_\omega : Q \rightarrow Q</tex>, определённое следующим образом: <tex>f_\omega(q) = q \cdot \omega</tex>.
{{Определение
|definition=
'''Моноидом переходов''' (англ. ''transition monoid'') <tex>M(\mathcal{A})</tex> называется множество отображений <tex>f_\omega</tex> с операцией композиции. <tex>f_x \cdot f_y = f_{xy}</tex>. Нейтральным элементом в данном моноиде является отображение <tex>f_\varepsilon</tex>.
}}

{{Теорема
|statement=
Пусть <tex>\mathcal{A} = \langle \Sigma,Q,s,T,\delta \rangle</tex> {{---}} минимальный [[Детерминированные конечные автоматы|ДКА]], задающий язык <tex>L</tex>. Тогда <tex>M(\mathcal{A})</tex> и <tex>M(L)</tex> изоморфны.
|proof=
Покажем, что <tex>f_x = f_y \quad \Leftrightarrow \quad [[x]] = [[y]]</tex>.

<tex>\Rightarrow</tex>
 

:Данный факт был показан в доказательстве предыдущей леммы, он не требует минимальности автомата.

<tex>\Leftarrow</tex>
 

:Пусть <tex>[[x]] = [[y]]</tex> и <tex>q \in Q</tex>. Тогда <tex>q = s \cdot u</tex> для некоторого слова <tex>u</tex>. Пусть <tex>q_1 = f_x(q) = s \cdot ux</tex> и <tex>q_2 = f_y(q) = s \cdot uy</tex>. Поскольку <tex>[[x]] = [[y]]</tex>, справедливо <tex>uxv \in L \quad \Leftrightarrow \quad uyv \in L</tex>. Следовательно, <tex>q_1 \cdot v \in T \Leftrightarrow q_2 \cdot v \in T</tex>, то есть <tex>q_1</tex> и <tex>q_2</tex> эквивалентны. Значит, <tex>q_1 = q_2</tex>, так как автомат <tex>\mathcal{A}</tex> минимален. То есть, <tex>f_x = f_y</tex>.
}}

=== Примеры ===
====Язык слов четной длины====
Рассмотрим язык <tex>L = \{\omega \mid |\omega| \bmod 2 = 0 \}</tex>.

<tex>\{\langle u, v \rangle \mid uxv \in L\}</tex> {{---}} это множество всех пар <tex>\langle u,v \rangle</tex>, таких что <tex>|u| + |v| = |x|</tex> <tex>(mod</tex> <tex>2)</tex>.

Значит, <tex>M(L)</tex> состоит из двух элементов: множества слов чётной длины и множества слов нечётной длины. Нейтральным элементом в данном моноиде является множество слов чётной длины.

Оба элемента являются обратными самим себе, значит <tex>M(L)</tex> является группой, следовательно <tex>L</tex> {{---}} групповой язык.

====Язык над алфавитом из 0 и 1, заданный регулярным выражением 1(0|1)*====
Язык <tex>L</tex> над алфавитом <tex>\Sigma = \{0,1\}</tex> задан регулярным выражением <tex>1(0|1)^*</tex>. Его синтаксический моноид <tex>M(L)</tex> содержит три элемента:

:<tex>a)</tex> <tex>[[\varepsilon]] \ </tex> {{---}} нейтральный элемент. Включает в себя только пустую строку.

:<tex>b)</tex> <tex>[[0]] \ </tex> содержит все строки, распознаваемые регулярным выражением <tex>0(0|1)^*</tex>. <tex>\forall x \in [[0]]: C_L(x) = \{\langle u, v \rangle \mid u \in L, v \in \Sigma^* \}</tex>.

:<tex>c)</tex> <tex>[[1]] \ </tex> содержит все строки, принадлежащие языку, то есть, распознаваемые регулярным выражением <tex>1(0|1)^*</tex>. <tex>\forall x \in [[1]]: C_L(x) = C_L(\varepsilon) \cup \{\langle \varepsilon, v \rangle \mid v \in \Sigma^* \}</tex>.

Заметим, что <tex>[[0]] \ </tex> и <tex>[[1]] \ </tex> не имеют обратных элементов в данном моноиде, так как нейтральный элемент содержит только пустую строку, а её невозможно получить из непустой с помощью конкатенации. Следовательно <tex>L</tex> не является групповым языком.

====Язык из последовательных N нулей и N единиц====
Язык <tex>L = 0^n1^n</tex> задан над алфавитом <tex>\Sigma = \{0,1\}</tex>.

Балансом слова <tex>|\omega|_b</tex> назовём число, равное разности между количеством нулей и единиц, встречающихся в данном слове. Если слово <tex>\omega = uxv</tex> принадлежит языку <tex>L</tex>, то <tex>|x|_b = -(|u|_b + |v|_b)</tex>. Но <tex>|x|_b</tex> может принимать любое целое значение, при том, что <tex>x</tex> имеет непустой двухсторонний контекст.

Значит, синтаксический моноид <tex>M(L)</tex> имеет бесконечное количество элементов, что значит, что данный язык не является регулярным.

== Источники информации ==

* ''Howard Straubing'' Finite automata, formal logic, and circuit complexity, 1994. ISBN 3-7643-3719-2. {{---}} C. 53.
* ''James A. Anderson'' Automata theory with modern applications, 2006. ISBN 0-521-61324-8. {{---}} С. 72.
* [http://en.wikipedia.org/wiki/Syntactic_monoid Wikipedia {{---}} Syntactic monoid]

[[Категория: Теория формальных языков]]
[[Категория: Автоматы и регулярные языки]]

Контексты и синтаксические моноиды

2019-05-14T14:19:30Z

Gaporf: /* Правый контекст */

== Контексты ==
=== Правый контекст ===
{{Определение
|definition=
'''Правым контекстом''' (англ. ''right context'') <tex>C_L^R(y)</tex> слова <tex>y</tex> в языке <tex>L</tex> называется множество <tex>\{z \mid yz \in L\}</tex>.
}}

{{Лемма
|statement=
Язык <tex>L</tex> {{---}} регулярный <tex>\Leftrightarrow</tex> множество <tex>\{C_L^R(y) \mid y \in \Sigma^*\}</tex> его правых контекстов конечно.
|proof=
[[Файл:Автомат и правые контексты 1.png|315px|thumb|right|Автомат на правых контекстах. Легенда: начальное / промежуточное / дьявольское / терминальное состояния; контекст]]
<tex>\Leftarrow</tex>quad
 

:Пусть множество правых контекстов языка конечно. Построим распознающий его автомат. Состояния автомата будут соответствовать различным правым контекстам. Таким образом, каждая вершина автомата соответствует множеству допустимых «продолжений» считанного на данный момент слова. Переход по некоторому символу из одного состояния в другое осуществляется, если контекст, соответствующий первому состоянию, содержит все элементы, которые получаются приписыванием этого символа в начало элементам контекста, соответствующего второму. Вершина, соответствующая контексту пустого слова, является стартовой <tex>\left( C_L^R(\varepsilon) = L \right)</tex>. Вершины, контексты которых содержат <tex>\varepsilon</tex>, должны быть допускающими.

:Покажем что полученный автомат допускает в точности указанный язык. Выпишем свойства, которые мы стремились удовлетворить при построении:
:: 1. <tex> u \quad \leftrightarrow \quad C_L^R(x) ,\ v \quad \leftrightarrow \quad C_L^R(xc) \quad \leftrightarrow \quad \langle u,c \rangle \vdash \langle v, \varepsilon \rangle </tex>
:: 2. <tex> s \quad \leftrightarrow \quad C_L^R(\varepsilon), </tex> где <tex> s </tex> {{---}} стартовое состояние.
:: 3. <tex> \varepsilon \in C_L^R(\omega) \quad \Leftrightarrow \quad v \in T \quad ( v \quad \leftrightarrow \quad C_L^R(\omega) ) </tex>
:Из 1 следует
:: 1*. <tex> u \quad \leftrightarrow \quad C_L^R(x) ,\ v \quad \leftrightarrow \quad C_L^R(x \omega) \quad \Leftrightarrow \quad \langle u,\omega \rangle \vdash^* \langle v, \varepsilon \rangle </tex>
:Положив <tex> s = u </tex> и учтя 2, получим
:: <tex> v \quad \leftrightarrow \quad C_L^R(\omega) \quad \Leftrightarrow \quad \langle s,\omega \rangle \vdash^* \langle v, \varepsilon \rangle </tex>
:Теперь зафиксируем за состоянием <tex> v </tex> контекст <tex> C_L^R(\omega) </tex>. Тогда левая часть 3 равносильна <tex> \omega \in L </tex>, а правая, с учётом <tex> \langle s,\omega \rangle \vdash^* \langle v, \varepsilon \rangle </tex>, означает, что автомат допускает <tex> \omega </tex>.

<tex>\Rightarrow</tex>
 

:Пусть <tex>L</tex> {{---}} регулярный. В таком случае существует автомат <tex>\mathcal{A}</tex>, распознающий его.
:Рассмотрим произвольное слово <tex>y</tex>. Положим <tex>u</tex> {{---}} такое состояние <tex>\mathcal{A}</tex>, в которое можно перейти из начального по слову <tex>y</tex>. Тогда <tex>C_L^R(y)</tex> совпадает с множеством слов, по которым из состояния <tex>u</tex> можно попасть в допускающее.
:Причем если по какому-то слову <tex>z</tex> тоже можно перейти из начального состояния в <tex>u</tex>, то <tex>C_L^R(y) = C_L^R(z)</tex>. Наоборот, если <tex>C_L^R(y) = C_L^R(z)</tex>, то состояния, в которые можно перейти по словам <tex>y</tex> и <tex>z</tex>, эквивалентны. Таким образом, можно установить взаимное соответствие между правыми контекстами и классами эквивалентности вершин автомата, которых конечное число.
}}

=== Примеры ===
Здесь будем понимать под <tex> C_L^R(X) = Y </tex> не стандартное отображение множества в множество, а <tex> \forall x \in X :\ C_L^R(x) = Y </tex>. Рассмотрим правые контексты следующих языков:
[[Файл:Автомат и правые контексты 2.png|500px|thumb|right|Автомат к языку <tex> \{ 001, 111, 100 \} </tex>]]
==== Пример 1 ====
<tex> \{ 001, 111, 100 \} </tex>
: Возникающие контексты:
:: <tex>a) C_L^R(\varepsilon) = \{ 001, 111, 100 \} </tex> 
:: <tex>b) C_L^R(0) = \{ 01 \} </tex> 
:: <tex>c) C_L^R(00) = \{ 1 \} </tex> 
:: <tex>d) C_L^R(001) = \{ \varepsilon \} </tex> 
:: <tex>e) C_L^R(1) = \{ 11, 00 \} </tex> 
:: <tex>f) C_L^R(10) = \{ 0 \} </tex> 
:: <tex>g) C_L^R(100) = \{ \varepsilon \} </tex> 
:: <tex>h) C_L^R(11) = \{ 1 \} </tex> 
:: <tex>j) C_L^R(111) = \{ \varepsilon \} </tex> 
:: <tex>k) C_L^R(X) = \varnothing </tex>, где <tex> X </tex> {{---}} множество остальных аргументов. 
: Начальное состояние {{---}} <tex>a</tex> . Допускающие состояния: <tex>d, g, j</tex> (в них <tex> \varepsilon \in C_L^R(...) </tex>). Состояние <tex>k</tex> {{---}} [[Детерминированные_конечные_автоматы#допускает|дьявольское]]. Всего 8 состояний (именно столько имеется различных контекстов).
:[[Файл:Автомат и правые контексты 3.png|350px|thumb|right|Автомат к языку <tex> 0^*11 </tex>]]
==== Пример 2 ====
<tex> 0^*11 </tex>
: Возможные контексты (аргументы упорядочены в лексикографическом порядке):
:: <tex>a) C_L^R(0^*) = 0^*11 </tex> 
:: <tex>b) C_L^R(0^*1) = 1 </tex> 
:: <tex>c) C_L^R(0^*10(0|1)^*) = \varnothing </tex> 
:: <tex>d) C_L^R(0^*11) = \varepsilon </tex> 
:: <tex>e) C_L^R(0^*11(0|1)^+) = \varnothing </tex> 
: Итого 4 состояния; начальное состояние <tex>a</tex>, допускающее <tex>d</tex>, состояние <tex>c</tex>&<tex>e</tex> {{---}} дьявольское.

=== Левый контекст ===
{{Определение
|definition=
'''Левым контекстом''' (англ. ''left context'') <tex>C_L^L(y)</tex> слова <tex>y</tex> в языке <tex>L</tex> называется множество <tex>\{z \mid zy \in L\}</tex>.
}}

{{Лемма
|statement=
Язык <tex>L</tex> {{---}} регулярный <tex>\Leftrightarrow</tex> множество <tex>\{C_L^L(y) \mid y \in \Sigma^*\}</tex> его левых контекстов конечно.
|proof=
Поскольку множество регулярных языков замкнуто относительно операции разворота, то из того, что <tex>C_L^L(y) = \overleftarrow{C_{\overleftarrow{L}}^R(\overleftarrow{y})}</tex> и аналогичного утверждения о правых контекстах получаем требуемое.
}}

=== Двухсторонний контекст ===
{{Определение
|definition=
'''Двухсторонним контекстом''' (англ. ''two-sided context'') <tex>C_L(y)</tex> слова <tex>y</tex> в языке <tex>L</tex> называется множество <tex>\{\langle x,z\rangle \mid xyz \in L\}</tex>.
}}
'''Любопытное замечание:''' <tex>C_L(\varepsilon)</tex> состоит из всех пар строк, которые при конкатенации дают слово из языка.

Для доказательства последующих утверждений будем использовать бинарное отображение <tex> (\cdot) :\ Q \times \Sigma^* \rightarrow Q </tex> со свойством <tex> q \cdot \omega = q' \Leftrightarrow \langle q,\omega \rangle \vdash^* \langle q', \varepsilon \rangle</tex>.

{{Лемма
|statement=
Язык <tex>L</tex> {{---}} регулярный <tex>\Leftrightarrow</tex> множество <tex>\{C_L(y) \mid y \in \Sigma^*\}</tex> его двухсторонних контекстов конечно.
|proof=
<tex>\Leftarrow</tex>
:Заметим, что <tex> \{ z \mid \langle \varepsilon, z \rangle \in C_L(y) \} = C_L^R(y) </tex>. Следовательно, если множество двухсторонних контекстов языка конечно, то конечно и множество его правых контекстов, а это значит, что язык регулярный.
 <tex>\Rightarrow</tex>
:Пусть <tex>L</tex> {{---}} регулярный. В таком случае существует детерминированный автомат <tex>\mathcal{A}</tex>, распознающий его. Понятно, что для любого слова <tex> xyz </tex>, допускаемого автоматом, существуют <tex> u ,\ v </tex> такие, что <tex> s \cdot x = u ,\ u \cdot y = v ,\ v \cdot z \in T </tex> (где <tex> s </tex> {{---}} начальное состояние).
:Тогда справедливо равенство <tex> C_L(y) = \bigcup\limits_{(u, v) :\ u \cdot y = v} \{ \langle x, z \rangle \mid s \cdot x = u ,\ v \cdot z \in T \} </tex>. Учитывая <tex> | \{ (u, v) \mid u,v \in Q \} | = |Q|^2 </tex>, получаем <tex> | \{ C_L(y) \mid y \in \Sigma^* \} | \leqslant 2^{|Q|^2} </tex>, то есть множество контекстов конечно.
}}

== Синтаксический моноид ==
=== Определения ===
{{Определение
|definition=
'''Синтаксическим моноидом''' (англ. ''syntactic monoid'') <tex>M(L)</tex> языка <tex>L</tex> называется множество, состоящее из его классов эквивалентности <tex>[[x]] = \{ y \in \Sigma^* \mid C_L(x) = C_L(y) \}</tex>, с введённым на нём операцией конкатенации <tex>\circ</tex>, где <tex>[[x]]\circ[[y]] = [[xy]] \ \ </tex>. Нейтральным элементом в нём является <tex>[[\varepsilon]]</tex>.
}}
{{Определение
|definition=
'''Групповой язык''' (англ. ''group language'') {{---}} это язык, синтаксический моноид которого является [[Группа|группой]].
}}

=== Свойства ===
Синтаксический моноид <tex>M(L)</tex> определён для любого <tex>L \in \Sigma^*</tex>, однако некоторые свойства языка можно определить по структуре его синтаксического моноида. Размер синтаксического моноида является мерой структурной сложности языка.

{{Теорема
|statement=
Язык <tex>L</tex> {{---}} регулярный <tex>\Leftrightarrow</tex> его синтаксический моноид <tex>M(L)</tex> конечен.
|proof=
Размер синтаксического моноида <tex>M(L)</tex> языка <tex>L</tex> равен количеству его различных двухсторонних контекстов <tex>C_L</tex>. Применяя лемму, доказанную ранее, получаем:
Язык <tex>L</tex> {{---}} регулярный <tex>\Leftrightarrow</tex> множество <tex>\{C_L(y) \mid y \in \Sigma^*\}</tex> его двухсторонних контекстов конечно <tex>\Leftrightarrow</tex> его синтаксический моноид <tex>M(L)</tex> конечен.
}}

{{Лемма
|statement=
Пусть язык <tex>L</tex> распознается [[Детерминированные конечные автоматы|ДКА]] <tex>\mathcal{A} = \langle \Sigma,Q,s,T,\delta \rangle</tex>. Тогда размер его синтаксического моноида <tex>M(L)</tex> не превосходит <tex>|Q|^{|Q|}</tex>.
|proof=
Введём следующее отношение эквивалентности на строках:
 <tex>x \cong y \Leftrightarrow \forall q \in Q: q \cdot x = q \cdot y</tex>
 Оценим количество классов, на которые отношение <tex>\cong</tex> разбивает язык <tex>L</tex>. Для этого пронумеруем состояния, и каждому слову <tex> \omega</tex> сопоставим вектор <tex> a_{\omega} \in Q^{|Q|} </tex> такой, что <tex> a_{\omega}[i] = q_j \Leftrightarrow q_i \cdot \omega = q_j </tex>. Количество различных таких векторов {{---}} <tex> {|Q|}^{|Q|} </tex>. В то же время неэквивалентным словам соответствуют разные <tex> a </tex>, тогда количество классов эквивалентности также ограничено <tex> {|Q|}^{|Q|} </tex>.

Остаётся показать, что существует взаимно-однозначное соответствие между нашими классами эквивалентности и синтаксическими моноидами. Смотрим:
 <tex> x \cong y </tex>
 <tex> \Leftrightarrow </tex>
 <tex> s \cdot (uxv) = ((s \cdot u) \cdot x) \cdot v = ((s \cdot u) \cdot y) \cdot v = s \cdot (uyv) </tex> (пусть <tex> s \cdot u </tex> равно <tex> q </tex> из определения <tex> \cong </tex>, тогда <tex> (s \cdot u) \cdot x = q \cdot x = q' = q \cdot y = (s \cdot u) \cdot y </tex>)
 <tex> \Leftrightarrow </tex>
 <tex> s \cdot (uxv) \in T \Leftrightarrow s \cdot (uyv) \in T </tex>
 <tex> \Leftrightarrow </tex>
 <tex> uxv \in L \Leftrightarrow uyv \in L </tex>
 <tex> \Leftrightarrow </tex>
 <tex> [[x]] = [[y]] </tex>
(<tex> s </tex> {{---}} начальное состояние).
}}

Пусть <tex>\mathcal{A} = \langle \Sigma,Q,s,T,\delta \rangle</tex> {{---}} [[Детерминированные конечные автоматы|ДКА]]. Каждое слово <tex>\omega \in \Sigma^*</tex> порождает отображение <tex>f_\omega : Q \rightarrow Q</tex>, определённое следующим образом: <tex>f_\omega(q) = q \cdot \omega</tex>.
{{Определение
|definition=
'''Моноидом переходов''' (англ. ''transition monoid'') <tex>M(\mathcal{A})</tex> называется множество отображений <tex>f_\omega</tex> с операцией композиции. <tex>f_x \cdot f_y = f_{xy}</tex>. Нейтральным элементом в данном моноиде является отображение <tex>f_\varepsilon</tex>.
}}

{{Теорема
|statement=
Пусть <tex>\mathcal{A} = \langle \Sigma,Q,s,T,\delta \rangle</tex> {{---}} минимальный [[Детерминированные конечные автоматы|ДКА]], задающий язык <tex>L</tex>. Тогда <tex>M(\mathcal{A})</tex> и <tex>M(L)</tex> изоморфны.
|proof=
Покажем, что <tex>f_x = f_y \quad \Leftrightarrow \quad [[x]] = [[y]]</tex>.

<tex>\Rightarrow</tex>
 

:Данный факт был показан в доказательстве предыдущей леммы, он не требует минимальности автомата.

<tex>\Leftarrow</tex>
 

:Пусть <tex>[[x]] = [[y]]</tex> и <tex>q \in Q</tex>. Тогда <tex>q = s \cdot u</tex> для некоторого слова <tex>u</tex>. Пусть <tex>q_1 = f_x(q) = s \cdot ux</tex> и <tex>q_2 = f_y(q) = s \cdot uy</tex>. Поскольку <tex>[[x]] = [[y]]</tex>, справедливо <tex>uxv \in L \quad \Leftrightarrow \quad uyv \in L</tex>. Следовательно, <tex>q_1 \cdot v \in T \Leftrightarrow q_2 \cdot v \in T</tex>, то есть <tex>q_1</tex> и <tex>q_2</tex> эквивалентны. Значит, <tex>q_1 = q_2</tex>, так как автомат <tex>\mathcal{A}</tex> минимален. То есть, <tex>f_x = f_y</tex>.
}}

=== Примеры ===
====Язык слов четной длины====
Рассмотрим язык <tex>L = \{\omega \mid |\omega| \bmod 2 = 0 \}</tex>.

<tex>\{\langle u, v \rangle \mid uxv \in L\}</tex> {{---}} это множество всех пар <tex>\langle u,v \rangle</tex>, таких что <tex>|u| + |v| = |x|</tex> <tex>(mod</tex> <tex>2)</tex>.

Значит, <tex>M(L)</tex> состоит из двух элементов: множества слов чётной длины и множества слов нечётной длины. Нейтральным элементом в данном моноиде является множество слов чётной длины.

Оба элемента являются обратными самим себе, значит <tex>M(L)</tex> является группой, следовательно <tex>L</tex> {{---}} групповой язык.

====Язык над алфавитом из 0 и 1, заданный регулярным выражением 1(0|1)*====
Язык <tex>L</tex> над алфавитом <tex>\Sigma = \{0,1\}</tex> задан регулярным выражением <tex>1(0|1)^*</tex>. Его синтаксический моноид <tex>M(L)</tex> содержит три элемента:

:<tex>a)</tex> <tex>[[\varepsilon]]</tex> {{---}} нейтральный элемент. Включает в себя только пустую строку.

:<tex>b)</tex> <tex>[[0]]</tex> содержит все строки, распознаваемые регулярным выражением <tex>0(0|1)^*</tex>. <tex>\forall x \in [[0]]: C_L(x) = \{\langle u, v \rangle \mid u \in L, v \in \Sigma^* \}</tex>.

:<tex>c)</tex> <tex>[[1]]</tex> содержит все строки, принадлежащие языку, то есть, распознаваемые регулярным выражением <tex>1(0|1)^*</tex>. <tex>\forall x \in [[1]]: C_L(x) = C_L(\varepsilon) \cup \{\langle \varepsilon, v \rangle \mid v \in \Sigma^* \}</tex>.

Заметим, что <tex>[[0]]</tex> и <tex>[[1]]</tex> не имеют обратных элементов в данном моноиде, так как нейтральный элемент содержит только пустую строку, а её невозможно получить из непустой с помощью конкатенации. Следовательно <tex>L</tex> не является групповым языком.

====Язык из последовательных N нулей и N единиц====
Язык <tex>L = 0^n1^n</tex> задан над алфавитом <tex>\Sigma = \{0,1\}</tex>.

Балансом слова <tex>|\omega|_b</tex> назовём число, равное разности между количеством нулей и единиц, встречающихся в данном слове. Если слово <tex>\omega = uxv</tex> принадлежит языку <tex>L</tex>, то <tex>|x|_b = -(|u|_b + |v|_b)</tex>. Но <tex>|x|_b</tex> может принимать любое целое значение, при том, что <tex>x</tex> имеет непустой двухсторонний контекст.

Значит, синтаксический моноид <tex>M(L)</tex> имеет бесконечное количество элементов, что значит, что данный язык не является регулярным.

== Источники информации ==

* ''Howard Straubing'' Finite automata, formal logic, and circuit complexity, 1994. ISBN 3-7643-3719-2. {{---}} C. 53.
* ''James A. Anderson'' Automata theory with modern applications, 2006. ISBN 0-521-61324-8. {{---}} С. 72.
* [http://en.wikipedia.org/wiki/Syntactic_monoid Wikipedia {{---}} Syntactic monoid]

[[Категория: Теория формальных языков]]
[[Категория: Автоматы и регулярные языки]]

Математическое ожидание случайной величины

2019-05-14T13:42:11Z

Gaporf: /* Математическое ожидание случайной величины */ исправил умножения

==Математическое ожидание случайной величины==
{{Определение
|definition='''Математическое ожидание''' (англ. ''mean value'') <tex> \left( E\xi \right) </tex> {{---}} мера среднего значения случайной величины, равная <tex>E\xi = \sum \xi(\omega) \cdot p(\omega)</tex>
}}

{{Теорема
|statement= <tex>\sum\limits_{\omega\epsilon\Omega} \xi(\omega) \cdot p(\omega) = \sum\limits_a a \cdot p(\xi = a)</tex>
|proof= <tex>\sum\limits_a \sum\limits_{\omega|\xi(\omega) = a} \xi(\omega) \cdot p(\omega) = \sum\limits_a a \cdot \sum\limits_{\omega|\xi(\omega)=a}p(\omega) = \sum\limits_a a \cdot p(\xi = a)</tex>
}}

===Пример===
Пусть наше вероятностное пространство {{---}} «честная кость»

<tex> \xi(i) = i </tex>

<tex> E\xi = 1\cdot \dfrac{1}{6}+2\cdot \dfrac{1}{6} \dots +6\cdot \dfrac{1}{6} = 3.5</tex>

==Свойства математического ожидания==
{{Утверждение
|about=о матожидании константы
|statement=<tex>E(a) = a</tex>, где <tex>a \in R</tex> {{---}} константа.
}}

{{Утверждение
|about=о матожидании неравенств
|statement=Если <tex>0 \leqslant \xi \leqslant \eta</tex>, и <tex>\eta</tex> {{---}} случайная величина с конечным математическим ожиданием, то математическое ожидание случайной величины <tex>\xi</tex> также конечно, и <tex>0 \leqslant E(\xi) \leqslant E(\eta)</tex>.
}}

{{Утверждение
|about=о матожидании случайной величины на событии вероятности нуль
|statement=Если <tex>\xi = \eta</tex>, то <tex>E(\xi) = E(\eta)</tex>.
}}

{{Утверждение
|about=о матожидании двух независимых случайных величин
|statement=Если <tex>\xi</tex> и <tex>\eta</tex> {{---}} две независимые случайные величины, то <tex>E(\xi \cdot \eta) = E(\xi) \cdot E(\eta)</tex>
|proof=
Согласно определению математического ожидания, <tex>E(\xi \cdot \eta) = \sum\limits_{\omega} \xi(\omega)\cdot\eta(\omega)\cdot p(\omega)</tex>.

По теореме, <tex>\sum\limits_{\omega} \xi(\omega) \cdot p(\omega) = \sum\limits_a a \cdot p(\xi = a)</tex>. Поэтому <tex>\sum\limits_{\omega} \xi(\omega)\cdot\eta(\omega)\cdot p(\omega)=\sum\limits_a a \cdot \sum\limits_b b \cdot p(\xi = a,\eta = b)</tex>.

Поскольку <tex>\xi</tex> и <tex>\eta</tex> {{---}} независимые величины, <tex>p(\xi = a,\eta = b) = p(\xi = a)\cdot p(\eta = b)</tex>.

Тогда получаем, что <tex>\sum\limits_a a \cdot \sum\limits_b b \cdot p(\xi = a,\eta = b) = \sum\limits_a a \cdot \sum\limits_b b \cdot p(\xi = a)\cdot p(\eta = b)=\sum\limits_a a\cdot p(\xi=a) \cdot \sum\limits_b b \cdot p(\eta = b)=E(\xi) \cdot E(\eta)</tex>.
}}

==Линейность математического ожидания==

{{Теорема
|statement=
Математическое ожидание <tex>E</tex> линейно.
|proof=
# <tex>E(\xi + \eta) = {\sum_w \limits}(\xi(w) + \eta(w)) \cdot p(w) = \sum\limits_w \xi(w) \cdot p(w) + {\sum_w \limits}\eta(w) \cdot p(w) = E(\xi) + E(\eta) </tex>
# <tex>E(\alpha\xi) = {\sum_w \limits}\alpha\xi(w) = \alpha{\sum_w \limits}\xi(w) = \alpha E(\xi)</tex>, где <tex>\alpha</tex> {{---}} действительное число.

}}

==Использование линейности==
Рассмотрим три задачи.

===Пример 1===
Найти математическое ожидание суммы цифр на случайной кости домино.

Пусть <tex> \xi </tex> {{---}} случайная величина, которая возвращает первое число на кости домино, а <tex> \eta </tex> {{---}} возвращает второе число.
Очевидно, что <tex> E(\xi)= E(\eta)</tex>.
Посчитаем <tex>E(\xi)</tex>.

<tex>E(\xi)={\sum_{i=0}^6 \limits}i \cdot p(\xi=i)={\sum_{i=0}^6 \limits}i \cdot \dfrac{1}{7}=3</tex>

Получаем ответ
<tex>E(\xi+\eta)=2E(\xi)=6</tex>

===Пример 2===
Пусть у нас есть строка <tex>s</tex>. Строка <tex>t</tex> генерируется случайным образом так, что два подряд идущих символа неравны. Какое математическое ожидание количества совпавших символов? Считать что размер алфавита равен <tex>k</tex>, а длина строки <tex>n</tex>.

Рассмотрим случайные величины <tex>\xi^i</tex> {{---}} совпал ли у строк <tex> i </tex>-тый символ.
Найдем математическое ожидание этой величины
<tex>E(\xi^i)=0 \cdot p(\xi^i=0)+1 \cdot p(\xi^i=1)=p(s[i]=t[i]) \ </tex> где <tex>s[i],t[i]</tex> {{---}} <tex>i</tex>-тые символы соответствующих строк.
Так как появление каждого символа равновероятно, то <tex>p(s[i]=t[i])=\dfrac{1}{k}</tex>.

Итоговый результат: <tex>E(\xi)={\sum_{i=1}^n \limits}E(\xi^i)=\dfrac{n}{k} </tex>

===Пример 3===
Найти математическое ожидание количества инверсий на всех перестановках чисел от <tex>1</tex> до <tex>n</tex>.

Пусть <tex> \xi </tex> {{---}} случайная величина, которая возвращает количество инверсий в перестановке.

Очевидно, что вероятность любой перестановки равна <tex> \dfrac{1}{n!} </tex>

Тогда <tex> E\xi = \dfrac{1}{n!}\cdot{\sum_{i=1}^{n!} \limits}{\xi^i} </tex>

Пусть <tex> P = (p_1,p_2,\dots,p_n)</tex> является перестановкой чисел <tex> 1, 2,\dots, n</tex>.

Тогда <tex> A = (p_n, p_{n-1}, \dots, p_1) </tex> является перевёрнутой перестановкой <tex> P </tex>.

Докажем, что количество инверсий в этих двух перестановках равно <tex> \dfrac{n\cdot(n-1)}{2} </tex>

Рассмотрим все пары <tex> 1 \leqslant i < j \leqslant n </tex>, таких пар всего <tex> \dfrac{n\cdot(n-1)}{2} </tex>. Тогда пара этих чисел образуют инверсию или в <tex>P</tex>, или в <tex>A</tex>. Если <tex>j</tex> стоит раньше <tex>i</tex> в перестановке <tex>P</tex>, то <tex>j</tex> будет стоять после <tex>i</tex> и уже не будет давать инверсию. Аналогично, если <tex>j</tex> стоит раньше <tex>i</tex> в перестановке <tex>A</tex>.

Всего таких пар из перестановки и перевернутой перестановки будет <tex> \dfrac{n!}{2} </tex>.

Итого: <tex> E\xi = \dfrac{1}{n!}\cdot\dfrac{n\cdot(n-1)}{2}\cdot\dfrac{n!}{2} = \dfrac{n\cdot(n-1)}{4} </tex>

==Примеры распределений==

===Распределение Бернулли===
Случайная величина <tex>\xi</tex> имеет распределение Бернулли, если она принимает всего два значения: <tex>1</tex> и <tex>0</tex> с вероятностями <tex>p</tex> и <tex>q \equiv 1-p</tex> соответственно. Таким образом:

:<tex>P(\xi = 1) = p</tex>
:<tex>P(\xi = 0) = q</tex>

Тогда несложно догадаться, чему будет равно математическое ожидание:
:<tex>E(\xi) = 1 \cdot p + 0 \cdot q = p</tex>

===Гипергеометрическое распределение===
Гипергеометрическое распределение в теории вероятностей моделирует количество удачных выборок без возвращения из конечной совокупности.

Пусть имеется конечная совокупность, состоящая из <tex>N</tex> элементов. Предположим, что <tex>D</tex> из них обладают нужным нам свойством. Оставшиеся <tex>N-D</tex> этим свойством не обладают. Случайным образом из общей совокупности выбирается группа из <tex>n</tex> элементов. Пусть <tex>a</tex> {{---}} случайная величина, равная количеству выбранных элементов, обладающих нужным свойством. Тогда функция вероятности <tex>a</tex> имеет вид:

:<tex>P_\xi(k) \equiv P(\xi = k) = \dfrac{C_D^k \cdot C_{N-D}^{n-k}}{C_N^n}</tex>,
где <tex>C_n^k \equiv \dfrac{n!}{k! \cdot (n-k)!}</tex> обозначает биномиальный коэффициент.

Гипергеометрическое распределение обозначается <tex> \xi \sim \mathrm{HG}(D,N,n)</tex>.

Формула математического ожидания для гипергеометрического распределения имеет вид:
:<tex>E(\xi) = \dfrac{n \cdot D}{N}</tex>

==См. также==
* [[Дискретная случайная величина]]
* [[Дисперсия случайной величины]]

== Источники информации ==
* [http://ru.wikipedia.org/wiki/Математическое_ожидание Wikipedia {{---}} Математическое ожидание]
* [https://ru.wikipedia.org/wiki/Гипергеометрическое_распределение Wikipedia {{---}} Гипергеометрическое распределение]
* [https://ru.wikipedia.org/wiki/Распределение_Бернулли Wikipedia {{---}} Распределение Бернулли]

[[Категория: Дискретная математика и алгоритмы]]
[[Категория: Теория вероятности]]