Машины, которые говорят и слушают
74
йдов, эа счет некоторого изменения языка этой системы и его словарного состава. Как правило, в конкретных задачах речевого управления возникают Проблемы, связанные с обогащением языка, добавлением новых слов и понятий. В отдельных случаях требуется медиком заменить словарный состав языка, приспособить системы к совершенно новой задаче. При этом желательно сохранить основные структурные (синтаксические) свойства языка, связи между лингвистическими уровнями, соотношения между понятиями внутри уровня, т.е. придать свойствам языка универсальный характер, формализовать язык речевого запроса таким образом, чтобы он напоминал язык опи-оанйя баз данных - сетевой, иерархической или реляционной.
Основными лингвистическими вопросами, возникгшцими при этом, явжявтся:
1) как оценить сложность языка речевого общения и попытаться, используя синонимию, свести трудности распознавания сдов, вызванные фонетическими неопределенностями, до минимума;
2) каким образом ограничить гибкость проблемно-ориентнрова!:-иого языка, не слыпком сдерживая желания и возможности человека общаться с информационной системой естественными фразами; какие задачи позволяют нам практически использовать относительно простой синтаксис языка;
3) как автоматически расширять словарный запас языка;
4) как при этом корректировать язык, на базе которого создана неадаптивная система автоматического распознавания.
(Вопросы о расширении круга пользователей, включая пользователей, говорящих с акцентом иди дефектом речи, а также проблемы поиска новых информативных признаков, использования телефонного канала опускаем, относя их к техническим вопросам,которые • работе не рассматривается.)
Некоторые из перечисленных лингвистических проблем возникают и для адаптивных систем, работающих с подстройкой под дик-Юра и словарь. 3 известных работах по аравтическому использованию адаптивных систем [134,140] нет сведений об адаптации систем к новому изменяемому языку речевого общения (если не считать замену словаря в системах типа vir-юо подстройкой под язык).
йервой мз проблем посвящен § 2.2, где выбор словаря обус-яовлен точностью распознавания слоя и связанной с ней вероятностной оценкой неопределенности распознавания При заданной совокупности фонетические признаков. Оценка граю-атнческой сложности яэыка, используемого в неадаптивных системах распознавания ре-11^^ (языка, древовидной структуры без сложных внутренних связей)
76
(си. § 2.3), позволяет подойти к решению вышеуказанной проблемы 2). Задаче автоматического расширения словарного состава посвящена четвертая глава, тесно связанная с пятой главой, где описаны эксперименты по построению системы распознавания понятийных фраз конкретного языка описания данных информационной системы, для которого строилась модель. Кратко о проблеме 3 говорится в п. 2.3.3 , в котором рассматривается автоматическая подстройка "под язык", изменяющийся с изменением словарного состава.
Рассматривающиеся далее вопросы,на наш взгляд,имеют весьма важное значение как идеологическая основа будущих систем автоматического речевого запроса информации, ориент грованных на произвольного пользователя. Если первые практические неадаптивные системы распознавания речи (СРР) могут и отличаться от аппаратурно-программных, аналогичных нашей (скажем, основываться на мультимик-ропроцессорных системах, в которые речевой сигнал поступает с АЦП), то общие лингвистические проблемы, указанные здесь, неизменно будут возникать при любой структуре системы и любом подходе к первичному описанию сигнала. Не следует забывать, что неадаптивные системы автоматического распознавания являются основными системами будущего - при общении-, с роботами и информационными системами общего назначения. Вопросы, рассматриваемые далее, будут относиться к неадаптивным системам, ориентированным на пословный ввод речевой информации, а также на ввод информации короткими словосочетаниями, которые можно рассматривать как одно слово. Это связано с тем, что лишь на изолированных словах и коротких словосочетаниях параметры звуков (выцеляемые алпаратурно) являются относительно устойчивыми (обладают малой дисперсией), и можно говорить о возможном использовании характеристик, определяемых гистограммами параметров, для автоматического распознавания .
При распознавании изолированных слов представляется целесообразным разработать алгоритм, который обеспечивал бы устойчивое сегментирование поступающих на вход реализации слов на участки, соответствующие различи™ способам образования звуков, т.е. на тональные отрезки речи, шумные и участки, соответствующие гиухии смычковым (коротким паузам внутри слова). Звонкие фрикативные звуки можно было бы отнести к шумным. Существуют различные методы такой классификации в зависимости от первичного описания речевых сигналов. Для аппаратурно-программного метода достаточно высокую точность классификации отрезков речи на участки "тон - иум ' Пауза" для произвольного диктора дают бинарные признаки способа образования звуков, выделяемые аппаратурно [97] .
76
Динамика участков "тон - шум - пауза" является хорошим признаком распознавания слов для небольших специально подобранных „доварей. Не представляет труда перейти к небольшому новому словарю, используя лишь признаки классификации отрезков речи на вти трч класса и динамику типов участков в слове. Вакно правильно выбрать фонетическую структуру слов этого словаря. В зависгзло-стИ от возможностей надежной классификации отрезков речи на этапе анализа сигнадоч (первичная сегментация и маркировка) mosko использовать большее число классов сегментов (классов фонетической структуры слова), динамика которых позволит надекно классифицировать большее число слов словаря. (В наших работах на начальной уровне анализа речи использовалось как семь типов сегментов (ей. Я, 2.2.2), так и три типа - тональный-шумный-сауза (см. § 5.5).)
В связи с этим Ж.Дрейфу о-Граф для распознавания словарного состава разработал специализированный язык речевого общения sotina , состоящий из бессмысленных слов, которым условно придается некое смысловое значение, и включал лишь "контрастные" в Пространстве используемых признаков звуки, поэтому легко различаемые автоматически [127] . Словарный состав языка sotina включал бессмысленные слова, на базе которых предлагалось создать искусственный язык для речевого общения человека и 5ВУ.
§ 2.2. Оценка сложности распознавания словаря речевого общения
2.2.1.Связь точности распознавания с особенностями фонетики слов.Сравнивать качество распознавания существующих СРР и СПР только по точности распознавания или объему словаря недостаточно по нескольким причинам. Во-первых,разные задачи, естественно, требуют различных языков общения,словарный состав которых включает слова, имеющие различные акустические (фонетические) характеристики.Источники информации о таких высших уровнях знаний языка, как синтаксис, семантика, прагматика, накладывают различные ограничения на возможные альтернативы, поэтому задача распознавания упрощается для различных языков по-разному; даже для словаря с высокой степенью фонетической неопределенности можно получить (за счет семантико-синтаксических ограничений) высокую точность иитер-Чрета11ии высказывания. Во-вторых, СРР используют разнообразные методы первичной обработки и представления речевых сигналов на ниж-них уровнях. С этим связана различная точность фонетической классификации , являющейся основой распознавания. Рассмотрим, как раз-
77
лишаются речевые сигналы на разных уровнях знания и как они используются при распознавании слов. Известно, что наибольшие оаибхи дают слова и фразы с близкой фонетической структурой, входящие в общий словарь распознавания. При этих условиях задача распознавания как изолированных слов, так и слитной речи усложняется, но синтаксис и другие высшие источники знаний о языке накладывают ограничения, которые сокращают неопределенности, тем самкл повкаая точность распознавания слов.
При выборе словаря СРР важно, как уже отмечалось, знать не только размер словаря, но и степень различимости слов. Для частных применений и малых словарей необходимо предварительно провести отбор и разумную замену слов, если позволяет задача, с целью увеличения различимости слов словаря. Поэтому целесообразно исследовать неопределенности, ограничения и сложности, встречаемые при использовании различных языков практических СРР.
Дзя того, чтобы показать влияние фонетической структуры слов словаря на сложность распознавания, рассмотрим, в качестве примера. три словаря: I) "А", "Б", "В"; 2) "ОДИН", "ДВА","ТРИ"; 3) "А", "П", "Г".
Сравнивая словари I и 2, нетрудно заметить, какой словарь легче распознавать. В данном случае интуитивно можно утверждать, что словарь 2)легче распознавать из-за более сложной фонетической структуры слов, так как можно привлечь больше дополнительной информации о последовательности звуков, составляющих слова.Сравнивая словари I) и 3)по сложности распознавания, трудно дать однозначный ответ, какой словарь легче распознавать объективными ме-тздами. Точность автоматической классификации слов словарями "А", "Б", "В" и "А", "П", "Г" сильно зависит от объективно регистрируемой степени акустического сходства элементов калиюто словаря, относящихся к различным классам, т.е. от методов первичной обработки и представления речевых сигналов, соответствующих этим словам, от порогов срабатывания устройств, преобразующих аналоговый сигнал в цифровой, и правил принятия решения.
Существующие системы распознавания изолированных слов показывают, что количество слов словаря (при одинаковой точности распознавания) не может быть, вообще говоря, мерой качества системы распознавания. В [139] исследуются два словаря: алфавитно-цифровой, содержащий 26 букв и 10 цифр, и словарь географических названий, состоящий из 250 слов. В результате была получена точность распознавания первого словаря 88,6% и второго 97,356. Хотя объем второго словаря почти на порядок больше, точность распознавания слов, входящих в этот словарь, выше. Можно предполо
жить, что это объясняется более сложной фонетической структурой слов второго словаря, которая и обеспечивает меньшие трудности при автоматическом распознавании.
В системах, работающих без подстройки под диктора, наиболее груднокдассифицируемыми звуками русской речи являются, как показано в С4, 26, 62, 97] , носовые и боковые сонорные согласниэ, звонкие взрывные и безударные гласные. Кроме того, следует отметить, что в опоеделенном фонетическим окружении даже звуки, относительно хорошо классифицируемые, в другом фонетическом контексте могут вызвать определенные трудности при автоматическом распознавании из-за аллофонных изменений, связанных с коар-уикуляцией. Все это следует учитывать при оценке сложности распознавания словаря в "неадаптивных" системах автоматического распознавания речи. Отметим, что на точность распознавания речи влияют также синтаксические ограничения, так как синтаксис языка определяет грамматические изменения словоформ и порядок следования слов.
Далее рассмотрим некоторые подходы, позволяющие, по нашему мнению, осуществлять относительное сравнение сложности распознавания словарей, и введем определения, связанные с оценкой качества автоматического распознавания слов проблемно-ориентированного языка.
2.2.2. Информационный критерий оценки фонетической неопределенности. При распознавании устной речи необходимо стремиться к тому, чтобы все фонемы классифицировались правильно, поэтому нас интересует распознавание полной последовательности фонетических единиц, составляющих высказывание. При этом основным источником неопределенности при распознавании речи является сам акустический сигнал. Еще большую неопределенность представляет параметрическое описание речевой волны. Рассмотрим неопределенности акустического сигнала и приведем меру оценки фонетической неопределенности. Используя эти мерь, можно оценить лексическую и фразеологическую неопределенности. Слитная речь расчленяется на последовательность сегментов по признакам способа образования звуков. К этим признакам добавляются признаки места образования,которые изменяются непрерывно как внутри сегментов, так и через их Границы С 91,97]. С некоторыми дискретными единицами-звуками речи - фонемами или квааифонемами сегменты связаны таким образом,что смысловые единицы речи (слова) представляются цепочкой фонем.
Большинство систем автоматического распознавания речи [79] преобразует речевой сигнал в такую фонемную цепочку, которая затем сравнивается с ожидаемыми в слове звуками. Процесс преоб-
79
разования речевого сигнала в последовательность фонем включает нахождение признаков, сегментацию и маркировку сегментов.
Опишем модель фонетической неопределенности, позволяющую оценивать результаты неправильного распознавания фонем. Далее будем использовать матрицу ошибок распознавания фонем и фонетическую структуру слов словаря при оценке лексической неопределенности.
Лексическая неопределенность будет иметь место тогда, когда слова неверно классифицируются из-за близости их фонетической структуры, т.е. последовательности параметров, определяющих эту структуру, на конкурирующих словах. Например, в словах "слезать" и "срезать" первичные параметры звуков, входящих в эти слова, сходны. Когда оба эти слова входят в один и тот же словарь,их точная классификация затруднена, поэтому их можно считать лексически неопределенными. В реальных системах, если позволяет задача, следует подбирать слова,чтобы такой ситуации не возникло.Приведем критерии сложности словаря для того, чтобы можно было оценить степень различимости словарей [63].
рассмотрим распознавание речи как процесс передачи речевой информации через канал с шумом и оценим информацию, теряющуюся в канале. Потерянная информация является мерой неопределенности или сложности распознавания фонем. В идеальном канале числи входных идеальных, полученных после сегментации высказывания экспертами-фонетистами, и выходных фонетических единиц должно быть одинаковым, а последовательность фонем на выходе должна соответствовать входной последовательности. Если же это условие не соблюдается, в канале теряется информация, и в зависимости от вели-vwi потерь можно говорить о большей или меньшей неопределенности классификации фонем. При практической оценке фонетической неопределенности в данной работе использовались система признаков [73] и алгоритм сегментации речи на семь типов сегментов:
V - гласный, Т - переходный, М - сонорный, L - низкочастотный, Н - высокочастотный, /? - шумный, П - пауза. Затем алгоритм маркировки ставил в соответствие каждому сегменту некоторый фонетический символ, используя априорно полученные гистограммы параметров. От надежности маркировки сегментов во многом зависит точность работы GPP.
Так как СРР рассматривается здесь как канал передачи информации, предположим, что имеются г возможных входных символов алфавита А и s возможных выходов алфавита В . Таким образом, СРР описывается канальной матрицей. На рис. 2.1 приводится схема канала передачи информации и канальной матрицы.
60
а, "г |
'и Рг, |
Р„ • • Р„ •• |
• • • P,s • • • Р„ |
* |
|||
• | |||
'. |
|||
"г |
^ |
Рг, • • |
• • Prs |
рис. 2.1. Блок-схема канала передачи иниормации и канальной матрицы
Канал передачи информации, используемой для описания системы распознавания речи, представленной цепочкой фонем, преобразует незашумденную последовательность звуков в выходную последовательность "машинных " фонем, содержащую ошибки пропуска, вставки слияния и замены звуков.
Символами Ar'l{a•|.} и ^s={Ц'} обозначены соответственно входной и выходной алфавиты фонем. Дхя простоты предполагается, что канал представляет собой независимый дискретный канал без памяти. Если р {Ь. /а^) - вероятность символа Ь- на выходе канала при подаче символа а^ , то этот канал передачи информации можно описать матрицей условных вероятностей Р = = [^(6//o,)J . Очевидно, Ј p( &/•/i=f~r. На рис. 2.2 приводится пример матрицы условных вероятностей при распознавании изолированных звуков.
Пусть элемента входного фонетического алфавита {аЛ появляются на входе с некоторой априорной вероятностью р(а ),р(а ),-.. ••.,/?(а^), а элементы алфавита [Ь. на виходв - с вероятностью P(ti,), p(by),..., р(.Ьу) • Как отмечено ранее, работу канала передачи входного ад^евита {а^} кластеризует канальная ма'грипа,поэт<аду
(2.1)
Символ | а | о | и |
0,69 0.10 0.01
Апостериорная вероятность того, '•то, если в результате распознавания Получили фонеыу Ь, , то на вход поступила фонема а^ , определяется по Формуле Байеса
Зак.480 у
0,15 0,75 0,10
0,01 0,10 0,89
Рис. 2.2. Ilptttcap мктрицы условных вероятностей распознавания изолированных звуков
(2.2)
Ииормацня 7(а^; Ь ), получаемая от канала, когда на его вход потупила фонема а.^ , а на выходе распозналась как 6, , опредедется [91]
. , p^Jbj)
l^ib^lo
С]»дняя информация, получаемая на выходи канаха с потерями при жредаче (распознавании) входного алфавита фонем A:={a•^, которШ распознается как алфавит в = { ^ } , будет
UA,B)=^p(a„^)Ha^^)=
^^,6,)^^/^-а,в' L J у? р(а,)
=-ip(a„b-)lo^p(ai)^p(a^b,)io^p(a,/^)^
^,0 /1,0
=-ip(a,)log,p(a^lp(a,^toy^p(a,/ 6,);
л, в
I (А ,В) = Н W^P^, ^}to^f){a, /Ь,). (2.4)
л, в
С»метим, чтоН(Л)- энтропия, характеризующая степень неоп-редвдедости входного алфавита А-=-{а^] . Из (2.4) подучаем,что
H(A)-I(A,S)=-^p(a,,b..)iw,p(ai/b^=
Л, о
=-рР(^/Ь/)р(Ь,)1о^р(а,/6,)-
Д,В
=-^р(^-)^/?1'а,/^-)^/)(^./^.)= Н(А/В); (2.5)
Н(А^)- апостериорная ентропия входного алфавита фонем, которая 82
характеризует меру информации, теряемой в системе распознавания дрй передаче входного алфавита { я^} . Апостериорная внтропия и является мерой, оценивающей сложность входного словаря для автоматического распознавания при фиксированном параметрическом описании.
При наличии значений энтропии входного алфавита фонем можно вычислить размер (объем), равный У'"', а значения 2 vw характеризуют среднее количество возможных альтернативных (конкурентных) элементов алфавита {о I на входе СРР после того, как на выходе получили множество { 6 } , т.е. меру сложности распознавания входного алфавита фонем. Назовем эту меру эквивалентным размером алфавита фонем. Значение у"^0' можно назвать энтропийным критерием оценки фонетической неопределенности, который является обобщенной характеристикой сложности распознавания алфавита фонем < а^ данной системы распознавания. Если СРР работает без ошибок, условная энтропия Н(А/В)вО и эквивалентный размер алфавита фонем 2"("/°' = i. Естественно, что если Н(А/В)»0, то Z"^^!, а в случае, когда СРР не распознает Н(А/В)=Н(А), то эквивалентный размер алфавита фонем равен Z"^
Эквивалентный размер алфавита фонем дает возможность количественно оценить среднее число возможных конкурентных фонем (имеющие близкие параметрические описания), и для его определения необходимо знать апостериорные вероятности p(a^/b-) входного алфавита.
Для решения конкретных проблем автоматического распознавания ограниченных наборов слов взе многообразие фонем можно свести к двум-трем рабочим фонетическим единицам (например,к классам длительных шумных, звонких и смычных звуков), которые При использовании простой системы признаков к несложных алгоритмов распознавания дают нулевую апостериорную энтропию. Однако ври решении задачи распознавания относительно сложных словарей и/иди требование надежной фонетической верификаций произнесенного слова такого количества рабочих фонем сказывается явно недостаточно. Работать Же с полным набором фоней "ложно из-за ошибок их автоматического распознавания. Поэтому к приходится идти на компромиссные решения - искать какой-то оптимуи при фонетическом описании рабочих словоформ. Эти проблемы будут частично рас-емотрены в а. 2.2.3.
Условные вероятности распознавания фонем ^(6,/д.), определяющие эквивалентный размер фонетического алфавита, можно опре-• Делить несколькими методами.
83
Статистический мегод позволяет получать вероятности распознавания фонем, используя реальную СРР. ото осуществляется путем сравнения результата распознавания системы с точной ручной сег~ ментацией и маркировкой речевого сигнала (иди его параме-гричес-кого представления), поступающего на вход системы распознавания. В результате получается классическая матрица правильной и оаибочной классификации входного алфавита фонем.
Акустико-параметрический метод, когда матрица ошибок классификации фонем получается путем прямого сравнения их параметрического описания. При этом эталон фонемы выбирается из множества реализации данной фонемы. Расстояние между фонемами используется для оценки условных вероятностей ошибочной классификации фонем. Точность этого метода зависит от выбранного эталона и объема исследовательского материала.
Кроме этих методов, оценку вероятности ошибочной классификации фонем можно произвести на основе моделирования речеобразующе-го тракта человека [73.
^.2.3. Оценка сложности распознавания слов по их фонетичес-кой структуре. Рассмотрим неадаптивную систему распознавания слов как канал передачи информации. Слова входного словаря V= ^Я.,У„,... ..., V.,..., v„} можно представить последовательностью фонетичес-
'• f Г Г /* 1
~ " /•> ' * о JiHftBa п^гуппылрп ^ЛП—
НИХ СИМВОЛОВ V
а^ , af , . . . , af , а слова выходного сло-11 г "- 1
варя канала W= {
'I 2 " ^ "1 ^,,^,.. . W -.^}
цепочками
_^.. „_..... квазифонетических эталонов iff, -- i bj , bj , . . . , bj } , где Q^ e А , Ъ, f- В - соответственно входной и выходной алфавиты фонем канала; г= /, R ; s= /, 5 ; л= п(г) ; 1= l(s). Тогда оценку сложности распознавания слов, производимого сравнением входной реализации с цепочками квааифонетических эталонов, можно осуществить на основании анализа матрицы ошибок, подученной при представлении эталонов слов Wy ё. W поверхностными формами й^ f Wg , k^ f,Ky каждого выходного слова. Фактически сложность распознавания входного словаря V