Презентация на тему: Основные классы естественно-языковых систем. Системы распознавания речи

Новые информационные технологии Харламов Александр Александрович © 2012 МГЛУ Ин. яз. им. М. Тореза

Лекция № 2. Основные классы естественно-языковых систем. Системы распознавания речи

Основные классы естественно-языковых систем Средства распознавания речи распознают голосовую (речевую) информацию и преобразуют ее в последовательность символов 13

Основные классы естественно-языковых систем Средства распознавания речи распознают голосовую (речевую) информацию и преобразуют ее в последовательность символов 13

7 Структура коммуникационной системы для организации речевого поведения

8 Информационно-кодовая модель коммуникации Шеннона и Уивера

10 Адресант передает, а адресат принимает одно из группы событий (классов, к которым относятся передаваемые и получаемые сообщения). Группа событий обладает следующими свойствами (она - полная): 1) все события попарно несовместны: ; 2) их объединение образует пространство элементарных исходов : Правило Байеса

11 Правило Байеса Пусть - полная группа событий и – некоторое событие. Тогда по формуле Байеса исчисляется вероятность реализации гипотезы при условии, что событие А произошло. Здесь А – конкретное наблюдение (измерение). - априорная вероятность гипотезы - апостериорная вероятность известны функции распределения вектора признаков для каждого класса

12 Правило Байеса В случае двух классов и , если то классифицируется в , иначе в .

13 Правило Байеса

14 Правило Байеса

15 Информационно-кодовая модель коммуникации Шеннона и Уивера, модифицированная для коммуникационного акта Якобсоном

3 Автоматическое распознавание речи Общая блок-схема ориентированной на задачу системы распознавания-синтеза речи

20 Речевая волна во временной и частотной областях

уровень семантических представлений (словарь попарной сочетаемости слов) синтаксический уровень (словарь синтаксем) лексикон (словарь корневых основ) морфологический уровень (словарь окончаний) акустико-фонетический уровень Процесс восприятия речи человеком Структура речевой информации 31

Системы распознавания речи 1. Системы покомандного распознавания 2. Системы распознавания ключевых слов в потоке слитной речи 3. Системы распознавания связной речи 4. Системы распознавания слитной речи 54

Системы покомандного распознавания Средства голосового ввода, управления и сбора данных предназначены для ввода голосовых команд, управляющих работой некоторой системы (например бытовой техникой) 14

лексикон (словарь корневых основ) акустико-фонетический уровень Системы покомандного распознавания 31

38 1) Формирование вектора признаков 2) Сегментация 3) Сравнение входного и эталонных образов 4) Принятие решения Покомандное распознавание речи Базовый алгоритм покомандного распознавания

39 Покомандное распознавание речи Имеется три основных подхода к покомандному распознаванию речи 1. Подход, основанный на распознавании образов 2. Акустико-фонетический (структурный) подход 3. Подход, основанный на использовании искусственных нейронных сетей

44 Подход, основанный на распознавании образов Блок-схема распознавателя речи на основе подхода, основанного на распознавании образов

47 Подход, основанный на распознавании образов Алгоритм включает четыре основных шага: 1) Измерение первичных признаков речевого сигнала. Вычисляются спектральные признаки, либо с помощью гребенки фильтров, либо с помощью линейного предсказывающего кодирования, либо с помощью Дискретного преобразования Фурье 2) Формирование эталонов (обучение). Эталоны формируются с помощью некоторых усредняющих процедур. Это может быть модель, характеризующая статистику признаков эталона.

47 Подход, основанный на распознавании образов Алгоритм включает четыре основных шага: 3) Классификация, во время которой входной образ сравнивается с эталонами. Сравнение образов, которые есть последовательность векторов признаков, осуществляется с использованием как локального расстояния между двумя синхронными векторами, так и глобальной выравнивающей во времени процедуры (чаще всего, это процедура динамического программирования), которая компенсирует различные скорости произнесения входного и эталонного образов 4) Принятие решения

45 Подход, основанный на распознавании образов Достоинства подхода: 1. Простота. Он легко интерпретируется 2. Имеется хорошо развитый математический аппарат для всех процедур подхода 3. Устойчивость и инвариантность к различным словарям, пользователям, выбору признаков, использования алгоритмов сравнения образов и принятия решения, а также групп дикторов, используемого оборудования, канала 4. Не зависит от выбора речевой единицы: от фонемы до фразы. Дает хорошие результаты в широком круге задач

46 Подход, основанный на распознавании образов Недостатки: 1. Чувствительность к объему обучающей выборки 2. Подверженность качества распознавания влиянию шума 3. Неиспользование лингвистической информации 4. Большая вычислительная емкость

41 Акустико-фонетический подход Фонетические гипотезы, полученные при распознавании строки слов «all about»

41 Акустико-фонетический подход Диаграмма классификации стандартных фонем американского английского в широкие звуковые классы

42 Акустико-фонетический подход Бинарное дерево классификации речевых звуков

42 Акустико-фонетический подход Акустико-фонетический классификатор гласных

40 Сравнение подходов, основанного на распознавании образов и на основе акустико-фонетического анализа

51 Подход, основанный на искусственных нейронных сетях Многослойный персептрон для классификации гласных, основанной на формантных измерениях

Искусственные нейронные сети Трехслойный персептрон * - сравнивает с порогом - вычисляет сумму

52 Подход, основанный на искусственных нейронных сетях Нейронная сеть с задержками

38 1) Формирование вектора признаков 2) Сегментация 3) Сравнение входного и эталонных образов 4) Принятие решения Покомандное распознавание речи Базовый алгоритм покомандного распознавания

60 Оцифровка речевого сигнала

53 Первичная обработка Наиболее характерные подходы: 1. Спектральный анализ 2. Антропоморфная модель

57 Спектральный анализ Типичный вид речевой волны и ее спектра в модели анализа на основе гребенки фильтров

54 Спектральный анализ На основе гребенки фильтров

54 Спектральный анализ На основе гребенки фильтров

21 Представление речи в виде формантных траекторий Для последовательности «Why do I owe you a letter»

21 Сегментация Сегментация и разметка для последовательности «did-you»

75 Принятие решения Динамическое программирование Байесовское правило Скрытые Марковские модели

75 Принятие решения Ключевым вопросом в распознавании речи является вопрос сравнения входного образа с эталонными образами с целью выяснения степени их подобия Обычно входной и эталонный образы имеют разную длину

75 Принятие решения Сравниваемые образы не могут быть нормализованы по длительности, поскольку различные типы звуков имеет различные возможности по удлинению произнесения Необходимо найти способ сравнения спектральных векторов такой, чтобы можно было вычислять глобальную меру совпадения образов

76 Динамическое программирование

83 Адресант передает, а адресат принимает одно из группы событий (классов, к которым относятся передаваемые и получаемые сообщения). Группа событий обладает следующими свойствами (она - полная): 1) все события попарно несовместны: ; 2) их объединение образует пространство элементарных исходов : Правило Байеса

11 Правило Байеса Эти вероятности можно оценить методами математической статистики на множестве прецедентов. , где - число прецедентов из , - общее число прецедентов. - гистограмма распределения вектора признаков для прецедентов из класса .

11 Системы покомандного распознавания Классы ЕЯ систем Уровни представления информации (функции) Акустико-фонети-ческий Морфоло-гический Лекси-ческий Синтакси-ческий Модель мира Прагма-тический Сравнение (классификация) Системы распознавания речи Системы покомандного распозна-вания + - + - - - +

Системы распознавания слитной речи Системы типа «Речь-текст» предназначены для распознавания слитной речи (например для диктовки деловой корреспонденции) 14

39 Распознавание слитной речи Имеется два подхода к распознаванию слитной речи: 1. Подход, основанный на распознавании образов 2. Структурный подход

44 Подход, основанный на распознавании образов Блок-схема распознавателя речи на основе подхода, основанного на распознавании образов

уровень семантических представлений (словарь попарной сочетаемости слов)уровень семантических представлений (словарь попарной сочетаемости слов)синтаксический уровень (словарь синтаксем)лексикон (словарь корневых основ)морфологический уровень (словарь окончаний)акустико-фонетический уровень

90 Подход, основанный на распознавании образов Модель фонемы

94 Подход, основанный на распознавании образов Составление эталонных сигналов слов из фонем в соответствие с моделью произношения sкін. 1 1 1 1 1 0 1 1 1 1 1 0 sпоч. 1 1 1 1 1 0 1 1 1 sпоч. sкін. 1 1 1 1 1 0 1 1 1 1 1 0 sпоч. sкін. 1 1 0 k = 1 k = 2 k = 3

97 Подход, основанный на распознавании образов Модель предложения с произвольным порядком следования моделей слов и моделей фонем в предложении

44 Подход, основанный на распознавании образов Блок-схема распознавателя речи на основе подхода, основанного на распознавании образов

48 Структурный подход «Снизу-вверх» подход интеграции знаний для Распознавания слитной речи

49 Структурный подход «Сверху-вниз» подход к интеграции знаний для распознавания слитной речи

50 Структурный подход Подход, основанный на концепции классной доски для интеграции знаний

50 Структурный подход Взаимодействие между источниками знаний разных уровней

50 Структурный подход Частичные гипотезу на разных уровнях

52 Модель языка на основе многослойного персептрона Структурный подход (синтаксический уровень)

11 Системы распознавания слитной речи Классы ЕЯ систем Уровни представления информации (функции) Акустико-фонети-ческий Морфоло-гический Лекси-ческий Синтакси-ческий Модель мира Прагма-тический Сравнение (классификация) Системы распознавания речи Системы распозна-вания слитной речи + + + + + -(+) +

4 Сравнение эффективности распознавания человеком и искусственными системами Задача Процент ошибок человека Процент ошибок ИСРР База \"TI46\", SNR ~60 дБ Звуки, обозначающие буквы алфавита 1.6% 1 5% 2 База \"TI digits\", SNR ~60 дБ Цифровые последовательности 0.009% 0.72% 0.105% 3 База \"Resource Management\", SNR ~60 дБ (словарь 1000 слов, языковое моделирование) 0.1% 3.6% База \"Resource Management\", SNR ~60 дБ (словарь 1000 слов, нет модели языка) 2% 17% База \"Wall Street Journal\", SNR ~60 дБ (словарь 5000 слов, чтение) 0.9% 7.2%

4 Сравнение эффективности распознавания человеком и искусственными системами (продолжение) База \"Switchboard\", SNR ~60дБ (задача распознавания спонтанной речи) 4% 43% База “Corpus of Spontaneous Japanese”, SNR ~ 60 дБ (задача распознавания спонтанной речи) 4% 9% База \"Switchboard\", SNR ~60 дБ (задача выделения 20 ключевых слов) 12.8% 4 31.1% 7.4% 5 Слитная речь, SNR ~60 дБ (словарь 20000, чтение) 2.6% 12.6% 1 - распознавание последовательностей 2 - распознавание изолированных слов 3 - распознавание вокодерной речи (модель линейного предсказания 12-го порядка) 4 - отсутствие контекста, бессмысленный поток слов 5 - осмысленный контекст ~ 2 сек

4 Сравнение эффективности распознавания человеком и искусственными системами в условиях шума Отношение Сигнал-Шум Процент ошибок человека Процент ошибок ИСРР SNR ~60 дБ ~1% ~1% SNR 18 дБ ~1% ~10% SNR 12 дБ ~1% ~25% SNR 6 дБ ~1% ~60% SNR 0 дБ ~1% ~100%

4 Диалог человека и машины Существует два типа таких систем Системы первого типа ведут человека, следуя четкому порядку заполнения определенных форм. Примером такой системы может стать заказ билетов. В каждом из состояний система настраивается на распознавание заранее приготовленных атрибутов, допуская варианты возврата к предыдущему шагу или выходу из системы В системах второго типа человеку отводится роль собеседника, который может сам проявлять интерес к разным аспектам информации, задавая любые вопросы.

3 Общая блок-схема ориентированной на задачу системы речевого диалога Диалог человека и машины

4 Диалог человека и машины Классификация систем устного диалога по направлению потока информации Тип системы Поток информации Примеры Объяснение Система Пользователь Прокладка маршрута, обучение Заполнение форм Пользователь Система Покупки по телефону, перенаправление абонента Получение информации Пользователь Система Резервирование гостиницы, поиск литературы

4 Диалог человека и машины Классификация систем устного диалога по структуре информации Структура информации Тип системы Распознавание речи Семантическая интерпретация Стратегия диалога Реляционная БД Запрос к БД Ограничен-ное граммати-кой, заданной экспертом Отображение результата понимания на SQL-запрос Заполнение необходимых форм и подтверждение второстепенных ЕЯ текст Извлечение документа Статисти-ческая модель Извлечение информации (векторно-простран-ственная модель) Уточнение запросов и ограничение совпадающих элементов