Научная школа «СИСТЕМЫ РЕАЛЬНОГО ВРЕМЕНИ»
Научный руководитель:
АЗАРОВ Илья Сергеевич
доктор технических наук наук, профессор
Год создания научной школы: 1984 год.
Основатель научной школы: Петровский Александр Александрович, доктор технических наук, профессор
Основные направления научных исследований, проводимых в рамках научной школы:
Исследования, проводимые в рамках научной школы, соответствуют приоритетному направлению фундаментальных и прикладных НИР на 2011-2015гг, утвержденные постановлением Совета Министров РБ от 19.04.2010г. N585: «5.4. Математические и интеллектуальные методы, информационные технологии и системы распознавания и обработки образов, сигналов речи и мультимедийной информации»:
- проектирование проблемно-ориентированных средств вычислительной техники реального времени для задач цифровой обработки сигналов, в частности, для обработки речевых и аудио сигналов, а также компрессии изображений на основе многополосного вейвлет-преобразования, в основу которого положен параунитарный банк фильтров (ПУБФ) на кватернионах;
- математические основы построения процессоров с динамически реконфигурируемой архитектурой;
- теория синтеза банков цифровых фильтров и методология их быстрого прототипирования для применения в слуховых аппаратах;
- методы компрессии изображений по принципу lossy-to-lossless (L2L): без потерь на основе параунитарных банков фильтров в алгебре кватернионов;
- создание научных основ антропоморфического анализа и параметрического представления речевого сигнала в виде квазипериодической и стохастической составляющих, позволяющих получать специфическое, локализованное по времени и частоте описание сигнала, которое имеет непосредственную связь с физическим процессом речеобразования и легко интерпретируется в терминах основных просодических параметров. Это позволит по новому решать задачи построения низкоскоростных вокодеров и систем подавления шумов в речевом сигнале, а также найти эффективные решения распознавания речи, идентификации дикторов.
Количественный и качественный состав научной школы: 14 ученых. Из них: молодых ученых - 3, докторов наук - 1, кандидатов наук - 7, аспирантов - 5, докторантов - 1.
Основные научные результаты:
В настоящее время научные исследования осуществляются в области фундаментальных работ и проблемно-ориентированных проектов:
• Развиваются специальные методы параметрического представления речевого сигнала в виде квазипериодической и стохастической составляющих, что позволяет получить специфическое, локализованное по времени и частоте описание сигнала, которое имеет непосредственную связь с физическим процессом речеобразования и легко интерпретируется в терминах основных просодических параметров. Разработка специальных методов мгновенного гармонического анализа необходима для точного разделения сигнала на составляющие и обеспечения высокого качества синтезированного сигнала. Применение параметрического представления сигнала в методах конверсии голоса, позволяет изменить индивидуальные особенности диктора, что делает возможным синтезировать речь разными голосами, можно достичь многократного сжатия акустической базы данных для синтезаторов речи по тексту, более высокого качества выходного сигнала за счет выполнения синтеза речи в параметрическом виде, а также реализовать функцию озвучивания текста различными голосами за счет предложенных методов конверсии. Разработанная методология анализа, обработки и синтеза речевых сигналов, например, сделает возможным 1) создание портативного устройства синтеза речи по тексту с мультиголосовыми возможностями; 2) концепция использования мгновенных гармонических параметров для частотно-модулированных сигналов с целью получения более точного параметрического описания звука и речи позволяет усовершенствовать системы мультимедиа для обработки аудио и речевых сигналов: системы синтеза речи по тексту, масштабируемые аудио кодеры, вокодеры с низкой скоростью передачи (от 1,2 бит/сек) при высоком качестве восстановления речевого сигнала, системы подавления шума окружающей среды (агрессивная среда SNR ниже -10дБ) в речевом сигнале, конверторы голоса, и голосовые процессоры.
• Новый подход проектирования и реализации 4-х и 8-ми канальных ПУБФ на основе теории гиперкомплексных чисел, в частности, кватернионов, которая еще не применялась в области синтеза и анализа цифровых банков фильтров. Здесь умножитель кватернионов представлен как альтернативный модуль построения ПУБФ и может расцениваться как обобщение планарных оборотов Гивенса. Представленные решетчатые структуры ПУБФ на кватернионах являются системами без потерь, несмотря на квантование коэффициентов и могут рассматриваться как расширение классических двух канальных решетчатых структур, разработанных Вайдианасаном и Хоангом. Более того, предложенный подход дает возможность непосредственного выражения условия регулярности первого порядка, которое зафиксировано в значениях коэффициентов решетчатой структуры ПУБФ и, следовательно, может легко удовлетворяться даже для арифметики с конечной точностью вычислений. Таким образом, данная теория синтеза решетчатых структур ПУБФ на кватернионах представляет большой интерес с практической точки зрения обработки сигналов и является хорошей альтернативой стандартной технике построения ПУБФ.
• Применение Фурье с неравномерным частотным разрешением (warped DFT (WDFT)) в перцептуальной системе редактирования шума не только как базиса для определения модели маскирования, но и как инструмента спектрального анализа, позволяет добиться лучшего качества реконструированного речевого сигнала по сравнению с системами на основе ДПФ. Это объясняется тем, что весь процесс обработки осуществляется в перцептуальном домене с неравномерной частотной шкалой и нет необходимости в преобразованиях между разными частотными шкалами, что приводит к упрощению архитектуры системы. Более того, обработка речи, осуществляемая в критических частотных полосах, более точна в контексте психоакустического моделирования. Исследования показывают, что малоформатное WDFT может успешно заменить ДПФ с большой длиной выборки. Это оказалось возможным благодаря тому, что WDFT позволяет разместить частотные компоненты в соответствии с распределением критических частотных полос, поэтому в психоакустической модели на базе WDFT могут быть уравновешены как хорошее частотное, так и временное разрешение.
• Методологический и математический подходы для представления, синтеза и реализации динамически реконфигурируемых процессоров реального времени систем мультимедиа, в частности, предложен метод синтеза физически реализуемых операторов для динамической трансформации алгоритма вычисления пакетного дискретного вейвлет преобразования под заданный частотно-временной план.
• Криптоакселераторы на основе FPGA и FPGA кластеров
• Встраиваемые аппаратные IP ядра процессора декодера стандарта AVC/MPEG4 part 10H.264, декодер контекстно-адаптивного двоичного арифметического кодирования CABAC. IP ядро процессора декодера стандарта AVC/MPEG4 part 10 h.264 и программного модуля JAVA анализатора мультимедиа данных, выполненные в рамках х/д 08-1047 (1.05.2008 - 31.12.2008гг.): «Разработка инструментальных средств и IP ядер для средств мультимедиа на платформе ML-401» N ГР 2008173: технология внедрена и используется компанией «НТЛаб-системы» г.Минск в составе системы передачи цифрового видеоизображения с борта беспилотного авиационного аппарата
Внедрение основных результатов:
• Многоканальная селекция сигнала на основе ПДВП - внедрено в блок МЧП2 в серийно выпускаемую телефонную станцию BETAMв ОАО МПОВТ (2006);
• Защита звуковых и речевых записей на основе встраивания «водяных знаков» (обработка в вейвлет области) - внедрено в серийно выпускаемое изделие «Pi-card» (производство ООО «Энигма») (2004) ;
• Реконфигурируемая вычислительная платформа на базе TMS320C6713 и XC3S200 - низкоскоростной вокодер (2.4, 4.8 кбит/с.) используется управлением правительственной связи, КГБ Республики Беларусь (2007);
• Системы объективного тестирования качества реконструированного звука на основе адаптивного ПДВП, а также на основе критериев искажения спектра барков - использованы в ГЦБИ при президенте РБ (2006);
• Алгоритм согласованной подгонки на основе ПДВП - использованы в НИР (УП НТЛаб) (2008);
• Параметрический кодер на базе модели SNT, HNT - использованы в НИР (УП НТЛаб) (2008).
Научные связи с отечественными научными организациями и международным научным сообществом:
Международное сотрудничество:
Россия:
- консультант проекта «Равис» - аудиовизуальная информационная система реального времени, выполняемого по программе Сколково, г.Москва, Главный радиочастотный центр (проф. Петровский А.А.);
- приглашенный научн. руководитель (проф. Петровский А.А.) проекта «Мониторинг широкого частотного диапазона с использованием банков цифровых фильтров на высокопроизводительной аппаратно-программной базе» от 27.08.2012г. N2/20/3, выполняемого по федеральной целевой программе «Научные и научно-педагогические кадры инновационной России», ЛЭТИ, Санкт-Петербург;
- Рязанский государственный радиотехнический университет, кафедра ТОР, проф. Витязев В.В.;
- ЗАО «Сканти-рус» - официальный представитель фирмы «TexasInstruments», г. Москва: университетская программа, в рамках которой открыт консультационный центр и учебный класс DSP-процессоров (договор о сотрудничестве БГУИР и ЗАО «Сканти-рус», от 2004г.);
- ООО «БИФРИ», Санкт-Петербург: контракт от 24 октября 2012г. на оказание консультационных услуг по вопросам параметрической обработки речи на основе анализа мгновенных гармонических параметров сигнала.
Испания:
- Университет г. Алкала: выполнение двух проектов в рамках БРФФИ
Польша:
- Белостокский политехнический институт, факультет информатики: подготовка магистров и докторов инженеров.
Китай:
Шанхайский университет: выполнение двух проектов в рамках программы НТС между Китаем и Беларусью.
Связь с отечественными научными организациями:
ОИПИ НАН Беларуси: НИР 12-1099Б «Конверсия голоса для синтезатора речи по тексту» (2012-2014) (Петровский А.А.. Лобанов Б.М.); чтение спецкурса проф. д.т.н. Бибило П.Н. «Основы проектирования ЭВС, часть 1», «Основы проектирования ЭВС, часть 2 - язык описания аппаратуры VHDL»; Алексеев Г.И. д.т.н., профессор выступает в качестве председателя ГЭК выпускников специальности, магистратуры; организация совместных конференций; рецензирование диссертаций на соискание ученых степеней канд. техн. науки д.т.н.; работа в редколлегии журнала «Информатика» (Петровский А.А.).
Национальный научно-исследовательский центр (ННИЦ) прикладных проблем математики и информатики, г.Минск. За отчетный период проведено 3 НИР с объемом финансирования около 200 млн. руб.
Инженерный центр «НТЛаб-системы»:НИР х/д 08-1047 «Разработка инструментальных средств и IP-ядер для средств мультимедиа на платформе ML-401» (2008); создана совместная учебно-научно-производственная лаборатория «Кафедра ЭВС - НТЛаб» (22.10.2007); чтение лекций и проведение семинаров сотрудниками кафедры ЭВС и НИЛ 3.1 для работников компании по вопросам цифровой обработки аудио и видео сигналов, а также подготовка через магистратуру и аспирантуру кадров высшей квалификации для НТЛаб.
Основатель научной школы: Петровский Александр Александрович, доктор технических наук, профессор
Основные направления научных исследований, проводимых в рамках научной школы:
Исследования, проводимые в рамках научной школы, соответствуют приоритетному направлению фундаментальных и прикладных НИР на 2011-2015гг, утвержденные постановлением Совета Министров РБ от 19.04.2010г. N585: «5.4. Математические и интеллектуальные методы, информационные технологии и системы распознавания и обработки образов, сигналов речи и мультимедийной информации»:
- проектирование проблемно-ориентированных средств вычислительной техники реального времени для задач цифровой обработки сигналов, в частности, для обработки речевых и аудио сигналов, а также компрессии изображений на основе многополосного вейвлет-преобразования, в основу которого положен параунитарный банк фильтров (ПУБФ) на кватернионах;
- математические основы построения процессоров с динамически реконфигурируемой архитектурой;
- теория синтеза банков цифровых фильтров и методология их быстрого прототипирования для применения в слуховых аппаратах;
- методы компрессии изображений по принципу lossy-to-lossless (L2L): без потерь на основе параунитарных банков фильтров в алгебре кватернионов;
- создание научных основ антропоморфического анализа и параметрического представления речевого сигнала в виде квазипериодической и стохастической составляющих, позволяющих получать специфическое, локализованное по времени и частоте описание сигнала, которое имеет непосредственную связь с физическим процессом речеобразования и легко интерпретируется в терминах основных просодических параметров. Это позволит по новому решать задачи построения низкоскоростных вокодеров и систем подавления шумов в речевом сигнале, а также найти эффективные решения распознавания речи, идентификации дикторов.
Количественный и качественный состав научной школы: 14 ученых. Из них: молодых ученых - 3, докторов наук - 1, кандидатов наук - 7, аспирантов - 5, докторантов - 1.
Основные научные результаты:
В настоящее время научные исследования осуществляются в области фундаментальных работ и проблемно-ориентированных проектов:
• Развиваются специальные методы параметрического представления речевого сигнала в виде квазипериодической и стохастической составляющих, что позволяет получить специфическое, локализованное по времени и частоте описание сигнала, которое имеет непосредственную связь с физическим процессом речеобразования и легко интерпретируется в терминах основных просодических параметров. Разработка специальных методов мгновенного гармонического анализа необходима для точного разделения сигнала на составляющие и обеспечения высокого качества синтезированного сигнала. Применение параметрического представления сигнала в методах конверсии голоса, позволяет изменить индивидуальные особенности диктора, что делает возможным синтезировать речь разными голосами, можно достичь многократного сжатия акустической базы данных для синтезаторов речи по тексту, более высокого качества выходного сигнала за счет выполнения синтеза речи в параметрическом виде, а также реализовать функцию озвучивания текста различными голосами за счет предложенных методов конверсии. Разработанная методология анализа, обработки и синтеза речевых сигналов, например, сделает возможным 1) создание портативного устройства синтеза речи по тексту с мультиголосовыми возможностями; 2) концепция использования мгновенных гармонических параметров для частотно-модулированных сигналов с целью получения более точного параметрического описания звука и речи позволяет усовершенствовать системы мультимедиа для обработки аудио и речевых сигналов: системы синтеза речи по тексту, масштабируемые аудио кодеры, вокодеры с низкой скоростью передачи (от 1,2 бит/сек) при высоком качестве восстановления речевого сигнала, системы подавления шума окружающей среды (агрессивная среда SNR ниже -10дБ) в речевом сигнале, конверторы голоса, и голосовые процессоры.
• Новый подход проектирования и реализации 4-х и 8-ми канальных ПУБФ на основе теории гиперкомплексных чисел, в частности, кватернионов, которая еще не применялась в области синтеза и анализа цифровых банков фильтров. Здесь умножитель кватернионов представлен как альтернативный модуль построения ПУБФ и может расцениваться как обобщение планарных оборотов Гивенса. Представленные решетчатые структуры ПУБФ на кватернионах являются системами без потерь, несмотря на квантование коэффициентов и могут рассматриваться как расширение классических двух канальных решетчатых структур, разработанных Вайдианасаном и Хоангом. Более того, предложенный подход дает возможность непосредственного выражения условия регулярности первого порядка, которое зафиксировано в значениях коэффициентов решетчатой структуры ПУБФ и, следовательно, может легко удовлетворяться даже для арифметики с конечной точностью вычислений. Таким образом, данная теория синтеза решетчатых структур ПУБФ на кватернионах представляет большой интерес с практической точки зрения обработки сигналов и является хорошей альтернативой стандартной технике построения ПУБФ.
• Применение Фурье с неравномерным частотным разрешением (warped DFT (WDFT)) в перцептуальной системе редактирования шума не только как базиса для определения модели маскирования, но и как инструмента спектрального анализа, позволяет добиться лучшего качества реконструированного речевого сигнала по сравнению с системами на основе ДПФ. Это объясняется тем, что весь процесс обработки осуществляется в перцептуальном домене с неравномерной частотной шкалой и нет необходимости в преобразованиях между разными частотными шкалами, что приводит к упрощению архитектуры системы. Более того, обработка речи, осуществляемая в критических частотных полосах, более точна в контексте психоакустического моделирования. Исследования показывают, что малоформатное WDFT может успешно заменить ДПФ с большой длиной выборки. Это оказалось возможным благодаря тому, что WDFT позволяет разместить частотные компоненты в соответствии с распределением критических частотных полос, поэтому в психоакустической модели на базе WDFT могут быть уравновешены как хорошее частотное, так и временное разрешение.
• Методологический и математический подходы для представления, синтеза и реализации динамически реконфигурируемых процессоров реального времени систем мультимедиа, в частности, предложен метод синтеза физически реализуемых операторов для динамической трансформации алгоритма вычисления пакетного дискретного вейвлет преобразования под заданный частотно-временной план.
• Криптоакселераторы на основе FPGA и FPGA кластеров
• Встраиваемые аппаратные IP ядра процессора декодера стандарта AVC/MPEG4 part 10H.264, декодер контекстно-адаптивного двоичного арифметического кодирования CABAC. IP ядро процессора декодера стандарта AVC/MPEG4 part 10 h.264 и программного модуля JAVA анализатора мультимедиа данных, выполненные в рамках х/д 08-1047 (1.05.2008 - 31.12.2008гг.): «Разработка инструментальных средств и IP ядер для средств мультимедиа на платформе ML-401» N ГР 2008173: технология внедрена и используется компанией «НТЛаб-системы» г.Минск в составе системы передачи цифрового видеоизображения с борта беспилотного авиационного аппарата
Внедрение основных результатов:
• Многоканальная селекция сигнала на основе ПДВП - внедрено в блок МЧП2 в серийно выпускаемую телефонную станцию BETAMв ОАО МПОВТ (2006);
• Защита звуковых и речевых записей на основе встраивания «водяных знаков» (обработка в вейвлет области) - внедрено в серийно выпускаемое изделие «Pi-card» (производство ООО «Энигма») (2004) ;
• Реконфигурируемая вычислительная платформа на базе TMS320C6713 и XC3S200 - низкоскоростной вокодер (2.4, 4.8 кбит/с.) используется управлением правительственной связи, КГБ Республики Беларусь (2007);
• Системы объективного тестирования качества реконструированного звука на основе адаптивного ПДВП, а также на основе критериев искажения спектра барков - использованы в ГЦБИ при президенте РБ (2006);
• Алгоритм согласованной подгонки на основе ПДВП - использованы в НИР (УП НТЛаб) (2008);
• Параметрический кодер на базе модели SNT, HNT - использованы в НИР (УП НТЛаб) (2008).
Научные связи с отечественными научными организациями и международным научным сообществом:
Международное сотрудничество:
Россия:
- консультант проекта «Равис» - аудиовизуальная информационная система реального времени, выполняемого по программе Сколково, г.Москва, Главный радиочастотный центр (проф. Петровский А.А.);
- приглашенный научн. руководитель (проф. Петровский А.А.) проекта «Мониторинг широкого частотного диапазона с использованием банков цифровых фильтров на высокопроизводительной аппаратно-программной базе» от 27.08.2012г. N2/20/3, выполняемого по федеральной целевой программе «Научные и научно-педагогические кадры инновационной России», ЛЭТИ, Санкт-Петербург;
- Рязанский государственный радиотехнический университет, кафедра ТОР, проф. Витязев В.В.;
- ЗАО «Сканти-рус» - официальный представитель фирмы «TexasInstruments», г. Москва: университетская программа, в рамках которой открыт консультационный центр и учебный класс DSP-процессоров (договор о сотрудничестве БГУИР и ЗАО «Сканти-рус», от 2004г.);
- ООО «БИФРИ», Санкт-Петербург: контракт от 24 октября 2012г. на оказание консультационных услуг по вопросам параметрической обработки речи на основе анализа мгновенных гармонических параметров сигнала.
Испания:
- Университет г. Алкала: выполнение двух проектов в рамках БРФФИ
Польша:
- Белостокский политехнический институт, факультет информатики: подготовка магистров и докторов инженеров.
Китай:
Шанхайский университет: выполнение двух проектов в рамках программы НТС между Китаем и Беларусью.
Связь с отечественными научными организациями:
ОИПИ НАН Беларуси: НИР 12-1099Б «Конверсия голоса для синтезатора речи по тексту» (2012-2014) (Петровский А.А.. Лобанов Б.М.); чтение спецкурса проф. д.т.н. Бибило П.Н. «Основы проектирования ЭВС, часть 1», «Основы проектирования ЭВС, часть 2 - язык описания аппаратуры VHDL»; Алексеев Г.И. д.т.н., профессор выступает в качестве председателя ГЭК выпускников специальности, магистратуры; организация совместных конференций; рецензирование диссертаций на соискание ученых степеней канд. техн. науки д.т.н.; работа в редколлегии журнала «Информатика» (Петровский А.А.).
Национальный научно-исследовательский центр (ННИЦ) прикладных проблем математики и информатики, г.Минск. За отчетный период проведено 3 НИР с объемом финансирования около 200 млн. руб.
Инженерный центр «НТЛаб-системы»:НИР х/д 08-1047 «Разработка инструментальных средств и IP-ядер для средств мультимедиа на платформе ML-401» (2008); создана совместная учебно-научно-производственная лаборатория «Кафедра ЭВС - НТЛаб» (22.10.2007); чтение лекций и проведение семинаров сотрудниками кафедры ЭВС и НИЛ 3.1 для работников компании по вопросам цифровой обработки аудио и видео сигналов, а также подготовка через магистратуру и аспирантуру кадров высшей квалификации для НТЛаб.