Крак Ю. В., Лозинська О. В., Пасічник В. В., Тернов А. С., Шкільнюк Д. В. Математичні методи та прикладні інформаційні технології моделювання, перекладу та навчання для української жестової мови

УДК 004.928, 004.93, 004.912
Ю. В. Крак1, О. В. Лозинська2, В. В. Пасічник2, А. С. Тернов3, Д. В Шкільнюк4
1 Київський національний університет ім. Т. Шевченка,
кафедра теоретичної кібернетики,
2 Національний університет “Львівська політехніка”,
кафедра інформаційних систем та мереж
3 Інститут кібернетики ім. В. М. Глушкова,
відділ інтелектуальних інформаційних технологій,
4 Чернівецький національний університет ім. Ю. Федьковича,
кафедра математичних проблем управління і кібернетики
МАТЕМАТИЧНІ МЕТОДИ ТА ПРИКЛАДНІ ІНФОРМАЦІЙНІ ТЕХНОЛОГІЇ МОДЕЛЮВАННЯ, ПЕРЕКЛАДУ ТА НАВЧАННЯ
ДЛЯ УКРАЇНСЬКОЇ ЖЕСТОВОЇ МОВИ
© Крак Ю. В., Лозинська О. В., Пасічник В. В., Тернов А. С., Шкільнюк Д. В., 2016
Розв’язано низку важливих наукових та науково-прикладних задач, пов’язаних із розробленням математичних методів та формуванням комплексу прикладних інфор¬маційних технологій моделювання, опрацювання та перекладу української жестової мови. Проаналізовано та запропоновано нові методи розпізнавання та ідентифікації дактилем жестової абетки, методи комп’ютерного перекладу анотованої української жестової мови. Виконано оригінальні дослідження лінгвістичних особливостей української жестової мови та розроблено граматично доповнену онтологію української словесної та української жестової мов. Розроблено мультимедійну технологію аналізу візуальних образів звуків і емоційних мімік обличчя людини, що дало змогу реалізувати анімацію емоційно-артикуляційного каналу носія жестової мови.
Ключові слова: українська жестова мова, інформаційна технологія, розпізнавання жестів, дактильна абетка жестової мови, синтез та розпізнавання міміки губ, візема, реалістична тривимірна анімація жестової мови, модель синтезу анімації мовленнєвої інформації, система комп’ютерного перекладу, граматично доповнена онтологія, дерево синтаксичного розбору, афіксна ймовірнісна контекстно-вільна грамматика.
In the scientific paper a number of important scientific and applied tasks related to the development of mathematical methods and the formation of a complex of applied information technologies of modeling, processing and translation of the Ukrainian sign language are solved. New methods of recognition and dactyl identification of the sign alphabet, methods of computer translation of the annotated Ukrainian sign language are analyzed and proposed. It is performed the original research of the linguistic peculiarities of the Ukrainian sign language and developed the grammatically augmented ontology of the Ukrainian verbal and Ukrainian sign language. The multimedia technology of the analysis of the visual sound images and the emotional facial gesture, allowing to implement the animation of the emotional speech channel of the sign language speaker is developed.
Key words: Ukrainian sign language, information technology, recognition of gestures, finger alphabet sign language, visual-speech synthesis and lips reading, visemes, realistic three-dimensional animation of sign language, model of visual-speech animation synthesis, computer translation system, grammatically augmented ontology, parsing tree, affix probabilistic context free grammar.
Література – 43.