В Центре социокогнитивных исследований дискурса (СКоДис) при Московском государственном лингвистическом университете (МГЛУ) ученые исследуют, как жестикулируют носители разных языков, когда рассказывают о повседневных событиях. Оказывается, русскоязычные люди, в отличие, например, от франкоговорящих, используют практически одинаковые жесты вне зависимости от формы произносимого глагола. Исследование поддерживается грантом Российского научного фонда (РНФ), а его результаты были представлены на ряде международных конференций и симпозиумов, в том числе на симпозиуме «Полимодальная коммуникация в языках и культурах», прошедшем в МГЛУ в октябре-ноябре 2017 года.
Ученые исследовали, есть ли связь между грамматикой повествования и спонтанными жестами рук, которые это повествование сопровождают. В частности, исследователи предположили, что характер глагола (завершенность и незавершенность действия) будет связан с таким параметром движения руки, как резкость или плавность жеста.
«Если французы употребляют глагол в завершенном времени, то они чаще делают резкий жест, а если используют прошедшее незавершенное время, то в основном производят более плавные жесты. Мы думали, что подобные различия будут обнаружены и в русском языке, где различаются глаголы совершенного и несовершенного вида. Оказалось, что вне зависимости от формы глагола носители русского языка жестикулируют практически одинаково, отдавая предпочтение резким жестам. В немецком языке ситуация также неоднозначна», – рассказал Алан Ченки, руководитель проекта, заведующий лабораторией ПолиМод Центра социокогнитивных исследований дискурса при МГЛУ, профессор Свободного университета в Амстердаме, основатель Амстердамского центра исследования жестов.
Алан Ченки организовал в центре СКоДис когнитивную лабораторию полимодальной коммуникации, которая исследует сочетание вербального компонента коммуникации человека с движениями его тела. На первых этапах проекта проводился анализ жестов в речи с помощью компьютерной программы ELAN, разработанной в Институте психолингвистики Общества Макса Планка в Неймегене (Нидерланды) для разметки видео- и аудиозаписей. Сначала в эту программу загружаются видео, после чего ученые создают несколько слоев, «дорожек», на каждой из которых отмечается определенная характеристика языковой единицы и жеста и их продолжительность. Жесты характеризуются по типу, функции, амплитуде и другим параметрам движения. Этот процесс многослойного описания называется аннотацией.
Ученые также исследовали, как меняется жестовое поведение говорящих, когда они рассказывают о событиях на иностранном языке. Оказалось, что русские студенты, изучающие французский язык, начинают жестикулировать так же, как и французы: они производят больше плавных жестов с глаголами несовершенного вида.
В настоящий момент участники международного проекта начали анализировать жесты в повествованиях с помощью аппаратуры MoCap (Motion Capture, что в дословном переводе – «захват движения»). На человека надевается устройство с датчиками, которые считывают его движения во время разговора. На основе показателей MoCap специальная компьютерная программа строит жестикулирующий «скелет» этого человека — аватар. Ученые загружают полученное видео в ELAN и проводят аннотацию жестов. Преимущество MoCap в том, что она точно отслеживает жесты человека, измеряет их ускорение, направление, распределение энергии, и, таким образом, появляется возможность получить более надежные и объективные результаты.
«С помощью аватаров MoCap, можно построить роботов, движения которых будут больше походить на движения человека. Эту технологию также можно использовать в преподавании иностранных языков. Если мы будем лучше знать, как, например, жестикулируют французы во время речи, это может помочь студентам понять, как двигаться при разговоре, как “быть французом”», — пояснил Алан Ченки.
Изучение жестов, сопровождающих речь, показывает, что сложная структура языка, включающая в себя разные аспекты, отражается не только в словесных выражениях, но и в жестах. Другими словами, у спонтанных жестов тоже есть своя грамматика. При этом вербальная и жестовая грамматики — не одно и то же, так как свойства жестов меняются в зависимости от того, о чем говорит человек в данный момент, какие цели преследует и в каких отношениях он состоит с собеседником.
«По-видимому, подобные различия в жестикуляции связаны с тем, какие факторы в большей степени соотносятся с построением мысленного образа события у говорящих на разных языках: абстрактное грамматическое значение, конкретное лексическое значение, прагматические факторы», — заключил Алан Ченки.