Жестовая: Северо-Восточный федеральный университет имени М.К.Аммосова

Понятно без слов

Язык – одно из самых сложных явлений в человеческом обществе. Он постоянно развивается: заимствует новые слова, меняет грамматические формы или вовсе избавляется от не нужных ему выражений. Жестовому языку все эти процессы тоже хорошо знакомы. Изучение жестов стало самостоятельной наукой не так давно, но тем и любопытнее наблюдать, как новая система общения рождается «онлайн», прямо на наших глазах.

1.

Жестовые языки получили официальное признание в середине прошлого века, когда американские лингвисты взялись за систематичное изучение языка глухих. Однако история формирования жестовых языков, естественно, древнее, чем несколько десятилетий. Существует даже гипотеза, что сначала люди общались именно жестами, а лишь потом стали пользоваться голосом.

Самые ранние попытки человечества наладить общение (пока еще бессловесное) указывают на то, что жестовый язык возник из непроизвольных, инстинктивных движений. Собственно, поэтому происхождение некоторых жестов довольно легко проследить, а простейшие законы для выражения какого-либо понятия применяются и сейчас. Например, такое свойство как иконичность — жесты по своей форме часто напоминают предметы, которые они изображают. Жест «дом» похож на дом, жест «кошка» — на кошку (в звучащих языках иконичность тоже присутствует, но только в рамках звукоподражания и звуковых сигналах). В отдельных случаях, основываясь все на той же иконичности, жесты повлияли на первые формы письменности: пиктографию, идеографию. Так, в одном из африканских племен символ ≠, означающий «ребенок, дитя», возник как отражение уже имеющегося жеста (палец, приложенный к губам, — «не умеющий говорить, молчащий»).

Конечно, коммуникативная эффективность современных жестовых языков не сравнится с жестикуляцией первобытного общества. Это больше не изъяснения на уровне «Я — Тарзан, а ты — Джейн». Жесты усложнились, стали более стандартизированы, менее иконичны, приобрели дискретность.

«Бабушка», «старый», «Москва»


2.

Началом систематизации и развития жестовых языков можно считать XVIII век, когда в Европе появились первые школы для детей с нарушением слуха.

Лингвист Вадим Киммельман рассказал, как развивалась эта учебная система: «Жестовые языки возникают, когда есть сообщества, которые ими пользуются. Если глухой ребенок рождался у слышащих родителей, у него не было других людей, с кем бы он мог общаться при помощи жестов, соответственно, жестовый язык не возникал. Когда в конце XVIII века в Европе создали школы для глухих, в них собралось первое поколение детей с нарушением слуха. Дети начали общаться между собой, и через несколько поколений жестовый язык появился в разных местах: во Франции, в Германии, в Голландии. В России первую школу для глухих основали в начале XIX века.

Есть и другой способ появления жестового языка. Он связан с изолированными сообществами, в которых высок процент глухих людей (по причине генетической глухоты или, скажем, из-за частых случаев менингита). Тогда школа не обязательна, потому что число глухих людей достаточно, чтобы жестовый язык начала разучивать слышащая часть общества. Таким способом развиваются так называемые деревенские жестовые языки».

Однако, несмотря на то, что жестовые языки появлялись довольно часто и повсеместно, их не изучали подробно, в собственной грамматике отказывали. Жестовый язык не считали истинным даже сами носители. А «Британская энциклопедия» 1929 года называет его «картинками, нарисованными в воздухе».

«Брат»

3.

Возможно, жестовый язык еще долго бы воспринимали как пантомиму или своеобразный жестовый шифр, если бы в конце пятидесятых годов ХХ века на работу в колледж Галлодет (штат Вашингтон) не пришел Уильям Стоуки, молодой лингвист и историк Средневековья. В жестовом языке Стоуки обнаружил целый лингвистический мир, исключительный и необычный. Он был первым, кто пристально вгляделся в эту структуру, проанализировал жесты, разложил их на элементы. В 1960 году Стоуки опубликовал «Структуру жестового языка», а в 1965 году совместно с коллегами выпустил «Словарь американского жестового языка».

С этого момента можно говорить о возникновении нового научного направления в лингвистике. Одной из главных целей американских исследователей было показать, что жестовые языки — самостоятельны, они имеют свою грамматику, этимологию, полисемию, свой сленг и морфологию. Для них характеры все те же уровни, что и для звучащих языков — от фонетического до синтаксического.

«Город» (на трех разных языках: русском, американском и французском)

4.

Из чего же состоит жест? Согласно базовой теории, жест можно разделить на четыре компонента: конфигурацию руки, движение, локализацию (место исполнения) и ориентацию руки. Плюс, учитывается немануальный компонент: выражение лица и движение губ. К примеру, жест «женщина» описывается так: конфигурация руки — раскрытая ладонь, движение — касание, место исполнения — правая сторона подбородка. Жест «мужчина» будет отличаться от «женщины» лишь местом исполнения. А, например, жесты «бабушка», «старый» и «Москва» схожи во всем, кроме формы руки. Кстати, такие пары, которые различаются лишь одним компонентом в одной и той же позиции, называются минимальными. Есть они и в звучащих языках. Например, пары

рак-рок, нить-ныть, sheepship, etc.

Случается и так, что понятие существует, а жест для него еще не придуман. Тогда используется дактильная азбука («дактиль» с греч. — «палец») — то есть жесты, соответствующие буквам словесного языка. «Дактилология применяется в первую очередь для обозначения личных имен. Кроме этого, если вводится новый термин, к примеру, „адронный коллайдер“, то на первых порах из-за отсутствия жеста это понятие тоже будет изображаться по буквам», — объясняет Вадим Киммельман.

«Дрон»

5.

В жестовых языках активно развиваются морфологические процессы. Одним из способов образования нового слова в звучащих языках является сложение. Сложное слово состоит из двух или нескольких слов, но понятие передает всегда одно (blackboard, мимоходом, ракета-носитель). В языке глухих такое тоже встречается. Например, довольно часто в русском жестовом для обозначения профессии добавляется жест «человек». Получается, «рыбак» — «рыбачить» и «человек», «учитель» — «научить» и «человек». Или есть случаи, когда жесты слились настолько, что их больше нельзя разделить. Так, жест «брат» происходят из уже известного «мужчина» и жеста «родственник».

Часть лексического запаса в языке составляют заимствования. Бывает, новые жесты приходят из других жестовых языков. К примеру, названия стран часто заимствуются из самоназваний. Раньше понятие «Голландия» в русском жестовом выражали через прикосновение руки к животу. Такое обозначение возникло из-за созвучности «Голландии» со словом «голодный». Но сейчас стали использовать жест, который изображают сами голландцы, — он как бы имитирует поля шляпы. Также возможны заимствования из звучащего языка. Понятие «квартира» на русском жестовом обозначается буквами «к» и «в». То есть используется не дактиль все слово, а только две первые буквы.

Еще одно типичное явление для жестовых языков — полисемия (многозначность). В русском жестовом одинаково изображаются понятия «коричневый» и «кофе», а жест «зеленый» выглядит так же, как и «молодой». Но вот артикуляция за каждым понятием остается своя.

«Коричневый», «кофе»

6.

Есть в жестовом языке и такое, чего не встретишь в звучащем. Например, особенный порядок жестов при описании пространства, типа «мяч закатился под стол». Здесь члены предложения выстраиваются согласно схеме «фон-фигура-отношение». Это значит, сначала идет большой предмет, относительно которого локализуются, потом маленький предмет, который локализуется и, наконец, отношение. То есть получается: стол — мяч — под столом. Необычно именно то, что такой порядок характерен для всех жестовых языков.

Или такое явление как одновременность. Так как в жестовом языке используются две руки, они иногда показывают разные жесты. Точнее, бывает, что сначала рука показывает жест, а потом застывает в финальной точке и удерживается, а в это время другая рука показывает следующие жесты. Это используется, например, в контексте рассказа о каком-то предмете. Мы сначала его показываем, а потом удерживаем и о нем рассказываем. Такого, действительно, не может быть в звуковых языках, потому что артикуляционный аппарат один.

Другой пример, частный, иллюстрирует одно из отличий русского жестового от русского звучащего языка. В первом отрицательная частица «не» ставится в конце предложения, а не перед тем членом, который отрицается, как это принято в русском языке. Иными словами, чтобы сказать «Я не танцую», надо построить предложение так: «Я танцую нет». Для русских слышащих людей такой порядок, и правда, непривычен, а вот немцы, к примеру, не усмотрели бы в нем ничего особенного.

Вообще, о развитии структуры жестового языка лучше всего известно на основе никарагуанского языка глухих. Он появился, что называется, на глазах, в восьмидесятые годы ХХ века. Прежде в Никарагуа не было общего жестового языка, но в 1977 году, когда создали первую школу для глухих, ученые сразу принялись фиксировать, как на протяжении двух-трех поколений развивалась грамматика и устанавливались правила. Дети общались со старшим поколением, перенимали и изменяли язык взрослых, создали правила, которых не было раньше.

И такой естественный путь создания языка прошло большинство жестовых языков.

«Женщина»,«мужчина»

7.

Уже понятно, что в разных странах — свой язык глухих. Сейчас насчитывается порядка 130 жестовых языков. И наравне со звучащими у жестовых существует своя генеалогическая классификация по семьям и группам. Но, так как жестовая система общения развивалась быстро и спонтанно, доподлинно проследить степени родства оказалось очень сложно. Исследования показали, что исторические связи между жестовыми языками объясняются, среди прочего, мировой политикой и экспортом образования. Так, историческое наследство Империи Габсбургов привело к тесной связи между жестовыми языками Германии, Австрии и Венгрии. Японская оккупация Тайваня стала результатом появления новых диалектов в тайваньском жестовом, похожих на жестовый язык японцев. Экспорт образовательных систем, часто людьми с религиозной и мессионерской повесткой дня, тоже во многом оказал свое влияния. И прежде всего это французская система образования глухих, распространившаяся во многих странах Европы и Северной Америки. Подобные отношения существуют между шведским и португальским жестовыми языками после учреждения глухими шведскими педагогами школы в Лиссабоне в 1824 г. А ирландские монахи, преподававшие в зарубежных школах для неслышаших детей, повлияли на жестовые языки Южной Африки, Индии и Австралии.

Мы знаем, что русский язык принадлежит к индоевропейской семье, восточно-славянской группе. Но русский жестовый, предположительно, относят к французской семье, в которую также входят американский, нидерландский, фламандский, бразильский и др. жестовые языки. Оригинальность и специфика каждого, естественно, сохраняются.

Однако есть такая вещь как Международный жестовый язык (International Sign). Это что-то вроде эсперанто, искусственно разработанная знаковая система. Но реально, когда на конференциях или мероприятиях встречаются глухие разных стран, международная система общения создается на ходу. Выбираются жесты, которые, во-первых, похожи в разных жестовых языках. А во-вторых, наиболее иконичны. Однако нельзя быть до конца уверенным, что Международный жестовый язык всегда точно передаст то, что задумывал выступающий. А вот для общения face to face, когда есть возможность переспросить собеседника или уточнить неясный жест, он вполне удобен.

«Наука» (на трех разных языках: русском, американском и французском)

8.

Жестовый язык есть язык в полном смысле этого слова, с теми же возможностями, которые свойственны разговорному языку. С помощью жестового языка можно рассуждать о поэзии, космологии, устройстве мира, прошлом и будущем. Остается лишь вопрос, насколько его правила и нормы закреплены в письменных источниках. Для русского жестового языка есть несколько словарей, но не один из них не является полным и лингвистически осмысленным. Грамматика почти не описана. Систематично изучать русский жестовый начали только около десяти лет назад.

«Я не танцую»

Мария Исламова

Европейский день языков > Facts > FAQs on sign language

01

Слово „глухой“ иногда пишется с большой, а иногда с маленькой буквы. В чём же причина?

Слово »Глухой» с большой буквы означает принадлежность к глухонемому сообществу и также подразумевает использование жестового языка в качестве главного. Слово »глухой» с маленькой буквы относится к людям, которые имеют определенную с медицинской точки зрения потерю слуха, но которые  могут не относить себя к сообществу глухих и не используют жестовый язык. (см. “Signed Languages in Education in Europe – a preliminary exploration”, Lorraine LEESON, Dublin. Council of Europe. 2006)

02

Все ли пользующиеся жестовым языком глухие или слабослышащие?
Нет, необязательно. Дети глухих людей могут уметь говорить, но при этом для них родным языком будет жестовый язык.  Кроме того, родители, братья или сестры глухих детей тоже могут знать жестовый язык для общения с ними. Есть также целый ряд людей, которые изучают жестовый язык в свободное время, потому что они хотят стать переводчиками, у них есть глухонемые друзья или же просто ради интереса. 

03

Существует ли  один универсальный жестовый язык?

Нет. Есть множество разновидностей жестового языка, даже в одной стране их может быть несколько, так же как и обычных языков. Например, в Бельгии есть 2 типа жестового языка: французско-бельгийский и фламандский а в Испании — испанский жестовый язык и каталанский. Кроме того, существуют различные жестовые языки в странах, которые имеют один и тот же разговорный язык, например, в Великобритании и Ирландии. Это связано с историческими событиями, которые отличаются от тех, которые произошли с разговорными языками.

04

Существуют ли «семьи» среди жестовых языков (как для обычных языков – романские  или славянские, например), которые могут вызвать недопонимание?

Да, среди жестовых языков тоже существуют языковые семьи. Например, австрийский жестовый язык или голландский жестовый язык легче понять тому, кто знает немецкий жестовый язык, нежели тому кто владеет итальянским жестовым языком. В то же время, например британский жестовый язык очень отличается от любого другого европейского жестового языка и связан только с подобным же австралийским.

05

Есть ли международная форма жестового языка, которую можно было бы рассматривать как «lingua franca»?

Существует система связи, именуемая международным жестовым языком. Она регулярно используется на международных конференциях и на встречах с участниками, которые не говорят на одном жестовом языке. Этот вспомогательный язык используется в качестве общепринятого языка среди пользователей жестового языка из разных стран, а также в спонтанном разговоре. Его нельзя сравнить с эсперанто, так как «международный язык» по сути не является языком. Он  не имеет фиксированную грамматику или словарный запас и, в значительной мере, опирается на жесты, которые имеют смысл только в конкретном контексте, и использует словарь из родного языка человека.

06

Языки глухонемых это просто некий образ сказанных/написанных слов?

Нет, они представляют собой полноценные языки с собственной грамматикой и синтаксисом. Так же как и в других языках существуют идиомы, которые трудно перевести и некоторые слова/жесты, которые не имеют буквального перевода на  другой язык.

07

Существует ли стандартная форма знаков для каждого языка или же имеются  некоторые диалекты?

Были предприняты некоторые попытки стандартизировать жестовые языки по всей Европе. Но как и в случае с разговорными языками, эти попытки не увенчались успехом и диалекты все еще существуют. Это связано с тем, что школы для глухих находятся в разных частях страны, и они используют различные жесты, которыми затем пользуются дети. Часто жесты, обознающие дни недели и месяцы, а так же цвета, отличаются в разных странах.

08

Сколько людей использует жестовый язык  в рамках членства в Совете Европы?

На этот вопрос сложно ответить.  В каждом государстве-члене не существует точных статистических данных. Согласно оценке Европейского Союза,  около 75 000 глухих пользуются жестовым языком. Пользователи жестового языка составляют около 0,1% от всего населения в той или иной стране. Это не включает людей, изучающих жестовый язык в качестве второго языка, детей глухих родителей или других членов семьи. В Финляндии, например, около 5000 пользователей жестовых языков, во Франции 100 000, а в Румынии от 20 000 до 30 000.

09

Связаны ли жестовые языки с тремя общеразработанными принципами Совета Европы: изучение, преподавание, оценка, которые применяются к 35 языкам?

Министерство Образования Франции подготовило поправки к некоторым частям  французской версии документа об Общеевропейских компетенциях владения иностранным языком  для французского жестового языка, касательно уровней.

10

Существует ли способ воспроизвести жестовый язык?

Да, жестовые языки могут быть расшифрованы  несколькими способами. Для этих целей  чаще всего применяется  Hamburg Notation System (HamNoSys), которая использует символы, описывающие жесты. Другая система, работающая подобным способом — SignWriting.

Для более подробной информации, перейдите по ссылке

http://www.signwriting.org/, или http://assets.cambridge.org/97805216/37183/sample/9780521637183web.pdf  (chapter on ‘conventions’), или  http://www.sign-lang.uni-hamburg.de/projects/hamnosys.html.

11

Где я могу найти более подробную информацию о жестовом языке и где я могу выучить один из них?

Если вы хотите выучить жестовый язык, Вам необходимо связаться с представителем Национальной Ассоциации Глухих в Вашей стране. Информация о всех ассоциациях глухих в ЕС можно найти в Интернете на веб-сайте Европейского союза глухих (EUD): http://eud.eu/EUD_Members-i-159.html  (map). Более подробная информация также доступна на веб-сайте Всемирной федерации глухих: http://www.wfdeaf.org/members/ordinary-members/list-of-members.  

Мы хотели бы поблагодарить Марка Уитли и Аннику Пабш  из Европейского союза глухих  (EUD — www.eud.eu)  за их существенный вклад в этот раздел.

Интерлингва в системах машинного перевода для жестовых языков

Воскресенский А.Л., Ильин С.Н., Zelezny M. О распознавании жестов языка глухих // Компьютерная лингвистика и интеллектуальные технологии: По материалам ежегодной Международной конференции «Диалог» (Бекасово, 26–30 мая 2010 г.). Вып. 9 (16). М.: РГГУ, 2010. С. 76–81

Гриф М.Г., Королькова О.О. Разработка компьютерного сурдопереводчика звучащей речи на разговорный русский жестовый язык /Материалы XI межд.. науч.-метод. конф. Информатика: проблемы, методология, технологии 10–11 февраля 2011. Т. 1. Воронеж: ВГУ. 2011. С.206–208

Гриф М.Г., Демьяненко Е.А., Королькова О.О. Разработка технологий компьютерного сурдоперевода непрерывной русской речи на разговорный русский жестовый язык // Сборник науч. труд. Российской науч.-практ. конф. Автоматизированные системы и информационные технологии 22–23 сентября 2011. Новосибирск: НГТУ. 2011. С.59–68

Гриф М.Г., Тимофеева М.К. Проблема автоматизации сурдоперевода с позиции прикладной лингвистики // Сибирский филологический журнал. 2012. № 1. С. 211-219

Зайцева Г.Л. Жестовая речь. Дактилология: Учебник для студентов. М.: ВЛАДОС, 2000. 192 с.

Карпов А.А., Кагиров И.А. Формализация лексикона системы компьютерного синтеза языка жестов. СПб: Труды СПИИРАН. 2011. Вып. 1(16). С. 123–140

Кибрик А.А., Прозорова Е.В. Референциальный выбор в русском жестовом языке //Компьютерная лингвистика и интеллектуальные технологии: Труды международной конференции «Диалог 2007» (Бекасово, 30 мая – 3 июня 2007 г.). М.: РГГУ, 2007. С. 220–230

Прозорова Е.В. Российский жестовый язык как предмет лингвистического исследования // Вопросы языкознания, 2007. № 1. С. 44–61

Badler N.I., Bindiganavale R., Allbeck J., Schuler W., Zhao L., Lee S.-J., Shin H., Palmer M. Parameterized Action Representation and Natural Language Instructions for Dynamic Behavior Modification of Embodied Agents. 2000. AAAI Technical Report SS-00-02

Bindiganavale R., Schuler W., Allbeck J.M., Badler N.I., Joshi A.K., Palmer M. Dynamically Altering Agent Behaviors Using Natural Language Instructions // Proceedings of the fourth international conference on Autonomous agents. ACM New York, NY, USA 2000. P. 293–300

Huenerfauth M. A Survey and Critique of American Sign Language Natural Language Generation and Machine Translation Systems. Technical Report MS-CIS-03-32, Computer and Information Science, University of Pennsylvania. 2003. 36 p.

Huenerfauth M. Generating American sign language classifier predicates for English-to-ASL machine translation. Doctoral Dissertation in Computer and Information Science. University of Pennsylvania Philadelphia, PA, USA, 2006. 312 р.

Kipper K., Palmer M. Representation of Actions as an Interlingua // NAACL-ANLPInterlinguas ’00 Proceedings of the 2000 NAACL-ANLP Workshop on Applied interlinguas: practical applications of interlingual approaches to NLP, 2000. Vol. 2. P. 12–17

Meir I. Iconicity and metaphor: Constraints on metaphorical extension of iconic forms // Language. Vol. 86. № 4. 2010. Р. 865–896

Morrissey S. Data-Driven Machine Translation for Sign Languages. PhD Thesis, Dublin City University, Dublin, Ireland, 2008. 192 p.

Veale T., Collins B. Space, metaphor and schematization in sign: Sign Language translation in the ZARDOZ system //Proceedings of the Second Conference of the Association for Machine Translation in the Americas (AMTA’96), Montreal, Canada, 1996

Veale T., Collins B., Conway A. The Challenges of Cross-Modal Translation: Englishto-Sign-Language Translation in the Zardoz System // Machine Translation, N 13. 1998. P. 81–106

Veale T., Conway A. Cross modal comprehension in ZARDOZ an English to signlanguage translation system // INLG ’94 Proceedings of the Seventh International Workshop on Natural Language Generation, Kennebunkport, Maine, USA, June 21–24, 1994

Wu, C.-H., Su, H.-Y., Chiu, Y.-H., and Lin, C.-H. Transfer-Based Statistical Translation of Taiwanese Sign Language Using PCFG // ACM Transactions on Asian Language Information Processing (TALIP), 2007. Vol.6. No.1. Р. 1–18

Zhao L., Kipper K., Schuler W., Vogler C., Badler N.I., Palmer M. A Machine Translation System from English to American Sign Language // Proceedings of the 4th Conference of the Association for Machine Translation in the Americas on Envisioning Machine Translation in the Information Future (AMTA 00), 2000. Springer-Verlag. Р. 54–67

Московский государственный лингвистический университет

 

Новости

20 апреля 2022

В МГЛУ прошёл первый спортивный турнир на Кубок ректора
15 апреля в МГЛУ прошёл первый спортивный турнир на Кубок ректора университета. Одиннадцать команд сражались за звание самых спортивных.

20 апреля 2022

Первый Международный молодежный форум Памяти в Петербурге: память жива, пока мы помним
15–16 апреля в Ленинградской области в филиале Центрального военно-морского музея имени императора Петра Великого «Дорога жизни» прошел I Международный молодежный форум Памяти, организованный Ассамблеей народов Евразии, МГЛУ, Центральным военно-морским музеем имени императора Петра Великого и российской общественной организацией «Совет по межнациональному сотрудничеству».

20 апреля 2022

Создавая традицию: III Международная научно-практическая конференция «Диалог культур и цивилизаций»
14-16 апреля в МГЛУ состоялась III Международная научно-практическая конференция «Диалог культур и цивилизаций». Организаторами конференции выступил Институт гуманитарных и прикладных наук совместно с Институтом всеобщей истории РАН и Научно-образовательной теологической ассоциацией НОТА.

19 апреля 2022

Конкурс ораторского мастерства «Слово в науке – 2022»
14 апреля в университете состоялся второй конкурс ораторского мастерства «Слово в науке», организованный членами Совета молодых ученых. Участники готовили доклады и презентации на тему «Случайные и необычные научные открытия».

14 апреля 2022

Международный круглый стол «Цифровые технологии в искусстве» прошел в МГЛУ
7-8 апреля в МГЛУ состоялись заседания Международного круглого стола «Цифровые технологии в искусстве». Организатором мероприятия выступил Институт информационных наук МГЛУ и кафедра лингвистики и профессиональной коммуникации в области информационных наук.

14 апреля 2022

Студенты МГЛУ – победители V Всероссийской олимпиады по сервису, туризму и гостиничной деятельности
За пять лет проведения олимпиада стала полномасштабным событием, объединившим на своей платформе талантливую молодёжь в области сервиса, туризма и гостеприимства.

13 апреля 2022

Летний курс по подготовке к ЕГЭ в МГЛУ
В МГЛУ открыт набор на краткосрочный летний курс по подготовке к ЕГЭ по предметам: английский язык, русский язык, история. Аудиторные занятия для выпускников 9 – 10 классов проводятся с 1 июня по 30 июня 2022 года. Архив новостей

Жестовая речь

188

КОРРЕКЦИОННАЯ

ПЕДАГОГИКА

Г.Л. Зайцева

ДАКТИЛОЛОГИЯ

Рекомендовано Министерством образования

Российской Федерации в качестве учебника

для студентов высших учебных заведений

Москва

ББК 74.3 317

317

Руководитель издательской программы подготовки учебников и учебных пособий для высших и средних специальных учебных заведений по коррекционной педагогике и специальной психологии — лауреат Государственной премии в области образования Российской Федерации, заслуженный работник высшей школы Российской Федерации, профессор В.И. Селиверстов

Рецензенты:

кандидат педагогических наук, профессор К.В. Комаров;

кандидат педагогических наук Е.З. Яхнина; кафедра дошкольной коррекционной педагогики и специальной психологии дефектологического факультета МПГУ (зав. кафедрой профессор В.И. Селиверстов)

Зайцева Г.Л.

317 Жестовая речь. Дактилология: Учеб. для студ. высш. учеб. заведений. —

М.: Гуманит. изд. центр ВЛАДОС, 2000. — 192 с. — (Коррекционная

педагогика).

ISBN 5-691-00373-9.

В учебнике освещаются вопросы структуры жестовой речи и ее функционирования в коммуникативной деятельности глухих; рассматриваются взгляды представителей различных систем обучения глухих на роль жестовой речи в учебно-воспитательном процессе специальной школы. Читатели познакомятся с дактильным алфавитом, лексикой и грамматикой русского жестового языка; приводится краткий словарь жестов.

Адресован студентам дефектологических факультетов педвузов и колледжей, сурдопедагогам, психологам, лингвистам, сурдопереводчикам, а также родителям глухих детей.

ББК. 74.3

© Зайцева ГЛ., 2000

© «Гуманитарный издательский центр

ВЛАДОС», 2000

© Серийное оформление.

ISBN 5-691-00373-9 Художник Уранова М.Л, 2000

Светлой памяти моей мамы

Софьи Ефимовны Ицковой

Вместо предисловия, или Что бы хотел автор

Создавая эту книгу, автор очень хотел бы помочь студентам в изучении дактилологии и жестовой речи. Содержание соответствующего учебного курса значительно изменилось, многие вопросы, которые излагаются в лекциях и обсуждаются на практических и лабораторных занятиях, крайне скупо освещены в специальной литературе. Автор хотел бы по мере своих сил и возможностей восполнить этот пробел.

Много лет автор читал курс «Дактилология. Жестовая речь» на дефектологических факультетах МГПИ им В.И. Ленина (ныне МПГУ) и МГЗПИ (ныне МПГОУ). Содержание прочитанных лекций составило основу книги. Организуя материал пособия — выбирая факты и способ изложения, автор стремился опираться на свой преподавательский опыт: и на хорошо запомнившиеся лекторские удачи, и на неизбежные — увы! — и тем более не забывающиеся промахи.

Естественно, автор хотел бы как можно лучше использовать в книге свои находки и не повторять допущенные ранее ошибки. Осуществить это далеко не просто.

Дело в том, дорогой читатель, что интересующие нас вопросы относятся к сложнейшей и, пожалуй, самой дискуссионной проблеме сурдопедагогики — системе речевых средств обучения и воспитания учащихся с недостатками слуха. Нужно ли наряду с устной и письменной речью использовать в работе с глухими жестовую речь? Это, как подчеркивал Л.С. Выготский, один из основоположников отечественной дефектологии, — «центральный, но специальный вопрос» теории и практики обучения глухих. Почему центральный? Потому что специалисты, создавая систему обучения и воспитания учащихся с недостатками слуха, разрабатывая методы и средства педагогического процесса, неизбежно исходили и исходят из своей оценки жестовой и дактильной речи как средств общения глухих. А почему специальный (т. е. частный)? Потому что взгляды на роль и дактильной, и жестовой речи в учебно-воспитательной работе непосредственно зависят от того, как определяются цели и задачи педагогического процесса, как понимается лингвистическая природа жестового языка и роль жестовой речи в коммуникативной и познавательной деятельности глухих.

Автор хотел бы, чтобы будущие сурдопедагоги хорошо разбирались в концепции дактильной и жестовой речи, сложившейся в современной сурдопедагогике. Хотелось бы, чтобы ты, дорогой читатель, знал, что не только за рубежом, но и в России существуют различные точки зрения по интересующим нас вопросам. Хотелось бы, чтобы молодые коллеги автора могли вникнуть в суть аргументации представителей различных подходов, критически проанализировать приводимые ими доводы и, главное, выработать собственные убеждения. Все это возможно только тогда, когда ты, дорогой читатель, приобретешь достаточный уровень компетенции в проблеме. И именно этого автор хотел бы больше всего. Но отсюда неумолимо следует, что студентов необходимо ввести в круг весьма сложных теоретических проблем современной науки — лингвистических, психологических и др. Автор долго размышлял, каким образом рассказать все это читателям, чтобы у них не было оснований вспоминать чеховское «они хочут свою образованность показать и всегда говорят о непонятном».

Избранный в книге способ изложения явно не соответствует существующей традиции, многократно апробированным приемам, обычно используемым в учебно-методической литературе.

Стремясь воплотить свои замыслы, автор выбрал такую структуру пособия. Введение, как ему и положено, вводит читателя в проблему. В нем рассказывается о дактильной и жестовой речи как пространственно-двигательных системах общения, используемых наряду с другими кинетическими системами коммуникации человечества (жесты спортивных судей, жестовая речь индейцев и др.), о сходстве и различиях в их структуре и функциях, о вербальной и невербальной коммуникации.

В главе 1 рассматриваются структура и особенности функционирования дактильной речи. Глава 2 посвящена лингвистическому анализу жестовой речи, глава 3 — вопросам развития жестовой речи и ее функциям в коммуникативной деятельности глухих. В главе 4 обсуждаются проблемы использования дактильной и жестовой речи в сурдопедагогическом процессе. Список литературы включает произведения, которые тебе нужно прочитать, дорогой читатель. Произведения, использованные автором (часть из них рекомендуется как дополнительная литература), названы в постраничных сносках.

Серьезно работая с литературой, слушая лекционный курс, ты, дорогой читатель, получишь достаточную теоретическую базу по предмету. Однако, чтобы четко определить свою позицию в отношении дактильной и жестовой речи, тебе необходимо также накопить побольше наблюдений, сделанных на уроках и во внеклассное время. Неоценим тут будет и собственный опыт, который ты сможешь приобрести, помогая учителям, воспитателям, методистам, руководителям кружков. Ну и конечно, ты должен овладеть умением общаться при помощи дактильной и жестовой речи. Автор хотел бы надеяться, что в этом тебе поможет жестовый словарь, помещенный в книге.

В заключение автор хотел бы выполнить приятный долг и поблагодарить тех, кто помог ему в создании этой книги, — выразить свою глубокую признательность Е.А. Малхасьян, Л.А. Плуталовой, И.В. Цукерман. В процессе нашей совместной преподавательской деятельности и доброго творческого сотрудничества выкристаллизовывались основные идеи и содержание этой книги. Самая искренняя благодарность Т.П. Давиденко — знатоку и исследователю своего родного жестового языка, чьи замечания и советы были поистине неоценимы. Автор хотел бы также сказать большое спасибо всем бывшим студентам МГПИ им. В.И. Ленина и МГЗПИ, которые горячо, заинтересованно и откровенно (после сдачи зачетов) обсуждали прослушанный курс, высказывали свои замечания, интересные соображения о путях его совершенствования. Хотелось бы думать, что результаты наших плодотворных дружеских дискуссий нашли отражение в пособии. Автор бесконечно признателен своей маме Софье Ефимовне Ицковой — самому незаменимому и верному помощнику в работе над книгой и подготовке рукописи к печати.

Сколь удачной получилась книга — судить читателю. Автор заранее благодарит тех, кто найдет время и сочтет возможным написать, что им не понравилось в книге, что в ней следовало бы изменить, изложить иначе, подробнее или, наоборот, короче. Автор хотел бы надеяться, что в будущей работе ему удастся учесть ваши пожелания, дорогие читатели.

ВВЕДЕНИЕ

КТО, КОГДА И ГДЕ ОБЩАЕТСЯ ЖЕСТАМИ. Дактильная и жестовая речь глухих — кинетические формы вербальной и невербальной коммуникации

На вопрос, кто, когда и где общается жестами, ты, наверно, смог бы ответить. Хотя, возможно, и не совсем полно. Но важно еще знать, зачем и почему люди прибегают к разговору при помощи жестов, а также — как устроено такое общение. Это позволит яснее представить специфику структуры и функционирования дактильной и жестовой речи глухих, каждая из которых является разновидностью двигательной, или кинетической, коммуникации человечества.

Как известно, звуковой язык возник около 30—50 тыс. лет назад. С тех пор словесный язык, или вербальная (лат. verbalis словесный) система коммуникации, — основное средство общения в человеческом обществе. Столь же древне и общение людей с помощью невербальных средств — жестов. Некоторые ученые считают, что жестовый язык предшествовал звуковому, т. е. люди общались жестами раньше, чем научились разговаривать. И в наши дни, когда функции словесной речи продолжают расширяться, область применения невербальных знаков довольно значительна и включает использование условных графических символов (дорожных знаков, вывесок, указателей и др.) и, безусловно, различных жестов.

Прежде всего отметим, что жесты очень часто (если не всегда) участвуют в непосредственном межличностном общении, составляя его весьма важный невербальный компонент. Причем используются они по-разному, в зависимости от целей и ситуации общения. Например, в официальной обстановке лектор чаще всего прибегает к жестам-указаниям (на какие-либо наглядные пособия) и жестам, выделяющим главное в содержании, способствующим расстановке логических акцентов. При непринужденном, неофициальном общении в разговорной речи функции жестов сложнее и разнообразнее. Жесты могут выступать в роли самостоятельных реплик. Скажем, в ответе на вопрос: «Можно взять книгу?» — собеседник делает жест, выражающий разрешение, соглашение. Широко распространен жест «всплеснуть руками», передающий значение удивления, и т. д. Зачастую жесты сопровождают словесный (или вербальный) текст, сообщая недостающую в нем информацию: «Дайте мне, пожалуйста, вот такую (жестом показывается ширина) ленту» и др.

Высказывания разговорной речи являются результатом взаимодействия вербальных и невербальных компонентов, причем вербальная составляющая в них — центральная. Правда, отдельные сообщения, состоящие только из жестов, возможны (например, при построении людей в какую-либо группу жестами показывается: ТЫ — ЗДЕСЬ, ТЫ — ТАМ). Однако совокупность жестов, используемых в качестве невербальных компонентов в высказываниях разговорной речи, не составляет самостоятельной коммуникативной системы.

Особая область использования жестов — это искусство (пантомима, опера, драма и др.). В пантомиме невербальная коммуникация (жест), наряду с телодвижением, служит для поэтического воспроизведения различных жизненных ситуаций, чувств и настроений. В некоторых видах индийского классического театра устные монологи, песни и танцы актеры сопровождают жестами-символами, обозначающими конкретные предметы, действия, переживания. Такая условная жестовая система понятна всем зрителям этой многоязычной страны и позволяет передавать содержание сложных литературных произведений. В классическом драматическом театре Японии жесты также являются равноправной частью системы выразительных средств и имеют раз и навсегда установленные значение и форму. Как видим, в этих случаях жесты имеют различные функции. Но ни в одном из названных направлений жесты также не являются самостоятельной системой общения актера с публикой — они всегда только составная часть языка искусства.

А вот жесты, применяемые, например, на транспорте, в армии, в спорте и др., — это самостоятельные невербальные системы общения, хотя и не такие сложные. На транспорте набор жестов включает распоряжения постовых-регулировщиков и сигналы водителей. Жестовые сигналы водителей обязательны, когда у транспортного средства отсутствуют или не работают световые указатели поворота и торможения. Определены также жесты-сигналы машинистам поездов, предупреждающие их об опасности.

В армиях многих государств установлен набор жестов-приказов, которые применяются при определенных условиях (невозможность или нецелесообразность подачи команды голосом), для управления строем, для других распоряжений.

Иное дело в спорте. Во время состязаний судьи применяют международные жесты. Ведь их распоряжения должны быть понятны участникам соревнований из любой страны. В различных видах спорта одинаковые по форме жесты имеют различное значение. Например, в хоккее и футболе руки судьи, поднятые вверх над головой, означают конец игры, а в волейболе — это указание на определенную ошибку игрока и назначение штрафа его команде. Количество жестов в общении судьи со спортсменами необходимо и достаточно для выполнения каждой системой ее коммуникативных функций.

Итак, в спорте, на транспорте и т. д. применяются кинетические системы, состав которых нормативен, узаконен. Такие системы самостоятельны, хотя и имеют совершенно конкретное назначение и строго ограниченную область применения.

Помимо систем, имеющих сравнительно узкие коммуникативные функции, существуют более универсальные по назначению и сложные по строению жестовые системы. Сюда следует отнести жестовые системы общения некоторых племен североамериканских индейцев и австралийцев, членов ряда монашеских орденов (принимающих обет молчания) и, разумеется, дактильную и жестовую речь глухих.

Жестовые системы некоторых племен североамериканских индейцев и австралийских аборигенов (племени аранта и др.), очевидно, самые древние из известных науке. Они издавна применялись в условиях войны и охоты, когда удобным оказывалось беззвучное общение. У австралийцев жесты использовались во время некоторых ритуальных церемоний. Так, наряду с другими испытаниями, которым подвергался юноша, прежде чем его принимали в коллектив взрослых охотников, он проходил проверку на «умение молчать». Ему разрешалось пользоваться только жестовой речью. Вдова племени аранта в период траура (от месяца до года) также была обязана прекратить пользоваться устной речью и переходила на жестовый язык, который был понятен всем членам племени. Жестовая система, функционирующая среди индейцев и в настоящее время, едина для групп, говорящих на родных языках, и используется как средство межплеменного общения. Жестовая речь индейцев и австралийских аборигенов — не перевод со словесного языка. Она имеет «собственную» грамматику и вполне обеспечивает удовлетворение нужд в той сфере коммуникации, для которой предназначена. Основным повседневным средством общения, естественно, служит словесная речь.

Жестовая система общения, принятая среди членов некоторых монашеских орденов (траппистов, бенедиктинцев), — также своеобразная лингвистическая система. Для монахов, давших обет молчания, жестовая речь — основное средство межличностного общения. Пользуются они, конечно, и письменной формой словесного языка.

Итак, все кинетические системы, о которых шла речь, различаются по структуре (составу, принципам устройства, уровню «коммуникативной самостоятельности») и функциям (сфера и частота использования).

Теперь перейдем к дактильной и жестовой речи глухих, которым и посвящена эта книга. Дактильная речь — это особая кинетическая система. Движения рук (жесты) в данном случае обозначают не сами явления окружающего мира (как в искусстве, у индейцев и т. д.), а буквы алфавитов национальных языков. Но ведь буквы сами служат для называния этих явлений, так как они являются элементами слов (единиц письменной речи). Следовательно, по структуре дактильная речь — это речь при помощи жестовых обозначений букв, иначе говоря, обозначения обозначений. Используя набор дактильных знаков, говорящий следует грамматике словесного языка (русского, английского и т. д.). Таким образом, дактильная речь — своеобразная кинетическая форма словесной речи, вербальной коммуникации. Функции дактильной речи довольно широки: дактилология применяется в общении слышащих (учителей, родителей и др.) и глухих, а также принимает участие в межличностной коммуникации глухих, осуществляемой главным образом при помощи жестовой речи.

Система жестового общения глухих имеет сложную структуру, включает две разновидности жестовой речи: русскую и калькирующую. Русская жестовая речь (РЖР) — это общение при помощи средств русского жестового языка — самобытной лингвистической системы, обладающей своеобразной лексикой, грамматикой и т.д. Калькирующая жестовая речь (КЖР) — калькирует лингвистическую структуру словесного языка. Калькирующая жестовая речь — вторичная знаковая система, которая усваивается на базе и в процессе изучения глухим ребенком словесной речи. Жесты здесь являются эквивалентами слов, а порядок их следования такой же, как в обычном предложении. Нам еще предстоит подробно анализировать структуру и функции дактильной и жестовой речи в последующих главах. А сейчас подытожим сказанное.

Рассматривая особенности различных жестовых систем, мы выяснили, в чем их различие, в чем сходство. Еще раз подчеркнем: главное, что объединяет эти системы, — способ передачи и восприятия информации. В качестве основной смысловой единицы здесь служит жест — кинетический акт, в котором участвуют в первую очередь руки. Двигательная природа жеста и его визуальное восприятие обусловливают такие особенности жестовых языков, как возможность определенным образом расположить жест в пространстве (ближе, дальше, правее, левее и т. д.), исполнить одновременно два жеста двумя руками и т. д. Например, судья вовремя хоккейного матча одновременно исполняет два жеста: правую руку с двумя вытянутыми пальцами поднимает вверх (это означает удаление с поля на две минуты), а левую протягивает в направлении провинившегося игрока. Такие высказывания широко распространены и в жестовой речи глухих. К примеру, сообщая, что торшер находится над креслом, глухой рассказчик, левой рукой выполняет жест КРЕСЛО, а правой — ТОРШЕР. Руки располагаются таким образом, что собеседник, воспринимающий информацию визуально, получает все сведения о пространственном положении предметов. Понятно, что в словесном языке такой способ — одновременное произнесение двух слов —совершенно невозможен.

Общность двигательно-визуальной субстанции жестовых систем общения — одна из причин наличия в некоторых из них одинаковых или похожих жестов (например, таких, как жесты ДОМ в русском и американском жестовом языке глухих и в системе жестового общения индейцев). Руки при исполнении каждого из них располагаются в пространстве таким образом, что как бы моделируют крышу дома, которая чаще всего устроена примерно одинаково.

Именно поэтому-то одинаковые жесты встречаются в национальных жестовых языках глухих. В грамматике национальных жестовых языков также выявлены некоторые общие закономерности (универсалии). Но не надо думать, что жестовая речь глухих вообще универсальная система. Лингвистические исследования, широко развернувшиеся в наши дни во многих научных центрах Европы и Америки, показали, что жестовые языки глухих разных стран отличаются своеобразием лексики и грамматического строя.

Помимо национальных жестовых систем существует международный язык жестов, называемый ж е с т у н о . Это своего рода жестовый эсперанто (правда, в отличие от эсперанто для жестуно не создана собственная грамматика). Перед создателями жестуно стояла задача облегчить общение между глухими при проведении мероприятий, организуемых Всемирной федерацией глухих (съездов, симпозиумов, состязаний неслышащих спортсменов и др.). Иначе на подобных встречах необходим многоступенчатый перевод. Предположим, представитель Великобритании делает доклад на национальном жестовом языке. Его речь переводится на соответствующий словесный язык — английский. Для того чтобы содержание выступления было понятно членам других делегаций, скажем, делегатам Всероссийского общества глухих, должен быть обеспечен перевод с английского языка на русский, а затем с русского — на жестовый язык, принятый среди глухих Российской Федерации. Такая сложная процедура серьезно затрудняет и замедляет общение. В связи с этим международным комитетом, состоящим из представителей нескольких стран, был отобран и опубликован словник, включающий около 1500 жестов, сгруппированных по темам: люди, межличностные отношения, юстиция, природа и т. д. Жесты, вошедшие в международный лексический фонд, в основном отобраны из национальных жестов, частично — вновь сконструированы членами комиссии. Однако существенным недостатком жестуно является отсутствие грамматики. Глухие выстраивают жесты или по законам национального языка, или следуя грамматике английского языка. И в том и в другом случае коммуникация между глухими из разных стран затруднена.

В настоящее время на международных форумах глухих используется система общения, получившая название международный жестовый язык. На международном жестовом языке выступают глухие докладчики, на нем осуществляется перевод всех устных выступлений. На этом языке делегаты ведут и неофициальные беседы. Недоразумений, как правило, не возникает. Международный жестовый язык работает! Каким образом? Выяснилось, что собеседники частично заимствуют жесты из жестуно, частично используют изобразительные движения, естественные жесты, пантомиму. А вот грамматика основана на морфологических и синтаксических универсалиях, общих для многих национальных жестовых языков. Но пока международный жестовый язык — загадка для науки.

Закончим наше краткое введение некоторыми замечаниями по поводу терминов, встречающихся в книге.

Вполне понятно, что автор стремился не загружать книгу специальной терминологией, однако хотел бы честно предупредить тебя, дорогой читатель: те термины, которые в пособии есть, включены в книгу намеренно. Многие из них, конечно, можно было бы и не использовать. Однако автор полагает, что его читателю, получающему высшее гуманитарное образование, полезно знать термины, общеупотребительные в современной лингвистической и психолингвистической литературе. Эти термины вводятся по мере необходимости и разъясняются в соответствующих разделах пособия. Однако по поводу термина жестовая речь следует сказать несколько слов предварительно. Дело в том, что в специальной литературе кроме терминов «жестовая речь», «жестовый язык» встречается множество других обозначений: «мимико-жестовая речь», «мимика» и др. Такая терминологическая неразбериха является крайне нежелательной: это затрудняет взаимопонимание между специалистами, осложняет учебно-педагогический процесс при подготовке сурдопедагогов и т. п.

Современная наука стремится к ликвидации терминов-синонимов, к установлению обоснованных обозначений, отражающих существенные признаки понятий. Как мы уже выяснили, существенным признаком, основным элементом жестового общения глухих является жест. Почему же обозначения типа «мимика», «мимическая речь» и т. п. встречаются достаточно часто? Оказывается, дело в том, что в русском языке первой половины XIX в., когда появились первые в России книги о глухих, слово «мимика» имело другое значение. Это слово понималось как обозначение способа выражения мыслей и чувств не только при помощи движений мышц лица (как это мы понимаем сегодня), но и при помощи телодвижений, включая движения руками. Поэтому для сурдопедагогов того времени термин «мимическая речь» обозначал общение при помощи движений рук и мышц лица. Однако постепенно за русским словом «мимика» закрепилось новое значение — движение мышц лица, а для обозначения движений рук выделилось слово «жест». В настоящее время термины «мимическая речь», «мимико-жестовая речь» оказались устаревшими и используются просто по традиции.

Автор пользуется терминами «жестовый язык», «жестовая речь». Более подробно значение этих терминов раскрывается и уточняется во второй главе книги.

Внимательный читатель, уже знакомый с публикациями автора, конечно, заметил, что автор использует новые термины: русский жестовый язык (вместо — разговорный жестовый язык) и русская жестовая речь (вместо — разговорная жестовая речь). Старые термины оказались не совсем удачными и вызвали справедливую критику. Новые термины более точно отражают содержание понятий, о которых идет речь, и вполне соответствуют принятой международной терминологии, например: American Sign Language — американский жестовый язык; British Sign Language — британский жестовый язык; la langue des signes Française — французский жестовый язык и др.

Вводная информация. Это нужно знать.

 

ВВОДНАЯ ИНФОРМАЦИЯ

Русский жестовый язык – точно такой же полноценный, развитый язык как русский, английский, китайский, только это язык визуальный, вся информация воспринимается зрительно. Именно поэтому глухие и слабослышащие называют жестовый язык «своим» языком, а для глухих детей глухих родителей – это родной язык.

Исследования детских психологов последних лет доказывают, что глухие дети глухих родителей по многим показателям опережают своих сверстников, а общение на жестовом языке помогает преодолеть коммуникационные барьеры, раскрепоститься, выразить свои желания и эмоции и маленьким слышащим детям. К сожалению, некоторые специальные педагоги и врачи верят во вредный миф, что использование жестов мешает развитию словесной речи ребенка. Не существует ни одной научной работы, которая бы это подтверждала.

Напротив, жестовый язык – бесценное средство общения и взаимопонимания, стимулирующее когнитивное, социальное и эмоциональное развитие маленького ребенка: глухого, слабослышащего, с кохлеарным имплантом и даже слышащего.

 

СПОСОБЫ ПРИВЛЕЧЕНИЯ ВНИМАНИЯ

  1. Самое главное правило общения с любым ребенком с нарушением слуха – это зрительный контакт с глухим ребенком.

  2. Использовать указания как способ привлечения внимания. Указание – это составляющий компонент жестового языка.

  3. Соблюдать визуальное пространство, не занимать доминирующую позицию.

  4. Правильно предупреждать о звуковых сигналах или о том, почему маме/папе нужно уйти, «пропасть» из зрительного пространства ребенка.

 

ПРИМЕЧАНИЕ

Распределение жестов по урокам весьма условно, потому что все зависит от конкретной семьи и конкретного ребенка: что важно и значимо для его развития именно сейчас, что и кто его окружает, что вызывает его интерес.

 

РЕКОМЕНДОВАННАЯ ЛИТЕРАТУРА

  1. Базоев В.З., Паленный В.А. «Человек из мира тишины» – М., 2002.

  2. Билингвизм. Роль жестового языка в языковом и когнитивном развитии детей с нарушенным слухом. / Сборник статей под ред. А.Маллабиу, З.Бойцовой. – Санкт-Петербург, 2017.

  3. Давиденко Т.П., Комарова А.А. Краткий очерк по лингвистике русского жестового языка // сборник «Современные аспекты жестового языка», – М., 2006.

  4. Зайцева Г.Л. Жестовая речь. Дактилология. Учеб.для студ.высш.учеб.заведений. – М.: ВЛАДОС, 2000.

  5. Зайцева Г.Л. Жест и слово: научные и методические статьи. – М., 2006.

  6. Комарова А.А., Паленный В.А.  За жестовый язык! – М., 2014.

  7. Крайнин В.А., Крайнина З.М. Человек не слышит. – М.: Знание. – 1984.

  8. Образование и жестовый язык / Сост. Комарова А.А. –М., 2017.

  9.  Русский жестовый язык (базовый курс) / методическое пособие под ред. Комаровой А.А., М., 2013.

  10. Сакс О. Зримые голоса. – М.: АСТ, 2013.

  11. Словарь русского жестового языка. – МГО ВОГ, М., 2009

  12. Современные аспекты жестового языка // Сборник статей. Сост. Комарова А.А. – М., 2006

 

ВИДЕОМАТЕРИАЛЫ

  1. “Любимые сказки – глухому малышу” М., 1996
  2. Словарь лексики русского жестового языка. ЦОГиЖЯ, М., 2006
  3. Видеокурс РЖЯ часть 1-2, ЦОГиЖЯ, М., 2004
  4. Видеокурс РЖЯ для родителей маленьких глухих детей. ЦОГиЖЯ, М., 2006
  5. «Давайте познакомимся», ЦП ВОГ, ЦОГиЖЯ, М., 2016

 

ИНТЕРНЕТ РЕСУРСЫ

  1. Всероссийское общество глухих http://voginfo.ru
  2. Информационный портал глухих www.deafnet.ru
  3. МГО ВОГ www.deafmos.ru
  4. Словарь РЖЯ  www.spreadthesign.com
  5. Центр образования глухих и жестового языка им Г.Л.Зайцевой http://vk.com/deafsign  www.deafsign.ulcraft.com
  6. Центр развития и поддержки глухих и слабослышащих детей и их родителей «Я понимаю» https://www.facebook.com/iudeaf

 

НАД КУРСОМ РАБОТАЛИ

РЕЖИССЕР

  • Викторов Лев Юрьевич

ОПЕРАТОРЫ

  • Парфенов Роман Владимирович
  • Викторов Лев Юрьевич

СЦЕНАРИСТ

  • Комарова Анна Анатольевна

КОНСУЛЬТАНТЫ

  • Комарова Анна Анатольевна
  • Давиденко Татьяна Пантелеевна
  • Томсон Виктория Александровна

ГРАФИКА

  • Тищенко Геннадий Иванович

МОНТАЖ

  • Викторов Лев Юрьевич

ДИКТОР

АДМИНИСТРАТОР

  • Горбачевская Валентина Васильевна
  • В съемках принимали участие
  • Шихова Антонина Леонидовна
  • Семенова Дарья Сергеевна
  • Макарова Ирина Викторовна
  • Корякин Александр Валентинович
  • Романцова Татьяна Александровна

А ТАКЖЕ

  • Лева, Мия, Оливия, Ярина и Дилан

 

К оглавлению

 

 

«Это уважение». Почему глухим детям важно, чтобы с ними говорили на жестовом языке

Учитель физической культуры Сергей Балабанов работает в школе первый учебный год.

«Мне помогли завучи. Они подобрали мне классы, где ребята с ослабленным слухом. Очень помогли коллеги – учителя физкультуры с огромным стажем Николай Осьмаков и Александр Тимощук. Поначалу было сложно. Могу провести параллель с иностранцами (педагог изучает английский и турецкий языки – прим. авт.). Ты можешь быть тренером самого высокого уровня, но если нет коммуникации, то уровень падает, – говорит он. – Конечно, мы говорим с детьми, следуя учебному плану. Но ты можешь показать буквально пару жестов, и ребёнок уже поймёт тебя, заинтересуется. Язык жестов намного быстрее, чем разговорная речь».

Культура общения

Учителя ведут уроки, как положено по программе, на русском языке, а жестовым дополняют учебный материал. Так занятие становится куда более инверсным и понятным. Помогает жестовый язык выучить детям и новые слова на разговорном. А ещё на жестовом языке общаются во внеурочное время.

«Жизнь подсказала, что глухой с глухим будет разговаривать жестами, и культура общения нашего общества с глухими заключается в том, чтобы мы тоже понимали язык. Почему‑то глухой должен к нам адаптироваться, а мы нет. Это абсурд. Можно, конечно, написать на листочке, но когда ты говоришь на родном человеку языке – это совсем другое отношение, это уважение», – объясняет директор школы Александр Годин.

Педагоги замечают, что такая коммуникация помогает не просто заниматься на уроке, но и наладить эмоциональную связь с детьми, построить доверительные отношения. Что ещё очень важно – с глухими родителями.

 

Павел Захаров / Фото: Наталия Козлова

Visual-Gestural Communication: A Workbook in Nonverbal Expression and Reception: 9781138605862: Communication Books @ Amazon.com

Как у одного из студентов VGC Гила Истмана в 1970-х, эта книга вызвала теплые ностальгические воспоминания. Конли, преемник Истмана, умело создал исторический источник с многочисленными наводящими на размышления упражнениями как для учащихся, так и для преподавателей в различных междисциплинарных областях. Необходим для многих целей!

-Доктор. Арлин Б. Келли, заведующая кафедрой/профессор отделения изучения английского языка и глухих, Университет Галлодет,

Книга Конли является важным и вдохновляющим руководством, которое поможет улучшить ваши навыки невербального общения, независимо от вашего происхождения или конкретных целей.Перечисленное множество упражнений и мероприятий обеспечивает веселую и практическую основу для позитивного роста и сближения участников.

— Эрик Битти, директор программ Homewood Arts, Университет Джонса Хопкинса

В этой книге Вилли Конли рассказывает об истории визуальной и жестовой коммуникации и представляет убедительные аргументы в пользу ее места в современном обществе и образовании. Визуально-жестовая коммуникация служит ценным инструментом для педагогов и театральных художников. Применяя концепции и инструменты, представленные здесь, в культурных и рабочих условиях, практики позволяют участникам найти точки соприкосновения и, следовательно, создать чувство общности.

-Тим Маккарти, президент/художественный руководитель Quest Visual Theater

Это идеальная книга, которую мистер Бин, Джим Керри, братья Маркс, Гарфилд, Люсиль Болл, Лорел и Харди одобрят вместе со мной. Я нахожу главы, планы уроков, упражнения и занятия веселыми, расслабляющими, приятными, а иногда и веселыми. Опус Конли — антитеза Вавилонской башне! Эта книга нужна миру для более эффективного общения.

— Стив С. Болдуин, доктор философии, Техас, США

Вилли Конли — профессор театра и танца в Университете Галлодет в Вашингтоне, округ Колумбия.Он — отмеченный наградами драматург, чьи работы появились в Американском театре, Театре для юной аудитории сегодня, Этапах трансформации и многочисленных антологиях. Он специализируется на обучении визуально-жестовой коммуникации студентов и выпускников глухих, слабослышащих и слабослышащих студентов. Его публикации включают «Слушание сквозь кости: сборник стихов» (2018 г.), «Глухое сердце: роман» (2015 г.) и «Виньетки глухого персонажа и другие пьесы» (2009 г.).

инструменты для распознавания и картирования выразительных жестов на репетициях и выступлениях

Аннотация

Поскольку человеческое движение является невероятно богатым способом общения и выражения, художники-исполнители, работающие с цифровыми медиа, часто используют движения и жесты исполнителей для управления и формирования этих цифровых медиа в рамках театрального, хореографического или музыкального представления.В моей собственной работе я обнаружил, что сильные, семантически значимые сопоставления между жестами и звуком или визуальными эффектами необходимы для создания убедительных взаимодействий. Однако существующие системы для разработки отображений между входящими потоками данных и выходными носителями имеют чрезвычайно низкоуровневые концепции «жеста». Фактический процесс программирования фокусируется на низкоуровневых данных датчиков, таких как значения напряжения конкретного датчика, что ограничивает пользователя в его или ее мыслительном процессе, требует от пользователей значительного опыта программирования и теряет выразительность, смысл и метафоричность. -богатое содержание движения.Чтобы устранить эти трудности, я создал новую структуру и среду разработки для жестового управления медиа во время репетиций и выступлений, позволяя пользователям создавать четкие и интуитивно понятные сопоставления простым и гибким способом с использованием высокоуровневых описаний жестов и характеристик жестов. . Этот подход, Gestural Media Framework, распознает непрерывные жесты и переводит нотацию усилий Лабана в область технологического анализа жестов, позволяя абстрагировать и инкапсулировать данные датчиков в описания движений.В рамках оценки этой системы я поставил четыре постановки, в которых эта система используется на протяжении всего выступления и репетиционного процесса, чтобы сопоставить движения танцоров с манипулированием звуковыми и визуальными элементами. Эта работа была поддержана Медиа-лабораторией Массачусетского технологического института.

Описание
Диссертация (SM) — Массачусетский технологический институт, Школа архитектуры и планирования, Программа медиаискусства и науки, 2010 г.

 

Каталогизировано из версии диссертации в формате PDF.

 

Включает библиографические ссылки (стр. 97–101).

 

Отдел
Программа медиаискусства и науки (Массачусетский технологический институт)

Издатель

Массачусетский технологический институт

Ключевые слова

Архитектура. Программа в области медиаискусства и науки.

Wave Привет дизайну жестов

I

Если вам нравится научная фантастика, это захватывающее время для дизайнера взаимодействия.Потребовалось время, но технологии, наконец, догнали такие фильмы, как Особое мнение и Железный человек . Большинство из нас помнит Особое мнение по изображениям Тома Круза, манипулирующего прозрачными плавающими экранами, полными информации, просто двигая руками. Эти сцены оказали неизгладимое влияние на поколение дизайнеров взаимодействия, которые увидели, как Круз получает доступ к информации, шевеля пальцами, и подумали: «Это было бы круто».

Сегодня все это размахивание руками больше не является областью научной фантастики.Мы видим, как дизайн жестов включается в дизайн интерфейса в виде удобочитаемых телодвижений и воплощается в жизнь в таких потребительских продуктах, как Oculus Rift, играх с дополненной реальностью (например, виртуальный аэрохоккей) и, что бы там ни было, на приборных панелях автомобилей.

Все продукты, представленные в настоящее время на рынке, действительно потрясающие. Голограммы и «голопортация», концептуализированные в «Звездных войнах» примерно в 1977 году, теперь являются частью продукта иммерсивной реальности Meta 2 от разработчиков AR Meta Company.Компания Leap Motion, занимающаяся разработкой оборудования для виртуальной реальности (VR) и дополненной реальности, производит портативные контроллеры, которые позволяют пользователям взаимодействовать с иммерсивным контентом виртуальной реальности, используя движения, которые кажутся естественными и инстинктивными.

Некоторые продукты могут даже сделать персонажа Круза в отчете меньшинства безмолвным. Предоставьте Google возможность создать один из самых захватывающих жестов в виртуальной реальности: Tilt Brush. Надев дисплей HTC Vive, крепящийся на голову, и портативные контроллеры, пользователи могут виртуально рисовать в трехмерном пространстве, чтобы фактически побывать внутри своих творений.А компания Tobii из Стокгольма вообще обходит контроллеры, разрабатывая инструменты отслеживания взгляда, которые могут управлять настольными компьютерами, вводить данные для беспилотных автомобилей и обеспечивать естественный игровой процесс.

Благодаря микромеханическим датчикам управления движением, головной оптике, гироскопам, датчикам глубины и времяпролетным камерам почти все, что снято в крупнобюджетном голливудском фильме со спецэффектами, можно воплотить в жизнь, скажем так, в реальной жизни с помощью жест дизайн.


В гарнитурах HTC Vive художник (слева) и модельер (справа) используют наклонную кисть Google для рисования и иллюстрации в трехмерном пространстве.Tilt Brush позволяет пользователям превращать любое пространство в интерактивный холст с углом обзора 360 градусов. Художники также могут делиться своими работами с другими с помощью интерфейса HTC Vive или в виде анимированных GIF-файлов.

НАУЧНАЯ ФАНТАСТИКА ВСТРЕЧАЕТСЯ С КОМПЬЮТЕРНЫМИ НАУКАМИ
Крис Носсель, соавтор книги «Сделай так: уроки дизайна интерфейса из научной фантастики » , отмечает, что дизайн жестов включает в себя множество движений. По его словам, первое, о чем люди думают, это жесты рук и рук, популяризированные в таких фильмах, как Особое мнение и Железный человек .Кроме того, дизайн жестов также включает в себя сенсорные жесты, которые управляют взаимодействием со смартфоном и планшетом. «Нажатие, скручивание, щипок и смахивание на этих экранах узнаваемы, и устройства реагируют соответствующим образом», — говорит Ноэссель. «Конечно, в некоторые устройства встроено распознавание жестов. Встряхните телефон при использовании Google Maps, и система, предполагая, что вы расстроены, спросит, что не так».

По словам Ноэсселя, дизайнеры должны работать над одним реальным ограничением — это редко точный характер жестов рук и рук.«Люди ужасно справляются с точностью в воздухе, — говорит Носсель. Чтобы компьютерная система обнаруживала такие жесты и реагировала на них, они должны быть «крупными, крупными моторными движениями, которые могут казаться странными и утомительными». Оказывается, жесты, необходимые для управления экранами в Особое мнение , так сильно утомляли Круза, что ему приходилось делать частые перерывы во время съемок — это поймет любой, кто когда-либо работал с руками над сердцем. Если дизайнеры взаимодействий используют этот режим, Ноэссель предлагает ограничить взаимодействие короткими всплесками активности или действиями, при которых руки держат ниже сердца.

Ноэссель предсказывает, что виртуальные игры, за которыми последуют агенты социальных интерфейсов, принесут следующий толчок в области вычислений с помощью жестов. Но это будет сложный процесс. «Я думаю, что воздушные жесты не приживутся, и что — как и у людей — жесты будут включены в качестве третичного канала информации, который поддерживает естественный язык и распознавание выражений». Грядущие технологии, которые объединяют жесты и управление глазами в VR, AR и искусственный интеллект, могут ожидать много действий. Если все сделано правильно, говорит Нуссель, «компьютеры будут знать нас так же хорошо, как и любой другой человек.

Сочетание жестов с дополненной реальностью означает, что физическое пространство упрощает всю проблему виртуального пространства», — Джоди Медич,

.

AT EXIPPLE, ЖЕСТЫ ЭТО ЯЗЫК
Чтобы увидеть будущее дизайна жестовых интерфейсов, взгляните на такие приложения, как Gestoos Z от Exipple Studio, которые превращают плоские экраны в интерфейсы с поддержкой жестов. Для Янны Вогиазу, директора по пользовательскому опыту (UX) в Exipple, барселонской студии, которая сочетает человеческое взаимодействие с технологиями, жесты открывают совершенно новый язык для дизайнеров.В то время как раньше дизайнеры ограничивались кнопками и экранами, теперь Вогиазу и ее команда в Exipple могут исследовать новое измерение. Эта «ось Z» буквально добавляет глубину ее работе, заставляя ее думать о новых способах, когда дело доходит до проектирования взаимодействия человека с компьютером. «Благодаря жестовым интерфейсам у нас есть глубина», — говорит Вогиазу. «Пользовательский опыт встроен в физическую среду; мы можем творчески двигаться через это».

Работая с разработчиками Exipple в офисе, окруженном плоскими экранами размером с тело человека и украшенном трехмерными сенсорными камерами, Vogiazou развивает язык жестового дизайна.Это включает в себя мозговой штурм, прототипирование и наброски схем взаимодействия для разработчиков. Как говорит Вогиазу, «существует общее визуальное понимание различных предложений взаимодействия». Пока дизайнеры Exipple проводят мозговой штурм и рисуют визуальные эффекты для пользовательского интерфейса, разработчики записывают движения рук в машину, которая использует их для изучения алгоритмов. Вместе они стоят перед камерами и экранами, чтобы проверить, какая комбинация жестов и дизайна пользовательского интерфейса работает лучше всего. Наконец, они приглашают пользователей по одному для выполнения ряда естественных взаимодействий, таких как захват объекта, чтобы проверить, насколько интуитивно понятны их элементы управления.


Пользователь изучает интерактивную карту, воплощенную в жизнь приложением Gestoos Z от Exipple (слева), которое позволяет компаниям разрабатывать инсталляции на основе жестового взаимодействия. Жестовое взаимодействие также улучшает впечатления от виртуальной реальности; с Leap Motion пользователи могут взаимодействовать с фантастическими средами, такими как кабина космического корабля (справа).

Проектирование человеческого взаимодействия, которое требует компьютерных наук с оттенком искусства понимания людей, требует дизайнеров, которые могут привнести в эту область широкий спектр опыта.Вогиазу, у которого есть докторская степень в области взаимодействия человека с компьютером, считает, что, поскольку дизайнеры создают новые знания, эта область принимает дизайнеров с опытом работы в играх, мобильных и веб-приложениях. Умение кодировать не требуется для новых сотрудников Exipple. Вогиазу говорит: «Разработчики — ваши лучшие друзья. Все, что вам нужно привнести в свою работу, — это мышление, ориентированное на процесс. Это означает, что вам нужны видение, внутреннее руководство и настойчивость для создания инновационных продуктов».

В ближайшем будущем Exipple планирует выпустить Gestoos Z, программный инструмент для дизайнеров и креативщиков, который превращает плоский экран или проектор в интерактивную видеостену.«Контент захватывающий», — объясняет Вогиазу. «Кнопок нет. Когда люди приближаются, камера с трехмерным датчиком будит систему, которая реагирует на их приближение и движение, постепенно раскрывая информацию. Люди могут взаимодействовать с различными областями контента, используя естественные жесты, такие как указывание и смахивание. Gestoos Z позволяет нескольким людям взаимодействовать одновременно, каждый из которых имеет свое пространство перед экраном». Это цифровые вывески, которые адаптируются к пользователям, говорящим на универсальном языке: естественным человеческим жестам.

С жестовыми интерфейсами у нас есть глубина. Пользовательский опыт встроен в физическую среду; мы можем творчески двигаться через это», — Янна Вогиазу,

.

ИСЧЕЗАЮЩИЙ ЭКРАН
Джоди Медич, ранее работавшая главным дизайнером Microsoft HoloLens и дизайнером пользовательского интерфейса в Leap Motion, не любит экраны. На самом деле, она считает, что экраны должны исчезнуть. Медич считает, что вместо того, чтобы втискивать вещи на экран, мы должны взаимодействовать с пространством.Это означает жест. Но жесты для дизайнеров взаимодействия сложны.

Чтобы объяснить, Медич проводит небольшой мысленный эксперимент. Представьте, что вы держите руку под водой, предлагает Медич. Теперь переместите его справа налево. Все идет нормально. Что теперь? Вернуть руку в исходное положение означает провести ею слева направо. Но что это значит? Вы отменили свое предыдущее действие? Инициировать новое действие? Или вы просто вернули руку на исходное место? Подобные вопросы не дают дизайнерам жестов спать по ночам.

«С точки зрения компьютерного распознавания каждый жест может быть совершенно другим, — говорит Медич. Дэн Саффер, который совместно с Медичем основал консалтинговую компанию Kicker Studio и написал библию в этой области, Проектирование жестовых интерфейсов , подробно описывает не менее 103 распознаваемых жестов в разделе Приложения к книге под названием «Жесты для систем произвольной формы».

Но у этой сложной проблемы есть ответ, считает Медич: дополненная реальность. «Сочетание жестов с дополненной реальностью означает, что физическое пространство упрощает всю проблему виртуального пространства», — говорит она.Благодаря таким устройствам, как Microsoft HoloLens, встроенная в голову система камер и программное обеспечение дополненной реальности (теперь они поставляются в комплекте для разработчиков за 3000 долларов), которые видят то, что видят пользователи, и со временем изучают их среду, цифровой мир теперь может интерпретировать шаблоны жестов. «С помощью HoloLens, — говорит Медич, — мы можем сопоставить существующее пространство с нашими собственными пространственными воспоминаниями, чтобы помочь обрабатывать информацию в реальном мире».

Сочетание вычислительной мощности, физического пространства и дополненной реальности — не что иное, как волшебство, говорит Медич. Просмотр демонстраций Microsoft HoloLens и видеороликов, подтверждающих концепцию, раскрывает очертания мира, в котором ученые НАСА могут ходить в своем офисе и виртуально присутствовать на Марсе; архитекторы могут брать свои планы и переносить их в физическое пространство, виртуально расширяя масштабную модель, чтобы ходить по ней и исследовать форму, пропорции и масштаб; а дизайнеры в Skype могут рисовать на своем экране и размещать голограмму в вашем рабочем пространстве.

Это будущее, и оно скоро наступит. Для Медича сценарий мечты — это голопортация. «Представьте, что я проецирую себя в ваше реальное пространство, где мы можем сотрудничать в виртуальном пространстве. Внезапно у нас появляются сверхспособности».

По мере того, как системы дополненной реальности совершенствуются и объединяются с гарнитурами виртуальной реальности, искусственным интеллектом и оптическими трекерами, область дизайна жестов станет самостоятельной. В сочетании с голосовым вводом мы разработаем умные дома и интеллектуальные офисы, которые реагируют на каждую нашу команду. Это не реактивный ранец, но что касается сверхспособностей, дизайн жестов получает большое одобрение. ок

Использование жестов для вовлечения и обучения вашей разнообразной группы учащихся

Это беспрецедентные времена, и нигде это так не очевидно, как в наших государственных школах. Каждый округ реагирует по-своему: виртуальное обучение, очное обучение или гибридный подход. В таких разнообразных ситуациях я хотел бы предложить универсальную стратегию, которая будет работать в разных форматах обучения, в разных классах, в разных областях содержания и в разных категориях инвалидности.

Мы знаем, что предоставление нашим учащимся нескольких возможностей для ответа (OTR) должно улучшить их обучение и уменьшить разрушительное поведение. Устные и письменные OTR могут быть эффективными, но также могут оказаться проблематичными, если ваш класс представляет широкий спектр устных и письменных способностей. Жестовые ответы предлагают лучший способ уравнять игровое поле и предоставить всем учащимся равные способы ответа.

Вот 4 простых способа использования жестов в качестве OTR, которые привлекают, обучают и оценивают разные группы учащихся.

Ответы «согласен/не согласен»

Давайте начнем с наиболее часто используемого жестового ответа. Вы можете задать вопрос-мнение и попросить студентов поставить вам большой палец вверх (согласен) или палец вниз (не согласен). Этот тип ответа не только позволяет всему классу одновременно взаимодействовать с уроком, но и несет в себе потенциал многократного повторения в минуту. Вы также можете использовать этот тип ответа для вопросов «верно/неверно», но открытая природа согласия/несогласия кажется более действенной.Не стесняйтесь продолжить, пригласив нескольких студентов, чтобы обсудить, почему они ответили так, а не иначе.

Мнение Ответы

Дети любят высказывать свое мнение о вещах. Может быть, вы хотите спросить учащихся, что они думают о персонаже в рассказе, как они относятся к своему личному пониманию порядка действий или как они относятся к историческому событию, которое вы изучаете. Предложите учащимся отвечать выражениями лица, которые выражают их чувства.Вы также можете попросить учащихся ответить живым смайликом, который включает в себя их любимый смайлик. Эта стратегия обязательно привлечет внимание ваших учеников, предоставляя при этом большое количество возможностей для ответа.

Множественный выбор ответов

Эта стратегия назначает жест или движение каждому варианту ответа. Это похоже на большой палец вверх / большой палец вниз, но более универсальный. Например, во время урока «факты против мнений» вы можете попросить учащихся указать на свой мозг, чтобы узнать факт, или помахать руками, чтобы получить мнение.Если вы проводите урок категоризации, вы можете использовать язык жестов. Может быть, вы поднимете несколько предметов и попросите класс определить, «твердые» они или «мягкие».

Идентификационные ответы

Это может быть самый простой ответ жестом, который можно предложить вашему классу. Назначьте один жест, такой как поднятие руки, быстрое моргание, подпрыгивание вверх и вниз или открытие рта. Попросите учащихся использовать этот жест для определения целевого понятия.Например, учащиеся могут выполнять этот жест всякий раз, когда они слышат глагол в отрывке для чтения или простое число в цепочке цифр.

Лучшие советы по включению жестов в ваши инструкции:

  • Используйте жесты в различных ситуациях. Они работают лицом к лицу, виртуальными (синхронными) или гибридными настройками.
  • Чтобы добиться справедливости, используйте жесты, которые может выполнять каждый ученик в вашем классе.
  • Учитывайте время обработки, попросив весь класс выполнять свои жесты в унисон.
  • Предложите учащимся предлагать жесты.
  • Не бойся быть глупым. Если студенты вовлечены, они учатся!

Помимо прикосновений: разработка эффективных жестовых взаимодействий

Будущее взаимодействия мультимодально. Но сочетание прикосновения с воздушными жестами (и, возможно, с голосовым вводом) не является типичной задачей дизайна пользовательского интерфейса.

В Exipple наши команды дизайнеров и инженеров работают вместе над созданием пользовательских интерфейсов для различных контекстов, которые реагируют на жесты рук и адаптируются к движениям и физическим свойствам пользователей.Опираясь на итеративный процесс проектирования, разработки и оценки, я хотел бы поделиться нашим мнением о том, что работает в жестовом взаимодействии.

Фото с интерактивной видеостены в Музее ФК Барселона.

Дизайн для обнаружения жестов

Жесты часто воспринимаются как естественный способ взаимодействия с экранами и объектами, будь то сжатие экрана мобильного телефона, чтобы увеличить карту, или махание рукой перед телевизором, чтобы переключиться на следующий фильм.Но насколько естественны эти жесты на самом деле?

Для пользователей, которые никогда раньше не сталкивались с определенной парадигмой взаимодействия, жесты — незнакомая территория. Хотя все мы интуитивно знаем, что делать, чтобы увидеть больше деталей на карте, отображаемой на сенсорном экране, подумайте о том, чтобы посмотреть на нее с некоторого расстояния на большом дисплее. Что, если кто-нибудь просто скажет вам, что вы можете двигать руками каким-то естественным и интуитивно понятным способом, чтобы увеличить карту, не касаясь экрана? Какой первый жест вы бы попробовали? Столкнувшись с таким вопросом, каждый из нас мог бы определить свои собственные естественные жесты.

«Будущее взаимодействия — мультимодальное».

Дизайн для открытий имеет решающее значение. Убедитесь, что вы предоставляете правильные подсказки — указатели дизайна, которые помогают пользователям легко понять, как они могут взаимодействовать с помощью жестов. Это могут быть визуальные подсказки о том, какой жест запускает то или иное действие. После многократного использования эти советы по открытию больше не понадобятся, поскольку пользователи выучат жесты.

Можно создавать анимацию, которая постепенно развивается, чтобы раскрыть возможность взаимодействия по-другому.Например, чтобы пользователи знали, что они могут взаимодействовать на расстоянии, фактически не касаясь экрана, мы создали меню, которое показывает больше информации, когда рука указывает на экран. Сначала это игривая композиция из плавающих изображений (A). Подойдя поближе и подняв руку к ним, вы обнаружите, что каждое изображение на самом деле является категорией, содержащей контент (B).

Почему прямой перевод с сенсорного экрана не работает

В прошлом году мы провели небольшое неофициальное исследование.Мы пригласили людей в нашу студию и показали знакомые интерфейсы на экране телевизора: меню с иконками, карту, сетку и карусель. Мы попросили их представить, как они будут взаимодействовать с этими интерфейсами на расстоянии с помощью воздушных жестов.

Интерфейсы на самом деле представляли собой набор прототипов мини-жестов. После того, как мы собрали их ожидания, они изучили их и дали нам обратную связь. То, что стало ясной закономерностью, заключалось в том, что их ожидания были в значительной степени обусловлены их знакомством с сенсорными жестами на мобильных устройствах.Все наши участники применяли ментальные модели, которые у них есть, от использования мобильных телефонов до воздушных жестов. Иногда можно было даже догадаться о разнице между пользователями iOS и Android по их ожиданиям от того, как будет работать интерфейс.

«То, что интуитивно понятно, не обязательно является самым эффективным и простым в использовании».

Но мы быстро столкнулись с проблемой: самое интуитивно понятное не обязательно самое эффективное и простое в использовании. Например, мышь — это высокоточное устройство, обеспечивающее хороший уровень контроля.Человеческая рука, перемещающаяся в воздухе в трех измерениях, не так точна. Мы можем думать, что перемещаем руку по оси X, хотя на самом деле мы также немного перемещаем ее по другим измерениям.

Мы не можем рассчитывать на достижение такого же уровня точности. Сосредоточение внимания на совершении очень осторожных движений неизбежно создаст некоторое напряжение, а «жесткие руки» ни в коем случае не являются естественным взаимодействием.

При прикосновении к поверхности экрана точка прикосновения становится точкой отсчета.Теперь рассмотрим разницу между типичным жестом щипка двумя пальцами для увеличения и уменьшения масштаба и использованием пальцев или обеих рук в воздухе для формирования аналогичного жеста щипка или разведения. Точка отсчета для уровня масштабирования становится неясной. И вы не можете просто отпустить сенсорный экран, чтобы остановить взаимодействие, поэтому начальная и конечная точка также становятся неоднозначными.

Пример, которого следует избегать: эквивалент щипкового жеста в воздушном жесте.

Старайтесь не переводить сенсорные жесты непосредственно в воздушные жесты, даже если они кажутся вам знакомыми и простыми.Жестовое взаимодействие требует нового подхода — такого, который может показаться незнакомым, но в конечном итоге позволит пользователям чувствовать себя более уверенно и продвинет дизайн UX дальше.

Убейте этого «прыгающего» курсора

Если вы используете технологию компьютерного зрения для своего проекта (например, захват жестов с помощью камер с датчиками глубины, таких как Kinect, Asus, Orbecc и т. д.), вы знаете, что руки или пальцы не всегда отслеживаются на 100 % в их точном положении, поскольку они двигаются.

Другие технологии могут обеспечить более высокую точность, но они обычно требуют, чтобы пользователи носили специальные устройства.Компьютер не всегда может «видеть» положение нашей руки во время ее движения, и в результате получается то, что мы называем дрожащей рукой : вид несколько «нервного» и неустойчивого курсора или указки на экране.

«Устраните необходимость в использовании курсора в качестве обратной связи, но предоставьте альтернативу».

Разработка другого указателя или курсора не сильно поможет, так как он все равно должен следовать за движением руки по экрану. Вы можете попросить разработчиков отфильтровать очень тонкие движения рук, чтобы избежать этого эффекта.Однако за это решение приходится платить высокой ценой потери некоторой отзывчивости и точности, поскольку курсор немного медленнее отстает от руки, что дает пользователям меньше ощущения контроля над интерфейсом. И мы не можем себе позволить потерю пользовательского контроля.

Итак, что нам делать?

Убейте этот курсор. Также не используйте курсоры на сенсорных экранах. Устраните необходимость в курсоре в качестве обратной связи, но предоставьте альтернативу. Делайте изображения и объекты «всплывающими» и реагируйте на движение руки пользователя мгновенно, без каких-либо указателей.

Это коренным образом меняет ваше представление о пользовательском интерфейсе. Это не Интернет и не мобильное сенсорное управление.

Думай свободно

Постарайтесь освободить свое творческое мышление от стандартных шаблонов веб-интерфейса и мобильного интерфейса, с которыми вы знакомы. Забудьте о кнопках — подумайте о действиях. Представьте, что у вас больше нет экранов, но вместо этого вы хотите использовать жесты для управления устройствами в окружающей вас среде. Как бы вы сказали телевизору уменьшить громкость? Как бы вы включили свет?

Символические и знаковые жесты, такие как жест « Тссс » указательным пальцем, чтобы заставить телевизор уменьшить громкость, мгновенны и выразительны.Они могут быть контекстно-зависимыми и требовать некоторой адаптации пользователя, но как только пользователи их узнают, их легко запомнить и выполнять.

Некоторые успешные жесты, которые мы разработали для управления воспроизведением мультимедиа:

Постарайтесь создать ассоциации между жестом и действием, которое он вызывает. Они могут быть основаны на значении или визуальной ссылке, которую легко запомнить. Это непросто — вам нужно учитывать такие аспекты, как культурный контекст. Например, выражения жестов, которые вполне приемлемы в одной стране или культуре, могут означать что-то грубое в другой.Символы, которые очень заметны в одних контекстах, могут быть бесполезны в других.

Если полагаться на символические жесты для создания всевозможных взаимодействий, вероятно, придется запомнить слишком много жестов. Считайте их вашими быстрыми и мощными ярлыками — чем-то, что стоит назначить действиям, которые ваш пользователь выполняет неоднократно и часто.

Минимизация ложных срабатываний

Одной из самых больших проблем для компьютера является различение реальных намерений и всех тех случайных жестов рук, которые люди делают естественным образом, например, двигая руками во время разговора с кем-то.

Легко случайно запустить действия и столкнуться с неустойчивым пользовательским интерфейсом, который меняется, когда не должен. Как дизайнер пользовательского интерфейса, вы должны тесно сотрудничать с разработчиками, чтобы выяснить, что работает хорошо, а что нет, чтобы избежать ложных срабатываний.

Хорошее начало: всегда разрабатывайте жесты, привязанные к определенному контексту или условиям, которые необходимо выполнить. Музыка сейчас играет? Затем этот жест что-то вызывает. Если нет, то ничего не делает.

«Забудьте о кнопках — думайте о действиях.

Время — важный фактор, позволяющий отличить жест от случайного движения руки. Например, если я указываю на объект более одной секунды, это означает, что я действительно хочу взаимодействовать с ним.

Расстояние — это другое. Если вы разрабатываете интерактивную инсталляцию для музея или центра для посетителей, вы, вероятно, захотите, чтобы она распознавала жесты людей, которые находятся достаточно близко, чтобы взаимодействовать, а не тех, кто находится на расстоянии.

Избегайте усталости

Как бы очевидно это ни звучало, не всегда так легко ощутить влияние жестов.Вам нужно наблюдать за своими пользователями снова и снова, чтобы получить реальное представление об опыте, который вы создаете.

Простые пункты, которые нужно помнить:

  1. Если вы не разрабатываете физическую игру или упражнение, убедитесь, что людям не нужно поднимать и держать руки вверх слишком часто или слишком долго
  2. Убедитесь, что сопоставление между траекторией руки и пройденным расстоянием в пользовательском интерфейсе удобно, особенно для больших экранов. Это означает, что пользователи могут без труда указывать на любую часть экрана.
  3. Пример небольших движений, отображаемых на большей части экрана для удобства доступа.

  4. Использование двух рук вызывает меньше усталости, чем взаимодействие одной рукой. Вы можете использовать одну руку в качестве доминирующей, чтобы инициировать взаимодействие (например, показать ползунок). Затем используйте вторую руку в качестве поддержки (регулируя значение этого ползунка). Учтите, что вам не нужно делать все одной рукой, и изучите альтернативные комбинации.

Будьте последовательны и допускайте одно и то же действие любой рукой

Наконец, любой жест, который пользователь может выполнить правой рукой, должен быть возможен и левой рукой.Эта согласованность не только помогает приспособиться как к правшам, так и к левшам среди нас, она способствует обучению и принятию. Поэтому, если вы выучили какой-то жест, вы можете начать с любой руки — не нужно запоминать, какой это была рука.

Согласованность должна распространяться на всю вашу концепцию, как и в любом UX-проекте. После создания успешных комбинаций жест + действие подумайте, нужно ли вам включать подобные действия в других случаях использования. Пользователи ожидают использовать тот же жест для тех, кто станет знакомым.

Стремитесь создать последовательный язык жестов, который легко обнаружить и запомнить.

Имея в руках эти рекомендации по дизайну жестового взаимодействия, вы можете приступить к изучению этого относительно неизведанного творческого пространства. Как только вы поймете разницу, работайте над сочетанием воздушных жестов с прикосновением, чтобы создать уникальное и плавное взаимодействие с пользователем.

Нейрофизиологические данные о быстрой обработке вербальной и жестовой информации при понимании коммуникативных действий

Поведенческие результаты

Выступление на пробных дорожках, в которых участники должны были реагировать на представленные коммуникативные акты соответствующим образом (см. раздел «Методы» « стимулы и процедура » для более подробной информации) был очень точным (92% SE = 0.18), демонстрируя, что участники понимали и обращали внимание на элементы, отображаемые на экране.

Анализ GFP

Пики, обнаруженные с помощью формы волны GFP, вычисленной для всех условий и электродов, были обнаружены при 80 мс, 143 мс и 210 мс. Рассчитанные как FWHM вокруг этих пиков, результирующие временные окна составили (1) 68–100 мс, (2) 130–160 мс и (3) 192–232 мс (см. рис. 1). Дополнительное предопределенное временное окно было помещено на 300–500  мс (N400), так как небольшой пик с большой задержкой был обнаружен прибл.400 мс. Этот поздний предопределенный период N400 был проанализирован отдельно от ранних временных окон, основанных на данных.

Рисунок 1

Выбор временных окон для статистического анализа. Глобальная мощность поля (GFP), рассчитанная по всем электродам ЭЭГ, усредненная по всем субъектам и условиям. Выделенные интересующие временные окна были определены вокруг идентифицированных пиков GFP с использованием полной ширины на половине максимума (FWHM). С правой стороны выбор электродов для топографического анализа показан разделенным на: левый передний (LA), правый передний (RA), центральную среднюю линию (CM), левый задний (LP) и правый задний (RP) подмножества.

Ранние эффекты, только жесты

Три управляемых данными временных окна использовались для статистического анализа условий только жестов. Во-первых, условия только для жестов (размытость, указывание, жесты «дай мне») были статистически исследованы с помощью двустороннего дисперсионного анализа (временное окно × тип жеста), рассчитанного для трех временных окон, который выявил очень значимое взаимодействие (F(4 , 96) = 8,47, ε = 0,66, p  = 0,0001, η p 2  = 0.26). Для дальнейшего распутывания паттернов активации в разных временных окнах между жестами был проведен дополнительный статистический анализ для каждого временного окна отдельно. Таким образом, элементы, содержащие только жесты, были статистически исследованы в одностороннем дисперсионном анализе, сравнивая реакции мозга во всех трех условиях (размытые, указывающие, дай мне жесты) и, на втором этапе, два распознаваемых жеста (без размытого). ) друг против друга. Первые два временных окна, 68–100 мс и 130–160 мс, не показали каких-либо существенных различий между тремя условиями (F(2, 48) = 1.88, p  = 0,163). Наиболее ранняя диссоциация между жестами наблюдалась в третьем временном окне, 192–232 мс, (F(2, 48) = 22,99, ε = 0,75, p < 0,0001 , η p 29065 с более сильными реакциями на «дай мне», чем на указывающий жест, и указание создает большие потенциальные амплитуды, чем размытый жест (рис. 2B). Дальнейший статистический анализ, исключающий размытый жест из ANOVA, подтвердил основной эффект жеста (F (1, 24)   =   27.366, p < 0,0001 , η p 2  = 0,53), характерные для третьего временного окна.

Чтобы проверить влияние повторения или времени экспозиции (первый и второй экспериментальные блоки) во время эксперимента, был выполнен дополнительный двухфакторный дисперсионный анализ (время экспозиции × Жест) для каждого временного окна отдельно, предполагая, что повторение может либо способствовать, либо уменьшать различия между типами жестов во втором экспериментальном блоке. Однако значимых взаимодействий фактора времени экспозиции обнаружено не было.Второе временное окно, 130–160 мс, не показало существенных различий между жестами, в то время как третье временное окно, 192–232, показало только основной эффект Жеста (F(2, 48) = 22,45, p  < 0,0001, η р 2  = 0,48).

Ранние эффекты, сочетания слов и жестов

Результаты трехстороннего дисперсионного анализа (Временное окно × Коммуникативная функция × Семантика), проведенного для комбинаций жестов и слов, показали очень значимое взаимодействие между факторами Временное окно и Коммуникативная функция (F (2, 48) = 8.68, ε = 0,84, p  = 0,0012, η p 2  = 0,11). Чтобы дополнительно изучить различия между коммуникативными функциями в каждом временном окне, мы провели отдельные двухфакторные ANOVA (коммуникативная функция   ×   семантика) для каждого временного окна, которые выявили следующее (см. рис. 2A): Принимая во внимание, что первое временное окно 68–100 мс не давало достоверных различий между двумя речевыми актами (F(2, 48) = 1,88, p  = 0,163), второе окно, 130–160 мс, выявило значимое основное влияние Коммуникативной функции (F(1 , 24) = 7.94, p  = 0,0095, η p 2  = 0,24). Третье временное окно, 192–232 мс, еще раз свидетельствовало о значимом основном эффекте Коммуникативной функции (F(1, 24) = 12,82, p  = 0,0015, η p 2 =0,0068) с большей амплитудой для запроса, чем для именования действий.

Как и при анализе состояния «только жесты», возможные эффекты повторения жестов или времени воздействия учитывались с помощью дополнительного трехфакторного дисперсионного анализа (время воздействия × Коммуникативная функция × Семантика), запускаемого для каждого временного окна отдельно.Эти анализы не выявили значительных основных эффектов или взаимодействий фактора времени воздействия, однако указывали на незначительную тенденцию к эффекту взаимодействия в третьем временном окне (время воздействия × коммуникативная функция, F(1, 24) = 4,01, p  = 0,056).

Только жест в сравнении с комбинацией жест-слов

Дальнейший трехфакторный дисперсионный анализ (временное окно × вербальный контекст × тип жеста) был выполнен для амплитуд GFP, включая как условия коммуникативной функции, так и распознаваемые только жесты.Этот анализ выявил значительное взаимодействие временного окна, вербального контекста и типа жеста (F(2, 48) = 4,1, ε = 0,90, p  = 0,025, η p 2  4= 4). При отдельном анализе каждого временного окна только последнее дало значительный эффект взаимодействия (F(1, 24) = 7,78, ε = 0,90, p  = 0,010, η p 2  4) большая положительность только для жеста «дай мне» по сравнению с функцией запроса (p < 0.0001).

Поздние эффекты

Дисперсионный анализ, выполненный в предопределенном окне N400 GFP, не выявил каких-либо существенных основных эффектов или взаимодействий. Примечательно, что различия между жестовыми состояниями (F(2, 48) = 0,76, ε = 0,82, p  = 0,45) или между коммуникативными функциями называния и просьбы (F(2, 48) = 1,18, ε = 0,92, p  = 0,31) были далеки от достоверности. Аналогичным образом, данные GFP испытаний с элементами, состоящими только из жестов (опять же без учета размытых данных о жестах), также не показали каких-либо существенных различий (F (1, 24)   =   0.004, p  = 0,94).

Рисунок 2

Основные результаты. ( A ) Осциллограммы глобальной мощности поля запроса условий слова-жеста (выделены красным) и именования (выделены синим цветом). Изображенный мозг иллюстрирует результаты анализа источника всего мозга. ( B ) (усредненное значение) Сигналы GFP для условий одного лишь жеста дают мне (коричневым цветом), указывают (голубым цветом) и размыты (серым цветом). Изображенный мозг иллюстрирует результаты анализа источника всего мозга.( C ) ERP слева и гистограммы справа, иллюстрирующие важные результаты топографического анализа в каждом временном окне; планки погрешностей показывают стандартные ошибки, звездочки указывают на значительную разницу между условиями (запланированные сравнительные тесты Бонферрони). Топографические карты (текущая плотность источника, CSD) показывают различия в распределении потенциала, связанного с событием, между условиями для каждого из временных окон, а оранжевые звездочки указывают на электроды, которые выдержали тест перестановки на основе кластеров.

Топографический анализ ERP

Поскольку только второе и третье ранние временные окна дали значительные различия в анализе GFP, мы включили их в комплексный дисперсионный анализ ERP для условий только жестов и коммуникативного действия, соответственно. Поскольку второй пик был отрицательным и располагался на частоте ~150 мс, тогда как третий был положительным и находился на частоте ~210 мс, мы называем их пиками «N150» и «P210» соответственно. 3-факторный дисперсионный анализ (временное окно × тип жеста × топография) был выполнен для условий, связанных только с жестами, и 4-факторный дисперсионный анализ (временное окно × коммуникативная функция × семантика × топография) для элементов коммуникативной функции.С помощью этих анализов были выявлены высокозначимые взаимодействия для состояний, связанных только с жестами, с участием факторов Временного окна, Типа жеста и Топографии (F(8, 192) = 25,5, ε = 0,46, p  < 0,0001, η p 2  = 0,51) и аналогично для Коммуникативной функции ответы ССП между факторами Временного окна, Коммуникативной функции и Топографии (F(4, 96) = 33,3, ε = 0,47, p  3 η<0,93 0,00321, р 2  = 0.58). Ниже представлены дополнительные результаты статистического анализа, выполненного для каждого из временных окон отдельно. Все значимые запланированные сравнения, приведенные ниже, оставались значимыми после применения поправки Бонферрони. На рисунке 2C показаны основные статистические данные для каждого временного окна и их топографические карты.

N150 — временное окно 130–160  мс

В этом временном окне не было обнаружено значительных эффектов для условий только жестов. Однако двустороннее взаимодействие коммуникативной функции и топографии (F(4, 96) = 7.75, ε = 0,53, p  = 0,00092, η p 2  = 0,24) была выявлена ​​с помощью ERP для комбинаций жест-слов, демонстрируя различия между топографическими паттернами активации между запросом и паттернами называния. Парные сравнения Бонферрони подтвердили значительные различия в правых задних ( p  < 0,0001) электродах.

Чтобы пролить дополнительный свет на взаимодействие языковых жестов, был проведен дополнительный статистический анализ, включающий как коммуникативные акты, так и соответствующие реакции мозга только на жесты в трехстороннем дисперсионном анализе, который выявил значительное взаимодействие вербального контекста, типа жеста и топографии. (F(4, 96) = 2.77, ε = 0,68, p  = 0,047, η p 2  = 0,10). Это взаимодействие было связано с топографической разницей между лингвистически встроенными жестами, приводящими к полноценным речевым актам, и отсутствием какой-либо значительной нейрофизиологической диссоциации между жестами, представленными вне лингвистического контекста (см. предыдущий абзац). Значимые различия, выявленные плановыми сравнительными тестами Бонферрони между условиями наименования и указания, были обнаружены в левой задней и центральной срединной линии ( p  < 0.0001) электродов, а по запросу по сравнению с жестами «дай мне» на месте левых задних электродов ( p  < 0,0001).

p210 — окно времени 192-232 гс. MS

Только для жестового жеста показал основной эффект типа жеста (F (2, 48) = 6,5572, P = 0,00307, ​​ η P 2 = 0,21) и значимое взаимодействие Типа Жеста и Топографии (F(4, 96) = 31,91, ε = 0,58, p  < 0,0001, η p =2   0,006857). Это значимое взаимодействие было подтверждено запланированными сравнительными тестами Бонферрони, которые выявили значительные различия между жестами «дай мне», «указыванием» и «размытыми» жестами в правом ( p  < 0,0001) и левом кластерах задних электродов ( p  < 0,0001).

Главный эффект Коммуникативной функции (F(1, 24) = 10,22, p  = 0,00386, η p 2  значимая функция коммуникативного взаимодействия (F и  = 0,29) 96) = 31.07, ε = 0,65, p  < 0,0001, η p 2  = 0,56). Запланированные сравнительные тесты Бонферрони подтвердили значительные различия между состояниями коммуникативной функции в нескольких местах расположения электродов: левом переднем ( p  < 0,0001), центрально-срединном ( p  < 0,0002) и правом заднем ( p  < 0,0001).

Проведенный ANOVA, включающий как коммуникативные акты, так и 2 распознаваемых состояния, состоящих только из жестов, выявил значительное взаимодействие вербального контекста и топографии (F(1, 24) = 22.90, ε = 0,65, p  < 0,0001, η p 2  = 0,48) с большей положительностью к состояниям, связанным только с жестами, по сравнению с комбинациями жестов и слов, особенно слева и справа (90 p posterior). <  0,0001). Дальнейшее значимое взаимодействие Типа Жеста и Топографии (F(1, 24) = 32,54, ε = 0,64, p  < 0,0001, η p 2  0) выявило более сильную позитивность жеста.5= 0) контекст, несущий информацию о запросе, по сравнению с указывающим жестом, особенно в центральной средней линии ( p  = 0.004) и на левом и правом заднем ( p <  0,0001) местах электродов. Не было обнаружено значительных взаимодействий между вербальным контекстом и типом жеста (F(1, 24) = 0,001, p  = 0,974) или между вербальным контекстом, типом жеста и топографией (F(4, 96) = 2,00, ε = 0,62, p  = 0,1330).

N400 – временное окно 300–500  мс

Несколько контрастируя с результатами GFP, статистический анализ N400-подобного компонента выявил значительные эффекты. Было значительное взаимодействие типа жестов и топографии (F(8, 192) = 4.06, ε = 0,43, p  = 0,006, η p 2  = 0,14) для условия только жестов. Запланированные Bonferroni сравнительные тесты подтвердили значительную разницу в местах расположения левого заднего электрода (p < 0,0001) только между жестом «дай мне» и состоянием размытости. Аналогичным образом, коммуникативные акты показали значительное взаимодействие между факторами Коммуникативная функция и Топография (F(4, 96) = 7,78, ε = 0,65, p  < 0,0003, η p 2 ), но на этот раз существенные различия между функциями называния и запроса были обнаружены в центрально-срединной ( p  = 0,004) и в левой и правой задней ( p <  0,0001) задних электродах.

Третий трехфакторный дисперсионный анализ, включающий как коммуникативные акты, так и 2 распознаваемых жеста, выявил основное влияние вербального контекста (F(1, 24) = 78,33, p  = 0,0014, η p 2  = 0,76), подтверждая большее значение N400 для слова-жеста по сравнению с условиями одного жеста и значительное взаимодействие вербального контекста, типа жеста и топографии (F(1, 24) = 5.24, ε = 0,69, p  = 0,0014, η p 2  = 0,20). Сравнения, запланированные Бонферрони, подтвердили существенные топографические различия между жестом «просьба» и «дай мне», а также между жестом «называние» и «указание» (вербальный контекст × тип жеста × взаимодействия с топографией). Различия были заметны слева и справа спереди ( p  < 0,0001), по центральной срединной линии ( p  < 0,0001) и слева и справа сзади ( p  < 0.0001) электродные площадки.

Перестановочные тесты на основе кластеров

Для проверки надежности наших результатов анализа конкретных временных окон, приведенных выше, были проведены кластерные перестановочные тесты во временном диапазоне, включающем все временные окна, в которых существуют значительные различия между коммуникативными действиями (называние и запрос) или жесты (дай мне или указание) появились в результате анализа GFP и ERP, то есть пиковых окон N150 и P210 (выбранное общее окно: 130–232 мс после начала стимула).Тест на перестановку выявил один значительный кластер в распределении «дай мне» по сравнению с указывающими жестами во временном диапазоне 210–230  мс ( p  < 0,025), что согласуется с результатами GFP и ERP, представленными выше. Напротив, два значительных кластера (в распределении), различающие распределения ERP, записанные в запросе, и условие (я) именования: ранний (один положительный) кластер был обнаружен между 145 и 180  мс ( p  < 0,025), согласованный с модуляцией N150 на именование/запросы, выявленной анализом ERP, и последующим кластером с противоположной полярностью от 210 до 230  мс ( p  = 0.005), что снова согласуется с повышением положительности запросов по отношению к именованию, выявленным как в результатах GFP, так и в ERP (см. топографические карты на рис. 2C).

Кроме того, мы выполнили дополнительный тест перестановки на основе кластеров в течение периода времени 300–500  мс, чтобы дополнительно изучить различия в ответах мозга между различными условиями на N400-подобном компоненте. Не было обнаружено значимого кластера, различающего состояние только жестов (дай мне и указывающие жесты).Вместо этого был обнаружен один значимый кластер (положительный) в распределении от 350 до 500  мс ( p  = 0,011), который различал функции запроса и называния и был наиболее выражен в центрально-срединных положениях электродов. Кроме того, тесты на перестановку выявили высокозначимые кластеры, различающие функцию называния и указательные жесты, а также функцию запроса и жесты «дай мне» на периоде времени 300–500  мс ( p  = 0,00019). Топографическое распределение указывает на основной вклад лобно-теменно-затылочных электродов (см.3).

Рисунок 3

ERP коммуникативной функции и условий только жестов: ( A ) ERP, зарегистрированные в условиях запроса и дай мне только жесты и ( B ) в условиях называния и указания, усредненные по 35 электродам (см. рис. 1). Заштрихованные области обозначают период времени (300–500  мс), когда был обнаружен значительный кластер с помощью теста перестановки на основе кластеров, а мозг вверху показывает различные топографии (текущая плотность источника, CSD) между условиями и оранжевыми звездочками. маркировка электродов, выдержавших испытание перестановкой.

Анализ источника

Реконструкции источника были рассчитаны для каждого субъекта и состояния для оценки коркового происхождения различных нейрофизиологических реакций. Чтобы оценить различия в силе источника или в пространственном распределении источников по мозгу между состояниями жестов (указание, жесты «дай мне» и размытые жесты) и между комбинациями жестов и слов (называние и просьба), мы выполнили воксельное исследование всего мозга. парные t -тесты только для тех временных окон, которые показали значительную разницу в статистическом анализе GFP, ERP и кластерных перестановочных тестов, описанных выше.

Для речевых актов, включающих комбинации слов и жестов, временное окно N150, 130–160  мс, не показало существенной разницы между условиями при применении всего мозга. Однако в пределах окна P210 (время) на 192–232 мс источники повышенной активации запросов по сравнению с действиями называния ( запрос  >  называние ) были обнаружены в лобно-центральной коре, которая включает соматосенсорную и моторную области (BA 3). /4, -28, -38, 58, 28, -38, 56, p  < 0.001 без поправок, k  > 504, см. рис. 2A). Для условий только жестов был получен значительный кластер в затылочных долях, включая двусторонние экстрастриарные области V2/3 (BA18/19, -40–82–4; 42 -74 -10, p  < 0,001 без коррекции, k  > 733, рис. 2B), где жесты «дай мне» выявили более сильные источники, чем указание ( «дай мне»> указание ). Точно так же значительная разница в активации была обнаружена при сравнении жестов «дай мне» и «размытые» ( «дай мне» > «размытое» ) в затылочных долях, включая двусторонние экстрастриарные области V2/3 (BA18/19, −30 −94 2; 24 −94 2, p  < 0.001 без коррекции, k  > 2000) и дополнительно в лобно-центральной коре, включая первичные сенсомоторные области (BA 3/4, - + 24 −40 56, p  < 0,001 без коррекции, k ≥>) Кроме того, указывание по сравнению с размытыми жестами ( указывание > размытое ) показало значительный кластер активации только в правых экстрастриарных областях V2 (BA18, −34 −92 2, p  < 0,001 без коррекции, k  = 282; подробнее см. Таблицу 1). T — тест против нуля для условий жест-слово и только жест (т.два жеста в каждом состоянии были свернуты вместе) для латентных периодов N150 и P210 выявлена ​​активация левого перисильвиевого языка и смежных семантических областей, включая передние височные, теменные и моторные области (например, Binder et al . 56 , Pulvermüller 2013 57 , см. Дополнительный материал, рис. S1). Обратите внимание на дополнительные области коры, активируемые для слов-жестов, по сравнению с условиями, связанными только с жестами.

Таблица 1 Анализ случайных эффектов всего мозга для временного окна 192–232  мс.

Чтобы лучше распутать паттерны активации, выявленные при анализе всего мозга, мы выполнили второй набор воксельно-парных t -тестов в предварительно определенных областях интереса, используя небольшие поправки на объем и руководствуясь результатами предыдущих исследований речи. act processing 34,35,40,55 (определение ROI см. в разделе «Методы»). В этом анализе при латентном периоде 130–160 мс (N150) контрастный запрос  > название показал значительную кластерную активацию в правых сенсомоторных областях (BA 3/4, 40, −30, 48; p  = 0.038, FWE исправленный, k  = 158, рис. 4 – верхние панели). Такой же паттерн активации выявлялся и во временном окне 192–232 мс (P210), но теперь уже в левых сенсомоторных областях (BA3/4, −28, −38, 58; p  = 0,037, FWE с поправкой, k = 243, рис. 4 – нижние панели) и в правой сенсорной, моторной и дополнительной моторной (ДМА) коре головного мозга (BA3/4/6, −36, −20, 60; p  = 0,024, FWE с поправкой, k = 832, см. Таблицу 2). Остальные парные t -тесты не показали существенных различий.

Рисунок 4

Оценка источника в предопределенных областях интереса (ROI): значимые кластеры активации (p < 0,05, FWE с поправкой), где анализ на основе ROI показал более сильные корковые источники для запросов по сравнению с называнием речевых актов ( запрос  >  именование ), представленный в виде комбинаций жест-слово; результаты отображаются для временных окон 130–160 мс (верхние панели) и 192–232 мс (нижние панели).

Таблица 2 Анализ ROI для запроса контраста > название для временных окон 130–160 и 192–232 мс.

Прорыв в вычислениях жестов превращает ЖК-дисплей в большой датчик

Некоторые сообразительные студенты Массачусетского технологического института придумали, как превратить обычный ЖК-дисплей в недорогую трехмерную систему вычисления жестов.

Пользователи могут касаться экрана, чтобы активировать элементы управления на дисплее, но как только они убирают палец с экрана, система также может интерпретировать их жесты в третьем измерении. По сути, он превращает весь дисплей в гигантский датчик, способный определить, где находятся ваши руки и как далеко они находятся от экрана.

«Цель этого состоит в том, чтобы иметь возможность встроить жестовый дисплей в тонкое ЖК-устройство, такое как мобильный телефон, и иметь возможность делать это без перчаток или чего-то подобного», — говорит Мэтью Хирш, докторант в Медиа-лаборатория, которая помогла разработать систему Массачусетский технологический институт, который представит идею на конференции Siggraph 19 декабря. архитектор Майкрософт.

«В прошлом исследовательские системы размещали по комнате видеокамеры стоимостью в тысячи долларов, чтобы обнаруживать жесты и показывать их пользователям», — говорит он. «Что интересно в последней системе Массачусетского технологического института, так это то, что она начинает приближаться к форм-фактору, при котором вы действительно можете представить развертывание».

Распознавание жестов — это область исследования пользовательского интерфейса, которая пытается перевести движение руки в экранные команды. Идея состоит в том, чтобы упростить наше взаимодействие с компьютерами и сделать этот процесс более естественным.Это означает, что вы можете взмахнуть рукой для прокрутки страниц или просто указать пальцем на экран, чтобы перетаскивать окна.

Массачусетский технологический институт стал очагом для исследователей, работающих в области обработки жестов. В прошлом году исследователь Массачусетского технологического института продемонстрировал носимый интерфейс жестов под названием «Шестое чувство», который распознает основные движения рук.

Но в большинстве существующих систем используются дорогие камеры или требуется носить на пальцах разноцветные метки слежения. В некоторых системах используются небольшие камеры, которые можно встроить в дисплей для захвата информации о жестах.Но даже со встроенными камерами недостатком является то, что камеры смещены от центра экрана и плохо работают на коротких расстояниях. Они также не могут легко переключаться между жестовыми командами (размахивая руками в воздухе) и командами сенсорного экрана (фактически касаясь экрана).

В новейшей системе Массачусетского технологического института используется массив оптических датчиков, расположенных сразу за сеткой из жидких кристаллов, подобных тем, которые используются в ЖК-дисплеях. Датчики могут захватывать изображение пальца, когда он прижат к экрану.Но по мере того, как палец удаляется, изображение размывается.

Слегка сместив слой оптических датчиков относительно массива жидких кристаллов, исследователи могут модулировать свет, достигающий датчиков, и использовать его, среди прочего, для сбора информации о глубине.

Добавить комментарий

Ваш адрес email не будет опубликован.