Фрустраційний досвід

Фрустраційний досвід спонукав 22-річного студента Жана Франко Чоке усвідомити, що мова жестів не лише для людей з вадами слуху. Він дізнався про це, спробувавши допомогти глухій особі в громадському транспорті. Від тієї ситуації, в якій йому бракувало знань, виник задум Slite — відеогри, створеної разом з двома товаришами по навчанню, Раулем Пакагесом і Хосе Велардом, для навчання спілкуванню жестами.

Програму розробили для ярмарку завершення семестру у своєму університеті, але вона швидко зацікавила державні органи. Минулого року її представили на офіційній події, а тепер планують поширити в школах.

«Це ті моменти, коли людина переосмислює, що може підвищити свої навички для комунікації. Як громадянин важливо мінімально навчитися [мові жестів]», — вважає Чоке з Ель Альто, муніципалітету Болівії в місті Ла-Пас, де він навчається на спеціальності «Системна інженерія» в Університеті Франц Тамайо (Unifranz).

Відеогра Slite

Відеогра Slite використовує камеру пристрою — мобільного або портативного — для захоплення та розуміння жестів руки користувача. Далі вона виконує візуальне представлення руху і порівнює його з правильною формою жесту для вибраної букви згідно з дактилологічним алфавітом Болівії.

«Ми мусили повністю вивчити мову жестів, щоб розробити програмне забезпечення. Для лінгвістичної частини нас консультували фахівці та ми брали приклади з книг», — зазначає Велард.

Перш ніж почати грати, відеогра надає швидкий урок про базові жести, після чого робить діагностику рівня користувача. На початку гри призначається кількість випадкових букв, які потрібно представити руками за встановлений час: 120 секунд для найпростішого рівня та 70 — для найскладнішого.

Створювачі навчили програму точкам справлення на руці через 300 фотографій, зроблених для кожної букви. «Навчання програмного забезпечення було складним, оскільки заповнення його бази даних займало від чотирьох до восьми годин на букву», — згадує Велард.

Назва та технології

Slite отримала свою назву від ініціалів мови жестів, signal language (SL), і терміна lite, що означає легка версія, яка може використовуватися на комп'ютерах або мобільних пристроях. Програма поєднує в собі мову програмування Python і штучний інтелект. Це, за словами творців, дозволяє відеогрі «поводитися як людина» та генерувати конкретні корекції для кожного користувача.

Студент Жан Франко Чоке грає у 'Slite' перед комп'ютером, на фото, наданому університетом Франц Тамайо.

В Болівії налічується понад 50 000 глухих людей (з майже 70 мільйонів у світі), які мають LSB як свою офіційну мову спілкування з моменту прийняття декрету у 2009 році. Однак Федерація болівійських глухих відзначає, що все ще існують розриви в доступі до працевлаштування, охорони здоров'я та освіти для цього сегменту населення.

Обурює, що глухі діти починають вивчати мову жестів лише з шести років, коли батьки намагаються влаштувати їх до школи, попри те, що їм необхідна рання стимуляція.

Дані статистики

Згідно з даними Національного статистичного інституту (INE), в Іспанії є 1 230 000 осіб з вадами слуху різного ступеня, з них приблизно 27 300 використовують мову жестів. Минулого листопада в Університеті Рей Хуана Карлоса в Мадриді спалахнув скандал через нестачу викладачів для студентів спеціальності з мови жестів. Студенти 11 з 37 предметів протягом двох місяців залишалися без викладачів, і, коли викладачі були найняті, вони не знали мови.

«У нас є закон, який регулює права цих людей, і, з мого погляду, він добре працює. Проблема полягає в освітньому секторі, у браку педагогічних, ігрових та гейміфікованих інструментів, які могли б підтримати навчання в цій сфері. Те, що ми називаємо регулярною освітою, початковою та середньою, охоплює великий відсоток студентів, і саме в цій галузі повинна бути базова підготовка для нашої комунікації», — говорить Чоке.

Команда Slite

Він є наймолодшим членом групи — Пакагес має 26, а Велард 36 — і найбільш зацікавленим у дослідженні взаємин між технологією та освітою. Уся база даних, з якою навчається Slite, походить від Болівійської мови жестів (LSB), одного з 300 варіантів мовлення жестів за даними Всесвітньої федерації глухих.

Незважаючи на те, що всі вони спілкуються жестами, кожна громада включила свої культурні та соціальні вимоги.

Інституційна допомога

Перш ніж впроваджувати його в університеті, Slite була представлена в класі початкової школи для перевірки її реакції, і саме там було вирішено, що для її функціонування не потрібно залежати від зовнішнього доступу до інтернету через низький рівень сигналу в деяких районах міста.

Проект виділився на ярмарку кінця курсу 2024 з предмету «Штучний інтелект в мобільних і вбудованих системах» та викликав інтерес медіа, досягнувши навіть Урядового автономного муніципалітету Ель Альто (Gamea) та Міністерства освіти.

Уряд представив програму в Національний день людей з інвалідністю, який відзначається щорічно 15 жовтня з 2004 року. Передбачається, що гра спочатку буде доступна для завантаження на веб-порталі установи, а потім буде включена в навчальний план.

«Муніципалітет мав забезпечити нас ресурсами для завершення програми навчання жестової мови, але досі немає угоди», — розповідає Пакагес.

Фінансування

Фінансування покривало б більше харчування для моделі мови, щоб зробити її точнішою і включити поєднані жести, що дозволяють виконувати завдання з довгими та складними реченнями. «Ми вважаємо, що ця вдосконалення ще потрібна для розгортання в публіку. На цей момент це все ще приватна бета», — зазначає університет, який закінчив минулого року.

Хосе Велард і Жан Франко Чоке тестують основний інтерфейс Slite, на знімку, наданому університетом Франц Тамайо.

Попередні проекти

Одним з попередніх проектів є програма Kamibots, для навчання робототехніки, що була впроваджена в 2023 році також за указом у системі державної освіти. «Проблема виникла через нестачу спеціалізованих викладачів у цій сфері. Були спроби підготовки, але вони не були ефективними і мали тривалий термін», — згадує Чоке.

Програма включає навчальні посібники, шаблони, відео та зображення і була офіційно впроваджена в навчальний план.

Тепер він працює над LIE-B, портативною консоллю у формі табло з шістьма кнопками, розподіленими за структурою шрифту Брайля. «Інструкції щодо створення речення даються через голос, і користувачі повинні натискати відповідні кнопки», — пояснює він.

У свою чергу, Пакагес і Велард більше орієнтовані на автоматизацію процесів в установах та підприємствах. Перший розробив для того ж Unifranz систему для оптимізації процесу вступу, в той час як другий проводить прогнози продажів, збору та необхідних ресурсів для фінансової сфери приватних компаній.

Усі троє інженерів бачать у технологіях потенціал для розвитку людини.

Уточнення

Ця стаття була виправлена для видалення терміна «глухота», оскільки це застаріле вираження, що не враховує, що більшість людей з вадами слуху не мають ніяких порушень, які б заважали їм говорити. Вибачте нашим читачам.