Недавно группа ученых опубликовала научную работу под заголовком «Создание доступных мемов». В ней рассказывается о том, как исследователи обучили систему классифицировать и разбирать мемы с точностью до 92%, что позволит объяснять шутки людям с ограниченным зрением.
Задача не из легких. «Мемы часто представляют собой внутренние шутки, непонятные людям за пределами определенного общества, — говорит Скотт Уарк, исследователей мемов из университета Уорика. — Они устроены так, чтобы быть недоступными».
Многие люди с ограниченным зрением используют экранный диктор и другие, встроенные в операционную систему, функции, помогающие им взаимодействовать с тем, что показано на экране. В случае с картинками экранный диктор считывает альтернативный текст — то есть описание того, что изображено на картинке. К сожалению, далеко не у всех изображений есть такое описание, и особенно редко его можно найти у мемов.
«Принято считать, что мем это смешная картинка с подписью вверху и внизу, — говорит Уорк. — Но за последние годы мемы сильно изменились и стали более странными. У многих даже нет панчлайна. Мем вроде “Это что, голубь?” очень сложно объяснить в текстовом формате, потому что у него нелинейный смысл».
Джемма Гилбой, старший лектор в университете Ноттингем Трент, рада новому исследованию. «Программа, которая способна классифицировать мемы с точностью в 92%, может быть очень полезна для любителей мемов с ограниченным зрением», — говорит она.
Делаешь InsurTech стартап? Заяви о себе на Speed Dating и найди инвестора своей мечты. Подай заявку до 23 октября
«Интернет плохо модерируется, потому что у большинства компаний нет мотивации этим заниматься, — говорит Уорк. — По этой же причине интернет-культура не всегда доступна для людей с физическими ограничениями — такой труд просто не ценится».
Поэтому исследователи решили заняться проблемой. «Давным-давно, когда твиттер был только текстовым, эта платформа была довольно доступной для незрячих людей, — говорит Коул Глисон, один из авторов научной работы. — Но со временем там стало использоваться больше визуального контента — картинки, видео, гифки и все такое».
Объемы визуального контента в интернете растут, а количество людей, способных его воспринимать, уменьшается. По прогнозам исследователей, к 2050 году количество официально незрячих людей увеличится в два раза. Поэтому особенно важно сделать визуальным контент более доступным.
Система, разработанная в университете Карнеги-Меллон, сканирует мемы и ищет аналоги в базе данных, а затем составляет текстовое описание изображения. «Во многих мемах используется одно и то же изображение, — говорит Глисон. — А раз визуальный контент совпадает, мы можем разделять мемы на категории».
Затем алгоритм распознавания текста обрабатывает текст, наложенный на картинку. Распознавание работает довольно точно, правда система не любит картинки низкого разрешения и акронимы вроде ROFL и gg.
Исследователи дали незрячим и людям с ограниченным зрением прослушать описание разных мемов и оценить по шкале от 1 до 5, насколько хорошо они поняли шутку. Средняя оценка была 3,95 и ученые считают, что это успех. «Иногда мемы бывают довольно странными, поэтому чтобы их понять, нужно не один их вариант», — говорит Глисон.
К сожалению, у системы есть недостатки — исследователи обучали ее на довольно старых мемах, и это может стать проблемой. Однако исследователи надеются, что когда их программа станет популярной, люди с ограниченным зрением начнут сами делать мемы и тем самым вызовут эпоху возрождения старых шуток.
Источник.
Источник: