Ученые разработали новый инструмент для поиска зашифрованных оскорблений, объявив охоту на троллей.

Токсичность в сети продолжает эволюционировать, поскольку люди находят новые методы обхода систем модерации, ощущая при этом полную безнаказанность. Злоумышленники маскируют вредоносный контент, используя такие приемы, как замена букв на цифры, объединение слов или добавление пробелов и символов в оскорбительных сообщениях. Это позволяет им обойти традиционные фильтры, основанные на ключевых словах, и распространять негативные сообщения по всему интернету. Ученые пытаются противостоять этой проблеме, сообщает The Conversation.

Такое поведение и находчивость злоумышленников представляют собой серьезную угрозу для онлайн-платформ, особенно для уязвимых групп, которые несоразмерно страдают от таких тактик, утверждает Джонни Чан, преподаватель бизнес-школы в Оклендском университете. В ответ на эти сложные методы он и его команда разработали новый инструмент, который улучшает существующие системы защиты от интернет-грубиянов. Этот инструмент не заменяет имеющиеся фильтры, а предварительно обрабатывает текст, удаляя манипулятивное форматирование, что упрощает обнаружение вредоносного контента, как указано в исследовании, опубликованном в журнале MethodsX.

Процесс обработки включает упрощение текста путем удаления ненужных символов, стандартизацию вариаций, таких как опечатки, и выявление шаблонов, скрывающих оскорбительные слова. Благодаря такому комплексному подходу скрытая токсичность становится более заметной для автоматизированных инструментов модерации, что повышает их эффективность, отмечают авторы. Применение этого инструмента в различных онлайн-средах приносит значительные социальные преимущества и защиту для миллионов людей. Социальные сети могут создать более безопасное пространство, уменьшая влияние скрытых оскорблений, что особенно важно для защиты молодежи и более уязвимых пользователей от онлайн-издевательств, говорит Чан.

Для бизнеса эта система служит защитой от скрытых клеветнических кампаний, позволяя оперативно реагировать на угрозы репутации бренда. Политики и организации, заинтересованные в поддержании здоровой общественной дискуссии, также могут использовать этот инструмент для обеспечения уважительных диалогов, особенно в острых или деликатных дебатах.

Эта инновация представляет собой важное достижение в области модерации контента. Она демонстрирует, как постепенные улучшения в выявлении тонких проявлений токсичности могут значительно повысить безопасность онлайн-взаимодействий и улучшить психологическое состояние подростков и детей, проводящих время в Интернете. По мере развития цифрового общения будущие разработки могут включать более тонкий анализ контекста, учитывающий динамику разговора, культурные нюансы и намерения, что позволит рассматривать не только сказанное, но и то, как и почему это было выражено.

Авторы подчеркивают, что путь к совершенствованию систем онлайн-модерации продолжается и является крайне важным. Будущие инструменты, вероятно, будут включать в себя более глубокое понимание контекста, что позволит более эффективно распознавать тонкости человеческого общения. Интегрировав эти инструменты в существующие системы модерации, платформы могут ожидать снижения уровня незамеченной токсичности, создавая более благоприятную онлайн-среду и сообщества.