Оголошено полювання на тролів: вчені розробили інструмент для виявлення зашифрованих образ.
Токсичність в Інтернеті розвивається, оскільки люди знаходять способи обходити системи модерації, відчуваючи при цьому повну безкарність. Маскуючи шкідливий контент за допомогою таких прийомів, як заміна букв цифрами, об'єднання слів або додавання пробілів і символів при написанні образ, зловмисники обходять традиційні фільтри, засновані на ключових словах, і розносять негатив по всесвітній мережі, з чим вирішили боротися вчені, пише The Conversation.
Такі поведінка і винахідливість зловмисників є серйозною проблемою для онлайн-платформ, особливо для вразливих груп, які в непропорційній мірі страждають від такої тактики, говорить Джонні Чан, викладач бізнес-школи в Оклендському університеті. У відповідь на ці витончені методи він і його команда розробили новий інструмент, який покращує існуючі системи захисту від інтернет-грубіян. Цей інструмент не замінює існуючі фільтри, а попередньо обробляє текст, видаляючи маніпулятивне форматування, що полегшує виявлення шкідливого контенту, йдеться в дослідженні, опублікованому в журналі MethodsX.
Його процес включає спрощення тексту шляхом видалення зайвих символів, стандартизацію варіацій, таких як друкарські помилки, і виявлення шаблонів, що маскують образливі слова. Завдяки такому комплексному підходу прихована токсичність стає більш прозорою для автоматизованих інструментів модерації, що підвищує їх ефективність, кажуть автори. Використання цього інструменту в різних онлайн-середовищах приносить широкі соціальні переваги і захист для мільйонів людей. Платформи соціальних мереж можуть забезпечити більш безпечний простір, мінімізуючи вплив прихованих образ, що є надзвичайно важливим для захисту молодих та більш вразливих користувачів від онлайн-знущань, говорить Чан.
Для бізнесу ця система слугує захистом від прихованих наклепницьких кампаній, дозволяючи оперативно вживати заходів для захисту репутації бренду. Політики та організації, які дбають про підтримання здорової громадської дискусії, також можуть використовувати цей інструмент для підтримки поважних діалогів, особливо в гарячих або делікатних дебатах.
Ця інновація є значним досягненням у сфері модерації контенту. Вона демонструє, як поступові поліпшення у виявленні тонких проявів токсичності можуть мати глибокий вплив на підвищення безпеки онлайн-взаємодії людей і поліпшення психологічного стану підлітків і дітей, які проводять час в Інтернеті. У міру розвитку цифрового спілкування майбутні розробки можуть включати більш тонкий аналіз контексту, що враховує динаміку розмови, культурні нюанси та наміри, розглядаючи не лише те, що сказано, але й те, як і чому це висловлено.
Шлях удосконалення систем онлайн-модерації триває і є вкрай важливим, вважають автори. Майбутні інструменти, ймовірно, включатимуть розширене розуміння контексту, що дозволить більш ефективно розпізнавати тонкощі людського спілкування. Інтегруючи ці інструменти в існуючі системи модерації, платформи можуть сподіватися на зниження рівня непоміченої токсичності, створюючи більш сприятливе онлайн-середовище та спільноти.