Пишем парсер комментариев. Фильтруем спам и неадекватов

Кажется я ещё в 2009 году про это писал: однозначно надо!

Тут есть маленькая техническая проблемка, связанная с движком. Например, юзер может нашкодить и через месяц перевоспитаться. А целая подсеть т.н. абузоустойчивого провайдера может использоваться для рассылки спама на протяжении многих лет. Проблема в том, что и те, и другие баны размещаются в одной таблице, которая не предусматривает временных отметок:

CREATE TABLE IF NOT EXISTS `access` (
`aid` int(11) NOT NULL AUTO_INCREMENT,
`mask` varchar(255) NOT NULL DEFAULT '',
`type` varchar(255) NOT NULL DEFAULT '',
`status` tinyint(4) NOT NULL DEFAULT '0',
PRIMARY KEY (`aid`)
);

Чтобы прикрутить временный бан придется либо допиливать эту таблицу (что может привести к конфликтам с другими модулями Drupal), либо запилить свою таблицу, но тогда придется вводить дополнительные проверки при создании новых материалов, при попытке логина и на ввод каментов. В Друпале это делается через хуки и не самым лучшим образом сказывается на производительности.

Я склоняюсь к третьему способу — заводится отдельная таблица, в ней IP тех комментаторов, чье творчество будет отправляться на предмодерацию. Каждая запись живет в таблице только определенное время и потом автоматом выпиливается.

Это глупо. Парсер — не искусственный интеллект и вместо этого будем получать фигню.

ИИ тут не нужен, нужен обыкновенный байесовский фильтр. Он идеально подходит, так как данные для его обучения уже собраны — это сами каменты + голосовалка «5 звезд». Сработал фильтр — камент на предмодерацию.

явление в целом положительное, т.к. основной своей целью ставит получение лулзов

За лулзами лучше в цирк.

когда твоему оппоненту нечем ответить на твою точку зрения, кроме хамства и НЕНАВИСТИ, но очень хочется

ИХМО, развлечение для задротов, которые в RL никому не нужны. Зачем мне сидеть у компа и у кого-то вызывать ненависть, если можно пойти с друзьями пообщаться, спортом позаниматься или денег заработать?

Вообще-то в стандартной раскладке это всё же дефис.

Не совсем так. Код этой клавиши не совпадает с неразрывным дефисом (‑). Да и визуально видно, что он короче. Кстати, и с минусом (−) тоже не совпадает. Тут один товарищ пишет, что на клавиатуре вообще знак дефисоминуса.

иначе будем получать фигню типа "За 100 руб. Можно купить..."

Тут согласен. Не говоря уже о том, что даже после сокращений точка может ставиться, а может и не ставиться. Например: "млн" без точки и "тыс." с точкой. Но хотелось бы как-то исправлять каменты, которые полностью набраны в нижнем регистре — раздражает. Например, такой фильтр: все набрано только в верхнем или только в нижнем и имеется несколько точек в самом каменте — в топку.

должны вырезаться (!!!!!!!11одинодин); Это слишком сложно.

Почему? Использование восклицательного знака более-менее однозначно: только в конце слова, после него пробел. Да и по общему количеству восклицаний можно судить о каменте. Пример. Кстати, к этому топику можно все каменты прогнать через «восклицательный фильтр» и ничего ценного потеряно не будет. :)

Но как будет чиститься таблица? По крону? Тогда его надо запускать как минимум раз в час

Да. Тем более, что Крон уже и так вызывается каждый час. Это стандартное требование движка Drupal для любого сайта. Добавляем в hook_cron() один запрос к БД на удаление всех записей старше заданной временной отметки и все.

он базируется на предположении, что одни слова чаще встречаются в нежелательных комментах, а другие — в обычных

А что не так? Или Вы считаете троллей большими оригиналами? Уверен, что если не в каждом, так хоть в некоторых комментариях будут попадаться ключевые слова, которые можно с высокой вероятностью отнести к творчеству троллей. Из научного интереса, чуть позже попробую составить частотный словарь по ссылке, которую Вы дали ниже.

Тем более, что есть дополнительные факторы: количество комментариев в час, распределение комментариев одного автора по темам, рейтинг комментариев. Думаю, даже без байесовского фильтра можно придумать алгоритм.

голосовалка «5 звезд» "--- явно нерелевантна желательности/нежелательности комментария, т.к. отражает скорее отношение к комменту, а не его качество"

Так отношение и нужно. Если товарищ в каждом каменте вызывает неодобрение публики, с какой вероятностью его автоматическое выпиливание нанесет сайту вред? Трудно даже представить себе такой случай.

Иначе будет добавлены буквы в другом регистре в самых неожиданных МеСтАх.

Зашита ориентирована на пионеров, попавших на сайт случайно. Например, часто школьники пишут, переходя с поисковиков по запросам, связанным с Вконтактом. Постоянные читатели, разобравшиеся как работает парсер, все равно обойдут защиту.

или двойной факториал

Как Вы думаете, из 40 тыс. каментов на этом сайте, сколько из них содержат знак двойного факториала? :)

К разговору о фильтре по ключевым словам. Самый непопулярный комментарий на сайте за всю историю вот. 64 минуса. Половина слов в нем входит в группу подозрительных.

Второй по непопулярности вот. 23 минуса. Опять половина слов, характерных для нежелательных каментов.

Третий. Вот. Тут осечка.

Четвертый. Ключевых слов нет, из 4 слов в одном орфографическая ошибка.

Пятый. Вообще шедевр. Странно, как такое пропустили модераторы. Тут уже можно использовать слова для обучения.

Обработав тысячи комментариев, можно получить неплохой словарик. По нему проверяем все каменты по каждому автору, смотрим усредненную оценку автора и его активность по отдельным темам. По этим данным уже можно строить гипотезу о принадлежности комментатора к одной из групп: порядочные пользователи, дураки, тролли и т.п. Например, срабатывает фильтр по словам, но в топике этот автор оставил только один комментарий. Делаем вывод, что это вряд ли тролль. Выпиливаем комментарий, но не баним самого юзера. Ну и так далее. Как Вам такая идея?

Проблема лишь в том, чтобы не положить этой проверкой сайт. :)

Кое-какие изменения внесены в работу парсера. Возможны адские глюки. Просьба бдить и сразу сообщать.

Проверка: «первая пара кавычек», «вторая пара кавычек».

У меня все работает. Смею предположить, что у Вас парсер не сработал потому, что не обнаружил в Вашем сообщении предложений. Как известно, предложение заканчивается точкой.

Но спасибо за замечания. Допишу правила.

Что касается Вашей просьбы по поводу отключения парсера, то и она будет удовлетворена.