Эксперты против автоматического выявления опасных сумасшедших в социальных сетях

Известный криптограф и специалист по безопасности Брюс Шнайер в своем блоге высказался по поводу идеи автоматически вычислять социопатов и террористов в интернете.

Идея заключается в том, что объемы собираемых данных достигли такого масштаба, что сейчас можно достаточно надежно выявлять социопатов путем автоматического анализа информации по трафику в интернете и активности в социальной сети. Как бы социопат не притворялся нормальным человеком, даже если он закачивает личные фотографии на Facebook и пытается совершать другие «нормальные» действия, но наверняка существуют признаки, по которым можно отличить поведение в интернете людей, страдающих диссоциальным расстройством личности, от остальных.

Брюс Шнайер подверг критике эту идею.

«Окей, мы вычисляем социопатов, и что дальше? Представим, что у нас есть потрясающе точный тест... и что? Мы будем осуществлять слежку за теми, кто показал положительный результат, даже если нет никаких признаков, что человек действительно что-то совершил? Мы будем устанавливать наружное наблюдение за ними? Подвергать дополнительной проверке в аэропортах? Бросать в тюрьмы, потому что без них улицы безопаснее? Мы хотим жить в мире «Особого мнения»?

Проблема не только в том, что такая система неправильна, а в математике, которая делает подобные вещи довольно неэффективными на практике. Это называется ошибкой базовой оценки (base rate fallacy). Предположим, что наш тест определяет и социопатов, и не-социопатов с точностью 90%. Если предположить, что 4% людей — социопаты, то математически получается, что среди всех людей, на которых тест положительно сработал, настоящих социопатов окажется всего 26%. (На каждую тысячу протестированных 90% из 40 социопатов положительно проходят тест, но также и 10% из 960 нормальных людей). Даже если заявить тест с фантастической точностью 99%, где только 1% ложных срабатываний, даже в этом случае мы получаем вероятность всего лишь 80%, что человек, на которого указал тест, действительно является социопатом.

Эта ошибка не нова, — пишет Брюс Шнайер. — Такая же логика привела к интернированию японцев из Америки во время Второй мировой войны, она же заставляет полицию останавливать автомобили с чернокожими водителями и обыскивать мусульман в аэропортах. Та же логика стоит за массивными программами слежки со стороны АНБ, такими как PRISM. Это одна из тех вещей, которые пугают меня больше всего в полицейских базах данных ДНК».