Алгоритмічний значок: як ІІ переписує роботу поліції без згоди громадян

1

Я стояв біля величезної скляної будівлі у Форт-Уорті, штат Техас. Усередині тисячі співробітників поліції збиралися на конференцію, яку у брошурах називали «майбутнім правоохоронною діяльністю». Мені не було туди входу, але чутки просочувалися назовні. І те, що дійшло до мене, викликало занепокоєння. ІІ не просто допомагає поліцейським; він починає захоплювати саме серце американської правоохоронної системи.

Презентація на Технологічній конференції Міжнародної асоціації начальників поліції (IACP) була простою: автоматизуйте рутину. Нехай машини займаються паперовою роботою, щоби офіцери могли зосередитися на «смисловій» роботі. Але в поліції саме ця «рутина» є правовою опорою, де тримаються справи. Автоматизація поліцейських звітів чи перевірки справ – це не просто економія часу. Це зміна результатів, що впливає життя людей.

Чорний ящик на патрульній ділянці

Огляньтеся на виставковій підлозі. Ви побачите камери розпізнавання облич. Автоматичні зчитувачі національних номерів. Дрони. Системи виявлення пострілів. Чат-боти для неаварійних ліній 911. Інструменти для написання звітів.

У міру того, як у районах знижується реальна присутність людей-поліцейських, галузь нарощує автоматизацію. Процес ухвалення рішень передається алгоритмам. Технологічні стартапи продають ІІ як систему «автоматичного керування повітряним рухом». Це централізований цифровий мозок. Він опрацьовує дані — часто зібрані тими ж компаніями, які їх продають, — і допомагає департаментам розподіляти ресурси.

Не всі схильні приймати ці речення.

«Більшість цього — маркетингові gimmicks, які виправдовують сподівань на них».

— Ебрем Айяна, капітан поліції, Брукхейвен, штат Джорджія

За відсутності федерального нагляду поліцейські не мають іншого вибору, крім як довіряти постачальникам.

Десятиліття тому департаменти використовували ранні технології, такі як CompStat та PredPol. Вони обіцяли неупереджену, засновану на даних поліцію. Вони зазнали невдачі. Натомість вони посилили расові упередження. Але тоді кермо все ще було в руках людей. Людям можна було висунути претензії. Люди могли помилятися зрозумілим нам чином.

Нова хвиля ІІ у поліцейській діяльності обіцяє виправити минулі помилки, заповнивши систему об’єктивними даними у реальному часі. Прихильники кажуть, що це усуває розрив. Критики стверджують, що це підриває прозорість, коли суспільна довіра і так тріщить по швах.

Тонем у даних

Джасон Труппі, колишній агент ФБР з кіберзлочинів, каже, що поліцейські тонуть.

Він носить розумні окуляри Meta Ray-Ban. Говорить швидко. Його пропозиції рясніють корпоративним жаргоном. У 2020 році він заснував компанію ForceMetrics. Компанія пропонує “Velocity” – платформу допомоги в прийнятті рішень на базі ІІ. Вона заявляє, що перетворює переважний масив даних на чіткі ідеї.

Трупі називає застарілі поліцейські системи “антикваріатом”. Два десятиліття журналів викликів, файлів про умовно-дострокове звільнення та відеозаписи з боді-камер створили інформаційне навантаження.

“Ми взагалі не використовуємо слово “Предиктив” (predictive policing), тому що воно [прогнозування злочинів] зазнало невдачі”, – сказав Труппі.

Velocity це Центр кримінальної аналітики в реальному часі (RTCC). Концепцію ухвалили в NYPD двадцять років тому. Традиційно людські аналітики збирали дані із викликів 911, відеокамер CCTV та зчитувачів номерів. Вони надавали офіцерам зведення до прибуття на місце. Менше за несподіванки. Менше шансів, що все піде навперекій — у галузевий евфемізм це називають «кишки та зброю».

Але потік надто величезний. Тільки за 2019 рік NYPD збирав два роки відеозаписів з боді-камер щотижня. Люди не можуть аналізувати це. Чи не осмислено.

Сучасні RTCC, такі як Velocity, використовують ІІ для пошуку патернів у хаосі. Ціль? Найкраща ситуаційна поінформованість. Трупі звинувачує недавні трагедії у взаємодії поліції та громадян у відсутності «підходу, що базується на даних».

Реалістична оцінка

Ніна Лошканджіан не переконана.

Вона є науковим співробітником у Центрі раси, нерівності та права Нью-Йоркського університету (NYU).

«Реальність така, що поліцейські департаменти вже використали прогнозування… роками… Ці алгоритмічні системи не запобігли насильству… нас не повинні обдурити».

Компанія Труппі конкурує з гігантами, такими як Motorola Solutions та Axon. Axon (колишня Taser) купила компанію відеоспостереження Fusus на початку 2024 року, щоб запустити продукт Axon Fusus. Вони вже виробляють електрошокери, боді-камери та зчитувачі номерів. У них навіть є програма ІІ-чатботів та дронів.

Axon та Motorola прагнуть монополізувати весь стек. Від збору даних на місці злочину до стратегічного планування високого рівня за допомогою ІІ.

Поліцейські департаменти часто підписують багаторічні контракти. Вони одержують безкоштовні пробні періоди. Вони використовують «закупівлі у єдиного постачальника», що унеможливлює конкуренцію. Ви підписуєте один раз і ви прив’язані.

Золота лихоманка

Грошові потоки ринули.

Наприкінці 2023 року Axon запустив “План ери ІІ”. Заплатіть щорічний внесок. Отримайте поточні інструменти ІІ та нові продукти, які вони випустять.

Між першим кварталом 2024 року та першим кварталом 2025 року кількість підписок зросла на 140 відсотків. Президент Axon Джошуа Існер заявив інвесторам: «Ми вирішили стати ІІ-компанією у сфері громадської безпеки». Виторг від ІІ зріс на 700 відсотків.

Ендрю Гатрі Фергюсон, професор права Університету Джорджа Вашингтона (GWU), бачить золоту лихоманку.

«Ми спостерігаємо золоту лихоманку… з обіцянкою, що це зробить їхню роботу простішою».

Інвестори помітили це. На конференції IACP 25 відсотків відвідувачів виставкової зали представляли акціонерні фонди. То були не поліцейські. Вони шукали нагоди поставити на цю технологію.

І продавець наратив працює.

Проблема паперової роботи

Чому поліцейські купують?

Бо вони ненавидять паперову роботу.

Дослідження Axon показує, що офіцери витрачають 40 відсотків своєї зміни написання звітів. Зупинка транспорту. Скарги на галас. Нудна рутина.

“Ми не підписувалися на те, щоб сидіти за клавіатурою”, – сказав Джон Маккі, сержант із Колорадо. Його департамент використовує Field Notes, інструмент для написання звітів на базі ІІ компанії Truleo.

Інструмент Axon Draft One обіцяє виправити це. Він побудований на модифікованій версії ChatGPT. Axon заявляє, що він “вільний від галюцинацій”. Вони викрутили ручку креативності на нуль.

Не варто робити ставки на основі цієї заяви. Навіть OpenAI та Google struggle з галюцинаціями. На початку цього року Draft One згенерував звіт, в якому говорилося, що офіцер перетворився на жабу. Аудіозапис з місця події з музикою з мультфільму “Принцеса і жаба”, ймовірно, збив ІІ з пантелику.

Це смішно. Поки що це не стає серйозною проблемою.

Підзвітність зникає

Реальні наслідки звітів, створених ІІ, можуть бути смертельними.

Коли звіт пише людина, ви можете піддати його перехресному допиту в суді. Ви можете запитати, чому він увімкнув певні деталі. Ви можете оцінити його психологічний стан. Ви можете критично оцінити його судження.

Ви не можете зробити це з алгоритмом-чорним ящиком.

Найгірше, у Draft One спочатку не було журналу аудиту. Як тільки ви надсилали звіт, вихідна генерація ІІ зникала. Жодної копії в хмарі. Жодної історії версій.

Ной Спітцер-Вільямс, менеджер по продукту Axon, визнав на круглому столі, що платформа не зберігала оригінали навмисно. “Останнє, чого ми хочемо, – це створити головний біль з розкриттям інформації”.

Іншими словами, якщо галюцинація ІІ потрапляла в судову справу, адвокати і судді не мали способу довести, що її було згенеровано ІІ. Людський офіцер просто підписував. Ставало його слову проти… нічого. Проти порожнечі.

Це змінилося у грудні. Під тиском Axon відновив Draft One. Наразі департаменти можуть зберігати вихідний наратив ІІ.

Брандон Гарретт, професор права в Університеті Дьюка, все ще насторожує.

«Ідея про те, що ви [складатимете] дані… щоб використовувати їх у суді, небезпечна».

Генеративні моделі вигадують речі. Такий принцип їхньої роботи. Використання цього висновку у судовому процесі фундаментально суперечить праву на належну правову процедуру. Технології рухаються швидше, ніж закон встигає за ними встигати. І поки керівники вважають свій виторг зі зростанням на 700 відсотків, люди, на яких падають ці звіти, залишаються гадати, що правда, а що було вигадано машиною.