Politiets kroppskameraer utstyrt med kunstig intelligens har blitt trent til å oppdage ansiktene til rundt 7000 mennesker på en «høyrisiko»-overvåkningsliste i den kanadiske byen Edmonton, en live-test av om ansiktsgjenkjenningsteknologi unngått som for påtrengende kan ha en plass i politiet i hele Nord-Amerika.
Men seks år etter at den ledende kroppskameraprodusenten Axon Enterprise, Inc. sa at politiets bruk av ansiktsgjenkjenningsteknologi utgjorde alvorlige etiske bekymringer, vekker pilotprosjektet – startet i forrige uke – alarm langt utenfor Edmonton, kontinentets nordligste by med mer enn 1 million mennesker.
En tidligere leder av Axons AI-etikkstyre, som førte til at selskapet midlertidig forlot ansiktsgjenkjenning i 2019, sa til The Associated Press at han er bekymret for at det Arizona-baserte selskapet går fremover uten nok offentlig debatt, testing og ekspertvurdering av samfunnsrisiko og personvernimplikasjoner.
«Det er viktig å ikke bruke disse teknologiene, som har svært reelle kostnader og risikoer, med mindre det er noen klare indikasjoner på fordelene,» sa den tidligere styrelederen, Barry Friedman, nå jusprofessor ved New York University.
Axon grunnlegger og administrerende direktør Rick Smith hevder at Edmonton-piloten ikke er en produktlansering, men «feltforskning i tidlig stadium» som vil vurdere hvordan teknologien yter og avsløre sikkerhetstiltakene som trengs for å bruke den på en ansvarlig måte.
«Ved å teste under virkelige forhold utenfor USA, kan vi samle uavhengig innsikt, styrke tilsynsrammeverket og bruke disse lærdommene til fremtidige evalueringer, inkludert i USA,» skrev Smith i et blogginnlegg.
Piloten er ment å bidra til å gjøre Edmonton-patruljeoffiserer tryggere ved å gjøre de kroppsbårne kameraene deres i stand til å oppdage alle som myndighetene har klassifisert som å ha et «flagg eller advarsel» for kategorier som «voldelig eller overfallende; væpnet og farlig; våpen; rømningsrisiko; og høyrisikoforbrytere,» sa Kurt Martin, fungerende politioverbetjent i Edmonton. Så langt har den overvåkningslisten 6341 personer på seg, sa Martin på en pressekonferanse 2. desember. En egen overvåkningsliste legger til 724 personer som har minst én alvorlig straffeordre, sa han.
«Vi vil virkelig sørge for at det er målrettet slik at dette er folk med alvorlige lovbrudd,» sa Ann-Li Cooke, Axons direktør for ansvarlig AI.
Hvis piloten utvides, kan det få stor effekt på politiarbeid rundt om i verden. Axon, et børsnotert firma som er mest kjent for å utvikle Taser, er den dominerende amerikanske leverandøren av kroppskameraer og har i økende grad sendt dem til politibyråer i Canada og andre steder. Axon slo i fjor sin nærmeste konkurrent, Chicago-baserte Motorola Solutions, i et forsøk på å selge kroppskameraer til Royal Canadian Mounted Police.
Motorola sa i en uttalelse at de også har evnen til å integrere ansiktsgjenkjenningsteknologi i politiets kroppskameraer, men, basert på sine etiske prinsipper, har «med vilje avstått fra å distribuere denne funksjonen for proaktiv identifikasjon.» Det utelukket ikke å bruke det i fremtiden.
Regjeringen i Alberta ga i 2023 mandat til kroppskameraer for alle politibyråer i provinsen, inkludert hovedstaden Edmonton, og beskrev det som et åpenhetstiltak for å dokumentere politiinteraksjoner, samle inn bedre bevis og redusere tidsfrister for å løse etterforskning og klager.
Mens mange samfunn i USA også har ønsket kroppskameraer velkommen som et ansvarlighetsverktøy, har utsiktene til sanntidsansiktsgjenkjenning som identifiserer mennesker på offentlige steder vært upopulære over hele det politiske spekteret. Tilbakeslag fra borgerrettighetsforkjempere og en bredere samtale om rasemessig urettferdighet bidro til å presse Axon- og Big Tech-selskapene til å stoppe salg av ansiktsgjenkjenningsprogramvare til politiet.
Blant de største bekymringene var studier som viste at teknologien var feil, og viste partiske resultater etter rase, kjønn og alder. Den matchet heller ikke ansikter så nøyaktig på sanntids videofeeder som på ansikter som poserte for identifikasjonskort eller skudd fra politiet.
Flere amerikanske stater og dusinvis av byer har forsøkt å begrense politiets bruk av ansiktsgjenkjenning, selv om president Donald Trumps administrasjon nå prøver å blokkere eller fraråde stater å regulere AI.
Den europeiske union forbød sanntid offentlig ansiktsskanning av polititeknologi over hele 27-nasjonsblokken, bortsett fra når den ble brukt til alvorlige forbrytelser som kidnapping eller terrorisme.
Men i Storbritannia, som ikke lenger er en del av EU, begynte myndighetene å teste teknologien i Londons gater for et tiår siden og har brukt den til å foreta 1300 arrestasjoner de siste to årene. Regjeringen vurderer å utvide bruken over hele landet.
Mange detaljer om Edmontons pilot har ikke blitt offentliggjort. Axon lager ikke sin egen AI-modell for å gjenkjenne ansikter, men nektet å si hvilken tredjepartsleverandør den bruker.
Edmonton-politiet sier at piloten vil fortsette til slutten av desember og kun i dagslys.
«Det er klart det blir mørkt ganske tidlig her,» sa Martin. «Lysforhold, våre kalde temperaturer om vinteren, alle disse tingene vil ha betydning for hva vi ser på når det gjelder et vellykket proof of concept.»
Martin sa at rundt 50 offiserer som piloterte teknologien ikke vil vite om ansiktsgjenkjenningsprogramvaren passet. Utgangene vil bli analysert senere på stasjonen. I fremtiden kan det imidlertid hjelpe politiet med å oppdage om det er en potensielt farlig person i nærheten, slik at de kan ringe inn for å få hjelp, sa Martin.
Det er bare ment å skje hvis offiserer har startet en etterforskning eller svarer på et anrop, ikke bare mens de rusler gjennom en folkemengde. Martin sa at offiserer som svarer på en samtale kan bytte kameraene sine fra en passiv til en aktiv opptaksmodus med høyere oppløsning.
«Vi ønsker virkelig å respektere individers rettigheter og deres personverninteresser,» sa Martin.
Kontoret til Albertas informasjons- og personvernkommissær Diane McLeod sa at hun mottok en personvernkonsekvensvurdering fra Edmonton-politiet 2. desember, samme dag som Axon og polititjenestemenn kunngjorde programmet. Kontoret sa fredag at det nå jobber med å gjennomgå vurderingen, et krav for prosjekter som samler inn «høysensitive» personopplysninger.
University of Alberta kriminologiprofessor Temitope Oriola sa at han ikke er overrasket over at byen eksperimenterer med levende ansiktsgjenkjenning, gitt at teknologien allerede er allestedsnærværende i flyplasssikkerhet og andre miljøer.
«Edmonton er et laboratorium for dette verktøyet,» sa Oriola. «Det kan godt vise seg å være en forbedring, men det vet vi ikke sikkert.»
Oriola sa at polititjenesten har hatt et til tider «frost» forhold til sine urbefolkninger og svarte innbyggere, spesielt etter den fatale politiskytingen av et medlem av det sørsudanske samfunnet i fjor, og det gjenstår å se om ansiktsgjenkjenningsteknologi gjør politiarbeid tryggere eller forbedrer interaksjoner med publikum.
Axon har møtt tilbakeslag for sine teknologiutplasseringer tidligere, som i 2022, da Friedman og syv andre medlemmer av Axons AI etikkstyre trakk seg i protest over bekymringer om en Taser-utstyrt drone.
I årene siden Axon valgte ansiktsgjenkjenning, sier Smith, administrerende direktør, at selskapet har «fortsatt kontrollert, laboratoriebasert forskning» av en teknologi som har «bli betydelig mer nøyaktig» og som nå er klar for prøvelse i den virkelige verden.
Men Axon erkjente i en uttalelse til AP at alle ansiktsgjenkjenningssystemer påvirkes av «faktorer som avstand, lys og vinkel, som kan påvirke nøyaktigheten uforholdsmessig for personer med mørk hud.»
Hver kamp krever menneskelig vurdering, sa Axon, og en del av testingen er også «å lære hva opplæring og tilsyn menneskelige anmeldere må ha for å redusere kjente risikoer.»
Friedman sa at Axon burde avsløre disse evalueringene. Han ønsker å se flere bevis på at ansiktsgjenkjenning har blitt bedre siden styret hans konkluderte med at det ikke var pålitelig nok til å etisk rettferdiggjøre bruken i politikameraer.
Friedman sa at han også er bekymret for at politibyråer gir grønt lys for teknologiens bruk uten overveielse fra lokale lovgivere og strenge vitenskapelige tester.
«Det er ikke en beslutning som bare tas av politibyråer og absolutt ikke av leverandører,» sa han. «En pilot er en god idé. Men det skal være åpenhet, ansvarlighet. … Ingenting av det er her. De går bare videre. De fant et byrå som var villig til å gå videre, og de går bare videre.»
