Poradnictwo dla rodziców: "sztuczna inteligencja" używana do oceniania opiekunów w oparciu o ich historię w mediach społecznościowych
Kiedy Jessie Battaglia zaczęła szukać nowej opiekunki dla jej jednorocznego syna, chciała uzyskać więcej informacji, niż mogłaby uzyskać dzięki kryminalnemu sprawdzianowi, komentarzom rodziców i wywiadowi twarzą w twarz.
Zwróciła się więc do Predictim, usługi internetowej, która wykorzystuje "zaawansowaną sztuczną inteligencję", aby ocenić osobowość opiekunki, i skierowała swoje skanery na tysiące kandydatów na tysiące postów na Facebooku, Twitterze i Instagramie.
System zaoferował zautomatyzowaną "ocenę ryzyka" 24-letniego kandydata, który stwierdził, że była "bardzo niskiego ryzyka" bycia osobą nadużywającą narkotyków. Ale dało to nieco wyższą ocenę ryzyka - dwie na pięć - za znęcanie się, szykanowanie, bycie "bez szacunku" i "złe nastawienie".
System nie wyjaśnił, dlaczego podjął tę decyzję. Ale Battaglia, która wierzyła, że opiekun jest godny zaufania, nagle poczuł mdłości.
"Media społecznościowe pokazują charakter osoby" - mówi 29-letnia Battaglia mieszkająca niedaleko Los Angeles. "Dlaczego więc przyszła do dwójki, a nie jednej?"
Predictim oferuje rodzicom ten sam poradnik, który dziesiątki innych firm technologicznych sprzedają pracodawcom na całym świecie: systemy sztucznej inteligencji analizujące mowę, mimikę twarzy i historię online, z obietnicami ujawnienia ukrytych aspektów ich życia prywatnego.
Technologia zmienia sposób, w jaki niektóre firmy podchodzą do rekrutacji, zatrudniania i recenzowania pracowników, oferując pracodawcom niezrównane spojrzenie na kandydatów do pracy poprzez nową falę inwazyjnej oceny i nadzoru psychologicznego.
Firma technologiczna Fama twierdzi, że wykorzystuje sztuczną inteligencję do utrzymywania porządku w mediach społecznościowych pracowników za "toksyczne zachowanie" i ostrzega swoich szefów. A firma zajmująca się rekrutacją technologii HireVue, która współpracuje z takimi firmami jak Geico, Hilton i Unilever, oferuje system, który automatycznie analizuje ton kandydatów, wybór słów i ruchy twarzy podczas wywiadów wideo, aby przewidzieć ich umiejętności i postawę w pracy. (Kandydaci są zachęcani do uśmiechania się, aby uzyskać najlepsze wyniki).
Ale krytycy twierdzą, że Predictim i podobne systemy przedstawiają swoje własne niebezpieczeństwa, podejmując zautomatyzowane i potencjalnie zmieniające życie decyzje praktycznie nie sprawdzone.
Systemy te zależą od algorytmów czarnoskrzynkowych, które dają niewiele szczegółów na temat tego, jak zredukowały złożoność życia wewnętrznego osoby do obliczenia cnoty lub szkody. Nawet jeśli technologia Predictim wpływa na myślenie rodziców, pozostaje całkowicie nieudowodniona, w dużej mierze niewyjaśniona i podatna na ciche uprzedzenia w stosunku do tego, w jaki sposób odpowiednia opiekunka powinna się dzielić, patrzeć i mówić.
Jest taki "szalony pośpiech, by wykorzystać moc sztucznej inteligencji do podejmowania wszelkiego rodzaju decyzji bez zapewnienia, że jest on odpowiedzialny przed ludźmi", powiedział Jeff Chester, dyrektor wykonawczy Centrum Demokracji Cyfrowej, grupa zajmująca się technologią. "To tak, jakby ludzie wypili cyfrowy Kool-Aid i uważają, że jest to właściwy sposób kierowania naszym życiem".
Skany Predictim analizują całą historię mediów społecznościowych opiekunki, która dla wielu najmłodszych opiekunów może obejmować większość ich życia. Mówi się też, że jeśli odmówią, będą w bardzo niekorzystnej sytuacji, jeśli chodzi o konkurencyjną pracę.
Główny założyciel i współzałożyciel Predictim, Sal Parsa, powiedział, że firma, uruchomiona w zeszłym miesiącu w ramach University of California w inkubatorze technologicznym SkyDeck w Berkeley, poważnie podchodzi do kwestii etycznych związanych z jej użyciem. Rodzice, powiedział, powinni zobaczyć oceny jako towarzysz, który "może, ale nie musi odzwierciedlać rzeczywistych atrybutów opiekuna".
Ale niebezpieczeństwo związane z zatrudnianiem problematycznego lub gwałtownego opiekuna - dodał - sprawia, że sztuczna inteligencja jest niezbędnym narzędziem dla każdego rodzica, który ma nadzieję zachować bezpieczeństwo swojego dziecka.
"Jeśli wyszukasz obraźliwych opiekunów w Google, zobaczysz teraz setki wyników" - powiedział. "Są ludzie, którzy albo chorują psychicznie, albo rodzą się zło, naszym celem jest zrobić wszystko, aby ich powstrzymać."
Skanowanie predykcyjne zaczyna się od 24, 99 USD i wymaga imienia i nazwiska oraz adresu e-mail opiekunki oraz zgody na udostępnienie szerokiego dostępu do jej kont mediów społecznościowych. Opiekunka może odmówić, ale rodzic zostaje powiadomiony o swojej odmowie, a w wiadomości e-mail opiekunka mówi "zainteresowany rodzic nie będzie w stanie zatrudnić cię, dopóki nie wypełnisz tej prośby."
Kierownicy Predictim twierdzą, że używają algorytmów przetwarzania języka i oprogramowania rozpoznającego obraz zwanego "wizją komputerową", aby ocenić posty opiekunek na Facebooku, Twitterze i Instagramie, aby poznać wskazówki na temat ich życia w trybie offline. Rodzice otrzymują raport wyłącznie i nie muszą podawać uczestnikom wyników.
Rodzice mogliby przypuszczalnie spojrzeć na swoje publiczne konta społecznościowe swoich opiekunów. Ale generowane przez komputer raporty obiecują dogłębną kontrolę lat aktywności online, sprowadzoną do pojedynczej cyfry: odurzająco proste rozwiązanie niepraktycznego zadania.
Oceny ryzyka są podzielone na kilka kategorii, w tym treści o charakterze jawnym i nadużywanie narkotyków. Start-up reklamował również, że jego system może oceniać opiekunki na inne cechy osobowości, takie jak grzeczność, umiejętność pracy z innymi i "pozytywność".
Firma ma nadzieję na rozwój wielomiliardowej branży "rodzicielskiego outsourcingu" i zaczęła reklamować się dzięki sponsorowanym sponsorom blogów rodzicielskich i "mumii". Marketing firmy koncentruje się głównie na jej zdolności do ujawniania ukrytych tajemnic i zapobiegania "koszmarowi każdego rodzica", powołując się na sprawy karne, w tym na opiekunkę z Kentucky, oskarżoną na początku tego roku o poważne obrażenia ośmiomiesięcznej dziewczynki.
"Gdyby rodzice małej dziewczynki zranionej przez tę opiekunka byli w stanie wykorzystać Predictim jako część procesu weryfikacji, " dokument marketingowy firmy mówi: "nigdy nie zostawiliby jej samej z ich drogocennym dzieckiem".
Eksperci techniczni twierdzą jednak, że system sam podnosi czerwone flagi, w tym obawy, że żeruje na strachach rodziców, sprzedając skanery osobowości o nie sprawdzonej dokładności.
Zastanawiają się również, w jaki sposób systemy są szkolone i jak wrażliwe mogą być, aby nie zrozumieć nieostrych znaczeń korzystania z mediów społecznościowych. W przypadku wszystkich skanów o najwyższym ryzyku rodzice otrzymują tylko sugestię zachowania wątpliwego i brak konkretnych fraz, linków lub szczegółów do samodzielnej oceny.
Kiedy jeden z opiekunów dziecka został oznaczony pod kątem możliwego zastraszania, niezadowolona matka, która o to poprosiła, stwierdziła, że nie może stwierdzić, czy oprogramowanie wykryło stary cytat z filmu, tekst piosenki lub inną frazę, w przeciwieństwie do rzeczywistego języka zastraszania.
Ale Predictim twierdzi jednak, że przygotowuje się do ogólnokrajowej ekspansji. Dyrektorzy na Sittercity, internetowym portalu dla opiekunów odwiedzanym przez miliony rodziców, powiedzieli, że rozpoczynają program pilotażowy na początku przyszłego roku, który będzie składał automatyczne oceny Predictim w bieżącym zestawie screeningu i kontroli.
"Znalezienie opiekuna może nadejść z dużą dozą niepewności" - mówi Sandra Dainora, szef działu produktów Sittercity, który wierzy, że narzędzia takie jak te mogą wkrótce stać się "standardową walutą" znajdowania opiekunów w Internecie. "Rodzice zawsze szukają najlepszego rozwiązania, najlepszych badań, najlepszych faktów."
The Washington Post