Svobodný svět

Jen svoboda jednotlivce vede ke svobodné společnosti

adm        

Svobodný svět, článek

Štítky článku:
Čtení tohoto článku zabere přibližně 8 min.

Budoucnost AI: strojovým učením ke kafkovské totalitě (1/2)

Dlouhodobější čtenáři tohoto projektu si jistě všimli, že zde vychází články velmi kritické k dopadům některých moderních technologií, zejména heuristiky a AI, umělé inteligence.

Důvod je jednoduchý: už když jsem se poprvé podrobněji setkal s „Big Data“, správně jsem předpověděl, že výstupy této sady technologií budou používány ke kádrování, posuzování a „preventivnímu trestání“ lidí — a AI tuto vlastnost posouvá ještě o světelná léta dál.

Z toho ovšem plyne jeden fundamentální problém: je to naprostým popřením základního lidského práva na spravedlivý proces.

A jako by tomu nebylo dost, „umělá inteligence“ typu „strojové učení“ navrch k tomu všemu jednak probouzí z mrtvých zvrácené totalitářské teorie o lidstvu a podstatě svobody, a jednak technicky umožňují totalitu, jaká ještě nikdy v historii nemohla existovat.

Franz Kafka ve svém slavném románu „Proces“ popisuje frustrující bezmoc jistého pana „K.“, který se jednoho dne vzbudí, jen aby zjistil, že je proti němu vedeno jakési řízení, jakýsi proces. Nevede jej ovšem policie. Vede jej — K. vlastně ani neví kdo. A neví, z čeho je vlastně obviněn. Pouze to, že obviněn je, a kde se koná veřejné slyšení.

K. tedy na slyšení sebevědomě vystoupí a pronese ohnivý projev, v němž se snaží hájit. Jenže když ani nevíte, co je vám kladeno za vinu, nemůžete se obhájit. Boj K. s jeho neviditelnými soudci je tedy předem odsouzen k neúspěchu. K. pochopí nesmyslnost obrany a tak se pokouší celý Proces, který je zjevně nelegitimní, alespoň ignorovat. Jenže Proces mu stále znova vstupuje do života a škodí mu, až je nakonec K. odsouzen k smrti a, jsa zcela vyčerpán marností své obrany, již ani nemá sílu vzdorovat a stoicky se nechává odvést svými katy.

Literární kritici mají za to, že Kafkův „Proces“ je obžalobou diskriminace vůči Židům v dobové společnosti: nevyřčeného odsouzení za nic konkrétního, jen za povrchní příslušnost k nějaké skupině.

A vskutku: když se podíváte na velké totalitní diktatury 20. století, každá z nich stála na stejném principu. Kolektivně odsuzovala a pronásledovala či likvidovala celé skupiny lidí nikoli na základě jejich skutků, nýbrž na základě jejich příslušnosti k nějaké skupině a tím zdůvodněné preventivní, prediktivní „obraně“ proti jejich fiktivním budoucím zločinům.

Vždy přitom byla vytvořena nějaká „věda“, která přinášela zdánlivě „nevyvratitelné“ důkazy ospravedlňující „preventivní“ zásah vůči těm příslušníkům cílové skupiny, kteří se „provinili“ nikoli svými činy, nýbrž jen vnější podobností s někým jiným.

Nacisté byli průkopníky pavědy jménem fyziognomie, podle které prý zločinci a škůdci lidstva měli být charakterizováni určitými rysy obličeje a tedy kdo má špatný tvar lebky, je zločinec a měl by být odstraněn z genofondu. Říkají to vědci, musí to být pravda — a kdo jsi ty, abys to zpochybňoval!

Marxisté se naopak uchýlili k „vědeckému marxismu-leninismu“, podle něhož příslušnost k určité třídě, dané mj. ne-manuální profesí, deformovala charakter a každého člověka předurčovala k vykořisťování a zlovolnosti, pokud nebude „napraven v pracovních táborech“. Ondřej Sekora na toto téma namaloval i komiks.

sekora-skola-prace.jpg (61,858 kiB)
Sekorova Škola práce překovává buržousty

Stěžejní v tom všem byl determinismus: všechny tyto teorie tvrdily, že člověk nemá svobodnou vůli, nemá svobodu volby, je fixně a nezvratně předurčen k tomu chovat se zle — a proto je oprávněné, ba dokonce žádoucí, jej „zneškodnit“, zlikvidovat předtím, než ono zlo stihne napáchat. Protože nezabránit zlu, o kterém víte, že se stane, i kdo jej spáchá, to je přeci bezohledné a samo o sobě zlé, no ne? To vám odsouhlasí 11 z 10 respondentů průzkumu veřejného mínění.

Celý princip posuzování lidí skrze „Big Data“ je však založen na přesně stejném principu jako fyziognomie, „rasová čistota“ a „vykořisťující třídy“. Na odsuzování lidí protože se povrchně, statisticky, podobají někomu jinému. Býval to nejhorší neduh a největší profesionální sehnání jakéhokoli vědce: zaměnit korelaci za kauzalitu.

Koho zajímá skutečná kauzalita, když samotná korelace znamená dolary?

Pak ovšem přišla určitá sorta lidí s názorem, že taková vědeckost prý není zapotřebí. Není prý vůbec potřeba prokázat příčinnou souvislost. Bohatě stačí určitý statistický průnik, protože i souvislosti pouze zdánlivé, statistické, stačí k tomu, aby se někde dala zmenšit rizika a tedy vydělat peníze.

Začalo to v pojišťovnictví. Pokud auta s větším obsahem motoru častěji bourají, je přeci jedno, zda je pojištěnec nebezpečný řidič nebo ne. Prostě zaplatí více, protože pokud se statistika rozdělí podle obsahu motoru, ti s vyšším obsahem mají větší náklady na obsluhu pojistných událostí a je jenom fair to spravedlivě rozdělit, ne? Ukázkový příklad principu kolektivní viny. Ale to byla ještě primitivní „manuální heuristika“, na základě malého množství parametrů. Proto bylo snadné se jí ubránit: chtěli-li jste ušetřit na pojistce, koupili jste si auto s menším objemem motoru a bylo po problému.

Bankovní aplikace pro hodnocení úvěryhodnosti klienta to dovedly dále: aby banky minimalizovaly riziko, jejich aplikace začaly agregovat první „big data“ ze záznamů o platbách debetními kartami, které určovaly, v jakých obchodech kdo nakupuje. V tom už by člověk nedokázal najít statistické vzorce, ale počítač ano — a tak byli preventivně označeni za „nespolehlivé“ mj. lidé, kteří nakupovali v „příliš levných“ obchodech.

Americké zdravotní pojišťovny si zase nechaly napsat Big Data systém, který predikoval nemocnost pojištěnce a kohokoli „rizikového“, kdo by mohl potřebovat pojistné plnění, se zbavily brutální přirážkou.

V tomto okamžiku rázem přestalo platit, že máte svobodu volby. „Big Data“ systémy totiž nacházejí korelace i tam, kde žádná kauzalita neplatí. Z toho plyne, že už není žádná konkrétní akce, kterou byste mohli ovlivnit svůj osud. Ať uděláte cokoli, pořád vám hrozí, že budete nespravedlivě vyhodnoceni jako „rizikoví“ a patřičně „potrestáni“. Stačí, když se pouze čirou náhodou vzdáleně podobáte někomu „statisticky nežádoucímu“ — a už v tom lítáte až po uši.

I „Big Data“ systémy ovšem nebyly až tak samospasitelné. Pořád vyžadovaly „data scientists“, aby data nějak předzpracovaly. Jinak se na surové jedničky a nuly sice mohly vrhnout Big Data heuristické algoritmy, jenže zpravidla vygenerovaly bezcenný balast — resp. predikce s přesností v řádu nižších desítek procent.

Zhruba loni či předloni však nastala revoluce. Do masového, stále levnějšího použití se dostaly heuristické AI algoritmy strojového učení, které už žádné předzpracování dat nepotřebovaly. Samy si totiž dokázaly data očistit a najít v nich to, co potřebují. Samy si adaptivně upravit dlouhý řetězec „IF a AND b AND c AND NOT d AND (NOT e OR f) … THEN“, kterým hodnotí, cokoli jim kdo zadá. A tady nastává problém, který zatím jen málokdo dokáže docenit v celé jeho šíři.

Strojově-učící se AI: vyšinutý žalobce, jemuž nikdo nevidí do hlavy

Najednou můžete být označeni za Nežádoucí Grázly jen proto, že ačkoli byste neublížili ani mouše, rádi si kupujete víno, okurky, nosíte bílé pohorky a k tomu posloucháte obskurní italský popík — a tím se povrchně podobáte zavrženíhodnému zločinci, který má rád stejně obskurní kombinaci.

Logika „strojově učící se AI“ je totiž neúprosná. Na malém zkušebním vzorku našla AI korelaci právě třeba osobních preferencí pití, jídla, oblečení a hudby, která odpovídá pouze žádoucímu výsledku, za který byl algoritmus „odměněn“ svým trenérem (tedy onomu zločinci), ale zároveň neodpovídá žádnému nežádoucímu výsledku (tedy nevinným), za jehož křivé obvinění by „učící se“ algoritmus AI byl potrestán. „Dostatečná obskurnost“ vyhledávací korelace by tedy prý měla zaručit, že další takový neexistuje.

Jenže ouha! K výslednému řetězci korelací dospěl algoritmus jen proto, že jste v malé „učící sadě dat“ nebyli vy, onálepkovaní jako nevinní. Kdybyste tam byli, algoritmus by řetězec korelací ještě nějak poupravil, aby vás vyloučil. Jenže z principu platí, že pokud se AI učí na malé hromadě dat a podle toho potom soudí velkou hromadu dat, statisticky téměř vždy bude existovat nějaký nebožák, o němž AI neví, že by jej měla vyloučit — a tak jej křivě označí za nežádoucího.

A tady vstupuje na scénu další kritický problém. „Strojově učící se“ AI totiž navenek funguje jako „černá skříňka“. Jsou jí zadány vstupy a pomocí stimulů „odměn“ a „trestů“ začne podávat žádoucí výstupy. Co je ale mezi vstupem a výstupem, tedy jak konkrétně vypadá ta korelace, na jejímž základě AI soudí, zda jste grázl nebo nevinný? To nikdo neví. To je totiž schované v neuronové síti, a do té nikdo nevidí.

Takže pokud „v neuronovce“ vznikne úplná blbost, jako výše zmíněný konstrukt, že kdo má rád okurky, italský popík, pohorky a víno, to je vrah? Žádný člověk to nikdy nebude moci napravit, protože se o tom žádný člověk ani nedozví. Není žádná možnost odvolání, nemůže zaznít žádné „Námitka! Tato konstrukce je zvrácená a nic nedokazuje!“ Zato se všichni dozvědí, že „vědecká“, prý „dokonale racionální“ AI vás vyhodnotila jako potenciální hrozbu.

Slepá důvěra v AI vzniká z toho, že je „vytrénovaná“ AI vypuštěna na kontrolní vzorek dat. Pokud však jako na potvoru člověk s tak nenormální, ale zároveň neškodnou a naprosto legální kombinací preferencí nebo chování, jako máte vy, chybí nejen v učícím se, nýbrž i v kontrolním vzorku? Potom „vědecké testování“ prokáže, že algoritmus dokáže chytat grázly s pravděpodobností 100 % a chybou 0 %, jupí! A už se jde prodávat prediktivní prevence.

Je to jako z filmu Minority Report: trestání konkrétních lidí za zločiny, které nespáchali, ale AI o nich tvrdí, že by je v budoucnosti určitě spáchali. Například americká Policie takto kádruje své zaměstnance AI, která rozhoduje, kdo by se prý v budoucnu zachoval jako rasista a proto má již dnes dostat preventivního padáka. Bez možnosti odvolání.

Americké tajné služby pak byly asi první, kdo použil kádrové posudky generované počítačem k tomu nejhoršímu: aktivnímu zatýkání a vraždění lidí. Se kterým člověkem bude zacházeno jako s teroristickým kurýrem určovala AI „Skynet“, která pravděpodobně křivě obvinila z podpory terorismu až 100 000 nevinných lidí. A ředitel NSA se následně v interview pro časopis Wired nechal slyšet, že „zabíjí lidi na základě meta-dat“ — tzn. na základě toho, koho obviní AI algoritmus který „big data“ meta-dat prochází.

Vy přitom vůbec nevíte, že vás nějaký AI algoritmus odsuzuje. Ale i kdybyste to věděli, neměli byste žádnou možnost se bránit, protože „důkazy“, na nichž je postaveno vaše odsouzení, jsou schované někde v neuronové síti a nikdo je neumí najít, natož zpochybnit či vyvrátit.

Vinou „strojového učení“ a „Big Data“ tak přestalo existovat právo na spravedlivý proces. Naopak: AI každému garantuje nespravedlivý proces, ve kterém je rozhodnutí o jeho vině či nevině pouhým dílem náhody a statistické podobnosti.

Co je větší bezpráví, než když jste potrestáni bez ohledu na to, co děláte a zda něčemu či někomu ubližujete? Jenže destrukce práva na spravedlivý proces je jen špičkou ledovce. Další důsledky rozmachu nekritické víry v AI jsou ještě horší.

(Zítra druhá část)

Autor článku: | Vydáno: | Přečteno: 231 × | Prestiž Q1: 5,63

+5 plus Známkuj článek minus –0

Interní diskuse

Budoucnost AI: strojovým učením ke kafkovské totalitě (1/2)

(Článek už je starý. Interní diskuse k němu byly uzavřeny.)

Žádné komentáře

Facebook diskuse
top