Tendenciju velikih korporacija da svojim poslovanjem čine štetu kulturnom i intelektualnom nasleđu čovečanstva dobro ilustruje slučaj kompanije Amazon, koja, kako se saznalo sredinom avgusta, kupuje i uništava stare knjige kako bi ih skenirala za potrebe treniranja svojih AI modela.
Vest po sebi ne bi trebalo da predstavlja iznenađenje. U doživljaju sveta gde je profit iznad svega, a cilj opravdava sredstvo, sve je dozvoljeno.
Nezavisna medijska kompanija 404 Media sprovela je interesantno istraživanje, u saradnji sa jednim prodavcem knjiga koji je preko sajta za prodavanje knjiga Biblio dobio neobičnu narudžbinu za oko 1000 naslova. Bila je za kompaniju koja se bavi unapređivanje AI-a, a sam sajt korisnicima omogućuje da ostanu anonimni.
Knjigama se mašinski odstranjuje poveznica, seče im se kičma kako bi se stranice odvojile, a za to postoje posebne radne stanice. Nakon toga, od nje ostaju samo pojedinačni listovi koji se potom stavljaju u skenere
Ovako čudan tip narudžbine nije novost. Slični zahtevi datiraju još iz 2024. godine, prema navodima portala Inc. Sve porudžbine se šalju u isto skladište u severnom Las Vegasu, pod nazivom „LAS8“, gde se sprovodi operacija VGT3. Knjige se skeniraju radi treniranja i unapređivanja AI modela. Inače, simbol skladišta je dinosaurus koji u kandžama drži knjigu, a i njegov izgled kao da su pravile AI alatke.
Ipak, portal 404 Media je poznatoj priči dodao nove slojeve. Njegovi zaposleni razgovarali su sa anonimnim radnikom Amazona koji je radio upravo u skladištu VGT3. Opisao je proces kroz koji knjige prolaze od trenutka kada stignu u skladište do trenutka kada od njih ostanu samo pojedinačni listovi papira.
Prema njegovom svedočenju, radnici su najpre raspakivali kutije i stavljali ih u plastične kontejnere, to jest „tote“, odakle su knjige dalje odlazile na sortiranje i skeniranje. Knjige su se potom prebacivale na paletama u druge delove skladišta. Tamo su se skenirali bar-kodovi kako bi se utvrdilo koji primerci su potrebni, dok su duplikati i nepotrebni primerci izdvajani sa strane. Sagovornik 404 Media kaže da je proces bio prilično neorganizovan i da se menjao iz dana u dan.
Najvažniji deo procesa tek sledi. Knjigama se mašinski odstranjuje poveznica, seče im se kičma kako bi se stranice odvojile, a za to postoje posebne radne stanice. Radnik ubaci knjigu u mašinu, skloni ruke iz zone sečenja i pritiskom na dugme aktivira sečivo koje preseče povez. Nakon toga, od knjige ostaju samo pojedinačni listovi koji se potom stavljaju u skenere.
Izvor portala procenjuje da je u prostoru bilo najmanje dvadeset, a možda i oko 25 skenera. Prema njegovom opisu, podsećaju na mašine za brzo brojanje novca. Na ekranima ispred radnika mogao je da se vidi proces samog skeniranja, koji se odvijao munjevito.
Stranice se bacaju u velike kartonske kontejnere koje Amazon naziva shuttle. Listovi različitih knjiga se u njima mešaju, tako da ne postoji realan način da se kasnije od njih ponovo sastavi izvorna knjiga. Drugim rečima, proces nije samo digitalizacija knjige, već destruktivna digitalizacija: fizički primerak se žrtvuje kako bi njegov sadržaj mogao da bude pretvoren u digitalne podatke.
Kompanija Amazon je, preko svog predstavnika za medije, rekla da se knjige kupuju preko „komercijalnih kanala“, i da to radi da bi unapredila i poboljšala proizvode i usluge koje koriste njeni klijenti. Kompanija nije odgovorila na pitanje koliko knjiga je kupila, kada je program počeo, koji njeni proizvodi zapravo koriste skenirane knjige, niti da li izdvaja retke i teško dostupne primerke pre uništavanja.
Zaposleni koji je razgovarao sa 404 Media rekao je da su tamo stizale praktično sve vrste knjiga. Neke potpuno nove, neke očigledno polovne ili iz likvidiranih bibliotečkih zbirki. Bilo je čak i pošiljki koje su dolazile iz prestonice Velike Britanije, uključujući veliki broj naslova sa Univerziteta u Londonu.
Pre puštanja ChatGPT-a u etar 2022, ništa nije moglo biti napisano pomoću LLM-a. Bez retkih tekstova, potencijalni novi LLM-ovi bi morali da budu trenirani pomoću tekstova koji su AI generisani, što bi dovelo do pada njihovog kvaliteta
Među materijalom koji je prolazio kroz skladište nalazili su se i dokumenti koji nisu izgledali kao obične knjige. Zaposleni navodi da su bili spojeni spajalicama i da je na njima pisalo da su predstavljeni Parlamentu u ime kraljice. Nije znao da li su ti dokumenti javno dostupni, ali mu je bilo neobično što se i takav materijal našao među knjigama koje su završavale u procesu skeniranja.
To pokazuje da se ne radi samo o popularnim izdanjima, koje je lako ponovo pronaći u knjižarama ili bibliotekama. Prema ovom svedočenju, u VGT3 su stizale i knjige na različitim jezicima. Zaposleni navodi da je viđao veliki broj nemačkih i ruskih, kao i čitave palete japanskih izdanja. Posebno je zanimljivo to što su neke od japanskih knjiga bile potpuno nove i još uvek zapakovane.
Sa druge strane, deo knjiga je očigledno dolazio iz biblioteka, pa je njihov fizički izgled bio drugačiji. Takve knjige nisu uvek bile uredno spakovane u kutije, već su se nalazile pomešane u velikim kontejnerima. Zaposleni kaže da su se upravo među takvim knjigama nalazile neke od onih koje su delovale starije ili neobičnije.
Kompanijama kao što je Amazon za efikasno treniranje svojih LLM-ova (Large Language Model) treba veoma mnogo tekstova. S obzirom na to da su LLM-ovi već „iscedili“ sve što su mogli sa interneta, čak i ilegalne digitalne kopije kada je reč o Antropikovom Klod (Claude) modelu, retke knjige u štampanom izdanju mogu da pruže sasvim novi uvid u jezik, izražavanje i način mišljenja. Ovo posebno važi za knjige koje se više ne štampaju, ili ih nema u digitalnom obliku.
Upravo zbog toga je posebno problematično ako se među knjigama koje se uništavaju nalaze primerci koji su retki ili teško dostupni. Digitalna kopija može sačuvati tekst, ali ne mora nužno sačuvati samu knjigu kao kulturni predmet. Fizička knjiga može imati istorijsku, bibliografsku ili kolekcionarsku vrednost čak i kada je njen tekst moguće preneti u digitalni oblik. Ako se jedini ili jedan od malobrojnih dostupnih primeraka uništi, društvo dobija digitalni zapis, ali istovremeno gubi fizički artefakt.
Postoji još jedan zanimljiv detalj u svedočenju izvora portala 404 Media. Kada su radnici tek počeli da rade, rečeno im je da su knjige namenjene Kindle uređajima. Zaposleni, međutim, kaže da u to nije poverovao, između ostalog zbog pitanja autorskih prava i načina na koji bi se knjige legalno mogle koristiti. Tek kasnije je shvatio da se knjige koriste radi treniranja AI-a.
Retke knjige i tekstovi su važni i zbog činjenice da, pre 2022. godine i puštanja ChatGPT-a u etar, ništa nije moglo biti napisano pomoću LLM-a. Bez tih tekstova, potencijalni novi LLM-ovi bi morali da budu trenirani pomoću tekstova koji su AI generisani, tj. napravljeni pomoću drugih LLM-ova. U takvim situacijama rizikuje se „model collapse“. Kvalitet LLM-a bi s vremenom opao zbog preteranog unosa AI sadržaja. Nešto poput urobora, antičkog simbola koji prikazuje zmiju kako jede sopstveni rep.
Ukoliko se ovaj trend nastavi, pitanje više neće biti samo koliko su veliki jezički modeli sposobni da nauče iz ljudske kulture, već i šta će ostati od same kulture iz koje su učili.
