Za oknami administratívnej budovy na 19. poschodí sa týči bujnejúca panoráma Bratislavy. Za jemne prižmúrenými očami Michala Valka tušíme podobne intenzívne hýrenie myšlienok.
Zo slovenčiny špičkového odborníka na umelú inteligenciu a strojové učenie je počuť, že na rodnú hrudu prichádza z prestížnych zahraničných pôsobísk skôr výnimočne. Stretávame sa pri príležitosti odovzdávania ESET Science Award, ktorej je po niekoľkýkrát ambasádorom.
Za ostatný rok si zmenil zamestnávateľa. Už nepracuješ pre Google, ale pre Metu, kde si hlavný vývojár jazykového modelu Llama. Venuješ sa stále aj vede?
Ešte stále som akademik, pracujem na francúzskej obdobe našej SAV. Zároveň učím aj na univerzite.
V programe DeepMind pre Google som začal robiť v roku 2019, keď som s bývalým kolegom založil jej francúzsku pobočku, ktorá sa postupne rozrástla z dvojice na šesťdesiat výskumníkov.
Ako akademik som už dosiahol definitívu, čo vo francúzskom systéme znamená, že si môžem povedať, že pôjdem na pár rokov do súkromného sektora a neskôr sa vrátim späť k vede.
Držia ti miesto.
Presne tak. Hoci mám stále študentov, formálne som detašovaný pracovník.
Čo je tvoja špecializácia?
Reinforcement machine learning. Vyvíjam metódy, podľa ktorých sa majú učiť roboty a algoritmy. Ostatné dva roky som pracoval na trénovaní veľkých jazykových modelov, ktoré sa v Googli volali Chinchilla či Sparrow. Neskôr vznikol spojením Google Brain a DeepMindu program Bard. Dnes sa nazýva Gemini.
Venoval som sa modifikovaniu jazykových modelov, aby spĺňali konkrétne preferencie a aby napríklad nenadávali. Modely na začiatku vždy učíme, aby si prečítali celý internet, ktorý však rozhodne nie je vľúdne miesto.
Na verejnom prístupnom obsahu twitteru, redditu, 4chanu a facebooku je vidieť, že ľudia k sebe nie sú práve príjemní a ak by sa jazykový model správal ako oni, mohol by ľuďom nadávať, už keď sa ho spýtajú nejakú otázku.
To nechceme, model musíme navrhnúť tak, aby nebol xenofóbny, rasistický ani inak toxický.
Čo by ešte jazykové modely nemali robiť?
Nemali by sa hrať na doktora alebo finančného poradcu. Keď pôjdeš na stránku gemini.com, nájdeš tam model, ktorý som aj ja trénoval. Nemal by ti nadávať, ale nemal by ti dať ani inštrukcie na výrobu zbrane, alebo návod na samovraždu.
Keď si doktor natrénuje vlastný model tak, aby sa s ním radil a jeho radami sa aj riadil v praxi, je to, samozrejme, v poriadku. Veľké firmy však cítia širšiu zodpovednosť a určite aj strach z toho, že ich niekto zažaluje pre výstup, čo ponúkli.
Michal Valko je odborníkom na jazykový model Llama od spoločnosti Meta (zdroj: ESET Science Award/Linda Kisková Bohušová)Internetové stránky, ktoré si spomínal, sú v porovnaní s amorálnymi prejavmi či aktivitami na tzv. dark webe slabý odvar. Eviduješ paralelný vývoj „dark“ umelej inteligencie, ktorá nemá vôbec nastavené etické mantinely?
Určite. Vytvoriť jazykový model dnes dokáže jeden šikovný človek s jedným laptopom. Variabilita ich nastavení je naozaj rôzna a amorálnosti sa pri niektorých nedá vôbec predísť. Študent technologického inštitútu v Zürichu svoj jazykový model trénoval na stránke 4chan, a tak bol k jeho používateľom drzý a nadával im.
Mnoho ľudí používajú umelú inteligenciu na neveľmi humánne ciele, napríklad v otázke ozbrojovania či bojových dronov. V DeepMind sme aj preto mali manifest, v ktorom sme sa zaviazali, že náš výskum nikdy nepovedie smerom k vývoju zbraní.
Keďže sú použitia umelej inteligencie potenciálne nebezpečné, mnohé vlády ich podrobne monitorujú.
Mladá vedkyňa Sofia ako deväťročná ešte nevedela čítať, dnes stážuje v akadémii vied Čítajte Prečo je vlastne pre firmu Meta dôležité mať dobrý jazykový model?
Dôvodov je niekoľko. Pracujem na modeli, ktorý je ako open-source dostupný verejnosti. Meta, podobne ako mnoho iných firiem, samozrejme, chce svoj jazykový model použiť ako operačný systém.
Zároveň má jazykový model aj priame využitia v biznise. Meta má vyše deväťdesiat percent príjmu z reklám, ktoré sa musia optimálne zobrazovať na telefóne, hodinkách, laptope aj televízii. Model možno použiť na automatické orezanie, doplnenie a optimalizáciu dizajnu reklamy. Nie je to práve sexi ponuka, ale je to veľká časť biznisu, za ktorú sú inzerenti ochotní platiť.
Iným využitím pre Metu je funkcia, ktorá ešte nefunguje v Európe, no spočíva v tom, že váš status urobí na základe povelu vtipnejším, opraví gramatiku alebo pridá emotikony. AI dokáže aj vyhodnotiť, či je nejaký status nenávistný.
Pri prejavoch na internete používame často iróniu či sarkazmus. Dokážu ich jazykové modely odhaliť?
Detekcia irónie je štandardná výzva pri spracovaní prirodzeného jazyka a modely sú v tom čoraz lepšie. Nie je to pritom nová otázka a venovala sa jej aj profesorka v Pittsburghu, keď som tam pred vyše desiatimi rokmi študoval.
Kľúčovým problémom je, že neexistuje stopercentná definícia toho, čo je irónia, keďže je výsostne subjektívna. Umelá inteligencia môže pochopiť len to, čo my, čiže jej štandardné formy.
Rozpoznať iróniu a sarkazmus na sto percent nedokážu ani ľudia. Najlepšie je to vidieť pri jazykoch, ktoré sa učíme alebo ich neovládame dokonale. O irónii však existujú výskumy či populárne knihy, z ktorých sa dokáže umelá inteligencia učiť a do istej miery poznatky ďalej rozvíjať.
Umelá inteligencia je účinnejšia pri objektívnych veciach, napríklad pri rátaní matematických príkladov, pri ktorých vieme presne určiť, čo je správna odpoveď. V medziľudskej komunikácii jednoznačná správnosť neexistuje. Chyby v modeli však dokážeme odhaľovať tým, že sme s ním v aktívnej interakcii.
Prečo sa podľa teba umelej inteligencie mnoho ľudí bojí?
Jeden z top profesorov umelej inteligencie na Berkeley University Michael Jordan vidí zásadný problém v samotnom pojme umelá inteligencia.
Termín sa používal od 60. rokov a postupne sme od neho upúšťali a prešli k presnejšiemu termínu strojového učenia. Za ostatných desať rokov sme sa však opäť vrátili k označeniu umelá inteligencia alebo AI, ktorý je viac sexi.
Za to môže film Stevena Spielberga.
Čiastočne. Rovnako ako Terminátor a iné filmy. Pravdou však je, že strojom radi prikladáme antropomorfné kvality. Predstavujeme si, že inteligencia predznamenáva vedomie alebo cieľavedomosť. Nie je to však tak.
V princípe funguje strojové učenie na základe násobenia matíc, ktoré dokáže prekvapivo dobre napodobňovať ľudské prejavy. Prisudzovať však násobeniu matíc ľudské vlastnosti a hodnoty je otázne.
Ľudia dnes používajú prívlastok AI aj v prípadoch, keď ide len o automatizáciu. Dobrým príkladom sú výtvory Boston Dynamics, ktoré vyvolávajú strach, no umelú inteligenciu vôbec nepoužívajú.
Čoho sa teda boja?
Verejnosť sa neobáva samotného procesu strojového učenia, ale jeho dosahov a implikácií. Jedna časť ľudí vníma AI ako technológiu a druhá na úrovni produktov. Zásadnou otázkou je, či sa máme báť matematických matíc a elektriny, ktoré umelá inteligencia využíva, alebo až jej produktov?
Pravdou ostáva, že technológie sa dajú vždy používať na dobré aj na zlé účely. Nukleárna energia umožnila vznik ničivých bômb, ale aj využitie v energetike.
Michal Valko pracuje na vývoji jazykového modelu spoločnosti Meta (zdroj: archív respondenta)Aké sú príklady dobrého použitia AI, o ktorých možno nevieme?
Umelá inteligencia dokáže hľadať drahé kovy v pôde, aby sme nemuseli spaľovať fosílne palivá. Dá sa využiť aj pri hľadaní lepších a v konečnom dôsledku aj cenovo dostupnejších liekov na základe genetickej modifikácie metódou CRISPR, ktorému sa venuje laureátka Nobelovej ceny Emmanuelle Charpentier.
V súvislosti s AI sa mnohí obávajú zmeny pracovného trhu, ktorej charakter ani rozsah nedokážeme presne predvídať. Nehrozí, že zamestnania množstva ľudí sa stanú natoľko zbytočné, že stratia opodstatnenie?
Na mieste je otázka, čo môžeme spraviť ešte dnes, aby sa nič také nestalo. Ak nebudeme robiť nič, možno príde veľa ľudí o prácu. Našťastie máme možnosť usmerňovať nielen náš výskum, ale aj politické a spoločenské rozhodnutia tak, aby sa prispôsobili novým podmienkam.
Ťažko sa však prispôsobuje na budúcnosť, ktorú si nevieme predstaviť.
Samozrejme. Keď nastala industriálna revolúcia, nemala len pozitívne sociálne dopady v podobe ustálenej pracovnej doby a víkendov. Prechod do nového systému nebol pre mnohých vôbec ľahký a naštartovala sa aj klimatická zmena.
Dopady zásadných technologických zmien vieme posúdiť vždy až s odstupom času. Len spätne sa vieme zamyslieť aj nad tým, či bola industriálna revolúcia prospešná a či nám progres a voľný čas v konečnom dôsledku stál za diskomfort ľudí, ktorí sa museli vyrovnať s novým systémom.
Aj keby veľké firmy prestali v momente pracovať na umelej inteligencii, budú pokračovať ďalší ľudia po celom svete.
Spoločnosť vrátane vlád a medzinárodnej komunity môže zatiaľ pripraviť pracovný trh a nestavať ľudí do konfliktu s umelou inteligenciou, ale skôr vytvárať nové zamestnania, kde ju ľudia používajú. Nenahradí nás totiž umelá inteligencia, ale ľudia, ktorí ju používajú.
Psychológ: Mladých ľudí pohltil pocit FOMO, nevedia sa zastaviť. Neustály konzum im bráni dozrieť Čítajte Stretávaš sa s obavami, že v oblasti umelej inteligencie sú dnes lídrami big tech spoločnosti ako Meta či Google, ktoré vlastnia a narábajú s dátami svojich používateľov?
Časť obáv z toho rozhodne plynie. Na vývoji AI však pracujem preto, lebo vidím jednoznačné pozitíva, ktoré dokážu prevážiť obavy. Vidím, že experti, ktorí s AI pracujú, majú dobré úmysly.
Obáv v súvislosti so stavom sveta je dnes veľmi veľa, vrátane niekoľkých vojen. Vybral som si prácu v oblasti, v ktorej vidím potenciál na zlepšenie života.
Musí výskumník, ktorý sa venuje umelej inteligencii, rozumieť tomu, ako funguje ľudský mozog?
V podstate vôbec nie.
Znamená to, že jej ultimátnym cieľom nie je napodobňovať či duplikovať procesy, ktoré sa dejú v mozgu?
Presne tak. Hoci zakladateľ DeepMind Demis Hassabis či laureát Nobelovej ceny Geoffrey Hinton sú neurovedci, dnes vieme, že umelá inteligencia má od ľudského mozgu veľmi ďaleko.
Mnoho neurovedcov je motivovaných pochopením toho, ako funguje mozog. Chcú si overiť, či inteligencia potrebuje na svoje fungovanie uhlík a nedá sa reprodukovať v inom substráte, napríklad na silikóne.
Bude umelá inteligencia rozmýšľať tak ako človek?
Dnes vieme, že vieme mať AI bez toho, aby sme museli zreplikovať ľudský mozog, a zároveň sme mimoriadne ďaleko aj od pochopenia fungovania jediného neurónu. Kedysi sme si mysleli, že zreplikovať výsledky procesov v mozgu je možné len replikáciou mozgu, bola to však chyba v úsudku.
Mysleli sme si, že napríklad preložiť text do iného jazyka dokáže len človek, dnes to však AI dokáže ľahšie ako kedykoľvek predtým. AI dokáže vytvoriť texty, obrázky, video aj hudbu, ktoré pôsobia, akoby boli vytvorené ľuďmi, nedokáže však vytvoriť neurón, ktorý by sa podobal na ten v našom mozgu.
Ľudstvo je narcistické. Predpokladali sme, že najťažšie veci sú tie, ktoré sami vytvárame, postupne sme prišli na to, že je omnoho ťažšie vytvoriť robota, ktorý nám vyberie umývačku riadu a nerozbije pri tom poháre.
Pred sto rokmi sme sa báli, že nás nahradia roboty. Dnes zisťujeme, že umelá inteligencia vytvára výsledky, spadajúce do kategórie ľudských hobby.
Michal Valko sa okrem vývoja venuje aj prednášaniu (zdroj: archív respondenta)Práve to pôsobí skľučujúco. AI píše scenáre k filmom a skladá piesne, no ľudia musia naďalej robiť „hlúpe“ manuálne aktivity.
Áno. Je to facka pre ľudí aj pre nás výskumníkov. To, čo sa javilo ako ľahké, je nakoniec to najťažšie.
V umelej inteligencii nie sme tak ďaleko, ako sme si mysleli, že budeme. Je zložité zostrojiť niečo, čo prejde cez most SNP a nespadne do Dunaja, pričom to dokáže obyčajný komár.
Okrem vojen a narastajúcej nespravodlivosti čelí ľudstvo aj klimatickej zmene. Ako nám môže vývoj strojového učenia pomôcť s prevenciou a adaptáciou?
Veľmi konkrétnym príkladom je čerstvo vzniknutá firma Entalpic, ktorá vyhľadáva pomocou AI vhodné syntetické materiály, ktoré sú menej škodlivé a neznečisťujú prostredie tak ako fosílne palivá.
Umelá inteligencia je, pri veľkom zjednodušení, vlastne fancy štatistika, ktorá nám pomáha pri analýze dát.
V DeepMind pracuje približne 150 ľudí v tíme Science, ktorých úlohou je vďaka dátam zlepšovať predpovede počasia a navrhovať aj konkrétne stratégie na zlepšenie stavu životného prostredia.
Nie je LLama ako lama (zdroj: archív respondenta)Dnes potrebuje umelá inteligencia obrovské množstvo elektrickej energie a uhlíková stopa odvetvia nie je zďaleka zanedbateľná. Môže sa zdať, že v súčasnosti ku klimatickej zmene AI skôr prispieva. Kedy a čím sa môže táto bilancia preklopiť?
AI potrebuje čoraz viac energie a je to veľmi negatívny vývoj. Pomôcť môže zlepšenie architektúry pri trénovaní AI.
V porovnaní s ľudským mozgom používa AI omnoho viac energie. Aj energetická efektivita je pritom kritériom inteligencie. Ľuďom stačí k uspokojivému výsledku omnoho menej energie a dát ako AI.
Z hľadiska energie vidím najväčšiu nádej v objavoch, ktoré vykompenzujú investíciu v podobe uhlíkovej stopy. Reč je o vytváraní nových materiálov, efektívnejšom využívaní obnoviteľných zdrojov či progrese pri nukleárnej fúzii. AI dokáže splatiť svoj uhlíkový dlh aj s úrokmi a môže skutočne pomôcť s klimatickou zmenou.
Ak sa chceme vyhnúť neodvratným dosahom klimatickej zmeny, podľa parížskej klimatickej dohody musí byť ľudstvo uhlíkovo neutrálne do roku 2050. Oplatí sa nám spoliehať v tomto smere na AI?
Neviem. Ľudia, ktorí sa dohodli na klimatickej konferencii, a tí, čo sa venujú vývoju AI, spolu komunikujú veľmi zriedka. Pri súčasnom tempe napredovania AI je však rok 2050 dosť ďaleko.
Nemôžeme však zabúdať na to, že „exponenciálne“ krivky sú dosť zradné, keďže sú to často sigmoidy (matematická funkcia v tvare S často používaná v štatistike a strojovom učení, pozn. red.). Dnes stále nevieme, kde sa na krivke vývoja AI nachádzame a či budú jej schopnosti naďalej rásť rovnakým tempom. Nevieme, či bude potenciál AI rásť tisícnásobne, alebo už zajtra narazíme na strop.
Bez ohľadu na to, čo vravia AI evanjelisti, takmer žiadne predikcie o budúcnosti AI sa z dlhodobého hľadiska nenaplnili.
V 60. rokoch odborníci dúfali, že ľudský mozog dokáže za pár mesiacov zreprodukovať jeden stážista, neskôr verili, že robotika nahradí všetkých manuálnych pracovníkov. Nič z toho sa neudialo a, naopak, máme tu AI, ktorá maľuje realistické krajinky.
V oblasti AI sa mýlime asi najviac zo všetkých, omnoho častejšie ako v chémii alebo biológii.
