Oamenii Bitdefender: Tudor Berariu

0 Flares Filament.io 0 Flares ×

Acum ca a trecut luna august si odata cu ea si perioada de concedii, am revenit in forta cu interviurile pentru #OameniiBD. Nu stiu voi, dar mie imi era dor.

Astazi vorbim cu Tudor, Machine Learning Researcher, adica specialist in algoritmi de reinforcement learning. Pe scurt, o chestie foarte desteapta pentru care ia si premii si care ii este principala pasiune. 🙂

IMG_20170813_161217

1. Stiu ca te-ai specializat in algoritmi de reinforcement learning. Ne poti povesti mai multe despre cum ti-ai ales acest domeniu si ce presupune el?

A fost o căutare destul de lungă pe perioada căreia mi-am tot reformulat întrebările care mă macină pe mine. Am avut mereu marota explicării conștiinței umane despre care sunt sigur că nu are vreun izvor nematerial. Fiind inginer în devenire curiozitatea asta a luat forma unei provocări și m-a tras către inteligența artificială. Am fost și sunt studentul doamnei profesor Adina Magda Florea căreia îi sunt recunoscător pentru că mi-a ghidat explorarea în zona asta de studiu. Am sărit de la înțelegerea limbajului natural la metode de argumentare sau sisteme cu auto-organizare. Am tot căutat până m-a prins cu adevărat o paradigmă anume, și anume cea a învățării automate (machine learning). Diferența față de restul abordărilor din inteligența artificială este că în loc să scrii explicit soluția pentru o problemă dată, scrii algoritmi care învață să o rezolve din încercări repetate. Este mai mult sau mai puțin similar modului în care învățăm noi oamenii.

Acum o să mă apropii și mai mult de răspunsul pe care-l aștepți. În machine learning cea mai mare parte a algoritmilor funcționează în modul următor: îi arăți programului întrebări și răspunsurile corecte, iar el încearcă să înțeleagă legătura dintre acestea. De exemplu, îi arăți o fotografie și îi ceri o descriere a ceea ce se găsește în ea. Apoi îi spui în ce măsură a avut dreptate, cât de aproape a fost de adevăr. La început va arunca doar cuvinte la întâmplare, dar cu timpul, după multe, multe, zeci de milioane de astfel de încercări pe care i le corectezi, va începe să le nimerească. Algoritmii la zi oferă descrieri surpinzător de precise pentru imagini complexe.

Abordarea asta pe care ți-am descris-o, deși extrem de folosită, este dependentă de a avea la dispoziție răspunsul corect la fiecare întrebare. Acum, dacă ne gândim la jocul de șah, ne este imposibil să indicăm cea mai bună mutare pentru orice configurație a tablei de joc. Este un număr uriaș de stări în care poate ajunge la un moment dat jocul de șah, iar oricum o mutare perfectă nu înseamnă câștigarea jocului decât dacă este continuată bine. Așadar, nu putem antrena un program să joace șah arătându-i la fiecare pas care este cea mai bună decizie. Putem face însă altceva, îl putem lăsa să mute piese până la finalul jocului, iar atunci să îi spunem dacă a câștigat sau a pierdut. Este mult mai puțină informație, dar ne apropiem de un cadru mai realist în care putem lăsa programe să învețe singure. Paradigma asta de antrenare se numește învățare prin recompensă (reinforcement learning). Nu îi arăți ce ar fi trebuit să facă pas cu pas, ci îi spui la final dacă rezultatul a fost unul pozitiv sau nu, și îi dai o recompensă în consecință. Numele trimite și către alte științe și nu este o coincidență, există teorii despre cum învățăm noi într-un mod similar care sunt confirmate de observații neurofiziologice.

2. Imi poti descrie o zi obisnuita la birou? Ce face un Machine Learning Researcher?

Zilele noastre la birou se adună din discuții pe marginea articolelor recente, dezbateri dure și lungi despre ideile care ne vin, și apoi lucrul la acelea dintre ele care supraviețuiesc. În plus, o mare parte din zi urmărim numere pe ecran. Când îl vezi pe unul dintre noi că stă minute-n șir ușor încordat și cu ochii țintă în monitor, nu se uită la Batman, ci speră să vadă că programul lui începe să învețe. Glumesc un pic, dar e o așteptare pe care o ai de multe ori ca de la un copil mic căuia îi explici cum să meargă pe bicicletă și apoi îl lași singur și speri să nu cadă.

Revenind la sistemele multi-agent, ele încearcă să aducă și o dimensiune socială în problemele de inteligență artificială. A juca șah cât mai bine este important și interesant, dar formulată așa este o problemă izolată de toate celelalte. Dacă privim către viitor, programele inteligente va trebui să interacționeze în hăsișul ăsta în care ne aflăm noi și toată tehnologia din jur. Nu doar să rezolve singure probleme, ci să participe la rezolvarea lor, să negocieze, să înțeleagă intențiile celorlalți ș.a.m.d.

3. Ai participat si obtinut rezultate foarte bune la concursul Malmo Collaborative AI Challenge, unde scenariul presupune doi agenti care au de ales intre a coopera si primi o recompensa mare sau a juca pe cont propriu si a primi in consecinta recompense mai mici. Cum a fost concursul pentru tine si ce ai descoperit acolo?

De câte ori povestesc cuiva despre concursul la care am lucrat cu Florin și Andrei simt nevoia să mă arunc în explicații lungi despre teoria jocurilor și dileme sociale. Fac asta deoarece scopul jocului era să prinzi un porc. Așa era scenariul și poate părea pueril. Relevanța lui teoretică vine din faptul că este doar un pretext pentru o problemă în care trebuie să intuiești intențiile altui jucător care urmărește la rândul lui o recompensă cât mai mare. Cheia unei strategii bune era să înțelegi cât mai repede dacă celălalt cooperează cu tine sau nu.

Concursurile astea vin mereu cu o atmosferă diferită fiindcă ajungi să stai nopți la rând fără să dormi pentru a îmbunătăți cât de mult poți soluția înainte de a o trimite. Împreună cu Andrei și Florin am făcut o echipă grozavă și ne-a ieșit o treabă foarte bună la final.

4. Cat de mult conteaza dinamica mediului in care cei doi agenti sunt in competitie si cat recompensele? (Pentru cei pasionati am adaugat si linkul solutiei gasite de voi: https://github.com/village-people/flying-pig#malmo-challenge-overview.)

Toate sunt importante. Recompensele sunt cele care ghidează strategiile, iar dinamica imprevizibilă a mediului le face greu de descoperit. De data aceasta recompensele erau destul de clare, bătăile de cap au venit tocmai de la modul ciudat în care se teleporta porcul, adică din dificultatea de prezice ce se va petrece la pasul următor.

5. Esti asistent si doctorand la Universitate Politehnica Bucuresti. In ce consta doctoratul tau si cum se imbina activitatea academica cu ceea ce faci la job?

Încă lucrez la firul narativ al doctoratului meu, dar va fi despre învățare în sisteme multi-agent. Practic înoată între toate lucrurile despre care am vorbit mai devreme. Cât despre ce fac la facultate, îmi place mult și le mulțumesc celor de-acolo că au avut încredere să îmi dea ore pe mână. Se numește predat, dar de cele mai multe ori tu ești cel care învață din întrebările pe care le primește.

Pentru că #OameniBD au și povești personale faine, vom continua cu câteva întrebări pentru Tudor – omul.

tudor_2

1. Daca ai putea sa inviti pe cineva la un pranz, poate fi oricine din intreaga lume si sa fi trait in orice timpuri, care ar fi acea persoana?

Sunt destul de prins de prezent. L-aș alege pe Demis Hassabis de la Deep Mind. Este insul cu care mi-aș dori cel mai mult să discut despre toate întrebările de la răscrucea inteligenței artificiale cu neuroștiințele, poate chiar și cu etica. Aș înceca să îl atrag în câteva exerciții de imaginație despre cum va progresa și cum va fi schimba lumea inteligența artificială. Dacă nu are timp Hassabis, m-aș întinde la vorbă cu Alejandro González Iñárritu. Omul care a regizat Amores Perros, 21 grams, Biutiful și Birdman trebuie să fie un individ fascinant, nu? L-aș întreba o mie de lucruri despre filmele lui și despre cinematograf în general. Dacă nu are timp nici Iñárritu, lucrează la un nou film acum, îl aleg pe Obama care pare să fie în vacanță.

2.Cuvintele tale preferate sunt?

Sunt două cuvinte pe care nu-mi amintesc cine le-a spus prima oară și în ce limbă, dar cred că ni se trag multe lucruri bune de la ele. Cuvintele sunt “de ce?”. Știi cum mulți abia așteaptă să audă primele cuvinte ale copilului lor și vor să fie “mama” sau “tata”? Eh, eu abia aștept să îl aud pe copilul meu din viitor întrebând “de ce?”.

3.Care e cea mai frumoasa destinatie din lume in care ai fost sau ai vrea sa ajungi?

Sunt multe locuri pe care nu le-am vizitat, dar călătoria perfectă, ca un film, ar începe undeva în Portugalia pe malul Atlanticului. De acolo nu știu încă încotro ar alege regizorul să mergem mai departe. Pare ispititor în toate direcțiile.

4.Ce verb te defineste?

A întreba.

5.Daca n-ai fi Machine Learning Researcher, ai fi…?

Dacă nu mă pasiona atât de tare Machine Learning astăzi, aș fi insistat cu studiile în neurobiologie și aș fi încercat să lucrez în cercetare în zona aceea.

6.Ce rol joaca jobul in viata ta?

Sunt prea norocos, se suprapune cu una dintre cele mai mari pasiuni ale mele. În cea mai mare parte a timpului sunt convins că dacă nu aș fi la aici la Bitdefender, aș face același lucru la biroul de acasă. Mi-ar lipsi colegii însă. Și GPU-urile. Dar mai mult colegii.

7.Nu poti trai fara….? (nu se pun raspunsuri gen aer, apa :)) )

Agitația unui oraș mare. Mă angoasează puternic așezările mici și liniștite. Nu aș rezista prea mult într-un loc din-acelea peste care se lasă liniștea și bezna ore în șir.

8.Care este cea mai mare reusita a vietii tale?

Am reușit să mă feresc de reușite excepționale până acum. Am făcut și câteva lucruri bune probabil, dar nu îmi vin în minte acum.

9.Cel mai frumos oras din Romania este… pentru ca… si mi-as dori ca toata Romania sa fie…

Constanța fiindcă îmi plac orașele port. În plus este un mozaic etnic și cultural unic în țară.

10.Daca ar fi sa castigi maine o super putere, pe care ti-ai dori sa o ai?

Mi-aș dori să am mai mult de circa 40 de ani înainte. Orice super putere precum dilatarea timpului sau tinerețea fără bătrânețe ar fi grozavă. Cel mai mult îmi doresc liniștea în fața ceasului și a calendarului, să știu că aș avea timp să învăț și să practic vreo cinci meserii până mor. Nu ar fi extraordinar într-o viață să fii și pilot de avion și doctor și inginer?

11.De astazi poti face orice, oricand. Care e primul lucru de care te ocupi? Ce te preocupa prima data?

Nu aș schimba nimic imediat. Mâine tot aici aș veni la birou. Aș mai zăbovi câțiva ani în Machine Learning, apoi aș face un doctorat în Biologie sau aș da la Medicină.

About Andreea

Om de comunicare, trecuta prin agentii, mi-am revendicat felia de tort ce-mi place cel mai mult: crearea de continut. Mai multe informaţii aici.

Leave a Reply

Your email address will not be published. Required fields are marked *