Znano je, da se na koncertu med med nastopajočimi in njihovimi inštrumenti zgodi nekaj čarobnega – nekaj, kar začuti tudi publika. In prav to živ nastop spremeni v neponovljivo čustveno izkušnjo.
Opazovanje videoposnetkov brez glasbe
Ekipo univerze v Washingtonu se je vprašala, ali bi kaj podobnega zmogla tudi umetna inteligenca. Ustvarili sistem, imenovan Audeo, ki se je naučil igrati klavir zgolj s opazovanjem videoposnetkov nekoga, ki igra klavir – pri čemer je bil zvok izklopljen. Potem so ga preizkusili z aplikacijami za prepoznavanje glasbe, kot je na primer SoundHound. Aplikacije so pravilno prepoznale skladbo, ki jo je Audeo igral približno 86 % časa. Za primerjavo: prepoznavnost izvornih videoposnetkov je bila 93 %.
Algoritem si mora zvok predstavljati in ga poustvariti
“Ustvarjanje glasbe s strani umetne inteligence, ki se sliši, kot da bi bila odigrana v živo, je bilo prej nemogoče,” je dejal Eli Shlizerman, docent tako oddelkih za uporabno matematiko ter elektrotehniko in računalništvo. “Algoritem mora ugotoviti značilnosti v video posnetkih, in si »predstavljati “zvok, ki se v njih dogaja. Še sami smo bili presenečeni, ko nam je to uspelo.”
Dešifriranje dogajanja in prevod v glasbo
Audeo z vrsto korakov dešifrira dogajanje v videoposnetku in ga nato prevede v glasbo. Najprej mora zaznati, katere tipke pritisnete v vsakem video okvirju, da sčasoma ustvari vzorec. Nato mora ta diagram prevesti v nekaj, kar bi sintetizator glasbe dejansko prepoznal kot zvok, ki bi ga ustvaril klavir. Ta drugi korak očisti podatke in doda več informacij, na primer kako močno pritisnete posamezno tipko in kako dolgo. “Če poskušamo sintetizirati glasbo že od prvega koraka, bi bila kakovost glasbe nezadovoljiva,” je dejal Shlizerman.
Najprej usposabljanje, potem »naloga« v živo
Raziskovalci so sistem najprej usposobili tako, da so mu predvajali več kot 172 tisoč video kadrov pianista Paula Bartona, ko je le-ta igral dela znanih klasičnih skladateljev. Nato so ga »izpostavili« skoraj 19 tioč kadrom, v katerih je Barton igral drugačno glasbo – na primer skladbe Janis Joplin. Izkazalo se je, da je Audeo tudi te skladbe uspešno ponovil.
“Naš cilj je bil ugotoviti, ali bi umetna inteligenca lahko poustvarila glasbo, ki jo v videoposnetku igra glasbenik,” je dejal Shlizerman, in nadaljeval: “Upamo, da smo s tem omogočili nove načine interakcije z glasbo. Na primer, ena od prihodnjih aplikacij je, da se Audeo razširiti na virtualni klavir s kamero, ki posname samo roke osebe. Audeo bi lahko pomagal pri novih načinih učenja glasbe. “
Izvirno objavo najdete TUKAJ.
