Umetna inteligenca ustvarja glasbo zgolj z opazovanjem

Ena od najbolj odmevnih predstavitev na decembrski NeurlPS 2020 konferenci je bil Audeo. Gre za sistem umetne inteligence, ki ustvarja glasbo zgolj opazovanjem nekoga, ki igra klavir.

(Po)ustvarjanje glasbe je za umetno inteligenco težka naloga. Foto: Bigstock

Znano je, da se na koncertu med med nastopajočimi in njihovimi inštrumenti zgodi nekaj čarobnega – nekaj, kar začuti tudi publika. In prav to živ nastop spremeni v neponovljivo čustveno izkušnjo.

Opazovanje videoposnetkov brez glasbe

Ekipo univerze v Washingtonu se je vprašala, ali bi kaj podobnega zmogla tudi umetna inteligenca. Ustvarili sistem, imenovan Audeo, ki se je naučil igrati klavir zgolj s opazovanjem videoposnetkov nekoga, ki igra klavir – pri čemer je bil zvok izklopljen. Potem so ga preizkusili z aplikacijami za prepoznavanje glasbe, kot je na primer SoundHound. Aplikacije so pravilno prepoznale skladbo, ki jo je Audeo igral približno 86 % časa. Za primerjavo: prepoznavnost izvornih videoposnetkov je bila 93 %.

Algoritem si mora zvok predstavljati in ga poustvariti

“Ustvarjanje glasbe s strani umetne inteligence, ki se sliši, kot da bi bila odigrana v živo, je bilo prej nemogoče,” je dejal Eli Shlizerman, docent tako oddelkih za uporabno matematiko ter elektrotehniko in računalništvo. “Algoritem mora ugotoviti značilnosti v video posnetkih, in si »predstavljati “zvok, ki se v njih dogaja. Še sami smo bili presenečeni, ko nam je to uspelo.”

Dešifriranje dogajanja in prevod v glasbo

Audeo z vrsto korakov dešifrira dogajanje v videoposnetku in ga nato prevede v glasbo. Najprej mora zaznati, katere tipke pritisnete v vsakem video okvirju, da sčasoma ustvari vzorec. Nato mora ta diagram prevesti v nekaj, kar bi sintetizator glasbe dejansko prepoznal kot zvok, ki bi ga ustvaril klavir. Ta drugi korak očisti podatke in doda več informacij, na primer kako močno pritisnete posamezno tipko in kako dolgo. “Če poskušamo sintetizirati glasbo že od prvega koraka, bi bila kakovost glasbe nezadovoljiva,” je dejal Shlizerman.

Najprej usposabljanje, potem »naloga« v živo

Raziskovalci so sistem najprej usposobili tako, da so mu predvajali več kot 172 tisoč video kadrov pianista Paula Bartona, ko je le-ta igral dela znanih klasičnih skladateljev. Nato so ga »izpostavili« skoraj 19 tioč kadrom, v katerih je Barton igral drugačno glasbo – na primer skladbe Janis Joplin. Izkazalo se je, da je Audeo tudi te skladbe uspešno ponovil.

“Naš cilj je bil ugotoviti, ali bi umetna inteligenca lahko poustvarila glasbo, ki jo v videoposnetku igra glasbenik,” je dejal Shlizerman, in nadaljeval: “Upamo, da smo s tem omogočili nove načine interakcije z glasbo. Na primer, ena od prihodnjih aplikacij je, da se Audeo razširiti na virtualni klavir s kamero, ki posname samo roke osebe. Audeo bi lahko pomagal pri novih načinih učenja glasbe. “

Izvirno objavo najdete TUKAJ.

PUSTITE KOMENTAR

Prosimo vpišite svoj komentar!
Prosimo vpišite svoje ime tukaj