A mély tanulás (DL) az ML egy speciális, továbbfejlesztett formája (1. ábra). A DL használatával nagyon összetett adathalmazok elemezhetők a képektől és videóktól az emberi érvelésig. A DL az emberi agy által ihletett ANN-t és DNN-t használ (lásd alább). Nagyon egyszerűen, minél több rétegből áll egy hálózat, annál összetettebb feladatokat tud megtanulni, ugyanakkor több adatot és hosszabb tanulási időt igényel. A DL-modellek jó eredménnyel képesek képeket, hangokat és egyéb többdimenziós adatformákat feldolgozni (Meskó–Görög, 2020; Szekanecz et al., 2023; Schmidhuber, 2015).

 

Az ML-t a különféle zenei szcenáriókhoz tervezett digitális hangszerek (Digital Musical Instrument, DMI) tervezésében is alkalmazták. Ezen DMI-k egy részét egy adott kompozíció vagy előadás igényeire fejlesztették ki, míg mások szélesebb körű alkalmazhatóságot biztosítanak azáltal, hogy különféle kompozíciós és improvizációs környezetben használhatóak. A DMI-k a tisztán passzívan reagálótól a részben autonóm, interaktív képességekkel rendelkező eszközökig változnak. Ilyen eszközök például a Sansa, a Phalanger és a NOISA. A Sansa egy kiterjesztett akusztikus hangszer. Használható akár klasszikus akusztikus hangszerként, akár hiperhangszerként, a Wekinator által biztosított kiterjesztett interakciós modulok segítségével. Különböző üzemmódjai lehetővé teszik az elektronikus hangszerek együttes vezérlését, a partitúrában való navigálást, az elektronikus hangok kézmozdulatokkal történő formálását, a hangszer vagy más hangforrások, például emberi hang jelének felerősítését és feldolgozását. Ezzel szemben a Phalangernek nincs akusztikus komponense. Ez egy teljesen digitális felület (interface), amellyel a hang kéz- és ujjmozdulatokkal vezérelhető. A Phalanger kizárólag a videóadatokra támaszkodik, és egy ANN-t használ a felhasználó kezének észlelésére és a háttértől való elkülönítésére, valamint a különböző kézhelyzetek felismerésére. A rendszer különböző kamerákhoz, fényviszonyokhoz és bőrtónusokhoz konfigurálható. A NOISA (Network of Intelligent Sonic Agents) a példa egy ilyen eszközre, amelynek célja, hogy növelje az előadó kötődését azáltal, hogy autonóm hangválaszokat generál. A hangszer figyeli az előadó kötődési szintjét, és önálló válaszokat képez, amelyek célja, hogy segítsenek az előadónak fenntartani az AI programmal való kapcsolódását. A NOISA egy számítógépből, egy, a karra erősíthető érzékelőből, valamint egy mozgáskövető kamerából áll. A hangszer figyeli az előadó mozdulatait és arckifejezéseit. A NOISA lényegében egy hangszer és egy interaktív zenei rendszer (Interactive Music System, IMS; lásd később) hibridje. További példaként említhető a Princeton Egyetemen kifejlesztett ChucK, egy szövegalapú, többplatformos nyelv, amely valós idejű zeneszerzést, előadást és zeneelemzést tesz lehetővé. A MorpheuS pedig a londoni Queen Mary Egyetem kutatási projektje. Ez a rendszer már meglévő zenei elemeket optimalizálva egy új zeneművé alakítja. Az AIVA-t (Artificial Intelligence Virtual Artist) 2016-ban fejlesztették ki Luxemburgban. Az AIVA egy olyan program, amely bármilyen típusú médiához készít hangsávokat. Az AIVA mögötti algoritmusok a DL-en alapulnak. Az I am AI egy filmzeneszerű darab, amelyet az AIVA komponált (URL3, QR3).

 

Az AI-rendszereket széles körben alkalmazzák a zenei harmonizáció során. Az egyik legteljesebb harmonizációs mű a CHORAL-rendszer, amely a korálokat Bach stílusában harmonizálja. A CHORAL kap egy dallamot, és ún. heurisztikus folyamat révén harmonizálja a kezdetben egyszerű dallamot. A MUSACT az ANN segítségével tanulja meg a zenei harmónia modelljét. A HARMONET-ben a harmonizációs problémát az ANN-ek alkalmazása és előre meghatározott szabályok betartása (constraint satisfaction) révén közelítik meg. A MELONET a HARMONET kibővített formája, mely egy ANN-t használ a dallamszekvenciák magasabb szintű szerkezetének megtanulására és reprodukálására. Ha adott egy dallam, a rendszer megszerkeszti bármely korálszólam barokk stílusú harmonizálását és variációját. A HARMONET és a MELONET együtt erőteljes zeneszerző rendszert alkot, amely olyan variációkat generál, amelyek minősége megközelíti egy képzett orgonaművész játékát (Miranda, 2021; Hörnel–Menzel, 1998).

Az AI-t használó számítógépes kompozíciók egyik legismertebb példája David Cope EMI-projektje (Experiments in Music Intelligence), amely különböző zeneszerzők stílusának emulációjára összpontosít. Sikeresen komponált zenét Mozart, Palestrina, Albinoni, Brahms, Debussy, Bach, Rahmanyinov, Chopin, Sztravinszkij és Bartók stílusában. A rendszer repetitív mintákat keres az adott zeneszerző több művében. A felfedezett mintákat szignatúráknak nevezzük. Az EMI a zeneszerző egyik művét használja alapul, és rögzíti e szignatúrákat egy új darab komponálása során. Ezt követően a program szabad motívumokat illeszt be a már rögzített szignatúrák közti szabad helyekre. Ennek kapcsán a rendszernek olyan problémákkal kell megküzdenie, mint a szignatúrák kezdeti és befejező részeinek összekapcsolása a környező motívumokkal, elkerülve a stilisztikai anomáliákat, és fenntartva a hangmozgásokat. Az így komponált művek, bár korántsem tökéletesek, összhangban vannak a zeneszerző stílusával (Miranda, 2021; Fiebrink–Caramiaux, 2018).

A tempó- és dinamika-transzformáció végrehajtására alkalmazott másik megközelítés az ANN-technikák használata. Ennek segítségével szimulálhatjuk például létező zongoristák stílusát. Ezeket az ANN-eket kibővítették a szokásos input-output hálózatot a korábban említett, a kimeneti neuronoktól a bemenetiekhez vezető visszaterjesztési (backpropagation) algoritmussal (2. ábra) (Hörnel–Menzel, 1998; Bresin, 1998).

A SaxEx olyan számítógépes program, amely korábbi szóló előadások alapján képes szintetizálni a jazzballadák kiváló minőségű, kifejező tenorszaxofon szólóit. A korábbi szabályalapú rendszerek nem tudtak kettőnél több expresszivitási paraméterrel (dinamika és kinetika [rubato]) dolgozni. Ezt a problémát próbálták megoldani a CBR (Creation by Refinement) bevezetésével. A CBR segítségével már kezelni lehetett az öt legfontosabb kifejezési paramétert (dinamika, rubato, vibrato, artikuláció, „attack notes”). A CBR képes a bemeneti hangot úgy átalakítani, hogy annak fenti öt kifejezési tulajdonsága a lehető legjobban megegyezzen az eredeti előadó expresszivitásával. A közelmúltban a CBR más, az expresszivitást tökéletesítő alkalmazásait is kifejlesztették. Az IBL-lel (Instance-Based Learning), azaz a példákon alapuló tanulással a zenei előadások expresszivitása fokozható. Például, az IBL-komponens felismeri egy koncertzongorista előadási jellegzetességeit, és megtanulja, hogy miként alkalmazza ezeket további zenedarabokra (Miranda, 2021; Rowe, 1993; Bresin, 1998).

A számítógépnek a zenei expresszivitásra vonatkozó képessége alapvető volt az ún. hiperhangszerek létrehozásakor. Ezeket a hangszereket arra tervezték, hogy a digitális zenét gazdagítsák az előadóművészek kifejezőképességével és gazdag, élő hangzást adjanak. Vegyünk egy hagyományos hangszert, például egy csellót, és csatlakoztassuk a számítógéphez a nyakban és a vonóban elhelyezett elektronikus szenzorokkal. Rögzítsünk szenzort a vonót tartó kézre is. Alkalmazzunk egy, a SaxEx-hez hasonló rendszert, amely, a zenészhez hasonlóan, a kotta, az elsajátított általános zenei ismeretek és a szenzorok által detektált adatok alapján értelmezi az adott darabot. E bemeneti adatok elemzése alapján a hiperhangszer képes a zenei tulajdonságok, ezen belül a hangszín, a ritmus és a zenei megfogalmazás megváltoztatására, valamint intelligens zenei kíséret hozzáadására. Például Tod Machover, a Massachusetts Institute of Technology (MIT) Media Lab munkatársa kifejlesztett egy hipercsellót. A világhírű csellista, Yo-Yo Ma néhány éve a Tanglewood Fesztiválon mutatta be ezt a hiperhangszert és egy Tod Machover által komponált darabot (URL6, QR6) (Bresin, 1998; Machover, 1992).