Multimodāls mūzikas stends: 9 soļi (ar attēliem)

2024 Autors: John Day | [email protected]. Pēdējoreiz modificēts: 2024-01-30 10:58

Multimodālais mūzikas stends (MMMS) ir jauns veids, kā kontrolēt audio sintēzi un efektus, spēlējot tradicionālu instrumentu (saksofonu, flautu, vijoli, jūs to nosaucat), un piedāvā diezgan daudz papildu iespēju paplašinātām metodēm, kuras var izmantot spēles laikā ! UC Santa Barbarā jau ir tīmekļa vietne par mūsu grupas projektu, kurā mēs izstrādājām MMMS, tāpēc tā vietā, lai to atkārtotu šeit, es ievietošu saiti - pārbaudiet to! Multimodālā mūzikas stenda vietne Īss klips no MMMS darbībā ir šeit, bet iepriekšējā vietnē ir labāki videoklipi … Multimodāls attiecas uz spēju uztvert ievadi vairākos veidos (audio ieeja, video ievade un uz sensoru balstīta ievade). Audio un video ieeja ir diezgan vienkārša, ietverot parastu mikrofonu un datoram pievienotu tīmekļa kameru, bet sensora ievade ir nedaudz sarežģītāka, tāpēc tas ir pamācāms … Mēs izmantojam CREATE USB interfeisu, vienkāršu shēmu, kuru es izstrādāju kādai klasei Es mācu UCSB kopā ar ThereminVision II komplektu E-laukam (pazīstams arī kā kapacitatīvā uztveršana), kā parādīts šeit: CREATE USB Interface ThereminVisionII kitJa jūs nezināt, kas ir Theremin, dariet sev labu un meklējiet Youtube, jūs uzvarējāt neesi vīlies! MMMS būtībā ir līdzvērtīgs 2 Theremins, jo papildus audio/video ieejai, protams, ir 4 E-lauka uztveršanas antenas. Ja jūs interesē paplašināt savas izpildes metodes ar savu instrumentu, mijiedarbojoties ar datoru, bet nevēlaties izmantot vienkāršus pedāļus, izveidojiet sev multimodālu mūzikas stendu un sāciet ar to praktizēt!

1. darbība. Par CREATE USB interfeisu

CREATE USB interfeiss (CUI) ir vienkārša programmējama shēma, kas balstīta uz PIC, un kuru var vai nu pilnībā izgatavot pats, vai arī jūs varat saņemt iepriekš uzbūvētu ķēdi no manis tieši par 50 ASV dolāriem (+ 5 par piegādi), un jums to nevajadzēs nopirkt PIC programmētāju, jo es ievietoju tajā sāknēšanas ielādētāju … sīkāku informāciju skatiet vietnē vai nosūtiet man e -pastu, lai to pieprasītu: CREATE USB Interface website interesanti projekti visā pasaulē… daži piemēri no studentiem UC Santa Barbara ir šajā konferences materiālā (PDF). CUI var pārprogrammēt, izmantojot USB kabeli, izmantojot sāknēšanas ielādētāju, tāpēc tas ir tik viegli pielāgojams - vienkārši nomainiet programmaparatūru, un tas ir kaut kas cits. Piemēram, ir viegli pārvērst CUI par bezvadu sensora saskarni, izmantojot vienu no Bluetooth moduļi no dzirksteles jautrības - ja kāds ir ieinteresēts to darīt, ievietojiet piezīmi komentāros, pieprasot citu pamācību. CUI ir 13 kanāli ar 10 bitu analogo ieeju un 16 vispārējas nozīmes ieejas/izejas tapas. Noklusējuma programmaparatūra, kas piegādāta kopā ar CUI v1.0 plates, nosūta tos visus kā ievadi saimniekdatorā un lieliski darbojas ar interaktīvām mākslas veidošanas vidēm, piemēram, Max/MSP/Jitter, Pd/Gem, SuperCollider, Chuck utt. vienu no CUI v1.0 plates, lai izveidotu multimodālu mūzikas stendu šajā pamācībā. Mēs izmantojam Max/MSP/Jitter kā vidi, taču noteikti pielāgojiet to Pd vai jūsu izvēlētajai programmatūrai. Es esmu liels atvērtā pirmkoda cienītājs (CUI pati par sevi ir atvērtā pirmkoda), un tas ļoti palīdz, ja mēs visi stāvam viens uz otra pleciem un uzlabojam savas lietas!

2. darbība. Par ThereminVision II komplektu

ThereminVision II ir pieejams gan kā komplekts (50 ASV dolāri), gan iepriekš uzbūvēts (80 ASV dolāri) no pārdevēja vietnes RobotLand, un tas ir arī atvērtā pirmkoda - ThereminVision II rokasgrāmatā (PDF) ir iekļautas shēmas. Attiecībā uz MMMS es nopirku komplektu un pēc tam nolēmu šoreiz izmantot iepriekš uzbūvēto (šī ir otrā MMMS, ko esmu uzbūvējis). Kā malā, ja jums rodas jautājums, kāpēc es nepiedāvāju CREATE USB interfeisa komplekta formā, tas ir tāpēc, ka CUI sāknēšanas ielādētājs ir jāprogrammē ar parasto PIC programmētāju, pirms jaunu programmaparatūru var nosūtīt pa USB - citādi es noteikti piedāvātu komplektu, lai gan tas būtu saistīts ar virsmas stiprinājumu lodēšanu … Tātad atpakaļ uz ThereminVision II - ja jūs to iegādājāties komplektā, izpildiet (lieliski!) norādījumus pdf failā: ThereminVision II rokasgrāmata Ir daudz jauku elektroinstalācijas shēmu, kas jums būs jādara - vienīgā lieta, kas netiek rādīta ir savienojumi ar CREATE USB interfeisu, tāpēc es ievietošu fotoattēlus, ko esmu uzņēmis dažos nākamajos soļos … ak, un es saņēmu no All Electronics antenas, kas paredzētas ThereminVision (nav iekļautas).

3. darbība. Mūzikas statīva sagatavošana

Izveidojiet savu multimodālo mūzikas stendu no jauka mūzikas stenda, piemēram, šeit redzamā "diriģenta statīva", vai izmantojiet visu, kas jums ir pa rokai - vēl labāk, izveidojiet savu!

Neatkarīgi no izmantotā statīva, tam būs nepieciešami atsevišķi stiprinājumi četrām antenām statīva stūros. Sāciet, urbjot caurumus stūros - montāžas aparatūra, kas man bija uzlikta, strādāja ar 1/4 collu urbi, jūsu, iespējams, būs citāda. Centieties, lai virsmas priekšpuse būtu pēc iespējas līdzenāka, lai izvairītos no nošu iejaukšanās.

4. darbība. ThereminVision sensora moduļu pievienošana

ThereminVision "sensora" moduļu (555 taimera shēmas) savienošana ar ThereminVision "procesora" moduli ir sīkāk apskatīta arī ThereminVision II rokasgrāmatā, taču šeit ir daži procesa attēli…

5. darbība. ThereminVision pievienošana CREATE USB interfeisam

Kā redzējām pēdējā posmā, ir 4 vadi, kas savieno katru sensora moduli ar ThereminVision procesora moduli. Ir arī 6 vadi, kas savieno ThereminVision procesora moduli ar CREATE USB interfeisu - tie ir barošana, zemējums, sensora izeja, sensora izvēle A, sensora izvēle B un sensora pietura.

Tā kā ThereminVision II saņems savu jaudu no CREATE USB saskarnes (kas savukārt saņem enerģiju no USB), es nolēmu pieslēgt strāvu katram no ThereminVision sensora moduļiem tieši CREATE USB interfeisam - tas padara to mazliet mazāk uz putnu ligzdas uz vadiem, jo uz TherminVision procesora plates jau ir daudz vadu. Pievienojiet "+" HereminVision un "5V" CUI Connect "-" ThereminVision savienojumā ar "GND" uz CUI Connect "4" (dalīt ar 4 izejām), kas atrodas ThereminVision, ar "D7" CUI Connect “SEL B” HereminVision un “D5” CUI savienojumā ar “SEL A”, kas atrodas ThereminVision, ar “D4”, kas atrodas CUI Connect “S”, kas atrodas ThereminVision, līdz “D6” uz CUI

6. solis: visu uzstādīšana uz statīva

Tātad elektronika ir pabeigta, tagad vienkārši piestipriniet to pie statīva - tam ir daudz metožu, un jūs, iespējams, vēlēsities ievietot savu elektroniku aizsargkastē utt.

Šeit ir dažas no vienkāršākajām montāžas metodēm.

7. darbība. Iekārtas programmatūras sāknēšana pārlūkprogrammā ThereminVision CUI

ThereminVision sūta laika signālus saviem sensoriem, nevis analogās izejas (vai kādu no standarta digitālajiem protokoliem, piemēram, I2C vai SPI). Tāpēc bija nepieciešama zināma pielāgota programmaparatūra, lai izmērītu šo signālu laiku … Multimodālā mūzikas stenda programmaparatūras pirmā versija atrodas zemāk esošajā zip failā, ir iekļauts gan avota kods, gan apkopotais hex fails (kopā ar testa ielāpu Max/ MSP/Jitter): CUI -ThereminVision programmaparatūra Tālāk redzamajā ekrānuzņēmumā ir redzama Craig Schimmel OS X programma Boot Down - CUI Macintosh sāknēšanas utilīta. Ja izmantojat operētājsistēmu Windows, vienkāršākais ir izmantot pašu Microchip rīku PDFSUSB.exe, ko var lejupielādēt no viņu vietnes vai iekļaut šajā CREATE USB interfeisa koda piemēra kodā. Lai CUI iestatītu sāknēšanas ielādes režīmā, turiet nospiestu programmas pogu un nospiediet atiestatīšanas pogu (vai vienkārši pievienojiet USB kabeli, turot nospiestu programmas pogu). CUI statusa gaismas diode nepārtraukti mirgos, norādot, ka tā ir sāknēšanas ielādētāja režīmā. Tagad varat izmantot Boot Down, lai nosūtītu CUIEfieldBootDown.hex failu uz CREATE USB interfeisu. Ja kādreiz vēlaties mainīt CREATE USB interfeisa programmaparatūru uz oriģinālu, tas ir šeit, un ir arī citi programmaparatūras piemēri. CUI arī šeit.

8. darbība: multimodālā mūzikas statīva pārbaude režīmā Max/MSP/Jitter

Atveriet plākstera piemēru vietnē Max/MSP/Jitter (30 dienu demonstrācija ir lejupielādējama no vietnes www.cycling74.com, un ir pieejama arī izpildlaika versija, kas neļauj saglabāt ielāpus), vai ievērojiet Max ielāpa noteikumus. un izveidojiet savu plāksteri PureData (Pd)… Jitter tiek izmantots, lai parādītu žestu ievades 3D pozīciju, kur z ass (virzienā uz statīvu un prom no tā) ir kartēta ar visu 4 antenu kopējo intensitāti - nav ļoti zinātniski, bet tas darbojas! Dati no atsevišķiem sensoriem tiek nosūtīti arī kā OSC uz 127.0.0.1 (localhost), lai vajadzības gadījumā izmantotu citas lietojumprogrammas. Noderīgs objekts Max/MSP/Jitter, lai filtrētu tapas no sensoru datiem (ko izraisa elektriskie traucējumi) ir Tristana Džehana “vienmērīgākā”, kuru var lejupielādēt šeit: gludāks maksimālais objekts, trokšņainība ~ un visaptverošais analizatora objekts. Tiklīdz Max būs ievadījuši datus, jums atsevišķi jāpielāgo ThereminVision sensoru jutība ar nelielu skrūvgriezi. Dariet to, pagarinot antenas līdz galam, pēc tam pagriežot zilo trimpot pretēji pulksteņrādītāja virzienam, līdz tas pāriet atpakaļgaitas režīmā - pēc tam pagrieziet to atpakaļ pulksteņrādītāja virzienā, līdz atrodaties normālā uztveršanas diapazonā. Nelielas korekcijas (noregulējot senstivitāti, tāpat kā ģitāras noskaņošanu) var veikt, mainot antenu garumu, tāpēc jums nebūs jānes līdzi mazais skrūvgriezis koncertos.

9. solis: Multimodālā mūzikas statīva izmantošana izpildījumā! (un tā pagarināšana)

Neaizmirstiet, ka jaunajām izpildīšanas metodēm, ko nodrošina multimodālais mūzikas stends, ir nepieciešama prakse un jaunu kartējumu un ideju izstrāde, ko vēlaties ar to kontrolēt! Turklāt, ja vēlaties paplašināt savu MMMS, iekļaujot cita veida sensorus, būs iespējams izmantot 13 analogās ieejas CUI papildus ThereminVision sensoriem turpmākajās MMMS programmaparatūras versijās, tātad ar dažiem vienkāršiem sensoriem (slīdņiem/pogām/pēdām) vai citiem sensoru veidiem (IR/ultraskaņa/utt.), tos var izmantot kopā ar audio ieeju un video datorā. Pašlaik programmaparatūrā tiek izmantots "sērijveida USB" protokols, bet galu galā tiek plānots pāriet uz protokolu "HID" (cilvēka ievades ierīce), ko parasti izmanto CREATE USB interfeiss. Lūdzu, nekautrējieties sniegt savu ieguldījumu… Ir līdzīgs atvērtā pirmkoda projekts E -lauka noteikšanai (pazīstams arī kā kapacitatīvā uztveršana), kurā tiek izmantota tā pati ķēdes topoloģija (balstīta uz ThereminVision dizainu), ko sauc par CapToolKit - tā izmanto “mazo brāli” "no PIC18F4550, PIC18F2550, kuram nav tik daudz analogo ieeju (10, nevis 13). CapToolKit programmaparatūra nedaudz atšķirsies, jo tajos netiek izmantota procesora plāksne ThereminVision. Mēs izmantojam vienkāršu ugunsdrošības kameru (tīmekļa kameras stils), kas uzstādīta mūzikas statīva augšpusē, lai optiski atpazītu fiziskus žestus un skatienu. Ja jūs interesē mūsu grupas pētījuma datora redzes vai audio analīzes un sintēzes aspekti, lūdzu, skatiet dokumentus multimodālā mūzikas stenda vietnē. Un, lūdzu, publicējiet savu pieredzi, ja veidojat multimodālu mūzikas stendu … Mums tagad ir divi no tiem UCSB, kā parādīts zemāk esošajā fotoattēlā - būtu lieliski, ja būtu vairāk kompozīciju, priekšnesumu un mūziķu, kas tos izmantotu! Dr JoAnn Kuchera-Morin uzrakstīja pirmo kompozīciju, kurā piedalījās MMMS, kuru 2007. gada martā Īstmenas mūzikas skolā izpildīja flautiste Džila Felbera.