Το TouchDesigner και το Ableton Live μπορούν να λειτουργήσουν μαζί σε ένα performance setup που γεφυρώνει ήχο και εικόνα. Σε αυτό το παράδειγμα, η αρμονία των φωνών τροφοδοτεί responsive visuals, με το audio να επηρεάζει το visual processing και τα visuals να επιστρέφουν ξανά στο ηχητικό αποτέλεσμα.
Το TouchDesigner είναι ένα visual, node-based development platform, με λογική που θυμίζει κάπως το Max: κάθε node έχει συγκεκριμένη λειτουργία και τα δεδομένα περνούν μέσα από συνδεδεμένα blocks. Σε αντίθεση με το Max, όμως, χειρίζεται μεγάλη ποικιλία data types και χρησιμοποιείται κυρίως για οπτικά αποτελέσματα. Διατίθεται δωρεάν, με περιορισμό μέγιστης ανάλυσης εξόδου στα 1280×1280, ενώ για υψηλότερη ανάλυση απαιτείται license.
Η ροή που παρουσιάζεται εδώ βασίζεται σε ένα συγκεκριμένο live performance και περνά πρώτα από το Ableton setup, μετά στο TouchDesigner network και τέλος στον τρόπο με τον οποίο τα δύο συστήματα επικοινωνούν στη σκηνή.
Ableton Live και φωνητικές αρμονίες
Στο performance του video, χρησιμοποιούνται μέχρι επτά φωνές: η live vocal και έξι harmonised voices, καθεμία με ξεχωριστή instance του Auto Shift του Ableton. Παρότι το Auto Shift υποστηρίζει polyphony, η χρήση ξεχωριστών instances δίνει πιο ακριβή έλεγχο σε κάθε voice.
Το MIDI από το live controller μπαίνει μέσω ενός master MIDI track, μετατίθεται ελαφρά σε pitch, ισιώνει στο velocity και στη συνέχεια κατευθύνεται σε ένα custom Max for Live device, το Voice Allocate. Εκεί, οι νότες μοιράζονται, παίρνουν μοναδικό ID και στέλνονται σε ένα Voice Receive, άλλο ένα custom Max for Live device που δέχεται μόνο ένα από αυτά τα IDs.
Επειδή το Auto Shift είναι audio effect, κάθε instance συνδέεται με ένα ζευγάρι MIDI track, το οποίο παίρνει είσοδο από ένα συγκεκριμένο Voice Receive. Στη συνέχεια, το Auto Shift ορίζεται σε monophonic και MIDI mode και δέχεται σήμα από το αντίστοιχό του. Έτσι, κάθε Auto Shift καταλήγει να λαμβάνει μία μόνο νότα, χωρισμένη από το input ενός controller.
Το audio της live vocal δρομολογείται σε ένα master audio track και από εκεί σε όλες τις instances του Auto Shift. Το αποτέλεσμα είναι ένα live-played vocal harmoniser με έως έξι harmony voices, μαζί με τη live vocal, με την καθεμία να βρίσκεται σε ξεχωριστό κανάλι.
TDAbleton και σύνδεση με TouchDesigner
Το TouchDesigner βασίζεται κυρίως στο OSC για την επικοινωνία με το Ableton, όμως το δικό του script και τα Max for Live devices κάνουν το setup αρκετά εύκολο στην εκκίνηση.
Εδώ χρησιμοποιείται το TDAbleton, δηλαδή το bundled σύνολο από Max for Live devices μαζί με το MIDI controller script. Μόλις εγκατασταθεί, μπορεί να λάβει δεδομένα από οποιοδήποτε στοιχείο του Ableton και να στείλει δεδομένα πίσω, απευθείας μέσα από το TouchDesigner.
Το visual network
Για οικονομία σε CPU, το συγκεκριμένο κομμάτι χρησιμοποιεί ένα σχετικά απλό instancing network στο TouchDesigner. Το instancing επιτρέπει τη δημιουργία πολλών εκδοχών ενός σχήματος από μία μόνο πηγή, με κάθε instance να αποδίδεται από τη GPU και όχι από την CPU, κάτι που βοηθά όσο το network μεγαλώνει.
Η αφετηρία είναι ένα Sphere SOP, που περνά από ένα ελαφρύ transformation και έπειτα σε ένα Geo Comp, όπου δημιουργούνται τα instances. Ένα σύνολο από Noise CHOPs παράγει τυχαίες, κινούμενες XYZ θέσεις για κάθε instance, πάντα μέσα στα όρια της οθόνης.
Ένα Ramp TOP δίνει σε κάθε instance ξεχωριστό χρώμα, με interpolation ανάμεσα σε δύο άκρα. Στο Geo Comp εφαρμόζεται ένα constant material, ώστε οι σφαίρες να αποδίδονται χωρίς αίσθηση βάθους και να μοιάζουν με επίπεδα, κυκλικά σχήματα.
Από εκεί, το output περνά από Camera Comp, φωτίζεται από Light Comp και καταγράφεται από ένα Render TOP. Στη συνέχεια, το σήμα περνά από μερικά visual effects, με bloom και blur, πριν καταλήξει στην έξοδο και στην οθόνη.
Πώς επικοινωνούν ήχος και εικόνα
Για να συνδεθεί ένα στοιχείο στο TouchDesigner, χρειάζεται να προστεθεί τόσο ένα TouchDesigner node όσο και ένα Max for Live device στο Ableton. Το TDAbleton το κάνει αυτό με ένα click, οπότε για όλες τις συνδέσεις που ακολουθούν προστίθεται αντίστοιχα device και στο σωστό Ableton track.
Ένα abletonLevel CHOP παίρνει το audio level από το Ableton master channel και το στέλνει σε δύο σημεία: στο opacity του Ramp TOP, ώστε μεγαλύτερη ένταση να σημαίνει πιο σταθερό χρώμα, και στην ταχύτητα του Noise CHOP που κινεί τη θέση των instances, ώστε η μεγαλύτερη ένταση να φέρνει πιο γρήγορη κίνηση.
Ένα abletonMIDI CHOP λαμβάνει όλες τις νότες από το master MIDI input track. Το σύνολο των ενεργών MIDI notes, συν ένα ακόμη για τη live vocal, κατευθύνεται σε δύο σημεία: πρώτον, στο σύνολο των Noise CHOPs που φτιάχνουν τις θέσεις, καθορίζοντας πόσα σετ θέσεων χρειάζονται και, κατ’ επέκταση, πόσα instances θα δημιουργηθούν στο Geo Comp· δεύτερον, στο Ramp TOP, το οποίο ορίζει πόσες χρωματικές αποχρώσεις θα αναπτυχθούν ανάμεσα στα δύο άκρα.
Οι τιμές X από το Noise CHOP που τοποθετεί κάθε instance αντιστοιχίζονται στο pan επτά abletonTrack COMPs, ένα για κάθε φωνή. Τέλος, ένα Count CHOP παρακολουθεί ένα F3 και αυξάνεται κάθε φορά που πατιέται. Όταν φτάσει σε ένα threshold, ενεργοποιεί ένα trigger που στέλνει το audio από το Ableton σε ένα Hologram Electronics Chroma Console ρυθμισμένο στο Inference, ένα glitchy, fragmented effect. Ένα ακόμη abletonLevel CHOP διαβάζει το return level αυτού του effect και το μετατρέπει σε ένταση color shift, ώστε η εικόνα να διασπάται συγχρονισμένα με τον ήχο.
Το τελικό αποτέλεσμα είναι ένα live MIDI input που διαχωρίζεται σε μεμονωμένες νότες, ενώ μια live vocal αρμονίζεται από αυτές τις νότες. Κάθε φωνή εμφανίζεται ως ξεχωριστός κύκλος στην οθόνη. Οι κύκλοι γίνονται εντονότεροι σε χρώμα και ταχύτεροι όσο ανεβαίνει η ένταση της αρμονισμένης vocal, ενώ η θέση κάθε κύκλου στον χώρο ελέγχει και το αντίστοιχο pan μέσα στο Ableton.
Το αποτέλεσμα είναι μια πραγματική ένωση audio και visual, όπου η ένταση και οι νότες γίνονται ορατές και η θέση στο χώρο ακούγεται.
