Sound of Light: Το Βόρειο Σέλας σε μια μουσική συμφωνία Τεχνητής Νοημοσύνης, με εργαλείο το Huawei Mate 20 Pro
Πώς θα μπορούσε να ακούγεται το φως; Μέχρι λίγο καιρό πριν, το ερώτημα αυτό θα ήταν αμιγώς καλλιτεχνικής φύσης- ωστόσο η «έκρηξη» που σημειώνεται τα τελευταία χρόνια στον κλάδο της Τεχνητής Νοημοσύνης (Α.Ι.), και ειδικότερα σε σχέση με τον χώρο των φορητών συσκευών, έχει δώσει και εδώ τεχνολογική διάσταση, καθώς η Α.Ι. φέρνει επανάσταση και σε τομείς που δεν θα περίμενε κανείς- όπως αυτός των καλών τεχνών- και απόδειξη για αυτό είναι η μουσική συμφωνία Sound of Light, που παρουσιάστηκε σε ζωντανή οπτικοακουστική παράσταση -στην οποία παρευρέθηκε η HuffPost Greece- την Τετάρτη στη Βιέννη από τη Huawei, με την ευκαιρία της κυκλοφορίας του Huawei Mate 20 Pro, στο πλαίσιο ενός εγχειρήματος που συνέδεσε την τεχνολογία με την τέχνη.
Το Sound of Light αποτέλεσε έργο μηνών- ένα εγχείρημα που είχε ως στόχο να δείξει πως είναι δυνατή η εκπαίδευση της Τεχνητής Νοημοσύνης (AI) ώστε να διαβάζει εικόνες και να τις μετατρέπει σε ηχητικά κομμάτια. Από τους συμμετέχοντες ζητήθηκε να καταγράψουν στη Νορβηγία το Βόρειο Σέλας και στη συνέχεια με αυτό το υλικό, να εκπαιδεύσουν ένα ειδικό σύστημα Τεχνητής Νοημοσύνης που τρέχει στο Huawei Mate 20 Pro για να μπορεί να αναγνωρίσει τα βασικά του στοιχεία και να τα μετατρέψει έπειτα σε μουσική.
Αυτά τα πρωτογενή κομμάτια ήχου στη συνέχεια χρησιμοποιήθηκαν για τη σύνθεση μιας μουσικής συμφωνίας σε συνεργασία πάλι με το Huawei Mate 20 Pro. Η μεγάλη πρόκληση για την ομάδα ήταν η δημιουργία μιας εμπειρίας αισθήσεων, μεταφράζοντας τη γλώσσα που «μιλάει» το Βόρειο Σέλας, μέσα από την καινοτομία της Τεχνητής Νοημοσύνης.
Πώς ακούγεται το Βόρειο Σέλας; Από την αρχική καταγραφή στην τελική παράσταση
Το φως του μακρινού βορρά βιντεοσκόπησε ο Kjetil Skogli, κυνηγός του Βορείου Σέλαος. Μετά τη συλλογή του υλικού από τον Kjetil, το βίντεο στάλθηκε στη συνέχεια στα εργαστήρια για ηχητική επεξεργασία. Εκεί ο συνθέτης Mark Sayfritz- βραβευμένος πολλές φορές για τις επιδόσεις του στον ηχητικό σχεδιασμό, με δουλειές με την Audi, τη Nike, τη Levi’s, το NBA και τη Reebok στο ενεργητικό του- σε συνεργασία με το ειδικά προσαρμοσμένο σύστημα Τεχνητής Νοημοσύνης, δημιούργησε μια μουσική συμφωνία βασισμένη στο οπτικό υλικό από το Βόρειο Σέλας και η οποία στη συνέχεια «έτρεξε» στο Huawei Mate 20 Pro.
Μετά την τελική τους σύνθεση, τα μουσικά κομμάτια πέρασαν στον Βρετανό μαέστρο James Shearman, έναν από τους καλύτερους μαέστρους του κόσμου, που έχει προσφέρει τις υπηρεσίες του σε πάνω από 80 ταινίες (συμπεριλαμβανομένων των «Η Πεντάμορφη και το Τέρας», «Μια Πόλη Δίπλα στη Θάλασσα» και «Ο Χάρι Πότερ και το Κύπελο της Φωτιάς»), ο οποίος στη συνέχεια φρόντισε για την ορχηστρική συμφωνική παράσταση Sound οf Light στο διάσημο Brahms Hall στη Βιέννη. Οι δυνατότητες Τεχνητής Νοημοσύνης του Huawei Mate 20 Pro χρησιμοποιούνταν καθ’όλη τη διάρκεια του ταξιδιού: Αρχικά οι μηχανικοί επιφορτίστηκαν με τη δημιουργία ενός εξειδικευμένου συστήματος AI που θα μπορούσε να εκπαιδευτεί να αναγνωρίζει και να αναλύει τα διαφορετικά χαρακτηριστικά του φωτός. Έπειτα αυτό το σύστημα εκπαιδεύτηκε στη σύνδεση των μουσικών στοιχείων με το βίντεο από το Βόρειο Σέλας.
Όπως είπε ο Mark Sayfritz, «με την είσοδο της Τεχνητής Νοημοσύνης στη μουσική μου, άνοιξε ένα ολόκληρο νέο κεφάλαιο δημιουργικών δυνατοτήτων.Έτσι τώρα μπορώ να τροφοδοτήσω με βίντεο από το Βόρειο Σέλας, το σύστημα A.I. κι εκείνο θα αναλύσει πράγματα όπως είναι το χρώμα, η διάσταση, το σχήμα και η ταχύτητα. Στη συνέχεια δημιουργεί παραλλαγές των μουσικών τμημάτων μου, σύμφωνα με αυτά που βλέπει. Έτσι, όταν το σύστημα AI αναγνωρίζει ένα ιδιαίτερα συνταρακτικό φως, μπορεί να προσαρμόσει τους ήχους ώστε να αντανακλάται αυτή η ένταση στη μουσική σύνθεση. Έπειτα μπορώ να ενσωματώσω τα στοιχεία αυτά μέσα στη συμφωνία».
Τα μουσικά τμήματα για να δημιουργηθούν μέσα από απαραίτητες εντατικές υπολογιστικές διεργασίες πριν από τη ζωντανή παράσταση, θα ήθελαν κανονικά, υπολογιστές τελευταίας τεχνολογίας. Με την υποστήριξη όμως του προσαρμοσμένου συστήματος A.I., η ομάδα κατάφερε να μεταμορφώσει το Huawei Mate 20 Pro σε έναν υπερ-υπολογιστή επόμενης γενιάς. Επίσης, κατά τη διάρκεια τηςσυναυλίας, τα μετουσιωμένα δεδομένα περνούσαν από το Huawei Mate 20 Pro σε συνδεδεμένα συνθεσάιζερ , προσθέτοντας μουσικούς τόνους στην παράσταση.
Την εμπνευσμένη από την A.I. παράσταση, που έλαβε χώρα στο Brahms Hall του Musikverein της Βιέννης, παρακολούθησαν πάνω από 300 θεατές, σε διεύθυνση του James Shearman και εκτέλεση από την ορχήστρα Synchron Stage. Η βραδιά περιελάμβανε σκηνές από τα αρχικά γυρίσματα του φιλμ όπου παρουσιάστηκε ολόκληρο το ταξίδι από τον ουρανό ως τη σκηνή και κορυφώθηκε στη ζωντανή παράσταση και παρουσίαση του έργου.
