AI Musik Modelle

    • Neu

    Nachdem ich schon seit dem aufkommen von privat nutzbaren AIs viel Spaß mit Sprach und Bildmodellen habe, bin ich gestern auch auf Musikmodelle gestoßen.

    Und ich hab mal wieder so einen richtigen "Kinnnlade-runter" Moment wie gut die Modelle sind.

    Ich bin wirklich absolut einfach nur beeindruckt.

    Hier mal eine Playlist mit ein paar Songs die ich seit gestern damit gebastelt habe:

    Udio | AI Music by Salva | AI Music Generator - Official Website
    Listen to AI Music by Salva by IamSalvation on Udio. Discover, create, and share music with the world. Use the latest technology to create AI music in seconds.
    www.udio.com

    Lyrics sind von mir oder von bekannten Songs (dann jeweils im Titel erwähnt natürlich) - denn die automatisch generierten Texte überzeugen dann doch absolut nicht. Ganz im Gegenteil der Gesang und die Instrumentierung, die überzeugt und überrascht mich doch extrem.

    • Neu
    Zitat von Matze

    Ihr müsst nicht nur die Musik, sondern auch das Video von der AI machen lassen!

    [Externes Medium: https://www.youtube.com/watch?v=2EaJCt2GpVc]


    https://de.wikipedia.org/wiki/Frostbite_Orckings

    Hast du eine Quelle dafür dass das Video AI ist?

    Zumindest ich finde es weder im Wikiartikel ncoh sonst wo erwähnt.

    Wäre auch recht bemerkenswert in der Länge und Qualität - im Gegensatz zu Musik Modellen sind Video Modelle noch immer recht eingeschränkt.

    Freu mich aber schon drauf wenn da der große Sprung kommt.

    • Neu

    Laut Wikipedia ist zumindest die Musik der "Frostbite Orckings" von menschlichen Musikern nachbearbeitet und verfeinert.

    Meiner Meinung nach muss man bei der ganzen AI-Diskussion da immer aufpassen, dass man exakt bleibt. Was AI ohne Menschen schafft, ist schon beeindruckend und wird auch immer besser, aber die wirklich guten Sachen entstehen oft nicht direkt durch AI, sondern immer noch durch Menschen, die AI geschickt als Hilfe nutzen.

    • Neu

    In spätestens ein paar Jahren wird es Menschen geben die fast ausschließlich KI Musik hören, es aber nicht mal wissen. Das wird vollkommen normal sein. Musiker (habe ich auch lange gemacht), Grafiker usw... wird es auch noch geben aber die Tools ändern sich gerade rasant. Wird auch immer noch welche geben die gerne für echte, handgemachte Menschenmusik zahlen werden... aber es wird eine schrumpfende Minderheit. So wie Vinyl Liebhaber auch wenn dieses Medium in den letzten Jahren eine Wiedergeburt erfahren hat.

    • Neu

    Udio ist wirklich faszinierend. Größter Kritikpunkt meiner Meinung nach: Hat man mal einen guten Song-Rumpf herausgefiltert, wären dann "aktivere" Möglichkeiten wünschenswert, das Lied in die gewünschte Richtung zu bugsieren. So ist man doch bei jeder neuer Section darauf angewiesen, dass Udio halbwegs das ausspuckt, was man sich vorstellt. Vielleicht hab ich aber auch nur die Software (noch) nicht richtig verstanden...


    Hier mal ein klassisches Indie/Alternative-Rock-Stück:

    udio.com/songs/3WbggyLVr3kmb4n9MaHW4m

    Auf eigene Lyrics hatte ich keine Lust.

    3 Mal editiert, zuletzt von Biberle ()

    Gefällt mir 1
    • Neu

    Wie bringt man die KI dazu, Cover von bekannten Künstlern zu erstellen. Ich habe mal etwas rumprobiert und konkrete Künstler in den Prompts werden automatisch durch allgemeine Ausdrücke ersetzt.

    Und allgemeiner: wie sollten die Prompts idealerweise aussehen und wie ausführlich?

    • Neu

    "Cover" in dem Sinne das der Text verwendet wird. Musik wird natürlich keine Elemente der Melodie enthalten.

    Zu den Prompts kannst du das Beispiel oben anschauen da siehst du für jeden Song die verwendeten Prompts. Wobei man bei Udio ja für jeden Part einen eigenen verwendet und die teilweise schon stark unterschiedlich waren, einen Eindruck sollte es aber geben.

    • Neu
    Zitat von ralfchr
    Zitat von Biberle

    Äh... das würde Udio nur zulassen, wenn man auf absichtlichem Selbstmord-Kurs wäre.

    Eben... daher auch meine Frage bezogen auf das o.g. K-Pop Cover, zu dem IamSalvation ja schon geantwortet hat...

    Ah, sorry. Das "man" war in dem Fall doppeldeutig - entweder war "ich" gemeint (also du ;) ) oder "derjenige", also IamSalvation. Prompt den falschen erwischt.

    • Neu
    Zitat von Matze

    Ihr müsst nicht nur die Musik, sondern auch das Video von der AI machen lassen!

    Ich bin dann mal der Aufforderung gefolgt - zumindest soweit es geht, die Video AIs die ich getestet habe waren alle nicht sonderlich.. überzeugend und mehr auf Werbevideos ausgelegt.

    Daher dann das nächstbeste genommen und Bilder mit Stable Diffusion angefertigt.

    [Externes Medium: https://youtu.be/5zdJSrIuDro?si=ipnIB1aJpxkrCWdZ]

    • Neu

    Danke :)

    Ungefähr so, habe den ersten erstellten Clip des Songs nicht mehr, ich räume da immer auf wenn ich eine zufriedenstellende Fortsetzung generiert habe.

    Zitat

    neofolk, dramatic change, sudden drop, esoteric, dramatic drop , acoustic guitar, violin, button accordion, flute, alto flute, spoken word, male vocal,
    Male vocalist, Contemporary folk, Singer-songwriter, Folk, Melodic, Acoustic, Mellow, Melancholic, Poetic, Bittersweet, Introspective, Longing, Autumn, Pastoral, Lonely, Soft, Existential, Soothing, Atmospheric, Acoustic guitar, Male vocal, Violin, Flute, Spoken word, Neofolk

    Ich liebe übrigens den Part nach 3:15 - wollte den Song eigentlich auch noch länger machen und im Outro wieder zu dem Motiv vom Anfang zurück kommen, aber leider geht es grad nicht länger als 4 Minuten. Das hab ich aber erst bei diesem Song gelernt das es eine Begrenzung gibt wie lang es werden kann :-/

    • Neu

    Danke!

    Hattest Du eigene Lyrics verwendet? Ansonsten muss man dem System ja sagen, dass es Deutsch nehmen soll.

    Was ich partout nicht hinkriege, ist eine female vocalist. Das System fügt automatisch male vocalist hinzu und dementsprechend ist auch die Stimme. Ist das eine Beta-Beschränkung o.ä.?

    • Neu

    Ja sind Custom Lyrics, Intro und Outro von mir als Ergänzung zu einem Text der Band Centhron.

    Ich hab mehrere Songs mit Female Vocals. (siehe z.B. oben VR-One und So Say we All)

    Das einzige mal wo es schwierig war, war als ich was mit weiblichen Black/Death Metal Vocals wollte aber das ging auch nach einigen versuchen.

    • Neu

    Ne, das geht schon. Tatsächlich steht aber hinterher immer noch male vocals mit im Prompt, seltsam.


    Andere Frage: Kann man irgendwie gezielt Parts wiederholen (lassen)? Intro/Outro funktioniert halbwegs, aber sonst sind das halt recht "lineare" Songs, weil selbst nach mehreren Versuchen jeder neue Part immer ziemlich anders klingt.

    • Neu
    Zitat von Biberle

    Ne, das geht schon. Tatsächlich steht aber hinterher immer noch male vocals mit im Prompt, seltsam.

    Man kann oben links "Manual Mode" einschalten. Wenn man das nicht macht wird der Prompt automatisch um weitere passende Tags erweitert. Male Vocals scheint laut System wohl immer passend ;)


    Zitat von Biberle

    Andere Frage: Kann man irgendwie gezielt Parts wiederholen (lassen)? Intro/Outro funktioniert halbwegs, aber sonst sind das halt recht "lineare" Songs, weil selbst nach mehreren Versuchen jeder neue Part immer ziemlich anders klingt.

    Man kann es nur mit [chorus] und [bridge] versuchen. Dauert oft einige Versuche bis wieder das gleiche als Chorus rauskommt, aber z.B. in dem VR-One Video das ich geposted habe ist der erste und der letzte Chorus schon erkennbar gleich würde ich sagen. (Hat aber auch viele Versuche gedauert weil ich das auch eben so wollte)

    Mit dem "Select Section" Feature das sie vor ein paar Tagen eingeführt haben, haben sie ja aber schon die Grundlage dafür gelegt spezifische Sektionen auszuwählen und ich denke mal das sowas wie "diese Sektion bitte nochmal hier einfügen" auch recht schnell kommen wird.