[KI] AI Musik Modelle

Ich hol den Thread mal aus der Versenkung um allen die Interesse zu haben meinen Youtube Kanal zu zeigen auf dem ich vermischte Musik sammle die von mir mit AI erzeugt wurde. Dabei ist alles von Hip Hop über Metal bis zu Techno. Inzwischen mache ich bei vielen Tracks auch Videos mit AI und Stock Footage.

Würde mich freuen wenn ihr mal rein schaut:

IaS - AI Music

www.youtube.com

Und wenn jemand nicht den Link klicken möchte sondern erstmal hier was anschauen hier auch noch das neuste Video:

Zitat von Fluxit

Schon beeindruckend. Ich bin in dem Genre nicht (mehr) fit, aber hätte da jetzt ein etablierter Künstler wie VNV Nation, And One oder Samsas Traum im Titel gestanden, wäre mir das nicht aufgefallen. Oder z.B. Sabaton bei deinem Battlestar Song, das hätte ich sofort geglaubt. Hahnbefehl mit Talahun, nicht schlecht

Vielen dank. Ich bemüh mich immer nicht einfach jeden Rotz raus zu hauen wie es einige andere AI Musik Channels machen und die Lyrics sind bei mir auch nicht AI geschrieben.

Das Eternal Geist Projekt ist mehr oder weniger aus versehen entstanden, ich hab einen Clip verlängert der bei einem anderen Projekt über war aber cool klag und dann kam was raus das irgendwie nach Blutengel / L'Âme Immortelle klang obwohl der Prompt komplett anders war aber mir hats gefallen und ich habs dann so weiter geführt.

Von den Battlestars gibts auch noch mehr Tracks, ursprünglich wollte ich mal die komplette erste Staffel als ein Album machen das liegt aber grad auf Eis wegen zu viel gleichem am Stück und das Lyrics schreiben daür ist gar nciht so einfach wenn man die Handlung der Folgen einigermaßen in einen 3-4 Minuten Text packen will.

Mehr wie VNV Nation gibts übrigens beim Track Ein Augenblick (das basiert auch auf einem Sample von VNV)

Zitat von Fluxit

Welche Tools würdest du für Audio / Video für den Einstieg empfehlen? Du hast ja einige genutzt, wie ich in den Youtube-Anmkerungen sehe. Am besten natürlich etwas, wo man erstmal kostenfrei ausprobieren kann.

Es kommt etwas drauf an was du machen willst. Für Metal/Rock finde ich persönlich noch immer Udio das einzige was in frage kommt (aber mit dem 1.0 Modell, das 1.5er Modell hat irgendwie verlernt ordentliche verzehrte Gitarren zu machen die nicht wie ein billiges Keyboard klingen)

Für Rap/Hip Hop, Electro finde ich loudme.ai ganz phantastisch. Grad beim Hip Hop hat der einen sehr guten Flow und Betonungen und macht coole Beats. Electro/Techno kann der auch gut. Was gar nicht geht ist da auch alles mit verzehrten Gitarren und cleaner Gesang klingt da auch immer sehr Autotunig.

Zum Einsteigen aber recht gut da es direkt komplette 2-4 Minuten Tracks produziert und man 100 Credits bei der Anmeldung bekommt. (allerdings keine neuen Daily oder Monthly einfach nur einmal 100, man kann sich aber immer wieder neue Accounts machen.)

Was dort noch nicht geht ist den Song zu verlängern - Ich löse das dann so das ich einen Song der dort raus kommt und zu kurz geworden ist in Udio rein ziehe und den dort weiter führe.

Bei Udio gibts soweit ich weiß noch immer 10 Credits pro Tag kostenlos, die lassen sich allerdings nicht ansammeln, man kann also nur immer ein bisschen was machen, allerdings kann man auch als Free Account Credits dazu kaufen ohne Abo.

Suno ist so ähnlich, da gibts 20 Credits pro Tag. Suno mag ich persönlich aber gar nicht so gerne da alles, egal was man macht immer sehr nach AI klingt. Es ist gut für K-Pop oder sowas, moderne Chart Musik mit Autotune. Metal etc. geht gar nicht, härtere Electronische Musik mmn auch total induskutabel. Mit dem neusten Modell etwas besser für Balladen, Singer-Songwriter Sachen aber lange nicht so wie Udio. Suno macht immer 2 Minuten Songs die sich dann auch etwas umständlich verlängern lassen.

Egal was die Tools aber ausspucken, damit es gut klingt sollte man es anschließend noch in Stems splitten und in einr DAW etwas mixen und mastern.

Falls es nicht bekannt ist, Stems bedeutet das der Song in verschiedene Spuren aufgeteilt wird, du also Gesang, Drums, Bass und sonstiges einzeln hast und dadurch dann den Mix ändern kannst oder Kompressor/EQ nur auf eine Spur anwenden.

Udio und Suno bieten an direkt Stems runter zu laden, leider sind die auch nur nachträglich getrennt so das sie nicht viel besser sind als das was Audacity mit OpenVino einem produziert. (Audacity und Openvino sind kostenlos, würde für Audacity empfehlen sich noch das MuseFX Plugin runter zu laden, das hat viele nützliche und einfach anzuwendende Effekte mit Presets)

Für Videos:

Ich nutze meist als Grundlage Videos die mit NoiseeAI erstellt sind. Dort läd man Musik hoch und gibt einen Prompt und er generiert bis zu 60 Sekunden dazu. Die 60 Sekunden sind allerdings nicht am Stück sondern lauter 2-6 Sekunden Clips die auch nicht sonderlich konsistent sind. Es empfihelt sich im Prompt ein klares Farbschema / Styleguides zu geben um etwas zu bekommen das zumindest grob zusammen passt. Was Noisee nicht gut kann sind Menschen die sich bewegen, sehr gut kann es Gebäude und Natur aufnahmen. Das sollte man beim Prompt berücksichtigen, Menschen die sich Bewegen glitchen oft übelst herum. Trotzdem bekommt man damit eine gute Grundlage an Clips die man verwenden kann.

Ansonsten gibts noch Kling AI - die waren am Anfang sehr gut haben aber inzwischen zumindest als Free User stark nachgelassen. Mit Abo kann man noch immer recht schnell und in sehr guter Qualität generieren. Beispiel: Alles bewegte im Girls in Uniform Video ist von Kling, in dem Fall als Normale Generation. Die Frauen in diesem Video bei 23 Sekunden sind mit Kling High Quality Premium gemacht, das ist so mit das beste was man grad an AI Video machen kann ist aber sehr teuer zu generieren.

Wenn man rum probieren will sollte man sich MiniMax/hailuoai unbedingt schnell agucken, die sind grad noch 2 Tage in der Testphase wo man unendlich viel generieren kann für umsonst, danach Abo und täglcih ein paar Free Credits für Free User. Allerdings scheinen die Abo Preise ganz ok zu sein im Vergleich zu anderen Video AIs.

Runway hab ich mit den Free Credits ausprobiert und bin absolut so gar nicht überzeugt gewesen, daher nicht mehr weiter beachtet.

Luma Dreammachine ist sehr heftig schwankend, dauert absolut ewig zu generieren meistens (8+Stunden für 5 Sekunden Clips als Free User) die Qualität geht von grandios bis absolut unbrauchbar. Was gut ist ist die Funktion für Loop Videos aus einer Bildvorlage. Damit kann man super Loop Hintergründe für Videos machen aus einem generierten Bild.

Für Stock Videos nutze ich pexels.com. Da gibts eine Menge Stock Videos und Photos die komplett kostenlos sind. Oft sehr nützlich um nicht zuviel generieren zu müssen um ein Video zu füllen.

Schneiden tu ich das ganze dann in CapCut. Das hat viele nützliche Funktionen und Effekte, ist einfach und Intuitiv zu bedienen und ist kostenlos. (s gibt eine Pro Version mit noch mehr Funktionen aber bisher für mich nicht so reizvoll die Free Version reicht mir total)

Alternativ habe ich noch Davinci Resolve ausprobiert, war mir aber zu kompliziert zum einarbeiten für meine Zwecke. Wenn ich mal langeweile hab schau ich mir das nochmal an.

Eine weitere kostenlose Möglichkeit ist Shotcut, das ist sehr Basic, bietet aber einige coole soundgesteuerte Effekte die CapCut so nicht hat, deswegen nutze ich es gelegentlich als Zeichenschritt. Insgesamt finde ich es aber deutlich weniger polished und umständlicher als CapCut. Wenn man aber nix von Chinesischen Firmen installieren möchte wohl die beste Alternative. (CapCut gehört TikTok)

Sorry, war jetzt evtl. etwas viel auf einmal zum Einsteig, hoffe die Wall of Text erschlägt nicht.

Wenn du zu irgendwas Detailfragen hast kannst du auch gerne nochmal nachfragen, wie du merkst schreibe/rede ich gerne drüber

Zitat von Parathion

Zitat von IamSalvation

. Inzwischen mache ich bei vielen Tracks auch Videos mit AI und Stock Footage.

Sehr beeindruckend. Nur die Lipsync klappt wohl noch nicht?

Talahu finde ich auch stark - Text auch von AI oder von Dir?

Danke

Lipsync geht von Bildern aus denen dann ein Lipsync Video wird, in diesem Fall war es direkt generiertes Video daher nicht synchron. Ist auch recht aufwändig das mit Musik zu machen, bei normal gesprochenem Text ist es recht einfach.

Texte sind in den meisten Fällen so:

Ich gebe ChatGPT oder Claude eine grobe Outline worüber ich schreiben will für eine grobe Idee.

Dann korrigiere ich per Prompt erstmal 2 Stunden offensichtlichen Blödsinn und typische AI Worte/Phrasen, dann nehme ich den Text und überarbeite ihn selbst meist mit Hilfe von rhymezone.com oder ähnlichem. Am Ende ist meistens nicht viel von dem über was von der AI gekommen ist, aber es hilft sehr einen Text zu haben den man dann überarbeitet statt bei Null anzufangen.

Grade Deutscher Hip Hop lässt sich übrigens sehr schwer von AI schreiben, und meist ist die Outline so schlecht das man über 90% komplett vergessen kann.

Der Talahuhn Song ist eine angepasste Version von dem vorher geschriebenen Talahon Song, eben auf ein Huhn angepasst.

Vom Talahon Song ist glaube ich der Chorus komplett so wie er aus der AI kam vom Rest des Textes ist nicht viel über.

Das Interlude im Talahuhn Song ist quasi komplett aus Intros / Interludes von Yakary geklaut und aufs Huhn angepasst.

Zitat von Parathion

Zitat von IamSalvation

das basiert auch auf einem Sample von VNV)

Kann man das der AI füttern, im Sinne eines One Shot Promptings? Bzw. Sind die ganzen Prompting-Techniken für LLMs hier auch anwendbar?

Bei Udio kannst du einen biebigen Soundclip als Basis hochladen und von dem den generieren. (inzwischen musst du bestätigen das du das Copyright dafür besitzt aber naja prüft keiner nach und du kannst diesen Start Clip nach den ersten Generierungen komplett raus schneiden und hast dann nix mehr vom Original drin sondern nur den Style übernommen.

Bei Loudme geht es gar nicht.

Bei Suno gibts sowas ähnliches wie Udio und dazu die Möglichkeit Remixe zu erstellen die einen Song in ein anderes Genre bringen. Habe ich bisher allerdings nicht ausprobiert da es Premium Only ist und ich von Suno nicht so viel halte weswegen ich keinen Premium Account habe.

Zum Prompting:

Es ist oft sehr viel weniger präzise. Es hilft nicht einen ewig langen Prompt zu machen. Vieles muss man auch in Tags in den Lyrics machen. Das fängt an bei Tags für [Chorus] [Verse] geht aber dann auch für [Intro:SpokenWord] oder [Solo:EpicGuitarSolowithfastarpeggios].

Funktioniert dann allerdings auch nicht zu 100%, braucht meist ein paar Anläufe bis man das hat was man will.

Das geht übrigens soweit ich weiß auch nur bei Udio überhaupt, bei Suno und Loudme kann man nur sehr grob einen generellen Style vorgeben. Deswegen mag ich Udio auch mit Abstand am liebsten (bis auf für HipHop) weil man dort in 30 Sekunden Parts generiert und sehr viel Einfluss nehmen kann.

Zitat von MrElchbau

Zitat von IamSalvation

Suno ist so ähnlich, da gibts 20 Credits pro Tag. Suno mag ich persönlich aber gar nicht so gerne da alles, egal was man macht immer sehr nach AI klingt. Es ist gut für K-Pop oder sowas, moderne Chart Musik mit Autotune. Metal etc. geht gar nicht, härtere Electronische Musik mmn auch total induskutabel. Mit dem neusten Modell etwas besser für Balladen, Singer-Songwriter Sachen aber lange nicht so wie Udio. Suno macht immer 2 Minuten Songs die sich dann auch etwas umständlich verlängern lassen.

Meines Wissens sind es 50 Credits täglich mit einer Maximallänge von 4 Minuten, die aber verlängert werden kann.

50 Stimmt, allerdings kostet einmal generieren bei Suno 10 Credits, sind also 5 x 2 Tracks. Bei Udio bekommen Free Accounts glaube ich 10 Credits am Tag, da kostet eine generierung aber nur 2 Credits, also auch 5x2. Wobei das nur 30 Sekunden sind, die 2 Minuten generierung kostet 4 credits für 2 Tracks.

Das neuste Suno Modell (3.5) kann bis 4 Minuten und auch die Zeichengrenze für Lyrics wurde dafür angehoben. Hab es grad nochmal ausprobiert, es klingt inzwischen auch doch deutlich besser bei den Stimmen. Nicht immer, aber es kann zumindest besser klingen und hat nicht immer diesen ganz krassen Autotune Effekt.

Ich probiere seit dem ich wegen dem Thread hier nochmal drüber nachgedacht habe auch wieder mehr mit Suno herum, sprich ich verbrauche täglich meine Free Credits für Experimente. Ich suche dabei eigentlich ein Genre in dem Suno mich richtig überzeugt, so wie es LoudMe für HipHop und Dark Electro/Aggrotech macht.

Hab bisher einige Genres durchprobiert, Minimal Techno klingt ganz gut, so Bubblegum Pop-Punk Rock geht auch und erstaunlicherweise bekommt man manchmal auch bei Singer/Songwriter Sachen raus die Großteils nicht nach typischen Suno stimmen klingen.

So richtig konsistent was richtig begeisterndes bekomme ich allerdings nicht so wirklich hin.

Ich hab neulich mal einen Song mit gleichen Lyrics und ähnlichem Prompt in Suno und Udio gemacht. Suno klingt im Vergleich halt immer super stark komprimiert wie ein MP3 mit niedriger Bitrate.

Udio ab anfang, Suno ab ca. 4 Minuten.

Beide Songs wurden von mir nachträglich so gut es ging gemixed und gemastered - dabei muss man sagen das man grad die Suno Drums mit einem guten mix doch nochmal etwas aufpolieren kann und es so deutlcih besser klingt als das was direkt aus der AI kommt, das gilt aber für Udio genauso, da eigentlich noch mehr da Udio meist den Gesang viel zu laut macht und man den runter mixen muss.

Was man halt bei Suno wirklich sagen muss ist das es wirklich schnell ziemlich hörbare Ergebnisse bringt und das sehr zuverlässig. Kompletter unhörbarer Lärm kommt halt nie raus und Genauigkeit bei den Lyrics ist auch sehr zuverlässig.

Ich finde auch interessant das sie jetzt quasi "Udio Rückwärts" gebracht haben - also das man 30 Sekunden aus fertigen Songs auswählen kann und sie neu generieren lassen kann. Das bringt natürlich schon mal deutlich mehr Einfluss für den Nutzer, allerdings weiß ich nicht wie gut es funktioniert. Muss mir demnächst wohl mal einen Monat Suno Premium gönnen um das und Remix auszuprobieren.

Was mir inzwischen allerdings auch aufgefallen ist, ist das Suno Tracks z.b. auf nem Handy gehört gar nicht so viel schlechter klingen. Weil da halt auch ein Udio Song durch die kleinen Speaker sehr komprimiert klingt. Auch auf Youtube wird schon ein bisschen was verfälscht da die Musik im Vergleich zum Original auch hörbar komprimiert wird beim hochladen. Grad für ein junges Publikum das es gewohnt ist Musik üers Handy zu hören ist es also vielleicht gar nicht so das Problem das Suno auf guten Speakern gehört schlechter klingt als Udio?

Zitat von anke79

Mit Udio habe ich nicht so viel gemacht, mangels Pro-Account konnte ich die Uploadfunktion dort nicht nutzen/testen.

Wenn du magst kannst du mir mal was schicken dann werf ich es mal durch und verlängre es 1-2 mal?

Zitat von Parathion

Sehr beeindruckend. Nur die Lipsync klappt wohl noch nicht?

Nachdem ich es in der ersten Antwort schon mal beantwortet hatte hier mal ein Beispiel Video mit Lipsync:

Song erstellt mit Suno+Udio, gemixed in Audacity, Bild mit Flux, Animation mit Hedra, geschnitten mit Capcut

(Lyrics: Emilie Autumn - Opheliac)

Grad am anfang übrigens mmn für Suno unglaublich gute Qualität der Stimme, absolut nicht dieser typische Suno Gesangssound, bin doch recht angetan.

Achja, evtl. könnte ein Mod diesen Thread in den KI Bereich verschieben?

Nach dem kleinen Experiment im 9:16 Format dann nun auch ein vollständiges Video mit Lipsync

Ab 4 Minuten kommt es ein bisschen raus weil sich da die Gesangslinen überlagern und das Modell nicht wusste welche davon gesungen werden sollte und immer mal hin und her switched. Ansonsten bin ich aber ziemlich zufrieden.

Es gibt einen weiteren Versuch von Sable (sie war auch beim Frisör)

Da die bisherigen Reaktionen auf Youtube mir sagen das dies wohl mein bisher bestes Video/Lied von Sable ist poste ich es hier auch nochmal:

(wobei das neuste mmn auch sehr gut geworden ist, nur nicht genug Impressionen von Youtube bekommt)

Zitat von Dee

Und bei Udio kann ich nicht nicht anmelden.

Warum das?

Bei Suno drauf achten das du auf Modell 3.5 oder 4.0 umstellst (4 geht afaik nur mit Abo noch immer)

Im Prompt bei Suno würde ich immer "natural Voice" reinpacken sonst wirds meistens mega Auto Tune sound.

Track den du geposted hast klingt gut! Auf jeden Fall auch Suno V4, da die Stimme sehr überzeugend klingt, in 3.5 hat man noch immer so ein merkwürdiges schwingen.

Zitat von Dee

Aber auch so klingen die Stimmen noch nicht toll, sondern sehr gepitcht und unnatürlich.

Antwort darauf gabs von mir schon oben:

Im Prompt bei Suno würde ich immer "natural Voice" reinpacken sonst wirds meistens mega Auto Tune Sound.

Warum ich eigentlich hier schreibe ist eine tolle Neuigkeit für alle die es mal ausprobieren wollen:

Es gibt einen neuen "Player" am Markt der Musikmodelle und der hat grad Open Beta.

Das bedeutet komplett frei und mit allen Features testen für jeden der will.

Riffusion

Ich hab natürlich direkt mal einiges getestet und meine bisherigen Eindrücke sind wie folgt:

- Es ist durchaus brauchbar aber eher auf Suno 3 bis 3.5 Level, zu Suno 4 oder Udio fehlt da noch ein stück Qualität.

- Es kann absolut kein Metal / verzerrte Gitarren

- Es kann Hip Hop, Electro, Techno ganz ordentlich

- Es hat einige interessante Features, besonders das der Prompt in 3 Parameter geteilt werden kann die dann einmal eine Zeit zugewiesen bekommen können und in ihrer Stärke eingestellt werden können. Also z.B. Parameter 1 = Rock, Parameter 2 = Symphonisch und man kann mit Slidern dann einstellen wieviel Gewicht dieser Teil des Prompts haben soll. Im Test klappt es mit der Timing funktion auf jeden Fall schon mal Soli an bestimmten stellen einzufügen und sowas.

- Es hat eine Upload Funktion mit der man hochgeladene Samples wahlweise Covern oder fortsetzen kann oder eine bestimmte Sektion auswählen und ersetzen. Das Upload feature habe ich noch nicht sonderlich ausführlich getestet.

- Gelegentlich generiert es komplett unhörbaren Lärm

Aber ja, aktuell ist es kostenlos also einfach mal reinschauen und selbst probieren was es so kann, es kann auf jeden Fall ordentliche Dinge produzieren, nur leider mal wieder keinen Metal.

Hier mal ein Beispiel von etwas durchaus gut hörbares das mit Riffusion generiert wurde:

Dead to the World by IAS

[Intro:Piano] (Tell me now what to do) All the same, take me away, we're dead to the world (Tell me now what to do) [Interlude:Violin] [Verse[ The child gave…

www.riffusion.com

Grundlage ist der Prompt und Text wie auch im oben geposteten Dead to the World Video von Sable Wynter.

Zitat von MrElchbau

Gibt's da keine Begrenzung der Menge?

In der Beta alles soviel du willst umsonst.

Zitat von AndreMW

Das bisher beste Ergebnis hat TankBoy abgeliefert.

Hab mal kurz reingehört und für mich klingt das instant nach dem typischen Suno Sound, ist dieses über komprimierte was man bei Suno nur sehr schwer weg bekommt sobald mehrere Instrumente beteiligt sind und der Pegel hoch wird.

Auch in den Stimmen super stark. Meiner Einschätzung nach kann nicht sonderlcih viel arbeit im Mastering / Mixing stecken, da könnte man sowas besser verbergen oder beim generieren direkt solche Takes nicht nehmen. Denke aber das es mit suno 3 gemacht wurde, da gabs einfach keinen anderen Soound. Mit V4 könnte er das remastern von Suno und es würde wahrscheinlich deutlich natürlichicher klingen.

Zitat von AndreMW

Wobei das wohl auf Dauer einfacher wäre es in echt aufzunehmen, statt die Artefakte rauszubekommen.

Das Remastern der Tracks mit suno V4 würde recht schnell gehen, quasi ein Button Click in den bestehenden Tracks auf Suno, damit wäre scho0n mal eignes deutlich natürlicher. Aber klar wenn man Equipment für Recording, Sänger und Instrumente alles bereit hat wird das wahrscheinlich einfacher gehen.

Ich hatte oben schon mal diesen Vergleich geposted hier hört man den "Suno Sound" den das 3/3.5 Modell recht stark hatte ganz gut im Vergleich zu Udio das diesen speziellen, überkomprimierten, leicht "sizzelnden" Sound nicht hat. (Suno ab 4:02) Ich verssuch aber immer das so gut es geht weg zu bekommen durch Mix und Master und veröffentliche auf meinem Chanel nichts was diesen Sound hat. Ich merke allerdings auch immer wieder, das dies scheinbar ein "erlerntes Gehör" ist wenn ich Leuten die sich nicht mit AI Musik beschäftigen sowas zeige bemerken sie es oft erst im direkten Vergleich während es mir sofort auffällt.

Mit Suno4 ist es deutlich besser geworden, besonders bei ruhigeren Stücken ist es so gut wie gar nicht mehr da.

Ich hab grad auch noch von einer "neuen Band" einige Power Metal Stücke aus Suno rumleigen die mmn erstaunlich wenig von diesem Sound haben bzw. man ihn gut verstecken konnte und ich finde die Songs echt gut, ich weiß aber noch nicht ob ich sie veröffentliche da eben noch ein bisschen was davon zu hören ist.

Hab es als Test schon mal auf Submithub eingestellt und dort kam im "Blindtest", also ohne zu sagen das es AI ist, von keinem eine Rückmeldung das es nach AI klingen würde überlege aber trotzdem noch bin da manchmal evtl. auch zu kritisch.

Zitat von AndreMW

Auch Stereopanorama können KIs eigentlich so garnicht.

Das kann man aber recht easy mit eigenem Mix machen, mach ich bei meinen Songs eigentlich immer, klingt einfach breiter und voller dadurch.

Mit dem neuen Modell von Hedra ist Lipsync nochmal deutlich besser geworden.

Während das alte Modell wirklich nur das Gesicht animieren konnte, kann das neue Modell nun auch den restlichen Körper und Hintergrund animieren was natürlich zu deutlich überzeugenderen Ergebnissen führt.

hier mal ein paar Beispiele:

Vielleicht sollte ich mal einen Thread für AI Video Modelle aufmachen