Ich habe mit Claude Code eine Short-Maschine gebaut transcript

Herzlich willkommen. Wir schauen uns heute an, wie wir so einen Instagramkanal automatisieren. Wir bauen das komplett auf. Los geht's. 273 000 Follower hat dieser Kanal. Zeigen tut er Rick von der Comedy Serie Rick und Morty. Kennt ihr vielleicht. Und worum geht's im Prinzip? hier. Das sind solche Reels, wo eben irgendwelche technischen Themen erklärt werden auf eine lustige Art und Weise. Wir schauen einmal rein. Okay, das ist jetzt recht technisch.

Das heißt, wenn du keine Ahnung hast, was er da labert, vollkommen egal. könnt ihr natürlich auf alles übertragen. Egal, ob das jetzt technische Themen sind oder Themen aus eurem Bereich, aber ich gucke mir das echt gerne an, weil es wirklich auch qualitativ produziert wurde und der Inhalt auch wirklich werthaltiger ist. Wie können wir das Ganze jetzt automatisieren? Als allererstes müssen wir natürlich mal analysieren, was wir hier genau haben.

Wir haben hier in dem Fall so ein Erklärvideo als Form. Wir haben irgendeine Idee und ich würde sagen, wir machen uns einfach mal ein paar Notizen mit. Also als allererstes brauchen wir natürlich eine Idee. So, dann haben wir diese Idee und wenn wir die Idee haben, dann müssen wir irgendwie ein Videotanskript als allererstes stellen. Erstmal den Text von dem Video, das genaue Transkript. Mit dem Transkript können wir dann ein Voiceover erstellen.

Das Voiceover an der Stelle, das ist dann das, was die Grundlage bildet. Basierend um dieses Voiceover bauen wir dann Animationen und diese Figur, die sich bewegt und redet oder zumindestens den Anschein macht, sie würde reden. Das ist so der ungefähre Ablauf, ne? Und das probieren wir jetzt eben mit Cloud Code umzusetzen. Für die, die von euch Cloud Code noch nicht haben, wir werden hier Cloud benutzen. Ihr könnt es auch mit Chat GPT bzw.

Codex machen. Ihr braucht auf jeden Fall so eine Desktop Variante. Könnt ihr euch hier runterladen. Wichtig vom Pricing einfach um das einmal kurz einzuordnen. Ähm ihr braucht mindestens den Pro Plan für 15 € im Monat. Allerdings muss ich sagen, ihr werdet wahrscheinlich an Limit stoßen mit den Pro Plan. Das ist leider so. 90 € ist der Maxplan. Damit schafft ihr es auf jeden Fall. Ansonsten kann es sein, dass ihr kurz Pause machen müsst in dem Video nicht in einem Rutsch das durcharbeiten könnt.

Ist leider so. Alternativ langfrig wird das wahrscheinlich mit 15 € reichen, wenn ihr vielleicht irgendwie jeden Tag oder jeden zweiten Tag so ein Short produziert. Kann ich euch nicht genau sagen. Wir selbst haben den 200 € Plan oder 180 € was auch immer es ist. Ähm ist ein Investment, dass man da eben tätigen muss. Anderweitig geht's leider nicht. Okay, wenn ihr euch das runtergeladen habt, dann müssen wir als allererstes natürlich äh uns überlegen, was für eine Figur wollen wir da haben, wer soll das eben erklären und in unserem Beispiel nehmen wir einfach mal mich.

Das heißt, wir können hier einfach mal zu Chat GBT vorabgehen, können hier Bilder hochladen. Ich packe hier einfach mal diese Bilder von mir rein, lad die hoch und jetzt müssen wir eben so eine Art Cartoonfigur stellen. So, warum machen wir das so? Ihr könntet auch mit Hayjen einen digitalen Avatar von euch erstellen, das geht auch. Allerdings sehen die meistens ähm ja KI generiert aus, ne? Also, man merkt das immer noch so ein bisschen.

Und die Idee für dieses Video ist, dass wir hingehen und sagen, wir machen das also ähnlich wie hier, ne? Ihr seht das hier. Ähm, die Figur selbst bewegt sich gar nicht die ganze Zeit. Sie hat eben so ein paar Expressionen und Gesichtsausdrücke und genau sowas versuchen wir hier mal zu erzeugen. Ich habe mal hier schon mal einen kleinen Prompt vorbereitet, mit den ich versuchen werde, das Ganze zu erstellen. Den Prompt und alle Materialien findet ihr unten in der Videobeschreibung.

Dann könnt ihr euch den einfach kopieren und wir gucken mal, was konkret dabei rauskommt, ob das passt. Und so sieht das Ganze dann aus, wenn es fertig generiert ist. Hier in so einem etwas verspielten Stil natürlich. Aber ich denke, das ist erstmal in Ordnung. Wir können das nehmen, können wir jederzeit anpassen. Es geht ja hier jetzt erstmal um das Beispiel. So, das können wir uns jetzt herunterladen und wenn ihr euch das runtergeladen habt, dann müssen wir uns natürlich irgendwo einen Ort aussuchen, wo wir unser Projekt aufbauen und wo wir diese Ressourcen ablegen.

Ich habe jetzt hier mal in unserem Def Ordner einen neuen Ordner angelegt, der heißt Short Machine. Den könnt ihr nennen, wie ihr wollt. Das wird unser Projektordner sein. Und genau hier können wir dann auch aus unserem Downloads Bereich schon mal die Datei ablegen. sage einfach hier an der Stelle Avatar, dass wir das schon mal ein bisschen aufgeräumt hier binnen und genau dann brauchen wir Cloud. Cloud habt ihr eben gerade installiert.

Ihr könnt die Desktopversion nehmen. Wir nutzen heute das Terminal nicht erschrecken. Ich zeige euch ganz genau, wie das geht. Ihr braucht euch keine Sorgen machen. Es ist einfach mein bevorzugter Weg zu Dafür öffnet ihr eine Power Shell. Das tut ihrem bei Windows einfach nach Powerhell sucht und dann habt ihr hier so ein Terminal. So, jetzt müssen wir in den Ordner gehen, den wir gerade erstellt haben. Das tun wir, indem wir beispielsweise erstmal mit CD Change Directory in Ordner D gehen bzw.

Festplatte D. Da ist nämlich bei mir das drauf. Bei mir ist es in Def, das könnt ihr mit CD change directory Def. Wenn die Tabulatortaste drückt, macht er hier so ein Auto complete und dann hat der Ordner bei mir Short Machine geheißen. Drücke hier Enter, dann sind wir in dem Ordner entsprechend drin und hier können wir Cloud starten, indem wir einfach Cloud eingeben. Ich drücke Enter und dann haben wir hier Cloud gestartet.

Shift und Tabulatortastel führt zum Auto Mode, damit wir nicht die ganze Zeit Berechtigung haben, die gefragt werden müssen und damit können wir jetzt hier direkt Cloud benutzen. Des weiteren empfehle ich noch ein Tool Whisperflow, damit wir nicht manuell schreiben müssen, sondern einfach diktieren können. Und als nächstes gehen wir jetzt hin und fangen mal an zu planen, wie wir eigentlich vorgehen. So, ich würde vorschlagen, wir werden als allererstes drei Ressourcen uns raussuchen aus Instagram.

Ich habe hier schon drei Links mir rausgesucht. Also, wir nehmen einfach drei dieser entsprechenden Videos und dann bereiten wir unseren Prompt vor, den wir der KI geben. Das ist in dem Fall beispielsweise sowas wie nachfolgend findest du drei Instagram Reals. So, dann gehen wir hin, sagen so viel wie diese drei Reels folgen einem spezifischen Konzept. Wir möchten genau solche Reels produzieren, aber mit einem eigenen Avatar.

Wir benötigen hierfür eine Möglichkeit solche Animationen zu erstellen. Das werden wir mit Hyperframes machen. Hyperframes, für die, die es nicht kennen, ist ein Tool von, ich glaube sogar äm Hayen. Genau. Aber Open Source gibt's hier ein Gitub Seite eben quasi Programmcode, den Cloud Code benutzen kann, um eben Animation und sowas zu erstellen, ne? gerade sowas, was wir in der Richtung machen. Das heißt, wir gehen hin und sagen so viel wie äh Moment, das müssen wir zunächst installieren.

Ich gebe ih mir hier das entsprechende Repository als Link. Und jetzt würde ich so viel sagen und damit wir diesen Stil exakt nachbauen können, möchte ich, dass du dir diese drei Instagram Reels ganz genau anguckst. und eine Datei formulierst, also wirklich so eine Style Datei, die ganz genau beschreibt, wie diese Animation aussehen, wie diese Animation ablaufen, wie die Animation eingebettet werden, damit wir auch in der Lage sind, exakt im gleichen Stil solche Animationen zu erstellen.

So und ihr seht, ne, ich transkribiere hier viel. So baue ich meine Prompts. Ich mache das ganze iterativ beim Reden an der Stelle und ich glaube, das reicht fast schon. Aber wir könnten noch weiteren Kontext geben und jetzt sowas sagen wie für den Avatar haben wir bereits selbst ein Bild hinterlegt. Das ist ein Bild, das aus mehreren Personen besteht bzw. mehreren Abbildern der gleichen Person. Hier musst du das Ganze entsprechend zuschneiden und so ähm vom Hintergrund freistellen, dass wir jede dieser Person einzeln mit ihrer Gesichtsexpression nutzen können.

Baue hierfür einen entsprechenden Ordner auf und los geht's. Okay, das reicht für den ersten Prompt jetzt wirklich. Wir kopieren uns das Ganze hier einmal, kann das Ganze hier rausnehmen, gehen in unser Terminal rein, packen das Ganze hier rein mit Rechtsklick könnt ihr das machen. Das ist ein bisschen ungewohnt. Steuerung V kennen viele von euch, sollte glaube ich auch gehen, aber mit Enter können wir das Ganze jetzt einfach abschicken und wir warten mal, bis das ganze durch ist.

Ganze 42 Minuten später ist ja hier fertig prompt. Hat also echt ein bisschen gedauert, aber wir gucken uns mal an direkt im Ordner, was wir bekommen haben. Wir haben hier einen Assets Ordner, den er gebaut hat. Hier gibt's in Ord Avatar und hier sehen wir beispielsweise Heads, da hat er die ganzen Köpfe ausgeschnitten. Hier haben wir Poses, da gibt's die ganzen verschiedenen Posen. Wir haben hier eine Preview, da sind irgendwelche Renderings drin.

Und wenn wir mal zurückgehen, dann sehen wir, wir haben hier auch Demo Stil. Hier gibt es beispielsweise Renders. Und hier haben wir ein erstes Beispiel bekommen. Das gucken wir uns einmal ganz kurz an. Ihr seht jetzt hier, also okay, das geht schon in die Richtung. Wir sehen hier ein unter Ja, das ja Subunterschrift. Wie nennt man das? Ihr wisst, was ich meine. Untertitel so rum Subtitles. Und äh genau, das sieht gar nicht malhr schlecht aus.

Ich würde jetzt sagen, der müsste hier etwas größer werden. Wir müssen da mal ein sinnvolles Beispiel probieren. Wir müssen jetzt unsere Stimme noch mit reinkriegen und äh vielleicht fangen wir einfach mal damit an, um eine Stimme tatsächlich zu bekommen, brauchen wir unsere eigene Stimme oder eine professionelle Stimme. Wir nutzen dafür 11 Labs. Da habe ich nämlich eine Stimme von mir erzeugt. Könnt ihr einfach machen.

Geht auf die Seite 11 Labs. Dann gibt es hier einer Stelle die Stimmen und da könnt ihr aus 1000 Stimmen auswählen oder ihr habt eben auch eine eigene Stimme, die ihr trainieren könnt. Mal gucken, wie man es macht. Ihr könnt hier auf Stimme erstellen klicken. Dann könnt ihr hier professionellen Stimmklon oder sofortigen Stimmcllon nutzen. Und genau, es gibt die Möglichkeit, das anzubinden an Cloud, also dass Cloud das sich hier zu nutzen machen kann und hier eben solche Audiateien mit der eigenen Stimme erzeugen kann.

Dafür braucht ihr ein API Key. Hier unten gibt's bei Entwickler den Reiter. Da könnt ihr entsprechend ähm gucken API Schlüssel. Könnt ihr hier einen entsprechenden Schlüssel erzeugen. Und was wir jetzt benötigen, wir müssen diesen Schlüssel nehmen. Wir gehen in unser Projekt rein, gehen auf die oberste Ebene und erstellen hier eine neue Datei. Die Datei nennen wir punv. Wichtig, das ist keine Textdatei, sondern das ist die Datei Endung.

Ich führe hier mal aus. Wir kriegen hier die Benachrichtigung, dass die Dateinamenerweiterung und möglicherweise das ganze umbrauchbar macht. Können wir ignorieren. Mache jetzt Rechtsklick und sagen im Editor bearbeiten. Also einfach einen ganz normalen Texteditor, mit der ihr das ganze hier an der Stelle öffnen könnt. Hier können wir jetzt Passwörter reinschreiben und da kommt jetzt sowas rein wie 11 Labs RP Key. Also das ist der Schlüssel mit den eben unser Cloud sich an 11 Labs verbinden kann.

Er braucht so eine Art Passwort. Und diesen Schlüssel, den können wir uns hier an der Stelle erzeugen lassen. Wir sagen hier Schlüssel erstellen. Wir sagen hier, der verfällt beispielsweise nie. Und wir könnten den Schlüssel jetzt einschwenken, also sagen, dass er nur bestimmte Sachen darf, wie beispielsweise nur Text zu Sprache. Da geben wir mal Zugriff drauf. Jetzt gibt's hier noch ganz viele andere Dinge wie Soundeffekte.

Vielleicht brauchen wir das irgendwann mal. Sprache zu Text, vielleicht brauchen wir das. Und ja, genau. Das reicht aber erstmal. Dann gehen wir hier an der Stelle hin und sagen, wir stellen den Schlüssel. Den Schlüssel könnt ihr euch jetzt einmal kopieren und genau zeigt den niemanden. Dann öffnet ihr hier eure Datei, speichert die an der Stelle ab. Wir brauchen noch eine zweite Sache, nämlich die 11 Labs Voice ID, nämlich die ID, also eine Präferenzierung unserer Stimme.

Und unsere Stimme, die finden wir unter Stimmen. Die habe ich hier bereits ja, wie gesagt, erstellt. Jetzt muss mal kurz gucken, wo die ist. meine Stimmen und dann gehen wir hier auf Sebastian. Ihr könnt auf die drei Punkte klicken und sagt hier Stimmen ID kopieren. Öffnen wir wieder die Datei, speichern das rein, drücken auf speichern. Ganz wichtig, können die Datei schließen und genau, dann gehen wir jetzt hier entsprechend bei uns in das Terminal wieder rein oder einmal vorab in Sublime, wo wir hier ein bisschen was schreiben können.

Das leckt gerade rum. So. Und wenn wir hier in dem Ding sind, können wir unser neuen Prompter stellen. Also, wir haben uns das erste Video mal angeguckt, den ja, Render, den du gemacht hast, die Vorschau. Das sieht eigentlich ganz gut aus. Allerdings, ich möchte hier, dass mein Avatar deutlich größer ist. Der ist nämlich viel zu klein. Den müssen wir so an der unteren linken Ecke ja orientieren. Den können wir hochskalieren.

Der kann, die Füße können auch so ein bisschen aus dem Video rausragen. Das ist vollkommen in Ordnung. Kopf sollte ungefähr bis zur Mitte gehen, wie das hier auch der Fall ist. Jetzt möchten wir natürlich noch eine Stimme benutzen, um dieses Video zu vertonen und hierfür möchten wir 11 Labs nutzen. Ich habe dir entsprechend schon eine Environment Datei hinterlegt in unserem Projekt und genau da findest du dann entsprechend den AP Key und die Voice ID für 11 Labs.

So, das ganze Transbieren wir natürlich wieder. gehen jetzt einmal hier noch runter und sagen so viel wie das sollte dann alles sein, um schon mal wirklich ein Video erstellen zu können. Und jetzt möchten wir ein allererstes Video dann auch wirklich erzeugen mit einem ganz konkreten Beispiel. Die Idee für die Idee für mein Thema ist, dass wir hingehen und äh über das Thema sprechen, dass viele Leute KI nutzen, um Programmier ja Aufgaben zu erledigen, also um Ideen zu verwirklichen, Programme, aber die meisten Leute, die Wipe Coding betreiben, eben nicht in der Lage sind, diese Projekte dann wirklich bereitzustellen. dass das die eine Sache ist, die man lernen muss und warum das eigentlich der Fall ist.

Also beispielsweise über das Thema Load Balancing, ne? Es ist etwas, was viele nicht wissen. Ähm IT-inrastruktur, was passiert eigentlich, wenn man mehrere Nutzer auf dem Projekt hat? Und das Video soll informativ sein, erklärend ruhig auch ein bisschen humorvoll. Du sollst hier ein Script ausarbeiten. Das Script sollst du dann mit dem Voiceover verton vertoneln und dann möchte ich, dass du damit eben mit äh ein entsprechendes Video generierst und die ganzen tollen Animationen uns baust.

Wir prüfen dann im Anschluss, ob das alles passt mit dem Animation. Ich gebe dir Feedback und dann versuchen wir das Ganze in einen Skill zu packen, der uns dann zukünftig solche Videos erstellen kann. So, das ist der Prompt, den schicken wir dann einmal ab. Ich habe den jetzt nicht richtig kopiert. Wieder ca. 30 Minuten später haben wir jetzt also unser Video und wir gucken mal in das Projekt rein. Wir sehen jetzt hier Wipe Coding Deployment.

Klick mal drauf und dann gehe ich mal direkt in den Renders Ordner rein, ohne mir hier das alles anzugucken. Wobei ja, gucken wir mal, was haben die Avatare hier? Gut, das sind die klassischen Standardabatare, die wir schon gesehen haben. Hier scheint es nicht viel Neues zu geben, aber im Rendering Ordner liegt jetzt das Video und das gucken wir uns einmal kurz gemeinsam an. Du hast eine App gebaut mit KI an einem Wochenende.

Sie funktioniert, aber öffnen kann sie genau einer, du. Denn deine App ist ein Programm und dieses Programm läuft auf deinem Laptop, sonst nirgends. In der Adresszeile steht Local Host, das heißt wörtlich dieser Rechner hier. Diese Adresse gibt es nur auf deinem Gerät. Tippt dein Freund sie ein, landet er auf seinem eigenen Rechner, nicht bei dir. Dein Laptop hat keine Adresse im Internet. Er steht hinter deinem Router und nachts ist er zugeklappt.

Okay, vielleicht schon mal kurz hier Pause. Also grundsätzlich ich find's cool, ne? Wir merken die Audio. Ja, das ist jetzt noch nicht so perfekt. Das liegt aber vorrangig daran, dass mein Voice Clone sich einfach nicht so natürlich anhört. Wenn ihr bei Elem Laabs Stimmen raussucht von anderen ja Charakteren oder Stimmen, die es so schon gibt, dann sind die deutlich professioneller. Also das wäre etwas, wo man hier nachbessern könnte.

Vielleicht muss ich auch einfach mal ordentliches Audiomaterial hochladen, um eine bessere Stimme zu erzeugen. Aber an sich schon ziemlich cool. Gucken wir mal weiter. Es ist also nichts kaputt. Es gibt nur nichts, worauf man zeigen könnte. Deployin löst genau das. Du kopierst dein Programm auf einen fremden Rechner, einen, der immer läuft und eine öffentliche Adresse hat. Das nennt man einen Server. Dann sagst du deiner Domain: "Zeig auf diese Adresse.

Ab jetzt kann jeder deine App öffnen. 10 Leute, 100 Leute. Der Server macht das nebenbei und genau hier hören die meisten Anleitungen auf. Zurecht: Lange Zeit reicht das völlig, bis dein Video läuft, denn dein Server ist ein Rechner mit einem Programm. Er nimmt eine Anfrage nach der anderen dran. Stell dir einen Supermarkt mit genau einer Kasse vor. 10 Kunden, kein Problem, 1000 Kunden gleichzeitig. Die Schlange wird länger, die Kasse wird nicht schneller.

Irgendwann ist der Arbeitsspeicher voll." Dann antwortet der Server gar nicht mehr. Deine Nutzer sehen einen Ladekreis und sind weg. Die KI hat dir das nie gesagt. Sie wurde ja auch nicht gefragt. Die Lösung ist simpel. Mehr Kassen, also mehr als ein Server. Nur dein Browser kennt genau eine Adresse. Er weiß nicht, welcher Server gerade frei ist. Deshalb stellst du jemanden an den Eingang. Ein Load Balancer. Jede Anfrage kommt zuerst bei ihm an und er schickt sie weiter.

Rei um erste Anfrage Server 1, zweite Server 2, dritte Server 3 oder immer zu dem, der gerade am wenigsten zu tun hat und alle paar Sekunden fragt er nach: "Lebst du noch?" Okay, also erstmal stark, das ist schon Wahnsinn. Also, wir haben jetzt hier mit äh ich weiß gar nicht, wir haben zwei Prompts gemacht oder so, ähm das gesamte Ding hier aufgehört. Das müsst ihr euch wirklich mal vorstellen. Also, was ist jetzt mein Ratschlag an euch?

Das ist natürlich von der Qualität immer noch nicht ganz so gut wie das, was wir bei Instagram gesehen haben. Das liegt vorrangig an der Stimme, ne, und natürlich an dem Avatar. Also diese Stimme von Rick, die ist sehr gut wiedererkennbar, ne? Das kann man leicht eben klonen. Da gibt es auch solche Stimmen im Internet. Punkt Nummer 1. Punkt Nummer 2 ist, dass man dann bestimmt noch ein bisschen sich das überlegen kann.

Vor allem das Script, ne? Was will man hier eben bauen? Hier müssten wir noch ein bisschen nachfallen. Also, was ist eigentlich das für eine Videoidee? Ich meine, ich habe ja hier einfach nur gesagt, ey, ich will ein Video darüber machen. Wenn ihr selbst das Skript optimiert, kann man so aber wirklich innerhalb von ja 30 Minuten alles vorbereiten, wenn man eben wirklich sich ein bisschen selber Mühe auch gibt und dann das Ganze rändern lassen und schon habt ihr ein Short.

Also, es gibt keine Ausreden mehr kein Social Media zu machen. Lasst euch da was cooles einfallen. Ich hoffe, das hat euch als ersten Einstieg geholfen. Ihr könnt das so nehmen und dann jetzt weiterentwickeln. Wie gesagt, alle Ressourcen findet ihr unten in der Videobeschreibung und ich würde sagen, wir sehen uns im nächsten Video. Bis dahin viel Spaß.