{
  "video_id": "ns9f1fjLD7Y",
  "channel_slug": "aidotengineer",
  "channel_handle": "aidotengineer",
  "title": "Build Real Apps with DeepMind's Model Suite — Paige Bailey & Guillaume Vernade, Google DeepMind",
  "duration_seconds": 6875.0,
  "url": "https://www.youtube.com/watch?v=ns9f1fjLD7Y",
  "upload_date": "",
  "transcript": "Mein Name ist Paige.  Ich beschäftige mich schon seit langer Zeit mit\nmaschinellem Lernen.  Um\n2009/2010. Ich habe hauptsächlich\nmit [Name des Unternehmens] gearbeitet, obwohl es sich wie eine Ewigkeit anfühlt\n.  Ich habe mich erst kürzlich mit einem\nFreund darüber unterhalten.  Ähm, damals, in den Jahren\n2009 und 2010, war es noch ziemlich verrückt, dass\nUnternehmen überhaupt Open-Source-\nSoftware für geschäftskritische Aufgaben einsetzen würden.\nÄhm, und so habe ich zu Dingen\nwie NumPy, Sci-Fi und so etwas\nwie kleinen Antennen und\nMikrofonen beigetragen.  Ähm,\nja.\nSicher.  Cool.  Cool.  Ähm, also numpy, scypi, äh\nmapplot lib, deren\nVerwendung immer noch genauso qualvoll und schmerzhaft ist.  Ähm,\nscikitlearn, sozusagen die Anfänge des\nwissenschaftlichen Rechnens.  Ähm, und habe\nschließlich als Ingenieur angefangen zu arbeiten\n.  Mein Hintergrund liegt im\nBachelorstudium in Geophysik und angewandter Mathematik und im Masterstudium in Informatik\nund Karbonatgeologie\n.  Und so begann ich bei\nChevron mit Arbeiten im Bereich der Untergrundgeowissenschaften, wobei ich\nviele Dinge tat, wie Geschwindigkeitsmodellierung\n, Bohroptimierung unter Verwendung\nsehr einfacher Modelle des maschinellen Lernens\nund auch einige groß angelegte Berechnungen.\nWenn also einige der Zuhörer, ähm, auch\ngraue Haare haben wie ich, erinnern Sie sich vielleicht an\nCloudera, ähm, eines\nder ersten Unternehmen, das einige\nder Open-Source-Frameworks und -Tools ähm\nfür den Einsatz durch\nFortune-100-Unternehmen verfügbar gemacht hat.  Ähm, also Dinge wie\nSpark, ähm, ein Großteil des Databricks-Teams\nkam aus der Cloudera-Welt.  Und so habe\nich dort ganze Maschinencluster aufgebaut\n.  TensorFlow wurde schließlich um\n2015, gegen Ende der Open-Source-Ära, veröffentlicht.  Und ich habe\nangefangen, dazu beizutragen.  Die\nGeowissenschaften setzen stark auf\nGPUs.  Sie beschäftigten sich sogar schon mit GPUs, bevor es\ndie Welt des maschinellen Lernens gab, und\nich hatte daher Erfahrung mit CUDA und\nallen zugehörigen Tools. Als\nTensorFlow zum ersten Mal veröffentlicht wurde,\nunterstützte es nur CPUs.  Ich bin mir nicht sicher, wie\nbekannt das ist, aber es ging um\nverteiltes Deep Learning über\nCPUs hinweg, und sie brauchten jemanden, der ihnen dabei half,\nGPUs\nmit TensorFlow zum Laufen zu bringen.  Ähm, das ist\nauch der Grund, warum es\nim ursprünglichen TensorFlow 1-\nFramework drei verschiedene Codepfade gibt, weil sie\ndas Backend komplett umbauen und es für CPUs,\nGPUs und TPUs sowohl für\nEinzelknoten als auch für verteilte Berechnungen\nüber mehrere Knoten hinweg ersetzen mussten.  Ähm, das war's im\nGrunde.  So wie ich meine gesamte\nKarriere der Open-Source-Software und den\nOpen-Source-Modellen verdanke.  Und\ngenau aus diesem Grund wurde ich bei Google eingestellt.  Ähm,\nund dann habe ich für\netwa ein Jahr bei GitHub an VS Code gearbeitet, das ja auch\nOpen Source ist, und an frühen\nBenutzererfahrungstests für C-Pilot, und bin dann zurückgekehrt, um\nan unseren großen Modellen zu arbeiten.\nÄhm, und ich war also Teil der ursprünglichen\nTeams von Palm 2, Gemini und Gemma.   Ja.  Das\nist also die Reise.  Ich bin mir nicht sicher.\nWie gesagt, ich bin mir nicht sicher.  Das ist\ninteressant.\nDu musst bald aufbrechen.  Du sagtest, ich solle um\n4:15 Uhr da sein, weil ich Besprechungen habe, äh,\nwir haben Führungsteamsitzungen von\netwa 4:30 bis 5:30 Uhr.   Ja.\nUnd Gon wird hier sein.  Und dann wird\nmöglicherweise auch unser Kollege\nIan kommen.\nMöglicherweise, weil ich stundenlang etwas sage\n.  Ich glaube, es wird genug\nGutes geben.   Ja\n.  Falls es jemanden interessiert:\nOpen Source ist eine großartige Möglichkeit,\nmit dem Team zusammenzuarbeiten, um herauszufinden,\nob man mit ihnen arbeiten möchte, und um\nsicherzustellen, dass Ihre Veröffentlichung...\nIch würde Ihnen gerne meine Schätzung zeigen,\nwie viele Sterne Sie erhalten haben.\nWow.  Exzellent.  Gute Arbeit.\nIch hole euch jetzt ein.\nRechts?  Wenn man\nsieht, dass alle in die gleiche Richtung sprinten,\nist das normalerweise ein deutliches Zeichen dafür, dass\nes das Falsche ist.  Ähm, und so weiter, zum Beispiel,\noder so etwas, wozu\ndas Modell irgendwann in der Lage sein wird\n.  Eines meiner\nLieblingsbeispiele dafür ist, dass\ndie Modelle bei ihrer ersten Veröffentlichung\nKontextfenster von etwa 8.000 bis\n16.000 Token hatten, und deshalb beeilten sich alle,\neine Vektordatenbank zu erstellen,\nweil sie dachten: „Wir müssen\ndiese Einschränkung umgehen, dass die\nModelle dieses sehr kleine Kontextfenster haben.“\nUnd natürlich wurde\ndieses im Laufe der Zeit erweitert.  Ähm, da gibt es noch ein anderes\ngroßartiges Beispiel dafür, wie\nalle eifrig daran arbeiten, Feinabstimmungen\nder Modelle zu erstellen, um verschiedene\nSprachen zu unterstützen.  Nun unterstützen die Modelle allerdings\neine Vielzahl von Sprachen.  Wenn Sie\nheute bei einigen Google DeepMind-Sitzungen mitgehört haben, konnten\nSie das bereits in Aktion sehen.  Und\nauch viele unserer Konkurrenzmodelle\nunterstützen mehrere Sprachen.  Und so\ndenke ich, dass wir auch gesehen haben, wie alle sich beeilten,\nein Agenten-Framework zu entwickeln,\nobwohl die Realität meiner Meinung nach ist, dass all\ndas wahrscheinlich\nirgendwann in das Modell integriert werden wird.  Ähm,\nund außerdem stürzen sich alle darauf,\nDinge wie den Aufbau von MCP-Servern zu entwickeln, während sich die\nmeisten Leute mittlerweile\nvon MCP-Servern abgewandt haben und sich\nFähigkeiten aneignen, die im Grunde nur ausgefallene Markdown-\nDateien sind.  Ähm, und dann\nkönnte man sich natürlich langfristig vorstellen, so etwas wie: „Hey, ich\nmöchte einfach einen kleinen Zuhörer, der\nalles beobachtet, was ich tue, und der\nautomatisch im Hintergrund Fähigkeiten\nfür mich entwickelt, die ich dann nutzen kann.“  Und wir fangen an\n.  Ja.  Ja.\nIch wollte sagen, dass ich dem nicht unbedingt\nzustimme, denn ihr bedient zwar immer\ndie meisten Anwendungen, aber eben auch sehr, sehr\nspezielle. Zum Beispiel wird\nGoogle daran nicht arbeiten, wo ich tätig bin\n.  Um es gleich vorwegzunehmen: Bei\nunserer\nersten Implementierung von Palm 2 und unserer\nersten Implementierung von Gemini mussten wir\neine feinabgestimmte Version namens MedLM und\neine namens MedPalM entwickeln, um medizinische\nAnwendungsfälle zu unterstützen.  Nun sehen wir, dass all\ndiejenigen, die zuvor\nauf diese Feineinstellungen angewiesen waren, Gemini jetzt einfach so verwenden,\nentweder mit der\nAbfragefunktion oder mit einer benutzerdefinierten Eingabeaufforderung,\nda alle Daten, die wir für\ndiese Feineinstellungen verwendet haben, jetzt\nin Gemini selbst integriert sind.\nAber da ist das Problem der\nReproduzierbarkeit.  Sie werden nicht\ndie gleichen Ergebnisse erzielen.  Das wird\nschwerwiegende\nKonsequenzen haben.\nKein großes Sprachmodell ist also\ndeterministisch.  Nun ja, das wird so oder so ein\nProblem sein.  Ähm, aber ich stimme zu, dass es da draußen...\nwissen Sie, ich\ndenke, ein Großteil des Erfolgs wird daher rühren, dass man eine\nsehr eigene\nMeinung zu den Anwendungsfällen hat und in der Lage ist,\ndirekt mit den Kunden zusammenzuarbeiten und\nihre Probleme zu lösen.  Ähm, damit wäre das\nein perfekter Übergang zur heutigen\nSitzung.  Also, liebe Freunde, ich grüße euch alle.\nDanke, dass du mutig warst und\nzurückgekommen bist.  Ähm, ich weiß, dass es viele\nLeute gab, die\nheute Morgen nicht an einigen unserer\nSitzungen teilnehmen konnten.  Also, mal kurz zur\nHand: Wer von euch ist heute\nNachmittag zurückgekommen, war heute Morgen nicht da oder so? Wir waren echt cool\n.  Exzellent.  Also,\nwir haben heute eine besondere Überraschung für euch.  Was\ndie Sitzungen betrifft, die wir zuvor abgehalten haben, werden\nwir im Grunde eine Zusammenfassung davon machen\n.  Wir werden also alle\nBeispiele durchgehen.  Ähm, Sie werden\nnicht das Gefühl haben,\netwas verpasst zu haben.  Ähm, und äh, ich werde ein bisschen\nim AI Studio und im Bereich Antigravitation arbeiten.  Ähm,\nund dann ist da noch mein Kollege\nGom, und Sie können auch einen meiner\nAgenten sehen, der gerade am\nComputer arbeitet und im Internet surft.  Ähm, äh,\nich werde die Verbindung kurz unterbrechen,\ndamit wir nicht versehentlich\netwas sehen, das vielleicht nicht\ngeteilt werden sollte.  Ähm, und dann äh, gehe ich\ndirekt in die Diashow-Ansicht.\nEindrucksvoll.  Also, äh, Grüße an alle.  Mein\nName ist Paige.  Ähm, also ich freue mich sehr,\nheute hier zu sein.  Ähm, und ich\nfreue mich besonders darauf, Ihnen all\ndie Dinge zu zeigen, die wir bei\nGoogle DeepMind im Laufe des\nletzten Jahres, ähm, der letzten sechs Monate gemacht haben.\nEs war eine aufregende Zeit und noch nie in meiner\nKarriere war ich so begeistert davon, als\nMachine-Learning-Ingenieur in\ndiesem Bereich zu arbeiten.  Ähm, in den letzten\nanderthalb Monaten fühlte es sich ein bisschen\nwie ein Schleudertrauma an.  Ähm, wir haben eine Menge\nverschiedener Dinge veröffentlicht.  Ähm, also Gemini 3.1\nFlash Live, ähm, das wir uns gleich ansehen werden\n, äh, das ermöglicht es Ihnen, in\nEchtzeit\nmit dem Model zu kommunizieren.  Ähm, Gemini 3.1 Pro und\nFlash Light, ähm, unser\ngrößtes bzw. unser sehr, sehr kleines, aber\nsehr leistungsfähiges Modell.  Ähm, die sind auch\nsehr kosteneffektiv und sehr leistungsstark.\nÄhm, Augment Code, falls Ihnen der Name etwas sagt\n, das ist ein Unternehmen aus der Bay\nArea.  Sie haben erst kürzlich\nihre gesamte Agenteninfrastruktur\nauf Gemini 3.1 Pro umgestellt, und zwar standardmäßig, und zwar speziell\nwegen des besseren Preis-Leistungs-Verhältnisses.\nEs kann mit\nsehr wenig\nGeld wirklich viel Gutes bewirken.  Außerdem gibt es noch Nano Banana 2 für die\nBildgenerierung und Bildbearbeitung, einschließlich der\numgekehrten Bildersuche, auf die wir gleich noch eingehen werden\n.  Und\nSie werden von meinem\nKollegen Guom hören, unserem Experten für\ngenerative Medien.  Unser Embedded 2.0-\nModell ermöglicht es Ihnen, Video,\nAudio, Bilder, Code und Text im\nselben Einbettungsbereich einzubetten.  Also, man kann zum Beispiel sagen: „\nZeig mir alles, was du über\nLamas hast“, und dann sieht man alles Mögliche,\nvon ausgestopften Lamas über Bilder und\nVideos von Lamas bis hin zu Fragen wie: „Wie klingt es,\nwenn ein\nLama Geräusche macht?“, denn ich weiß es nicht, aber\ndas Modell macht es irgendwie.\nÄhm, LIA 3 für die Musikgenerierung, Genie3\nfür den Aufbau von Weltmodellen, ähm, unsere Full-\nStack-Runtime mit AI Studio, die es\nIhnen ermöglicht, Datenbanken OOTH zu integrieren.\nÄhm, benutzerdefinierte API-Schlüssel, wenn Sie\nandere Dienste nutzen möchten, und eine ganze Reihe\nweiterer Dinge.  GIMA 4 für offene Modelle.\nÄhm, wir haben es erst letzte Woche unter\neiner Apache 2-Lizenz veröffentlicht, was wirklich\naufregend ist, wenn Ihnen offene Modelle am Herzen liegen.\nUnd dann noch VO3.1 Licht für die\nVideoerzeugung.  Ähm, also eine riesige Anzahl von\nDingen auf einem breiten Spektrum von\nOberflächen.  Und ein Grund dafür\nist, dass Gemini\nin der Branche in mancherlei Hinsicht einzigartig ist.  Eine davon\nist, dass es von Natur aus\nmultimodal ist.  Es kann also Video,\nBilder, Audio, Text, Code\nund all das gleichzeitig verstehen.  Ähm, aber\nes kann auch mehrere Modalitäten ausgeben.\nEs kann also Text ausgeben, es kann\nCode ausgeben, genau wie alle anderen\nKonkurrenten auf dem Markt.  Ähm, aber es\nkann auch Bilder ausgeben, es kann\nBilder bearbeiten, es kann Bilder und Text\nverschachtelt ausgeben und es kann auch Audio-\nTokens ausgeben.  Ähm, also äh, also ziemlich\nüberzeugende Anwendungsfälle.  Ähm, aber ich denke,\nes ist viel interessanter, es zu sehen, als wenn\nich nur\npoetisch darüber schwärme.  Ähm, und dazu werde ich jetzt\nganz kurz ins AI Studio gehen.\nÄhm, und wir werden uns nun\neinige der Dinge ansehen, die Zwillinge können.\nÄhm, also zunächst einmal: Wie viele Leute haben\nAI Studio schon einmal benutzt?  Ähm, ausgezeichnet.\nIch bin sehr, sehr froh, dass alle Deep\nMinders ihre Hände gehoben haben.  Ähm,\naber für Leute, die das noch nicht getan haben,\nist AI Studio so ziemlich der beste Ort, um\nZugriff auf die Modelle von DeepMind zu erhalten, sobald\ndiese veröffentlicht werden.  Ähm, wir haben eine\nSpielplatzfunktion.  Wir haben auch eine Build-\nFunktion, die wir gleich sehen werden,\ndie vzero.dev oder lovable sehr ähnlich ist\n.  Ähm, hier rechts können Sie verschiedene\nModelle auswählen.\nWenn ich auf den Modellnamen klicke,\nsehen wir verschiedene Funktionen, von\nGemini bis hin zu Live-Funktionen wie Bild-,\nVideo-,\nAudio- und Musikwiedergabe. Außerdem gibt es noch\nunsere Gemma Open-Modellfamilie, die\nwir uns gleich genauer ansehen werden.\nSie können verschiedene Modelle für\ndie Geschwindigkeit auswählen. Ich wähle die\nGemini 3.1 Taschenlampen-Vorschau.  Ich nutze außerdem\nmeine eigene Instanz von AI Studio, um die\nKosten zu senken.\nÄhm, also Gemini 3.1 Flashlight liegt bei etwa\n25 Cent pro analysierter Million Token.  Ähm, was\nwirklich sehr, sehr gut ist.  Äh, fast\neine Größenordnung niedriger als bei unserem\nGemini 3.1 Pro-Modell.  Ähm, und es kann\nimmer noch Video, Audio usw. analysieren. Ähm,\nes ist nur viel ressourcenschonender,\nwas bedeutet, dass man möglicherweise nicht immer\ndie gleichen großartigen Funktionen erhält.  Ähm,\naber normalerweise funktioniert es ziemlich gut.\nUnd man kann damit alles Mögliche machen, von der\nBildanalyse bis zur Videoanalyse.\nWenn ich zum Beispiel nach einem\nYouTube-Video suchen würde, das aussieht wie ein Dinosaurier, dann würde das wahrscheinlich so aussehen.  Ähm, wir haben diesen\nRexy, den kleinen T-Rex, schon einmal benutzt.  Ähm,\nich weiß also, dass es funktioniert.  Ähm, aber äh, aber ich werde äh,\nvielleicht dieses hier finden, äh,\nCarnado, äh, das ist äh, das\nsieht nach einem sehr, sehr\nlangen Video aus, also ungefähr eine Stunde lang.  Ähm, wir\nkönnten es vielleicht etwas zerkleinern.  Wenn\nSie aber auf dieses Pluszeichen klicken, sehen Sie,\ndass Sie verschiedene Dateien hinzufügen können.  Sie\nkönnen also Dateien von Drive hinzufügen,\nvon Textdateien bis hin zu\nPDFs.  Ähm, man kann Dateien direkt hochladen.\nSie können Audio live aufnehmen.  Ähm,\nKameraaufnahmen hinzufügen.  Fügen Sie einen Link zu einem YouTube-\nVideo hinzu, das werden wir jetzt tun.  Ähm, also\nfüge ich den Link zum YouTube-\nVideo ein.  Ich wähle eine Startzeit von 0 Sekunden\nund eine Endzeit von etwa 300 Sekunden. Ähm, und\nes erfasst ungefähr ein Bild pro\nSekunde.  Ähm, und dann sieht man hier, dass es sich um\n30.000,\näh, 30.900\nToken handelt.  Ich werde dafür sorgen, dass die\nGoogle-Suche rechts abgeschaltet wird\n.  Und ich werde sagen: Bitte\nerstellen Sie eine Tabelle mit Zeitstempeln für alle\nDinosaurierarten, die Sie\nin diesem Video sehen.  Ähm, vergessen Sie nicht, zu\njedem Dinosaurier eine interessante Tatsache hinzuzufügen.  Ähm, für\nall die anderen Dinosaurier-Experten, also die\nHobby-Dinosaurier-Experten hier im\nRaum: Ihnen ist vielleicht aufgefallen, dass da\nCarnonosaurus stand.  Ich bin skeptisch, dass das ein\nechter Dinosaurier ist.  Ähm, also, äh,\nwir werden sehen.  Wir werden sehen, was passiert.  Ähm,\naber was da im\nHintergrund passiert, ist Folgendes: Dem Modell wird\ndieses YouTube-Video zur Auswertung zugesendet.  Und\nes geht nicht nur um die Metadaten\ndes YouTube-Videos, sondern auch\num das Video selbst, Bild für Bild.  Und eine\nFrage: Hat sonst noch jemand\nProbleme damit, die\nEinstellungen zu sehen, oder könnte man\ndie Beleuchtung ändern?  Oh, ist es so besser?\nOh, ausgezeichnet.  Eindrucksvoll.  Ähm, also, das war's äh, vielen Dank\nfür die\nAnfrage.  So wie ich es gemacht habe, kann ich es\nperfekt auf meinem Bildschirm sehen.  Normalerweise\nreizt der helle Modus meine Augen etwas,\naber solange es so ist, ist es besser.\nUnd so, ähm, das hat im Video geklappt.  Es\ndefinierte die verschiedenen Dinosaurier, die es\nsieht.  Ähm, da steht, dass der Name „\nvermittelnder Stier“ bedeutet.  Um erwähnte\nTriceratops.\nÄhm, und dann wurde auch noch erwähnt, dass\nPyranodons nicht unbedingt\nDinosaurier sind.  Es handelt sich um eine Gruppe fliegender\nReptilien.  Und wenn ich dann\nden Code, der\nzur Generierung dieser Benutzererfahrung verwendet wurde, erhalten und ihn\nin meiner eigenen App nachbilden möchte, muss\nich nur auf „Code abrufen“ klicken, und\ndas Modell wird automatisch konfiguriert.\nEs konfiguriert die URL, die ich\neingegeben habe, den Offset\nfür das Video, die Eingabeaufforderung, die ich verwendet habe,\nund es ist in Typescript, Python oder\nIhrer bevorzugten Sprache geschrieben\n.  Kurz gesagt: Wenn es\nin AI Studio funktioniert,\nfunktioniert es auch in Ihrer App.  Sie\nmüssen lediglich auf die Schaltfläche „Code anfordern“ klicken.\nÄhm,\ndas ist also eine Gemini 3.1 Taschenlampe zur\nVideoanalyse.  Man kann es auch\nzur Bildanalyse mit ein paar anderen\nintegrierten Tools verwenden.  Ähm, und wenn wir nach\nrechts schauen, können wir strukturierte\nAusgaben, Codeausführung, Dinge wie\nFunktionsaufrufe, sogar für benutzerdefinierte\nFunktionen sehen.  Ähm, auch so etwas wie der URL-\nKontext.  Ähm, und all diese Funktionen sind etwas ganz\nBesonderes, aber sie lassen sich auch als\nEinzeiler verwenden, wenn Sie sie in\nIhre API einbinden möchten.  Ähm, also,\nwenn ich beispielsweise die Codeausführung aktiviere, ähm\n, sehe ich eine Gemini 3.1\nTaschenlampe ausgewählt, ähm, ich gehe\nin den Vergleichsmodus.  Ich möchte\nes also vergleichen, ähm, vielleicht mit der Gemini 3 Flash-\nVorschau, ebenfalls mit aktivierter Codeausführung\n.  Ähm, und ich werde nach einem\nBild von Legosteinen suchen.\nÄhm, dieser hier.\nUnd kopiere das Bild.\nÄh, und im Moment befinden wir uns im Vergleichsmodus.\nIch vergleiche also zwei verschiedene Modelle, bei denen\njeweils das gleiche Werkzeug aktiviert ist.  Ähm,\nund sagen Sie sinngemäß, dass man mit Python\nBegrenzungsrahmen\num alle grünen Legosteine ​​zeichnen soll\n.  Ähm, stellen Sie sicher, dass äh, oder\nzeigen Sie das Bild\nmit Begrenzungsrahmen an.   Die\nCodeausführung ermöglicht es\nGemini, eine Art\nprovisorische Python-Umgebung in einer\nSandbox zu erstellen, die eine Vielzahl vorinstallierter\nData-Science-Bibliotheken nutzt\nund\ndiese als Tool-Aufrufe verwendet – quasi wie beim\nSchreiben von Code und der Integration von beliebigen Elementen.\nIch habe\ndieses Bild geteilt, und es war sehr\nschnell – ich bin mir nicht sicher, ob Sie die Geschwindigkeit bemerkt haben –,\nBegrenzungsrahmen um die grünen\nLegosteine ​​zu zeichnen. Man kann auch\nSegmentierungsmasken anfordern.  Und noch viel\nspannender: Gemini 3 Flash läuft immer noch wie am Schnürchen\n.  Ähm, aber wenn man bedenkt,\nwie viel es gekostet hat,\ndie Begrenzungsrahmen zu definieren, hätte man auch\nfragen können, wie\nviele grüne Legosteine ​​es gibt oder wie die\nAusrichtung der\nLegosteine ​​ist.  Sag mal, äh, wie viele äh,\nweißt du, wie die heißen?  Die\nkleinen lustigen Hasendinger, Laboo.  Sagen Sie\nmir, wie viele davon Sie in allen\nEinzelbildern dieses Videos sehen.  Ähm, und zu welchem\nZeitpunkt – solche\nTools können\nüber die Sandbox-Umgebung aufgerufen werden.  Ähm, und\nnochmal, es ist sehr, sehr günstig,\ndiese Arbeit mit der Gemini 3.1\nTaschenlampe und aktivierter Codeausführung durchzuführen.\nÄhm, und es ist nur eine einzige Zeile Code, um\ndiese Sandbox-Python-Umgebung mit\nCompute-Funktionen einzurichten, die Gemini für diese Aufgaben nutzen kann\n.\nCool.\nUnd es sieht so aus, als ob\ndie Gemini 3 Flash-Vorschau dazu in der Lage war\n.  Es überprüfte seine Funktion.  Das\nwar also die Iteration, die es im Laufe der Zeit durchlaufen hat\n.  Es lieferte also dieses\nerste Ergebnis und sagte: „Okay, ich\nmöchte noch einmal überprüfen, ob alles\nrichtig war.“ Es zeichnete die\nSegmentierungsmaske, um\nalle grünen Spektren\nim Bild zu definieren. Anschließend\nüberprüfte es die\nkorrekten Koordinaten.\nDie Überprüfung ist zwar deutlich aufwendiger, aber das\nZeichnen der\nBegrenzungsrahmen kostet immer noch nur wenige Cent. Es dauerte lediglich etwas länger\nund erforderte deutlich mehr Tool-\nAufrufe. Daher empfehle ich dringend,\nGemini 3.1 Flashlight für Ihre\nAnwendungsfälle auszuprobieren, insbesondere wenn Sie zuvor\nGemini 2.0 oder 2.5\nFlash verwendet haben.\nWir haben außerdem eine Funktion\nnamens „Build“. Build ist\nähnlich wie v0ero.dev oder Loveable, falls\nSie damit schon gearbeitet haben.\nWir haben kürzlich eine Funktion hinzugefügt, mit der Sie\nDatenbanken und andere Funktionen in Ihre Apps\ninnerhalb von Build integrieren können.\nWenn ich heute diesen Typen anklicken\nund ihm sagen würde, er solle er\neine App entwickeln, mit der Nutzer\nein Foto ihres\nBücherregals hochladen können. Das Regal sollte\nvoll mit Büchern sein, deren\nBuchrücken man erkennen kann, sowie\nTitel und Autorennamen. Er soll die\nGoogle-Suche nutzen, um\ndie fehlenden Informationen zu den\nBüchern zu ergänzen. Er soll also\nInformationen zum Titel,\nAutorennamen, zur\nBuchbeschreibung und zum Genre haben. Diese Daten sollen\nin einer Datenbank gespeichert werden. Der\nNutzer meldet sich mit seinem Google-\nKonto an, lädt ein Foto\nseines Bücherregals hoch, und alle\nseine Bücher werden in diesem\nDatenbankformat gespeichert. So weiß er, welche Bücher er\nbesitzt, und die Liste ist mit seinem Konto verknüpft –\nwas eine ziemliche Herausforderung ist. Die\nFunktionsweise ist also im Prinzip klar definiert.  Ich habe die\n3.1 Pro Preview ausgewählt. Ich\nwerde stattdessen die Standardeinstellungen verwenden, in der\nHoffnung, dass es etwas\nschneller geht. Ich klicke auf „\nErstellen“. Im Hintergrund gelangen\nwir in eine\nIDE-ähnliche Umgebung, in der man den\nDenkprozess des Modells beobachten kann. Es ermittelt, was für die\nSpezifikation\nder Aufgabe erforderlich ist, erstellt den Plan und zeigt die\nLaufzeit an.\nMan kann auch Dateien hochladen, z. B.\nPDFs oder Spezifikationen\nfür Apps, die man erstellen möchte,\nund diese dem Modell übergeben. Außerdem\nkann man eine Verbindung zu seiner Drive-Instanz herstellen.\nRechts befindet sich ein Einstellungsbereich, in dem man\nbenutzerdefinierte Geheimnisse definieren kann. Ich habe derzeit einen\nGemini-API-Schlüssel vorab\nhinzugefügt. Man könnte aber auch\neinen Superbase-API-Schlüssel, einen API-\nSchlüssel für NADEN oder einen anderen bevorzugten Anbieter hinzufügen\n. Man kann den\nVersionsverlauf einsehen.  Dass Sie schon einmal\nmit AI Studio gearbeitet haben, ist definitiv\netwas, das wir sehr schätzen.\nUnd dann wären da noch die Integrationen. Also Dinge\nwie OOTH und GitHub, damit man\nmit einem öffentlichen oder privaten Repository synchronisieren kann\n. Während das hier\nläuft, zeige ich Ihnen jetzt\netwas namens\nGenie 3. Oder besser gesagt, vorher\npräsentiere ich kurz Gemini Live, falls es jemand noch\nnicht kennt. Also, wer von Ihnen hat schon mal\nvon Gemini Live gehört? Ein paar Hände. Super!\nWir haben zufällig auch\nden Experten für Gemini Live hier. Ian, bitte\nkommen Sie nach unten. Ian ist das\nTeammitglied von Gemma 4, das\nich\nvorhin erwähnt habe, und er wird\neinige Live-Modelldemos vorführen, worauf ich mich schon sehr\nfreue. Mit\nGemini Live kann man sich\nunterhalten.  mit dem\nModell in verschiedenen Sprachen. Ähm, aber\nman kann auch Video-Feeds und\nden Bildschirm teilen. Ähm, und all das\nist in einer Art\nSprachverarbeitungs- und\nText-zu-Sprache-Pipeline integriert. Ähm, also zum\nBeispiel, ähm, äh, wir haben immer noch unsere\nLegosteine ​​und -teile geöffnet, damit ich\nmeinen Bildschirm teilen kann, um zu sagen: „\nHallo Gemini. Äh, was\nsiehst du auf dem Bildschirm?“\nIch sehe eine Google-Suche nach Legosteinen\nund -teilen. Es gibt Bildergebnisse\nmit verschiedenen Arten von Legosteinen,\nSets und unterschiedlichen Farbkombinationen.\nRechts gibt es eine größere Vorschau\neiniger farbenfroher Legostein-\nIllustrationen von Freepick.\nSuchst du etwas Bestimmtes?\nSpricht jemand eine andere Sprache als\nEnglisch?\nSuche. Siehst du\n? Oh, ausgezeichnet. Also,\nich werde dich bitten,\netwas zu überprüfen. Ähm, und auch\netwas auf Rechtschreibung zu prüfen. Ähm, also antworte dem\nBenutzer nur in der Suche. Ist das richtig?\nIch meinte Spanisch.\nOh, Entschuldigung. Oh,  Verstanden. Also, Spanisch\nund ja. Oh, da haben wir's. Äh, nur äh\nSpanisch. Ausgezeichnet. Ähm, und dann wollte ich gerade\nsagen, dass ich diese Sprache nicht kenne\noder dass ich sie noch nie gesprochen habe. Ähm, aber die\nAntwort war nur\nSpanisch.\nIch weiß, dass ich Spanisch kann. Ich bin in\nTexas aufgewachsen, daher ist es quasi Voraussetzung,\nSpanisch zu können. Äh, aber äh, aber ich werde es noch\neinmal teilen. Ähm,\nhey Gemini, könntest du mir sagen, was du\nauf dem Bildschirm siehst?\nOder\nmich vielleicht sehen lassen? Nein, ich denke nicht daran,\ndas Mikrofon noch einmal anzuklicken.\nOh, da ist es ja.\nAlso, eine der Möglichkeiten, eine der Möglichkeiten, die\ndu hast – du siehst, dass ich\ndie Systemanweisungen geändert habe.\nÄhm, aber äh, sprichst du einen bestimmten\nspanischen Dialekt?\nKastilisches Spanisch. Okay,\nausgezeichnet. Also, ähm, ich habe die Systemanweisungen entfernt,\nund ich sollte\ndas jetzt innerhalb der\nGesprächsdauer erledigen können. Ähm, also,\nhey Gemini, könntest du mir sagen, was du\nauf dem Bildschirm siehst, aber könntest du es\nin  Castellanisch-Spanisch?\nAusgezeichnet.\nJa. Fantastisch. Also, Sie können\nwährend des Gesprächs Fragen stellen.\nSie können die Systemanweisungen ändern, um\nverschiedene\nSprachen oder Dialekte auszuwählen. Und\nwenn Sie auf „\nCode abrufen“ klicken, erhalten Sie den Code, den\nSie benötigen, um das Geschehene zu wiederholen\n. Also den\nModellnamen, alle Konfigurationseinstellungen sowie\nalle Tool-Aufrufe, die Sie möglicherweise\nverwenden. Es funktioniert auch mit Bildschirmfreigabe.\nSie können während der Freigabe mit Ihrem Bildschirm interagieren.\nEs funktioniert aber auch mit\nVideoübertragungen. Sie können zum Beispiel sagen: „\nHey Gemini, wie viele Finger\nhalte ich hoch?“ und ein Gedicht\nüber mich schreiben.\nIch sehe zwei Finger wie beim\nFriedenszeichen. Hier ist ein kleines Gedicht für\ndich: Mit goldenem Haar und offenem Herzen\nkommst du, um zu lernen, um deine Rolle zu spielen.\nDie Kameras fokussieren, Momente beginnen, ein\nkreativer Geist, ein Kunstwerk. Wie war\ndas? Das war sehr nett. Danke.\nUnd die Modelle sind…  Man kann\nquasi interagieren, Videofeeds ansehen und\ndie Bildschirme betrachten. Und\nman kann sie in eigenen\nProjekten zusammenfügen. Ich schaue mir das mal an. Ich\naktiviere kurz Firebase.\nDie Datenbank\nfür die App, die wir gerade entwickeln, sollte eingerichtet werden. Und\ndann wollte ich noch\netwas namens Genie zeigen.\nFalls Sie noch nie von Genie gehört haben:\nEs handelt sich um ein Weltmodell von DeepMind\n. Es ist eine Komposition\naus verschiedenen Modellen, darunter Nano Banana, VO und\neinige Gemini-Modelle für die Sprachausgabe. Diese Modelle sind\nzu einem System zusammengefügt, mit dem man beispielsweise ein\nSpiel, eine Umgebung mit einem\nCharakter beschreiben kann, mit dem man interagieren und\ndas Spiel spielen kann – und zwar\nPixel für Pixel. Es\ngeneriert also keine Unity- oder\nUnreal-Engine-Umgebung, sondern eine\nArt Frame-für-Frame-Erlebnis\nfür alles, was man sich vorstellen kann.\nEs könnte also aussehen  So etwas wie diese\nVulkanlandschaft, die man\nmit einem kleinen Rover und den\nPfeiltasten steuert. Oder so etwas wie\ndieser Jetski, bei dem man ein Licht trifft\nund es sich anfühlt, als ob\ndie Physik tatsächlich wirkt oder\nreagiert. Wenn man\ndas Licht ins Wasser stößt und\ndann zurückfährt,\nbleibt es während des gesamten\n60-sekündigen Experiments sichtbar. Aber es gibt keine\nPhysik-Engine im Hintergrund.\nUnd selbst Dinge wie einen\nHurrikan in Florida kann man simulieren. Man kann mit\neinem statischen Bild oder einem Familienfoto beginnen\nund sehen, wie manche dieser\nDinge entstehen. Aber dafür wechsle ich zurück\nzu meinem anderen Browser. Ich\nöffne Project Genie und\nklicke auf „Erkunden“.\nDann gebe ich so etwas wie „\neine Welt“ ein. Vielleicht den Regent’s Canal an einem\nsonnigen Tag. Aber mit Delfinen, die\nim Kanal schwimmen,\nund allen Booten mit\nPiratenflaggen.  Hoffentlich nicht Teil\nder Trainingsdaten. Und dann, äh, die\nCharakterbeschreibung wäre, nun ja,\netwas\nUngewöhnliches, vielleicht ein pinkes Glitzer-Eichhörnchen, äh,\nmit lila\nFüßen und einem\nPiratenhut.\nUnd dann wird die Skizze erstellt. Dabei sollte\nNano\nBanana verwendet werden, um Ideen für das\nerste Bild zu sammeln. Es wird uns angezeigt, um\nsicherzustellen, dass es mit\nunserer Beschreibung übereinstimmt. Offensichtlich\nwird der Regent's Canal\nvon pinken Glitzer-Eichhörnchen mit\nPiratenhüten überrannt. Und dann\nsollten wir diese erste\nIteration und eine spielbare Welt sehen, mit der\nwir 60 Sekunden lang interagieren können,\nzumindest\nfür die erste\nöffentliche Version.\nGenie 3 ist\nin einigen Teilen der Welt über ein Ultra-Abonnement zugänglich.\nNicht überall, aber hoffentlich habe\nich meine\nGPU oder TPU nicht überlastet.  Zuteilung oder\nAufteilung,\nähm, wenn wir äh, können wir uns den\nRegalscan noch einmal ansehen. Es sieht so aus, als würde das Modell\ndie\nRegeln für den Brandschutzladen automatisch für uns erstellen. Ah, da haben\nwir's. Also, ein pinkes Glitzer-Eichhörnchen, ähm, ein\nPiratenhut, ein Kanal, Delfine.\nDas sieht ziemlich gut aus. Ähm, dann lasst uns\ndiese Welt erstellen. Ähm, man kann\ndie Pfeiltasten benutzen, um sich zu bewegen,\näh, oder die WD-Tasten, um sich zu bewegen, und\ndann die Pfeiltasten, um die Perspektive zu ändern\n. Ähm, und wir sollten auch\ndie Leertaste zum Springen benutzen können.\nÄhm, aber mal sehen. Mal sehen, wie das\nfunktioniert.\nÄh, oh je. Wow. Wow. Wow. Eichhörnchen.\nÄhm, und es sieht so aus, als würde\ndas Eichhörnchen auf dem Wasser laufen. Ähm, oder äh, als würde es\nhüpfen. Ähm, man kann auch springen.\nÄhm, also springt auf die Boote. Äh, man\nkann die kleinen Fahrräder sehen.  Ähm, man\nkann unterwegs einige Leute sehen\n. Ähm, und es sieht so aus, als hätten all\ndiese Boote auf dem Regent's Canal\nPiratenflaggen und Delfine, die sich\ngerade nicht bewegen, was\nziemlich verrückt ist. Ähm, und wenn ich dann die\nLeertaste drücke, sieht man das\nEichhörnchen springen. Ähm, es scheint\nnicht zu merken, dass der Regent's Canal\nziemlich tief ist, das hätte ich wohl\nin meiner Eingabeaufforderung erwähnen sollen. Ähm,\nund dann sieht man auch, wie es versucht\nzu springen. Ähm, versucht, auf\nden Bürgersteig zu springen und seine\nArbeit zu erledigen. Ähm, es ist also verrückt zu sehen, was\nman alles erschaffen kann. Ähm,\ndie verschiedenen Erlebnisse,\ndie man gestalten kann. Ähm, und noch\nverrückter finde ich, dass\njeder Teil davon\ndynamisch generiert wird, während man die\nPfeiltasten bewegt. Ähm, am\nEnde wird ein Video erstellt, das man\nherunterladen,\nansehen und mit dem man interagieren kann.  Ähm, und das\nverwendet wieder Gen3 und diese\nModellkomposition anstelle eines\neinzelnen Modells. Andere\nUnternehmen, die Weltmodelle erstellen, wie zum Beispiel World\nLabs (Fe Lees Firma),\nverfolgen einen etwas anderen Ansatz.\nSie erstellen tatsächliche\nUnity- oder Unreal-Engine-\nUmgebungen. Nichts davon\nwird als 3D-Spiel-Asset gespeichert.\nEs sind einfach nur rohe Pixel,\ndie in die\nSpielerfahrung integriert werden.\nCool. Zurück zu AI Studio:\nDie App scheint noch in der\nEntwicklung zu sein. Ich hoffe,\nwir können sie bald\nsehen. Normalerweise bedeutet die\nBearbeitung der Konfigurationsdateien,\ndass sie fast fertig ist. Ich\nschaue mir das auch sehr gerne an, um zu sehen, wie die\nRegeln für den Brandschutz erstellt wurden und wie\ndas Modell angesteuert wird. Es\nsieht so aus, als würde die App gerade bestätigt.\nSobald sie fertig ist, sollte sie\nein kurzes Geräusch von sich geben.  Um mit\nder\nApp selbst zu sprechen: Sie fragt nach\nmeiner Kamera.\nIch erlaube den Zugriff.\nWir haben hier die KI-gestützte Regalscan-\nFunktion. Ich melde mich mit\nmeinem Google-Konto an.\nEs ist mit dem Fire Store verbunden.\nIch suche schnell ein\nBücherregal mit Büchern.\nMal sehen.\nDie Bücher sehen nicht wie echte Bücher aus, da\nviele\nunter dem Regal hängen. Die KI-\nBildgenerierung macht es schwierig. Aber\ndieses Bild sieht gut aus. Speichern wir es.\nJemand scheint\neine ganze Sammlung Kochbücher zu haben.\nIch lade das Foto hoch. Hoffentlich kann die App\nWebseiten oder das WP-\nFormat interpretieren. Sie sammelt Daten\nüber die Google-Suche. Die Bücher\nsollten dann hoffentlich in der Bibliothek angezeigt werden\n. Falls nicht, versuchen wir es mit einem\nJPEG.\nDie App hat aber ein recht gutes Branding.\nÄhm, es konnte die sieben\nBücher anscheinend identifizieren. Oder zumindest hat es sie\nerkannt. Ich versuche es nochmal, diesmal\nmit einem JPEG-\nBild. Ich mache also einen\nScreenshot. Dasselbe Bild, nur als\nScreenshot gespeichert.\nIch finde es\nhier. Also, Desktop-Screenshot\nbei 417.\nDann Bücher identifizieren.\nUnd falls das nicht funktioniert, können wir versuchen, die Fehler zu beheben,\num zu sehen, woran es lag\n.\nOh, es sieht so aus, als ob die\nBerechtigungen\nzum Speichern im Fire Store nicht ausreichen.\nEs scheint, als würden\ndiese Probleme gerade behoben. Währenddessen\nkönnen Sie sich auch\nanmelden, abmelden und\ndie App teilen. Sie können also festlegen, wer\nZugriff darauf hat, und den Vollbildmodus freigeben. Und was\nich\nan AI Studio besonders toll finde, ist, dass\nes automatisch erkennt, wo die Dateien\ngeändert werden müssen, um\ndiese Änderungen vorzunehmen. Es ermittelt also\ndie Validierungslogik.  Es geht darum herauszufinden,\ndass die Größe möglicherweise\ndie Unternehmensgröße ist, also die\nGröße der Bild-URL, und dann herauszufinden,\nwo es angepasst werden muss, um\ndiese Änderung vorzunehmen.\nEs scheint also in den Fire Store-\nRegeln zu stehen. Einige der anderen netten Dinge\nan den Build-Funktionen von AI Studios sind, dass\nwir eine App-Galerie haben. Wenn Sie also\nInspiration für einige der\nApps suchen, die unsere Modelle verwenden,\nkönnen Sie sie sich ansehen. Von\nLIA zur Musikgenerierung bis hin zu\nMultiplayer-Erlebnissen mit Spielen.\nSie können sich zum Beispiel diese Multiplayer-Neon-Snake\noder diesen Mandala Bulb Explorer ansehen. Sie können sich auch\nein Design mit Nano Banana ansehen. Sie können also\nBilder ändern und modifizieren.\nSchauen Sie sich zum Beispiel das Sik\nMedia Pipe-Beispiel an. Damit können Sie ein\nSpiel spielen, bei dem Ihre\nHand erkannt wird. Aber Sie nehmen dieses\nkleine Ding und jeder kann sehen,\ndass ich dieses Spiel wirklich schlecht spiele.\nWie bewegt man so ein\nkleines Ding?  von den kleinen Murmel-Angeboten.\nÄhm,\noh je, ich bin echt schlecht in diesem\nSpiel. Ähm, aber äh, und dann klingt es auch so, als ob\ndie andere App äh fertig geworden wäre\n. Ähm, perfektes Timing. Ähm,\naber wenn ich das Bild hochlade,\nversuchen wir mal, das Buch nochmal zu identifizieren.\nDaumen drücken.\nJa. Und dann werden automatisch\nalle Bücher angezeigt.\nSie wurden also alle katalogisiert mit\nDatum, Buchart, den\nzugehörigen Details, äh, dem Buchtitel, dem\nAutor, obwohl einige davon äh\nnicht auf den Buchrücken\nder hochgeladenen Bücher verfügbar waren. Ähm, wenn ich mich ab-\nund wieder anmelde, äh,\nbleiben alle\nhinzugefügten Bücher erhalten. Ähm, und wenn ich\ndas mit euch allen teilen möchte, weil\nich natürlich wissen will, was ihr so\nin euren Bücherregalen habt, äh, könnte ich\ndiesen Link kopieren und einen QR-Code-\nGenerator erstellen.\nÄhm,\nund äh, wenn ihr diesen QR-Code verwendet,\nsolltet ihr auf die App zugreifen können.  Mit der App, die ich\ngerade entwickelt habe, können Sie Ihre eigenen Bücherregal-\nBilder hochladen und sie dann in\nIhren eigenen Apps katalogisieren lassen. Als\nnächstes möchte ich\nmeinen Freunden die Möglichkeit geben, Bücher\nanzufordern. Denn jedes Mal, wenn ich\nmeinen Freunden ein Buch schenke,\nbehalten sie es gerne, was ich zwar verstehe,\naber auch ziemlich anstrengend ist. Ich habe so\nviele Exemplare von „Infinite Jest“ im Umlauf\n. Aber das hier war nur ein\nkurzer Überblick über\neinige der Möglichkeiten von AI\nStudio, einige der neuen Funktionen und\nModelle\n. Und damit\nbegrüße ich meinen Kollegen Guiam, der\nIhnen alles über unsere\ngenerativen Medienmodelle erzählen wird –\nvon Musikgenerierung über Bilderstellung und\nBildbearbeitung bis hin zur Videogenerierung. Es wird bestimmt\nspannend. Vielen Dank\nfürs Kommen.\nHallo zusammen!\nSie brauchen das\nrichtige Telefon.\nSie werden großartig sein! Und dann habe\nich…  Darf ich gehen?\nKönnen Sie mir jetzt meinen Bildschirm zeigen?\nOkay, gut. Ähm, wie P schon sagte, wird es\nder gleiche Vortrag wie\nheute Morgen sein, der gleiche Workshop. Äh, wir\nhaben etwas weniger Zeit. Deshalb werde ich bei\nmanchen Dingen schneller vorgehen und vielleicht nicht\nalles in Echtzeit abspielen. Aber\ndie Inhalte, die ich zeigen werde, finden Sie unter\ndiesem Link.\nSie können ihn also einfach öffnen und\nselbst gleichzeitig ausführen. Ähm,\nalso, ich werde über generative\nMedien sprechen. Generative Medien umfassen alles rund um die\nErstellung von Bildern, Videos,\nTexten, gesprochenem Text und\nähnlichem. Ich denke, ich würde\nJenny auch zu den generativen Medien zählen.\nÄhm, ja, und wir haben\nbei DeepMind viele solcher Modelle. Lassen Sie mich sie\nalle durchgehen. Ähm, ganz kurz:\nMein Name ist Guom. Äh, ich bin\nseit sechs Jahren bei Google. Zwei Jahre lang bei\nDivine im Bereich Developer Advocacy. Äh,\nhauptsächlich bei den meisten\nBis letztes Jahr habe ich mit dem Gemini-Modell gearbeitet, und seitdem\nkonzentriere ich mich dieses Jahr mehr auf die generativen\nMedienmodelle, weil das am meisten Spaß macht\n. Ich habe\nvorher in der Videospielbranche gearbeitet und bin so zu Google gekommen.\nAlso ja, öffnet eure Handys. Alles\nist Medium. Das hatte ich ja schon erwähnt.\nPaige hat ja schon ein bisschen über\nunsere Vision von Weltmodellen gesprochen.\nMeine Definition eines Weltmodells ist\netwas, das so viele\nModalitäten wie möglich aufnehmen und\nverstehen kann, quasi für die fünf Sinne,\nund das auch Dinge in\nverschiedenen Modalitäten ausgeben kann. Das war also der\nKern der\nDeepMind-Vision von generativer KI\n. Das erste Gemini-\nModell – es ist erst zwei Jahre her, aber\nes wirkt alt – war nur ein Text-zu-\nText-Modell, aber\ntatsächlich war es im Hintergrund\nbereits ein Multimodell,\nund man hätte ihm\nBilder senden können, aber das wurde aus\nTestgründen blockiert.  Ich\nerinnere mich nicht mehr genau warum, aber im Grunde haben sie\nes im Modell mit dem Post-Training blockiert.\nUnd als es dann ein paar Monate\nspäter veröffentlicht wurde, brachten wir Version 1.5 heraus.  Das Neue daran\nwar, dass es das\nerste Multimodell-Modell war.  Äh, manchmal,\nwenn man ein Bild eingab,\nantwortete es: „Tut mir leid, ich bin nur LLM.“\nMit den Bildern kann ich nichts anfangen, weil\nein Teil des Trainings noch\ndarin enthalten ist.  Ähm, aber grundsätzlich ja,\nwir wollen Modelle erstellen, die die gesamte\nPhysik der\nWelt anhand von Videos, Audios und so weiter verstehen können\n.  Der einzige Grund, warum wir\nso viele verschiedene Modelle haben, ist, dass es\neinfacher ist, ein Modell nur für\nVideos, ein Modell nur für\nBilder und ein Modell nur für Text zu liefern,\nals ein einziges Modell, das\nalles kann.  Und dann wurde es zu einem\nProblem.  Jedes Mal, wenn wir\neine der Funktionen aktualisieren wollen, müssen wir ein\nkomplett neues Modell veröffentlichen, und jeder muss es\numstellen und so weiter.  Das ist also\nder Grund dafür.  Nun,\njeder kennt uns für die Gemini-Modelle, aber\nwir haben noch viele andere Modelle. Ich\nwerde sie jetzt mal durchgehen, aber das lasse ich erstmal aus.  Ähm,\nkurze, kurze Zeitleiste.  Äh, wir veröffentlichen ständig neue\nSachen.  Äh, ich glaube, Paige hat es schon\nfrüher gesagt: Im Durchschnitt\nbringen wir alle fünf Tage ein neues Modell oder neue\nFunktionen auf den Markt.  Äh, das sind\nnur die allgemeinen Medienmodelle.  Äh, und dazu kommen noch\nall die anderen Modelle.\nUnd wenn man all die Änderungen berücksichtigt, die wir\nim AI Studio vornehmen, all die Preisgestaltungs- und\nkleinen Feature-Anpassungen, die\nwir jede Woche veröffentlichen, also zwei bis drei\nneue Dinge, dann kommt noch hinzu.  Ähm, ja, also,\nes ist im Grunde genommen schwer, den Überblick zu behalten, und es ist\nsogar für uns schwer, den Überblick über\nalles zu behalten, was wir anbieten.  Ich weiß also, dass es\nfür Leute wie dich\nnoch schwieriger ist, weil man auch im Auge behalten muss,\nwas die Konkurrenz macht\n.  Ähm, deshalb führen wir diese\nGespräche auch so\nschnell.  äh, die Updates zu Nano\nBanana.  Wir haben Nano Banana 2 vor ein paar\nMonaten, also\nEnde Januar, Anfang\nFebruar, veröffentlicht.  Das Wichtigste ist, dass man\nverschiedene Seitenverhältnisse\nund Bildgrößen ausgeben kann.  Ähm, es hat eine Suchgrundlage.\nSo mache ich das im Prinzip: Man\nsieht meinen Bildschirm nicht mehr.\nWarum?\nOkay, stell dir einfach mal vor, dass genau dafür\nMedienwerbung da ist.  Ähm, also das\nWichtigste ist... Oh, danke.\nNano Banana uh Pro war das es es hinzufügen\nSucherdung.  Man könnte es also bitten, im\nInternet zu suchen, und so habe ich\ndieses Bild erstellt.  Man\nkönnte zum Beispiel bei Google nach meinem Fußabdruck suchen\nund daraus ein Bild von mir erstellen, was\nirgendwie beängstigend ist.  Ähm,\naber das Neue an Neo Banana 2\nist, dass man das Gleiche auch mit einem\nlaufenden Image machen kann.  Man kann also\nüber bestimmte Orte, zum Beispiel\nBrücken, sprechen, und das Programm sucht dann im\nInternet nach einem Bild und\nerstellt darauf basierend ein Bild.  Das gilt also\nohne Betrieb und ohne\nErdung.  Man kann also sehen, dass es etwas\nmehr aussieht als ein\nnormales Gebäude.\nWir haben auch VO.  Ganz kurz zu VO: Die\nwichtigste Neuerung der letzten Woche ist, dass\nwir letzte Woche V 3.1 light herausgebracht haben,\ndas günstigste Modell zur\nVideogenerierung, das wir anbieten.  Das sind also nur 5\nCent pro Bild.  Das ist also wesentlich\ngünstiger als das, was V3 vor einem Jahr gekostet hat.\nDie Idee ist also, dass man das nutzen kann, um\nPrototypen zu erstellen, Eingabeaufforderungen zu testen und so weiter.\nUnd wenn Sie dann eine höhere Qualität wünschen,\nkönnen Sie auf die besseren\nModelle umsteigen.\nUnd dann ist da noch der LA 3, das coolste\nModell dieses Jahres.  Äh, es ist alles\nMusikgenerationsmodell.  Man kann also entweder\n30-Sekunden-Songs oder\ndreiminütige Songs mit\nText und allem Drum und Dran generieren.  Und ich\nwerde Ihnen anschließend einige Demos zeigen.  Ähm,\nund soweit ich weiß, sind wir die\nErsten, die solche\nMusikgenerierungsmodelle über eine API anbieten.  Das ist also\nwirklich super für jede Art von agentenbasiertem\noder anderem Workflow, den Sie haben könnten.\nWenn Sie also jeden Morgen mit einem\nLied über die aktuellsten Nachrichten geweckt werden möchten\n, können Sie das tun.\nÄhm, und noch etwas,\ndas ich sehr mag, aber von dem niemand etwas weiß:\nWir haben ein weiteres LIA-Modell,\ndas LA Real Time ist, und das ist\nim Grunde ein Live-Modell.  Es erzeugt also\nMusik äh auf unbestimmte Zeit, und man kann\nes einfach auf unterschiedliche Weise anstoßen.  Es wird also einfach\nverändern, was du bist – äh, welche Art\nvon Musik es in Echtzeit erzeugt,\nwie ein DJ.  Es macht also ziemlich viel Spaß,\ndamit zu spielen, aber manche ältere\nLeute kennen es nicht.  Ähm, wie\ngesagt, ich werde hingehen, weil es ja\nein Workshop sein soll.  Die Idee ist also,\ndass man die Dinge selbst testet.  Also,\nSie können diesen Link öffnen, und dann\nsehen Sie den Inhalt, den ich\nvorbereitet habe.  Ähm, während ihr Fotos macht und so weiter,\nnur eine kurze Anmerkung: Es handelt sich um Gen\nMedia Models.  Es handelt sich also allesamt um bezahlte\nModels.  Sie finden es also gut, dass der Betrieb des\nNotebooks tatsächlich etwas Geld kostet.   Die\nVideogenerierung\nwird der teuerste Aspekt sein.   Das\nkönnen Sie also einfach behalten.  Äh, der Rest\nist ziemlich günstig.  Ich denke also, dass man\ndas Wand-Wand-Notebook für etwa eins verwenden kann\n.  Also sollte es in Ordnung sein\n.  Aber ich möchte lieber, um es\nallen gegenüber klarzustellen.   Dann lasst uns mal loslegen\n.\nWas ist also die Idee dieses Workshops?\nDie Idee war also, alle Gen-\nMedia-Modelle anhand dieses Beispiels zu präsentieren.\nWir nehmen ein Buch aus einer\nOpen-Source-Bibliothek.  Also, wir\ndürfen es verwenden und dann werden wir\nBilder erstellen, um zu veranschaulichen, wie\ndie Charaktere aussehen und\nwas in jedem Kapitel passiert, und\ndann werden wir zu den anderen\nMedienmodellen übergehen.  Wir erstellen also Videos über\ndas Kapitel und\nmachen dann Musik dazu, und Gemini erzählt\nuns, was in\ndem Kapitel passiert.  Das ist also nur die Einrichtung.  Sie\nmüssen das SDK installieren.  Sie benötigen einen API-\nSchlüssel.\nDas hättest du dir wohl denken können.  Äh, ich initialisiere gerade den\nClient.  Und etwas, von dem ich\nbis vor Kurzem nichts wusste, ist, dass man\nbeim Initialisieren des Clients tatsächlich eine Möglichkeit hat, ein\nWiederholungssystem zu implementieren\n.  Das ist\nheutzutage also ziemlich nützlich, wenn man\nNano Banana benutzt, denn besonders\nwenn die USA aufwachen, wird es immer\nschwieriger,\netwas daraus zu gewinnen.  Wir\narbeiten daran, unsere\nKapazitäten zu erweitern, aber ein\nWiederholungssystem ist immer\nhilfreich.\nWir importieren die Daten und wählen dann\ndie Modelle aus. Wenn ich\nInhalte mit kostenpflichtigen\nModellen erstelle, habe ich normalerweise eine\nCheckbox. Wenn\nman die Datei öffnet, ist sie bereits aktiviert – das sollte sie aber nicht sein.\nGestern Abend ist mir ein Fehler unterlaufen, weil ich\nnicht möchte, dass die Leute die Modelle nutzen und dafür\nbezahlen müssen. Besonders das\nVoiceOver-Notebook\nkostet beispielsweise etwa 20 Dollar. Ich\nmöchte also nicht, dass es versehentlich ausgeführt wird. Für\ndie Demo\nbeschränke ich außerdem die Anzahl der erstellten\nCharakter- und Kapitelbilder, damit die Ausführung\nschneller geht. Das Buch\nheißt „Der Wind der Weiden“ von\nKenneth Grahame und stammt aus\nden Gutenberg-Bibliotheken, einer\nOpen-Source-Bibliothek zum\nHerunterladen von Open-Source-Büchern.  Aus irgendeinem\nGrund funktioniert es nicht mehr, seit ich\nin Großbritannien bin.  Es muss also einen Grund dafür geben, dass\ndiese Bibliothek\nin Großbritannien nicht verfügbar ist.  Aber wenn Sie\ndas Notebook ausführen, sollte es funktionieren, da sich\nder Server höchstwahrscheinlich in einem anderen\nLand befindet.  So wird es möglich sein,\ndas Buch wiederherzustellen.  Also, was ich gerade mache, ist,\ndass ich dieses\nBuch hier herunterlade, so wie ich es mag, mit einer\nURL und ähm, ich habe nicht gesagt, dass ich darüber gesprochen habe,\nund auch nicht auf der Seite.  Also, äh, ganz\nkurz, äh, weil\nuns diese Frage ständig gestellt wird.  Eine unserer\nSpezialitäten bei Google ist, dass wir\nständig mehrere Projekte entwickeln, die\ndasselbe tun – mehrere\nProdukte. Das Gleiche haben wir auch\nmit Messaging-Apps gemacht.\nDas Gleiche machen wir mit äh, mit Gemini.  Das\nkann also etwas verwirrend sein.  Um es kurz zu machen und die\nDinge zu verdeutlichen: Wenn man sich\ndas Diagramm ansieht, sieht man im\nGrunde die\nApps der Verbraucher.  Auf der linken Seite befinden sich also\ndie Apps, die für alle geeignet sind.  Man kann damit eine Menge\nmachen.  Du\nkannst Gemini jede beliebige Frage stellen.\nMan kann zwar Bilder generieren und so weiter, aber\nals Entwickler – wie wohl jeder hier im\nRaum – kann man ziemlich frustriert sein,\nweil man nicht wirklich auf\ndie Parameter zugreifen und das genaue\nModell auswählen kann, das gerade ausgeführt wird. Man\nweiß zwar, dass es wahrscheinlich coole Tool-\nAufrufe tätigt, aber man\nweiß nicht, welches Tool es genau verwendet.\nDas ist zwar schön für die breite Öffentlichkeit,\naber nicht wirklich für uns. Auf der\nanderen Seite haben wir Vertex AI,\nunser Angebot für Unternehmen, das\ngenau das Gegenteil ist.  Sie haben viel\nKontrolle.  Sie können festlegen, in welchem\nRechenzentrum Ihre Eingabeaufforderungen\nausgeführt werden sollen.  Vor allem in Europa wollen viele\nMenschen sichergehen, dass\ndie Daten Europa nicht verlassen\n.  Das ist also, ähm, dafür ist es recht\npraktisch.  Aber damit gehen auch\ngroße Verantwortlichkeiten einher.\nDaher ist die Einrichtung etwas schwierig.  Ich\nempfehle Vert.Ex Text normalerweise nur Nutzern, die\nbereits\nGCP verwenden oder über ein\nDevOps-Team verfügen, das die Einrichtung übernimmt. Für\nEntwickler bieten wir AI Studio und die dazugehörigen Entwickler-APIs an. Der Grundgedanke ist, den Einstieg in\ndas Modell so einfach wie möglich zu gestalten, indem man einfach\neinen API-Schlüssel erstellt und ihn\ndann verwendet. Um es so\neinfach wie möglich zu machen, bieten wir\neine Client-Datei-Upload-API an, mit der man\nkeine\nBuckets zum Speichern der Dateien einrichten muss.  Und äh,\nwir werden es in diesem\nBeispiel so machen, dass wir es im Hintergrund hochladen\n.  Es wird ein\nBucket erstellt, aber die Idee ist, dass\nman sich nicht darum kümmern muss, wie es\nfunktioniert.  Sie laden einfach die Datei hoch und\nkönnen sie anschließend in Ihren Gemini-\nPrompts verwenden.   Ähm\n, ich werde auch strukturierte\nAusgaben verwenden, weil ich\ngenau wissen möchte, was das Modell tun wird,\nda ich es bitten werde,\nviele Eingabeaufforderungen zu generieren\n.  Ich möchte also genau wissen, ob\nes nur die Eingabeaufforderung zurückgibt und\nnicht etwa eine Einleitung oder einen Text\noder so etwas wie „Oh ja, sicher, das\nkann ich machen“, und dann ist es schwer,\nweiterzuspielen.  Deshalb haben wir diese\nstrukturierte Ausgabe und ich\nverwende den Chat-Modus, der im Grunde eine Möglichkeit bietet,\nAnfragen an das\nModell zu verketten, sodass man im Prinzip\nden Verlauf speichert und erneut sendet,\ndamit das Modell weiß, was\nvorher passiert ist, was\nin diesem Fall sehr praktisch ist, da wir\ndas Buch nicht ständig hochladen möchten.  Wir\nmöchten, dass das Buch in den\nhistorischen Kontext eingebettet ist, damit die\nModelle neue\nFragen stellen bzw. beantworten und neue Anregungen zum\nBuch generieren können.  Und bei den Bildern wird es mit\ndiesem\nSystem ganz ähnlich sein.  Wir werden alle vorherigen\nBilder im Speicher haben.\nDas Modell wird also besser darin sein,\ndie Konsistenz der\nCharaktere und des\nStils beizubehalten.   Also,\nich gebe dem Buch einfach das Buch.\nHier ist das Buch, um es mit der Nano-\nBanane zu veranschaulichen.  Das ist alles.  Dann definiere ich einen\nStil.  Also habe ich es so eingerichtet, dass man\neinfach nichts tun muss und das Modell\nden Stil von selbst entwickelt.  Aber ich\nwollte vorher noch etwas anderes ausprobieren.\nEs wird also ein düsterer Fantasy-Stil\nmit schwarz-weißem Hintergrund und\nfarbigen Figuren.  Ähm, und ich füge\naußerdem einige Systemanweisungen für\nNano Banana hinzu, da ich nach meinen\nfrüheren Tests denke, dass es mit\nNano Banana 2 und Pro besser funktioniert.  Aber bei der\nersten Nano Banana, wenn ich nach\nBildern von Büchern im Hochformat fragte, zeigte sie mir meistens\nBuchcover an, die ich mir gewünscht hatte.  Es\nging also immer darum, Titel und ähnliches hinzuzufügen\n.  Deshalb musste ich einige Systemanweisungen hinzufügen,\num sicherzustellen, dass ich keine\nRänder möchte.  Ich will keine Titel.  Ich\nmöchte keine Beschreibung.  Ich achte auf\nFamilienfreundlichkeit, was wohl eher nicht so recht\nmit düsterer Fantasy vereinbar ist.  Ähm,\nund äh, und auch keine Panels, weil ich äh,\nich will kein Comicbuch.\nIch möchte für jedes Kapitel nur ein Bild\n.  Und dann werde ich\ndiesen Chat nutzen, um das Model zu bitten, die\neinzelnen Hauptfiguren zu beschreiben.  Äh, ich habe\nursprünglich nur die Erwachsenenbilder angegeben, aber das lag daran, dass\nNano Banana zeitweise\nkeine Kinderbilder in Europa generieren konnte,\naber das ist jetzt nicht mehr der Fall.  Wir\nkönnten also diesen Teil entfernen\nund ich erhalte diese Liste von\nZeichen und eine Eingabeaufforderung für jedes Zeichen\n.  Und dann kann ich einfach\njede einzelne der Aufgabenstellungen durchgehen und\nNano Banana bitten, ein Bild zu erstellen, das diese\nAufgabe veranschaulicht.  So\ninitialisiere ich also das\nBilddiagramm.  Es wird also ein\nseparates Diagramm geben.  Ähm, und dann sende ich\nalle äh die Eingabeaufforderungen, die\nerstellt werden sollen.  Wir können also sehen,\ndass äh, das ist also die\nkleine\nHauptfigur.  Also, äh, wie gewünscht,\nist der Hintergrund schwarz-weiß, die\nFigur hingegen farbig.  Ähm, nicht wirklich düstere\nFantasy, aber ja.  Ähm, das ist äh die\nWasserratte.\nDas ist die Kröte.\nÄh, der Dachs.  Ja, der\nDachs.\nUnd, äh, das war’s fürs Erste.  Und\ndann werde ich das Gleiche noch einmal machen,\nso dass Sie jetzt das gesamte\nBuch in Ihrer Geschichte haben.  Geben Sie mir also\nfür jedes Kapitel Anregungen, um\ndiese zu illustrieren.  Ich bekomme also für jedes dieser Kapitel eine Aufgabenstellung\nund erstelle dazu passende Bilder\n.\nHier sehen wir also die Figuren bei einem\nPicknick am Fluss.  Dann ist schon wieder\neiner unterwegs und\nirgendetwas passiert.  Ähm, und hier im\nWald, das ist das erste\nKapitel.  Und wenn man genau hinsieht,\nkann man erkennen, dass es hier ein Problem gab,\ndenn die Kröte wurde nicht\nmit den Charakteren oder\nBildern dargestellt, die wir\nzuvor erstellt hatten.  Vermutlich, weil die Aufgabenstellung\nnicht eindeutig war und nicht klarstellte, dass es sich um genau dieselbe\nFigur handelte.  Ähm, und deshalb\nhabe ich eine zweite Methode, die\ntatsächlich sauberer ist.  Und wenn man das\nin großem Umfang umsetzen wollte, dann\nwürde ich es so machen.  Ähm, und ich\nerstelle eine weitere Art von strukturierter\nAusgabe, nämlich ein Kapitel, das\neinen Namen und die Eingabeaufforderung enthält\n, aber auch eine Liste von Charakteren, die\nim\nBild erscheinen sollen.  Und so laufe ich weiter, ich bitte\ndas Modell erneut, sich\netwas auszudenken, aber dieses Mal gibt es\nmir die Liste der Charaktere.  Und auf diese\nWeise kann ich im Grunde\nfür jedes Bild, das ich erstellen werde,\nauch Referenzbilder angeben, wie\ndie Figur aussehen soll.  Es\nenthält also nur diese Bilder\nim Kontext, anstatt wie\nzuvor alle möglichen Bilder.\nIn diesem Fall haben wir ungefähr\nfünf Zeichen.  Also ist alles in Ordnung.  Aber wenn\nman in einem echten Buch mit beispielsweise 40\nCharakteren arbeitet, wäre es nicht\nnachhaltig, von den Modellen zu erwarten, dass sie den gesamten\nKontext perfekt erfassen.  Ähm, und\nehrlich gesagt, wenn ich das in größerem Umfang machen würde,\nwürde ich wahrscheinlich sogar mehr als\nein Bild pro Figur erstellen.  Vielleicht ein\nBild von vorne, eines von\nhinten, je eines von jeder Seite.  Und\ndann würde ich genau das weitergeben, was\nich in diesem Fall brauche.\nWir können also sehen, dass die Bilder\nirgendwie gleich aussehen, aber diesmal\nist die Kröte die rechte.\nÄh ja, das sieht wirklich so aus, als ob\nwir jetzt zum nächsten\nSchritt übergehen und VO verwenden könnten, um\nkleine Videos basierend auf diesen Bildern zu erstellen.\nIch benutze also das VO, das größte\nModell, weil ich\nehrlich gesagt nicht dafür bezahlen muss, sonst würde ich\ndas kleinste nehmen.\nAber im Grunde werden wir dasselbe tun\n.  Wir werden das\nModell auffordern, mithilfe des View-Modells ein Video zu generieren\n.  Äh, die Eingabeaufforderung – ich werde\ndieselbe Eingabeaufforderung verwenden, die wir\nzur Generierung des Bildes verwendet haben.  Und ich\nübergebe das zuletzt generierte Bild als äh\nals Startbild.  Und dann möchte ich im\nHochformat und in 720p, weil es\nkleiner sein wird.  Und los geht's.\nIch habe mir die\nGeräusche also noch nicht genauer angesehen, weil ich Abstand halte\n.  Sie werden nicht durchkommen.\nVerlasst diesen Ort, ihr Kleinen.  Du\ngehörst hier nicht hin.\nIch finde es ziemlich gut.  Ähm, aber manchmal läuft\nes nicht so gut, weil das Modell\ndie Aufforderung nicht mag, nur\ndas Bild aus Stahl zu erstellen,\nund ich glaube, das Modell weiß nicht\ngenau, was\ndanach passieren soll.  Eine bessere Methode wäre es also,\nden Chat wiederzuverwenden, um\ndas Modell aufzufordern, sich die äh äh\nErklärungen zu überlegen, was\nnach dem Bild passiert, und ich übergebe ihm auch\ndas Bild erneut, damit es genau weiß, über\nwelchen Teil des Kapitels wir\nsprechen, damit es die\nrichtige Aufforderung geben kann.  Ähm, und\nso kam es dann dazu, dass... äh, diese\nAufforderung... Schimmelpilz zittert und schüttelt entsetzt seine\nSchals, blablabla.  Uh, die\nWasserratten ziehen mutig ihr Glas und\ntreten vor, um ihn zu beschützen.  So, jetzt\nkönnen wir sehen, wie es läuft,\nund\nin diesem Fall sind die Ergebnisse nicht wirklich\nso gut.  Äh, ja, und jedes Mal, bei jedem\nTest, den ich durchgeführt habe, wird, wenn\nich dieselbe Eingabeaufforderung verwende,\nText hinzugefügt, und nicht, wenn ich eine andere\nEingabeaufforderung generiere.\nDas sollte aber eigentlich keinen Einfluss haben, da\nich in beiden Fällen nur eine Eingabeaufforderung und\nein Bild angebe. Ich weiß aber nicht, warum\ndas so passiert. Ähm,\nund dann können wir das neue LIA-Modell verwenden,\ndas wir generiert und\nletzte Woche veröffentlicht haben, um\nLieder für jedes Modell zu erstellen.  Also immer noch derselbe\nTrick.  Wir werden\ndas Modell bitten, die entsprechenden Eingabeaufforderungen zu erstellen\n.  Und dann werden wir\nmit dem\nLaya-Modell Inhalte generieren, äh, es bitten, äh, ein Lied zu erstellen, äh,\ndank des Kerls, der die Aufforderung aussprach, und\ndas war's im Grunde.  Also, schauen wir uns das\nerste Lied an, äh, das erste Lied sollte\norchestrale akustische Folkmusik mit friedlich\nfließenden Duetten von Akustikgitarre und Flöte sein\n.  Mal sehen.\nIch denke, es passt.  Dann das zweite,\ndie offene Straße ist äh jy abenteuerlich\nrhythmisch mit Geige und akustischem Bus.\nUnd das letzte Stück ist eine spannungsgeladene,\nunheimliche Melodie mit Stacato-Pizzicato-\nStreichern.\nUnd ich finde, es passt auch.  Und\nehrlich gesagt finde ich das Modell wirklich\ngut, denn es kommt nicht oft vor, dass man\nsolche Demos machen kann, ohne vorher zu\nüberprüfen, wie das Ergebnis aussehen wird.\nIch habe das Notebook zwar schon mal laufen lassen,\naber nicht überprüft, wie\ndie Musik am Ende aussehen würde.\nUnd bis jetzt hat es immer funktioniert\n.  Eine Sache, die ich dabei vergessen habe\nzu erwähnen, ist, dass\nwir unser Modell\nintern so trainieren, dass ein Großteil der\nTrainingsdaten für die Gen Media-Modelle\ntatsächlich mit Gemini erstellt wird.  Das ist also\nder Grund, warum Gemini so gut darin ist,\nsolche zu generieren, die für die Generierung\ngenerativer Medienmodelle geeignet sind, weil es\nbereits darauf trainiert ist, zu verstehen,\nwas Gemini verlangt.  Das ist also das, was\nden Gemini so gut darin macht,\ndiese ähm äh diese\nAnregungen zu generieren.  Und dann noch das letzte\nModell, das ich vorstellen wollte: das\nText-zu-Sprache-Modell.  Ich bin mir ziemlich sicher,\ndass ihr alle davon gehört habt,\ndenn äh jeder liebte die äh\nIntegration in Notebook LM, mit der man äh ähm einen\nPodcast basierend auf seinen Dokumenten erstellen konnte.\nUnd das ist im Grunde dasselbe Modell, das man\nerstellen kann; man kann es zum\nSprechen und Vorlesen anregen,\nund man kann\nzwei Charaktere mit unterschiedlichen\nStimmen und so weiter haben.  Das ist es, was\nes so angenehm macht, es anzuhören.  Aber\nwas ich Ihnen zeigen wollte, ist, dass es\ntatsächlich Tricks gibt, um mehr\nals zwei Stimmen zu haben.  Ähm, und\nder Grund dafür ist, dass Paige\ndas ja schon ein bisschen angedeutet hat, aber wenn\nman Text-to-Speech oder Live-Sprachausgabe verwendet,\nkann man beim Prompting tatsächlich sehr viel machen, um die Sprache auf\nverschiedene Arten und\nmit verschiedenen Akzenten sprechen zu lassen,\nund das werden wir zu unserem\nVorteil nutzen, um im Grunde mehr\nals zwei Stimmen\nin derselben Generation zu haben.  Also, was ich tat,\nweil ich faul war – das würde ich nicht tun.\nIch wollte das in großem Umfang umsetzen, habe\naber im Grunde darum gebeten, einen\nDialog aus dem Buch zu extrahieren und ihn dann\nals Transkript eines\nTheaterstücks umzuschreiben. Dabei sollte der Name der\nFigur durch „Erzähler“ ersetzt werden, falls es sich nur um\neinen Erzähler handelt. Alle\nanderen Figuren sollten einfach nur benannt sein,\naber jeweils mit einem spezifischen Stil.\nWenn dieselbe Figur\nwiederkehrt, sollte\nderselbe Stil wiederverwendet werden, sodass\ndieselben Figuren auf\ndieselbe Weise sprechen und dieselbe\nStimme haben.\nÄhm, und dann definiere ich die Stimmen.\nDer Erzähler wird also Sulafats\nStimme verwenden, was auch immer das sein mag.  Und dann werden\nalle anderen die\nFener-Stimme teilen.  Ähm, und dann\nbitte ich es einfach, äh äh, das Ding zu generieren\n.  Und hier noch ein kleiner Trick beim\nTTS-Modell: Man muss immer mit „\nLies dies“ oder „Sag mir das“ oder\nÄhnlichem beginnen.  Wenn du die Nachricht einfach abschickst, wird sie\naus irgendeinem\nGrund ignoriert.  Also, äh, Sie müssen es jedes\nMal dazu auffordern, den Text vorzulesen.  Und genau da\nkann man auch etwas Kontext hinzufügen, so etwas wie\neine Systemanweisung, zum Beispiel: Lies\ndas auf eine gruselige Art und Weise oder: Die Charaktere\nsind sehr aufgeregt.  Dort\nkönnen Sie also auch diese Details hinzufügen.\nÄhm, und wie Sie sehen können,\nsagt der Erzähler in dem Text, den wir erhalten haben, dass\ndie erste Figur\nsehr schnell und mit britischem Akzent sprechen wird, und so weiter,\nund wir können sehen, dass die\ngleiche Sprechweise\nhäufig vorkommt.  Es passiert also, wenn die beiden Charaktere äh hin\nund her wechseln.  Mal sehen,\nwie es läuft.   Mit ihren\nkleinen, ordentlichen Ohren und dem dichten, seidigen Fell\nstanden die beiden Tiere da und beäugten\neinander vorsichtig.\n\"Hallo,\nhallo.\nMöchtest du herüberkommen?\"\n\"Ach, ach, reden ist ja schön und gut.\"  Er\nsprach ziemlich gereizt, da er den\nFluss und das Leben am Flussufer und seine Gepflogenheiten noch nicht kannte.\nDas zweite Tier sagte nichts, sondern\nbückte sich, löste ein Seil und hielt sich daran fest\n, dann stieg es leise in ein\nkleines Boot, das man nicht bemerkt hatte.\nEs war außen blau und innen weiß gestrichen\nund hatte genau die richtige Größe für zwei\nTiere, und das erste Tier war sofort von ihm begeistert\n,\nobwohl es seinen Nutzen noch nicht ganz verstand\n.  Der Ruderer ruderte zügig\nhinüber und legte ein gutes Tempo vor.  Dann hob er\nseine Vorderpfote, als sein Gast vorsichtig herunterstieg\n.\nVerlass dich jetzt darauf.  Dann mach einen lebhaften Schritt.\nZu seiner Überraschung und Begeisterung fand er sich\ntatsächlich im Heck eines\nechten Bootes sitzend wieder.  Das war ein wundervoller\nTag.  Weißt du, dass ich\nin meinem ganzen Leben noch nie in einem Boot war?   Was\n?  Ich war noch nie in einem Du hast noch nie Nun, ich\nWas hast du dann gemacht?  Er war\ndurchaus bereit, es zu glauben, als er sich\nin seinem Sitz zurücklehnte und die\nKissen, die Oes, die Rollocks und all\ndie faszinierenden Ausstattungsgegenstände betrachtete und spürte, wie das\nBoot leicht unter ihm schwankte.  Ist es wirklich so\nschön?  Hübsch?  Es ist das Einzige\n.  Glaub mir, mein junger Freund,\nes gibt nichts, absolut gar nichts, was auch nur annähernd\nso viel Spaß macht wie einfach nur\nin Booten herumzuspielen.  einfach nur rumalbern\nin Booten, rumalbern.\nSchau nach vorn.  Es war zu spät.  Das Boot\nprallte so stark ab, dass\nman nicht erraten konnte, dass\nfür die beiden Charaktere tatsächlich dieselbe Stimme verwendet wurde\n.  Sie sind so\nunterschiedlich.  Und das ist tatsächlich\neine richtig coole Art,\nsolche Diskussionen\nmit mehreren Charakteren zu gestalten.  Damit ich es benutzen kann\n.  Und äh, die letzte Sache ist, dass, wie bereits\nerwähnt, die Gemini-Modelle standardmäßig\nMultimodel-fähig sind.  Ich habe also\nein Buch benutzt, aber man kann auch ein\nHörbuch oder einen Film senden, zum Beispiel einen nicht allzu\nlangen Film. Man könnte aber auch\ndie gleichen Dinge tun, indem man alle\nmultimodalen Eingabemöglichkeiten nutzt, um\nGemini Dinge erstellen zu lassen, um auch\nandere\nModalitäten zu veranschaulichen.  Ähm, wie viel Zeit\nhaben wir?  Ähm, ich\nsagte doch, ich würde Ihnen das\nEchtzeitmodell zeigen.  Das ist also ein sehr gutes, ein\nsehr cooles Beispiel dafür, dass... Oh nein, hör auf!\nIch werde euch etwas zeigen, was ich\nvorher noch nie gesehen habe.  Paige hat einige Beispiele für\ncoole Dinge genannt, die man in ICOs entwickeln kann.\nEines der Dinge, die ich ausprobieren wollte, war\nim Grunde das Gleiche zu tun wie das, was ich\nim Notizbuch mache, nämlich ziemlich\numfangreiche und komplizierte Dinge.\nIch habe es also einfach kopiert und eingefügt\n.  Können Sie eine App erstellen, die\nein Buch mithilfe von genmedia-\nModellen illustriert, wie sie in diesem Python-\nNotebook beschrieben sind? Ich füge einfach den gesamten\nInhalt des Notebooks ein, kompiliere die App\nund wir sehen, wie es läuft.   Ähm,\ndas kann ziemlich lange dauern,\nvorhin hat es zum Beispiel 15 Minuten gedauert, also\nmöchten Sie vielleicht nicht so lange warten, aber äh,\nich kann Ihnen in der Zwischenzeit Space DJ zeigen\n.  Also, wie ich schon sagte, generiert das Modell\nMusik in Echtzeit, und das hier\nist eine Demo, in der sie ein sternenähnliches\nUniversum aus Sternen und\nPlaneten als Eingabeaufforderungen erstellt haben.  Wenn wir uns also\neinigen Planeten nähern, sollten sie anfangen,\nMusik zu spielen.\nUnd wenn du dann langsam woanders hinkommst,\nja.  Ja.  Ich schätze, so im mittleren\nBereich.   Wir sehen uns.\nIch bin wirklich überrascht, dass die\nLeute nicht mehr mit\ndiesem Modell machen, denn es macht so viel Spaß damit,\nund es gibt einen Autopiloten, sodass man\nes einfach 10 Minuten lang herumfahren lassen\nund dann äh der sich in Echtzeit ändernden Musik zuhören kann\n.  Ähm, das ist irgendwie cool.\nHoch.  Mal sehen, wie sich das hier entwickelt.  Ja, so ähnlich\nist es mit Denken.  Aber ich zeige Ihnen mal, was\nes vorher gemacht hat, als ich\nes ausgeführt habe.  Ach ja,\nund ich habe meinen Laptop eine halbe\nStunde lang offen gelassen, nur damit er das nicht macht\nund die Seite neu lädt.  Tja, ich habe wohl\nverloren.  Ähm, aber genau das hat es\nvorhin gemacht, äh, wie\nSie sehen können, nur die Eingabeaufforderung und sonst nichts\n.  Es gab eine sehr lange Eingabeaufforderung,\nund es dauerte ungefähr\ntausend Sekunden, also etwa 15 Minuten, wenn\nich mich nicht irre, um die App zu erstellen. Aber im\nGrunde macht sie genau dasselbe wie das Notebook,\nalso kann ich die Datei auswählen und\nhochladen. Es wird zwar etwas dauern,\naber glaub mir, sie macht\ngenau dasselbe wie das\nNotebook, und das ist wirklich ziemlich\nbeeindruckend, dass sie das gleich beim\nersten Versuch schafft.  Ähm,\nund um es noch einmal zu beschließen: Eine Sache, die\nich beim Vibe Cutting mache, während\nes läuft, ist, dass ich immer diese\nAnweisungen parat habe, wie man\nApplets oder Apps generiert.  Äh,\nund einer der Gründe dafür ist, dass ich\ndie Apps so einfach wie möglich für mich\nbewerten möchte, weil ich\ngenau das vermeiden will, was vorhin auf der Seite passiert ist:\ndass etwas nicht funktionierte\nund man dann herausfinden musste, woran es lag,\nund das Model bitten musste, es zu beheben.  Einer\nmeiner wichtigsten Tricks ist, dass ich\ndas Modell anweise,\nfür jedes einzelne Feature separate Dateien zu erstellen, sodass ich,\nwenn ich etwas überprüfen muss,\nschnell feststellen kann, ob es etwas aktualisiert, das damit nichts zu tun hat, wenn ich es beispielsweise auffordere,\ndieses Feature zu ändern\n.  Ich weiß also von Anfang an, dass da\netwas nicht stimmt, und\nich werde in meinen\nRezensionen und so weiter genauer hinschauen.  Und außerdem gibt es da noch ein paar\nAnweisungen, bei denen ich nicht verstehe,\nwarum sie nicht standardmäßig in jedem Vibe-\nCoding-Tool enthalten sind: das Hinzufügen von Protokollen. Denn\nwenn man\ndebuggen muss, weiß man einfach, dass die\nFehlermeldung nicht ausreicht.  Du musst wissen,\nwas vorher passiert und wie es\nabläuft, denn du musst\nwissen, wo es passiert.  Deshalb\nempfehle ich Ihnen wirklich,\nsolche Richtlinien immer dann zu verwenden, wenn\nSie etwas tun, und wir werden\nsehen, wie es jetzt läuft.  Oh, und da ist noch etwas\n.  Ich glaube nicht, dass Paige es gezeigt hat,\naber wenn Sie bereit sind zu zahlen,\nkönnen Sie hier einen API-Schlüssel hinzufügen und dann haben Sie\nmehr Kota zur Verfügung, um\nGemini zu nutzen, wenn Sie mit\nAI Studio codieren.\nÄh, ich denke, ich lasse Sie einfach Ihre\nDemos zeigen und kann Ihnen dann später zeigen,\nwie es danach aussieht.   Ja\n, klar.\nfür das Videomodell, als Sie\ndas Video generiert haben.\nWerden dafür Ihre Modelle verwendet\noder wird das nur angezeigt?\nJa, im Moment wird nur die Ansicht angezeigt.  Gibt es\neine Möglichkeit,\nalle Modelle zu orchestrieren und\nzusammenzuführen, oder muss man einfach\ndie `\ngenerate`-Funktion verwenden?\nOh, wenn Sie die\nvon Lia generierte Musik\nbeispielsweise im Video V verwenden möchten.  Äh nein, das geht nicht\n.  Es liegt eher an\nden Modellbeschränkungen,\ndass die VO3-Generation nicht dafür ausgelegt war,\nAudiodateien aufzunehmen.  Also, deshalb ist es\neinschränkend.  Äh,\naber ich denke, die Zukunft sieht so aus, dass wir\nwollen, dass jedes Modell\nalle Modalitäten aufnehmen kann, damit wir\ndas können.  Äh, ich denke, es wäre auch\nsinnvoll, wenn das Laria-Modell\nAudiomodelle einlesen könnte, damit\ndiese als\nReferenzen verwendet werden können. Oder wenn man\nmehrere Durchgänge machen möchte und sagt: „Okay, ich\nliebe deinen Song, aber das Ende war ein\nbisschen nicht episch genug, also mach es\nepischer“, sodass es vielleicht einfach\ndas Ende aktualisieren würde.\nJa, im Moment ist das noch nicht möglich,\naber die Entwicklung geht in diese Richtung\n.  Die\nAufführung ist wirklich spezifisch für die\nMusik in Ven.\nNein,\nich würde VO nicht für irgendeine Art von\nMusik ausprobieren, da die Trainingsdaten\nfür Hintergrundmusik\nsehr wahrscheinlich sehr schwach sind, weil es\nimmer die gleichen, nicht-\nmusikalischen Dinge tut.  Ähm, also nein, aber nochmal:\nAlle diese Modelle werden mehr oder\nweniger gemeinsam trainiert und teilen sich einige\nTrainingsdaten.  Ich bin mir also sicher, dass die nächste Generation von\nVO darin besser sein wird.  Es ist nur so,\ndass das aktuelle Modell\nvor einem Jahr auf den Markt kam und vor einem Jahr gab es noch keine\nMusikgenerationsmodelle, wie wir vorhin über Text\nin Videos gesprochen haben, und vor einem Jahr hieß die Nano\nBanana noch nicht einmal\nNano Banana, sondern Gemini 1.5 Image.\n2.0 Bild äh Generation etwas äh und\nes war äh es war nicht so gut wie\nText.  Das ist also äh ja, es ist einfach äh nur\neine Frage der\nModellgeneration.\nOh, und ich habe noch etwas vergessen: Während es\nfunktioniert, müssen Sie es, falls Sie das Notebook ausführen möchten,\nebenfalls entfernen.  Ähm,\nhier, hier, als ich angefangen habe, ja, habe ich\nden Chat erstellt. Ich habe diese Zeile hinzugefügt, die die\nPriorität der Serviceebene angibt.  Es handelt sich tatsächlich um\netwas, das wir letzte Woche verschickt haben.\nUnd das ist eine Möglichkeit,\nden Modellen anzuzeigen, wann Sie sie dazu auffordern, wenn\nIhnen\ndie\nLatenz nicht so wichtig ist, Ihnen aber der\nPreis wichtig ist.  Es gibt also eine Serviceebene namens\nFlex, die besagt, dass die Bearbeitung der\nAnfrage einige\nMinuten dauern kann, aber sie wird trotzdem schnellstmöglich abgeschlossen\n.  Es ist also im Prinzip dasselbe wie die\nVerwendung der Batch-API.  Und\nandererseits, weil ich ganz sichergehen wollte, dass\nes\nheute noch durchgeht, kann man sagen, dass es sich um einen\ndringenden Antrag handelt.  Es wird also eine\netwas höhere Priorität haben und äh, es\nsollte nicht äh, es wird\nzuverlässiger sein, aber Sie werden\nden doppelten Preis zahlen.  Wenn Sie das Programm also\nalleine ausführen, sollten Sie diese\nZeile eventuell entfernen, um etwas Speicherplatz zu sparen.  Nun, wir werden sehen,\nwie sich das hier entwickelt.  Oh, und wie ich schon sagte,\nist dieses Modell sehr gefragt.  Ja, ähm, es tut mir leid\n.  Das Modell ist einfach zu\ngut, alle wollen es\nbenutzen, und wir haben nicht genügend\nKapazität.  Wenn Sie also, falls Sie etwas\nTPU übrig haben, das Sie teilen möchten, können wir\neine Vereinbarung treffen.  Sie haben eine Frage.\nPlanen Sie,\nähnliche Varianten dieses Modells allgemein zugänglich zu machen,\njedoch für\nkünstlerische Zwecke?\nDie Frage für das Video lautet also: Wird es ein\noffenes Mediengenerierungsmodell geben?\nEhrlich gesagt glaube ich nicht, dass es das für die Bild- und Videogenerierung geben wird. Einer der\nGründe dafür ist, dass wir bei der\nGenerierung von Bildern oder Videos viele\nPrüfungen durchführen, um festzustellen, was angefordert wird\nund was tatsächlich\ngeneriert wird. Wir blockieren einige\nDinge, die nicht\nmit unseren Vorstellungen übereinstimmen. Ich\ndenke, ein offenes\nModell wäre\nwie eine offene Bar, bei der man alles\ngenerieren lassen kann, was man will. Genau hier werden\nunsere Unternehmenswerte\nuns einschränken. Bei\nMusik hingegen wäre es sinnvoll,\ninsbesondere bei Echtzeit-Wiedergabe, die Daten direkt\nauf dem Gerät zu verarbeiten, um eine\nschnellere Verarbeitung zu gewährleisten.  Das ist also\netwas, was irgendwann passieren könnte.\nÄhm,\ncool.  Ja, ich denke, wir werden nach den\nGemma-Demos sehen, ob es besser funktioniert.  Ähm\nja, ich hoffe, es war interessant.\nDanke schön.\nUnd äh, Ian ist äh im Grunde mein\nGegenstück.  Ich arbeite ausschließlich mit dem Gen-Media-\nModell.  Ian arbeitet an Gemma-Modellen\nund\ner wird euch zeigen, wie cool das\nModell ist, besonders die größte Neuerscheinung der letzten Woche: Gemma 4.\nDanke schön.   Ja\n.  Wie G bereits erwähnte, heiße ich Ian\nValentine.  Ich bin Developer Relations\nEngineer und arbeite an den Gem-Modellen.\nDies ist ein spontaner Vortrag.  Äh,\naufgrund all dessen, was\nheute passiert ist, haben wir – Paige\nerwähnte ja bereits –\nzwei Sitzungen abgehalten, um eine\nganze Menge Dinge durchzugehen.  Wir haben auch\nfür den Rest der Woche noch einige Gemma-Vorträge geplant\n.  Omar wird,\nglaube ich, am Freitag eine Keynote halten, in der er unter anderem erklären wird, was\nEdelsteine ​​sind und\nwarum man sich dafür interessieren sollte.  Ich werde\ndiesen Abschnitt also im Eiltempo durchspielen.  Ähm,\nund morgen haben wir noch ein Gespräch über das, was\nwir so genannte souveräne\nFluchtgeschwindigkeiten genannt haben.  So wie man die\nKontrolle über KI übernimmt und Dinge auf dem eigenen\nGerät, in der eigenen Cloud oder auf Smartphones ausführt –\nhoffentlich trägt das, worüber ich hier spreche, dazu bei, genau\ndas zu verwirklichen.  Das erklärt also ein bisschen\nmehr, warum.  Ich\nzeige Ihnen einfach, was es ist.  Das macht\nSinn.  Dann lasst uns doch gleich mal online gehen\n.  Welches brauche ich?  Tut mir leid\nfür\ndiesen magischen Moment.  Ja.  Sobald ich ein\nVideo hochgeladen habe.\nHast du auch schon Ton?   Äh\n, nein.  Nehmen wir Nummer 1.\nWir werden versuchen, zuerst die ohne\nTon zu zeigen.  Äh, okay.  Wie bereits\nerwähnt, ist das Ganze also völlig spontan,\nwir nehmen einfach, was dabei herauskommt.\nÄh, aber ich werde es\nIhnen zeigen, sobald der Bildschirm\nhochgefahren ist.  Oh, soll ich es zur\nSeite schieben?  Oder kann ich ein Spiegelbild machen?\nLass uns das mit dem Spiegeln machen.\nLass uns das mit dem Spiegeln machen.  Äh,\nwo?  Ja, mach es!\nPerfekt.  Ja.  Ich möchte\nIhnen also ein wenig zeigen, äh,\neinige der\nGeräte, auf denen Gemma-Modelle laufen können.\nIch werde kurz über die\nverschiedenen Größen des Gemma-Modells sprechen, das wir\nletzte Woche bei Gemma vorgestellt haben, weil\nes brandneu ist.  Und\nhoffentlich vermittelt Ihnen das einen\nEindruck von den Möglichkeiten,\ndie Ihnen jetzt entweder lokal oder\nauf einer einzelnen GPU zur Verfügung stehen,\nwas vor etwa sechs Monaten vielleicht noch nicht möglich war\n.  Bitteschön.  Auf geht's.  Perfekt.\nTada.  So, Gemma 4. Hurra.  Äh, das\nwurde letzten Donnerstag veröffentlicht.  Ähm, es handelt sich um\neine Familie von vier Modellen.  Wir haben also\ndie sogenannten effektiven Modelle, das\nE2B- und das E4B-Modell.  Und das sind\nModelle, die so konzipiert sind, dass sie wie auf\nMobiltelefonen, Raspberry Pis, Jets und Nanos laufen, also so etwas wie\nsehr kleine Low-End-\nHardware.  Äh, der E-Teil ist die\nFrage, die uns immer wieder gestellt wird.  Der\nEffekt ist, dass die\nModellarchitektur eine pro Schicht eingebettete\nStruktur aufweist, was bedeutet, dass die\nEinbettungen nicht\nals Teil des Modells geladen werden müssen.  Sie können\nsie also auf Flash ausführen lassen und dann\ndie Einbettungen nach\nBedarf für das Modell einbinden.  Das\neigentliche Herzstück des Modells, das wir sozusagen als dessen\nGehirn bezeichnen, besteht aus etwa zwei\nMilliarden bis vier Milliarden\nParametern, aber wenn man alles in den\nArbeitsspeicher (RAM) packt, ist es noch etwas größer.  Es ist eher so etwas\nwie ein Modell mit fünf bzw. acht\nMilliarden Parametern.  Ähm, deshalb heißt\nes also effektive 2B.  Äh, wir\nhaben auch ein 26-Milliarden-Modell, das eine Mischung aus\nExpertenmodellen mit 4 Milliarden aktivierten Parametern ist, und wir\nhaben ein 31 Milliarden Parameter umfassendes Modell,\ndas sozusagen unser Flaggschiff unter den\ngroßen Modellen ist.  Und die beiden größeren\nModelle, das 26 und das 31, sind so konzipiert, dass sie\nauf Laptops und\nDesktop-Computern oder in Single-Instance-GPU-\nClouds eingesetzt werden können, je nachdem, welche Präzision\nund Quantisierung benötigt wird.  Ich will jetzt nicht näher darauf eingehen\n, aber stellen Sie sich einfach vor, dass\nviele der Funktionen, die Sie\njetzt nutzen können, auch auf einem\nMacBook mit genügend RAM oder einer\n5090 oder so etwas möglich wären.   Genau da stehen\nwir momentan\n.  Ähm, warum sind diese Dinge so spannend\nund interessant für uns?  Denn bei\ndiesen Modellen konzentrieren wir uns eher auf\ndie handelnde Seite.  Sie verfügen nun also über\neingebautes Denkvermögen. Sie sind multimodal,\ndaher können sie Bilder, Audio und\nVideo verstehen.  Die Audiofunktion ist übrigens nur für\ndie beiden kleineren Modelle verfügbar.  Die effektiven\nModelle, die auf dem Telefon laufen, können\nAudio verstehen, die übrigen können\nBilder und Videos verstehen.  Und wir\nsehen, dass die Leistung von Modellen, die hinsichtlich der\nParametergröße etwa 10-mal größer sind, verbessert wird.  Was früher\neinen Cluster erforderte, kann man jetzt auch mit\neiner einzelnen GPU realisieren.  Genau da\nsehen wir also die\nInnovationen.  Ähm, und worauf ich gleich\nhinauswill, ist,\nIhnen den Demo-Bereich zu zeigen.  Oh, ich zeige\nIhnen diese eine Folie.  Ich mag diesen.\nDas erklärt ein\nwenig, woher wir kommen.  Bei den\nGemma 2-Modellen, die sich etwa\nin der Mitte befinden, sind wir\nbesonders gut im kreativen Schreiben,\naber unsere anderen Fähigkeiten sind nicht so gleichmäßig verteilt\n.  Und im Laufe der Entwicklung von\nGemma 3 und nun\nGemma 4 haben wir die\nGesamtleistungsfähigkeit des Modells gewissermaßen angeglichen.  Wir haben\nSysteme, die viel besser im\nCodieren sind, viel besser im Aufrufen von Funktionen, die\nAktionsausführung ist alles in die\nArchitektur des\nModells integriert, anstatt sich auf\nstarke\nBefehlsfolgefähigkeiten zu verlassen, die bei größeren\nModellen wichtiger sind.\nDie Modelle sind also von\nGrund auf so konzipiert.  Also, äh, gehen wir mal rüber zu äh, das hier sind\nalles Spoiler aus Omars\nVortrag.  Ich werde also direkt zum\nDemo-Bereich übergehen.  Ich zeige dir dieses hier\n.  Das hier\nist also die Google AI Edge Galerie-\nApp.  Hat schon jemand diese App ausprobiert?   Äh, ich\nhabe äh ein, zwei, okay, so eine\nHandvoll Leute.  Sie können\nes also im Play Store oder App Store herunterladen.  Es\nfunktioniert auf Android und iOS.  Und äh, es\nist eine Möglichkeit,\ndie Modelle zu testen und auszuprobieren.  Wir haben also\neine neue Funktion namens Agentenfähigkeiten veröffentlicht.  Und die\nAgentenfähigkeiten ermöglichen es\nIhnen, Fähigkeiten für die\nModelle einzurichten, die physisch auf dem Telefon ausgeführt werden.\nDieses Modell, das E2B-Modell,\nläuft also buchstäblich auf einem Pixel,\nglaube ich.  Sie können\nes starten und die verschiedenen\nFunktionen testen.  Es bietet also im Grunde\neine Reihe von Fähigkeiten, die Dinge\nwie Android-Intents definieren, mit denen man\nandere Apps aufrufen oder\neigene JavaScript-Funktionen schreiben\noder eine Webansicht ausführen kann. Man\nkann das Modell anweisen, diese Aktionen auszulösen, und es trifft dann\neine Entscheidung darüber, wie sie ausgelöst werden\n.  Sie können es beispielsweise dazu bringen,\nDinge zu diesem Forschungs-Tracker hinzuzufügen\noder Fragen zum\nForschungs-Tracker zu stellen, und es ruft dann die\nrichtige Funktion auf, um die entsprechenden Daten abzurufen.\nWir sind also von einer Welt, in der man einfach nur über das\nHandy mit dem System chatten konnte, zu einer Welt übergegangen, in der\nman ihm auch etwas weniger\neindeutige Eingaben machen kann und es dann in der Lage ist, eine\nEntscheidung darüber zu treffen, welche Funktionen\naufgerufen werden sollen.  Äh, der nächste, falls er abgespielt wird.  Ja.\nAlso, in diesem Beispiel haben wir\neine Reihe verschiedener... ich zeige Ihnen das\nletzte.  So, jetzt haben wir's.  Äh, eine Reihe\nverschiedener Fähigkeiten, die Sie ausprobieren können\n.  Also alles Mögliche, von einfachen Dingen wie dem\nLaden von Standorten in Karten bis hin zur\nNutzung von APIs und anderen\nDiensten.  Man kann diese\nDinge also selbst bauen oder einfach einige\nder vorinstallierten verwenden, um zu\nverstehen, wozu sie fähig sind.\nUnd das hier ist sozusagen unser Spielplatz dafür\n.  Und schließlich wollte ich noch\nzeigen, dass es sich hier um das Modell 2B auf der\nlinken Seite handelt.  Sie könnten also\nauch Dinge wie Vibe Coding auf dem\nGerät ausprobieren.  Das Modell ist dazu durchaus in der\nLage.  Man kann damit kein\ngroßes\nArchitektursystem entwickeln, aber es kann\nkleinere Dinge wie Webanwendungen, die\nviele verschiedene Sprachen verstehen.\nMan kann Dinge in Python, HTML und\nTypeScript schreiben.  Es kann einiges davon überprüfen,\nund man könnte zum Beispiel\nkleine Apps entwickeln, die direkt auf\ndem Telefon laufen.  Man\nhat also quasi den gesamten Feedback-Kreislauf direkt in\nder Handfläche.  Dieser hier ist also\nein ganz\neinfacher Taschenrechner, und was besonders wichtig ist: Er\nunterstützt tatsächlich die Division durch Null und\ngibt den Fehler korrekt aus.  Es ist also sogar in der Lage,\nüber solche\nDinge nachzudenken, und um es noch einmal zu ergänzen: Ich glaube, im\nMoment ist das\nDenken deaktiviert, aber wenn man das\nDenken aktiviert, sehen wir, dass sich die\nQualität der\nAusgabe verbessert, äh, in Bezug darauf, worüber das\nModell tatsächlich nachdenken kann,\nweil es diesen Planungsschritt\nvor der eigentlichen Ausführung hinzufügt.\nOkay.  Als nächstes zeige ich Ihnen eine\nDemo, die auf dem Gerät läuft.  Ähm, wer von euch\nhat LM Studio oder äh Olama oder ähnliche Tools benutzt oder benutzt sie noch\n?\nOkay, also vielleicht so drei oder vier\nPersonen.  Ähm, also das ist tatsächlich nützlich.\nDeshalb ist\nuns bei der Entwicklung dieser Modelle besonders wichtig, dass sie\nmit vielen Tools im\nÖkosystem kompatibel sind.  Deshalb arbeiten wir mit\nPartnern wie Alama, LM Studio, VLM und SG\nlang zusammen, um sicherzustellen, dass unsere Modelle optimal\nmit ihnen zusammenarbeiten und\neffizient eingesetzt werden können.  LM\nStudio ist so etwas wie ein Tool zum\nAusführen lokaler Modellinstanzen.  In diesem\nFall läuft bei mir gerade das Modell 26B\nauf meinem Gerät, und Sie können\nes von hier laden. Im Moment\nist es so konfiguriert.  Das hier dauert ungefähr äh,\nim Moment steht da 7 bis 18\nGigabyte, aber wenn man zum Beispiel\nden äh ausreichenden Arbeitsspeicher hinzurechnet, um den\nKontext, den Sie betrachten, darzustellen, dann wären das etwa 22 GB äh äh\nRAM, die dafür benötigt werden.  Dies ist\nein M4 Mac, der natürlich über einen einheitlichen\nSpeicher verfügt, sodass Sie ihn ausführen können.\nWenn Sie jedoch die volle\nLeistung erzielen möchten, benötigen Sie eine GPU\nmit genügend RAM, um das\ngesamte Modell ausführen zu können.  Wie ich bereits erwähnte,\nist das Modell 26B eine Mischung aus Experten.  Es\nbenötigt also tatsächlich nur 4 Milliarden\naktivierte Parameter.  Es ist also wesentlich\nschneller als das 31B-Modell, aber\nintelligenter als ein Modell mit nur 4 Milliarden\nParametern es wäre.  Eine tolle\nSache daran ist, dass\nman diese Modelle auch\nlokal auf dem Rechner über einen kompatiblen\nEndpunkt bereitstellen kann.  Also, äh, so etwas wie ein OpenAI-\nkompatibler Endpunkt oder ein anthropischer\nEndpunkt.  Und dann können Sie\nsie auch mit anderen Apps verwenden.\nIch werde also\ndieses Modell auf den Ports 1, 2, 3 und 4 bereitstellen und\ndann können andere Anwendungen die\nChat-Vervollständigungs-API direkt auf diesem Modell aufrufen\n.  Der Code hierfür wäre also etwa so:\nOpenAI, äh, OpenChat Completions. Man müsste ihn\ndann auf diesen Server verweisen, und das wäre\ngleichbedeutend damit, den\neigenen Rechner zu benutzen, anstatt einen\nCloud-Rechner.  Ich werde also\nhier ein Terminalfenster öffnen.  Ich werde eine Demo im SVG-\nBereich erstellen.  Also, ich werde\neine Orchestrator-\nInstanz erstellen und dann 10\nUnterinstanzen, die dann\nSVGs für mich generieren.  Also, alles, was ihnen\ngesagt wird, ist: Äh, lassen Sie mich sicherstellen, dass\nich das Denken abschalte, damit es\nsuperschnell geht.  Gut, dass ich mich daran erinnert habe.\nRechts.  Jedes dieser Terminals hier\nist also ein separater Agent.  Und Sie können sehen, dass\nder Dirigent dieser hier ist\n.  Äh, also werden diese\nEntscheidungen an all die verschiedenen Unterauftragnehmer delegiert,\nund jeder dieser Unterauftragnehmer hat\neine andere Aufgabe zu bewältigen.\nSie sehen also, dass dies eine sehr\ngute Möglichkeit für Sie ist,\nschnell Prototypen auf Ihrem lokalen Rechner zu erstellen.\nÄh, dafür braucht man kein Internet\n.  Und der Durchsatz in der Ecke da oben zeigt an,\nwie viele Token insgesamt\nvon jedem\neinzelnen Unterauftrag generiert werden.  Wenn sie dann\nalles zusammenfügen,\nkompiliert der Orchestrator das Ganze einfach zu\neiner Seite, und man erhält eine schöne Auswahl\nverschiedener SVGs, die sie\ngeneriert haben.  Man kann sich das also als jede beliebige\nkreative Aufgabe vorstellen, die man\nauf seinem Rechner ausführen möchte.  Sie wissen schon,\nDateien sortieren, Codeabschnitte implementieren\n, Forschungsarbeiten unterteilen,\nDaten analysieren, solche Sachen eben\n.  Ähm, und man kann ihnen allen ganz\nunterschiedliche Aufgaben geben, um das zu erledigen.  Einige von\nihnen sind also schon fertig.  Das ist gut.\nHoffentlich ergibt sich also gleich etwas\n.  Bitteschön.  Hier sind also meine\nSVGs.  Na ja, so schlecht sind sie doch gar nicht, oder\n?  Und wie ich schon erwähnte, ach ja, dieser hier ist\nanimiert.  Ein sich drehender Planet.\nFig hat es also irgendwie geschafft, dass es aussieht,\nals wäre es animiert, was\nziemlich cool ist.  Ja.  Und genau dieses\nDenken ist abgeschaltet.  Wenn ich also die\nDenkfunktion aktiviert habe, wird\nin der Planungsphase etwas mehr nachgedacht, und\nman erhält im Allgemeinen bessere SVGs.  So wie\nmehr Zeit, die man mit Nachdenken darüber verbringt, zu\nbesseren SVGs führt.\nÄhm, als nächstes wollte ich\nIhnen zeigen, äh, ich werde jetzt mal hier rüberspringen, um den\nCode zu öffnen.  Also, wie ich bereits erwähnt habe, äh,\nSie können jede Anwendung verwenden, die\neine offene, KI-kompatible Schnittstelle nutzen kann.  Wenn\nSie also beispielsweise eine Programmierumgebung haben,\nkönnen Sie diese einfach darauf\nverweisen und das\nModell ausprobieren, um zu sehen, wie gut es\nfunktioniert.  In diesem speziellen\nBeispiel müssen Sie also\nim offenen Code nichts weiter tun, um dies zu konfigurieren. Ich werde jetzt\nalle meine Terminals schließen.  Auf\nWiedersehen.\nLasst uns diese loswerden.  Wenn Sie dorthin gehen, finden Sie dort\neine einzelne Datei.  Wenn ich\nvim.config auf \"\nopen code\" gehe\nund nach unten scrolle,\nwo finde ich es?  Dieser Abschnitt hier.  Das ist\nalles, was Sie angeben müssen.  Sie geben also den\nNamen des Anbieters, das Schema\n, die Modelle, die Sie bereitstellen möchten,\nund alle zusätzlichen Parameter an, die\nSie für den Endpunkt benötigen, und dann\nverweisen Sie einfach auf eine URL, die\nin diesem Fall einfach mein lokaler Rechner ist.\nUnd das ist alles, was Sie tun müssen.  Und ich\nhabe noch ein weiteres Beispiel.  Ich werde\ndas jetzt nicht ausführen, aber wir haben eine Anleitung,\nwie man Gemma beispielsweise auf\nCloudr Run oder einem anderen\nCloud-Anbieter bereitstellt.  Wenn Sie also nicht\ngenügend RAM für die\ngewünschte Quantisierung haben, können Sie das Modell einfach\nauf einer einzelnen GPU ausführen. Mit diesem\nBefehl,\ndem Beta-Cloud-Deployment, wird\ndas Modell auf einer RTX Pro 6000 bereitgestellt.\nSo können Sie es testen, wenn Sie es einfach nur ausprobieren möchten.\nUnd wir haben noch eine weitere Möglichkeit, darauf zuzugreifen\n.  Wenn du auf ai.dev gehst, die Seite, die\nPaige und Gim\ndir gezeigt haben.  Die Gemma-\nModelle sind hier ebenfalls erhältlich.  Wenn Sie also einfach nur\nAnregungen geben möchten, haben wir die\nbeiden großen Modelle, die Sie dort testen können.\nSie unterstützen beispielsweise\nVideo- und Datei-Uploads, und die\nSuchfunktion ist ebenfalls integriert\n.  So können Sie testen, wie sie sich\nauch isoliert verhalten.  Es gibt also eigentlich\nkeinen Grund, warum Sie es nicht einfach mal versuchen sollten, egal ob Sie die\nHardware haben oder nicht\n.  Äh\nja, was ich Ihnen zeigen wollte, war, dass\nich äh eine Spezifikation für äh ein\nkleines Spiel erstellt hatte.  Äh, wo ist es?  Okay, also ich habe\nein Spiel namens Nebula Drift entwickelt.\nIch habe also das 31-Milliarden-Parameter-\nModell verwendet, um mir so etwas wie eine Spezifikation für ein\nSpiel zu erstellen, und diese gebe ich dann einfach meinem\nlokalen Modell zur Implementierung.  Wenn ich also die\nSpezifikation implementiere\nund ihr dann diese Datei gebe,\nund sicher, dass es das richtige Modell ist, dann sollten wir\nsicherstellen, dass wir das Denken wieder aktivieren, damit\nes auch tatsächlich darüber nachdenkt\n.   Na also\n.  Äh, und das werden wir durchführen.\nUnd warum ist das interessant?  Weil\nwir an Open-Source-\nCode überhaupt nichts geändert haben.  Wir haben\nihm buchstäblich das Modell zum Ausprobieren auf dem lokalen Rechner gegeben,\nund in der Open-Code-Spezifikation werden\nihm alle verschiedenen Werkzeuge zur Verfügung gestellt, die es\nbenötigt, um Open-Code auszuführen und sich\nin dieser Umgebung zu verhalten.  Es sollte also überlegen, welche\nAufgabe es erledigen muss,\nund dann muss es das Dateisystem überprüfen, um\nentweder Dateien aus dem\nDateisystem zu lesen oder Dateien in das Dateisystem zu schreiben.\nUnd wenn etwas schiefgeht, kann ich es,\nähnlich wie bei jedem anderen Codierungsrahmen,\neinfach fragen: „Hast du\ndas überprüft?“ oder „Kann ich dir den Fehler zurückgeben\nund ihn analysieren lassen?“\nDas ist also genau das, was man tun muss, indem man diesen\nAnweisungen folgt.  Ja, es wurde beschlossen,\nein Verzeichnis anzulegen.  Es wird also\ndirekt aus dem Shell-Verzeichnis darauf zugreifen.\nWenn Sie also schon einmal mit Codierungstools gearbeitet haben,\nsollte Ihnen das nicht allzu fremd vorkommen, aber\nvielleicht haben Sie es ja schon einmal mit einem anderen Modell verwendet.\nVielleicht haben Sie es noch nicht mit einem lokalen\nModell oder einem offenen Modell verwendet, z. B. mit einem Modell, das\nauf Ihrer Hardware läuft.  Ich wollte\nIhnen nur zeigen, dass das gewissermaßen möglich ist.   Oh ja\n.  Bitteschön.  Es wurde bereits\neine Indexdatei erstellt.  Das ging schnell.\nWenn die\nSpezifikation korrekt gelesen wird, sollten zwei\nweitere Dateien generiert werden.  Es sollte eine\nJavaScript- und eine CSS-Datei generieren.  Und\ndann werden wir einfach mal\nschauen, welches Spiel anhand\nder Spezifikationen entstanden ist.  Um Ihnen eine\nVorstellung zu geben: Es sollte so etwas wie ein endloses\nRennspiel sein, bei dem man\nAsteroiden ausweichen muss.  Wenn\nder Code also fertig ist,\nähm, dann haben wir's.  Sollen wir es versuchen\n?  Das sieht so aus, als ob da tatsächlich\netwas richtig gemacht wurde.\nWenn ich das also ausführe, wo wurde es dann gespeichert\n?  Wie hieß es?  Nebel.  Oh,\nNebula drift with an underscore.\nentschieden.  Oh, ich glaube, es versucht sogar gerade,\nden Dateipfad zu ändern, während ich es mir hier ansehe\n.  Es versucht, Änderungen daran vorzunehmen\n.  Stoppen.  Die Bearbeitung beenden.  Ähm,\nversuchen wir es einfach mal.  Okay, wir haben ein\nSpiel.   Oh je\n, es läuft nicht.  Okay, das ist\ninteressant.  Also, wir könnten zum Beispiel einfach sagen: „\nLasst uns das nochmal versuchen.“  Ah, da liegt also\nein Syntaxproblem vor.  Wenn ich also sage, wenn\nich das einfach wortwörtlich kopiere.  Stellen Sie sich also vor, dass die\nmeisten Kabelbäume eine\nRückkopplungsschleife hätten, in die Sie die Daten\ndirekt wieder in die Codierung einspeisen könnten.  Aber ich werde\nes einfach manuell machen und sehen, ob es\nseinen eigenen Fehler erkennt.  Ich äh, hör auf.\nIch habe\neinen Fehler gefunden.\nLass uns das überprüfen.\nHast du das tatsächlich gelesen oder nicht?\nVersuchen wir es noch einmal.\nOkay, also jetzt sollte es äh,\nNachforschungen anstellen.  Lesen Sie\ndie Dateien also am besten noch einmal durch, um zu sehen, ob der\nTippfehler oder das Problem erkannt wird,\nund versuchen Sie dann, ihn zu bearbeiten\noder zu beheben.  Im Open-Source-Code werden\nIhnen also tatsächlich zwei Werkzeuge zur Verfügung gestellt.  Eines, mit dem man\neinzelne Zeilen bearbeiten kann, und eines, mit dem man\ndie gesamte Datei neu schreiben kann.  Es kann also\nsogar entscheiden, welches dieser Mittel\nes dafür verwenden muss.\nHoffentlich wird es dann\nkorrekt bearbeitet.  Ähm, und dann schreibe das wieder auf\n.  Es hat also das Spiel jet.js aktualisiert\nund bearbeitet\näh\nwas bearbeitest du da, etwas anderes?  Oh,\nähm, es kann auch Unteraufträge auslösen.\nWenn man ihm also bestimmte Fähigkeiten\noder Aufgaben zuweist, kann es im Prinzip\nUnteraufträge ausführen.  Die 31B ist dafür ziemlich gut\n.  Die 26B hängt von der Aufgabe ab.\nManchmal versteht es von selbst, welche\nUntermieter es anrufen soll, und manchmal muss man\nihm ein wenig mehr Hinweise geben.  Aber\ngenauso gut\nkann man in einer solchen Umgebung MCP-Server bereitstellen,\nFähigkeiten erstellen und allerlei Dinge tun, um\ndas\nModell gewissermaßen zu steuern.  Ähm, sollten wir mal schauen, ob das irgendetwas gebracht hat\n?   So, jetzt haben\nwir's.  Ich sehe gar nichts.  Wurde das\naktualisiert?\nNein, noch nicht.\nEs versucht, die Spieldatei zu bearbeiten.\nMuss exakt übereinstimmen.  Na gut.  Es\nversucht also, einen Teil der Datei zu bearbeiten.  Ich\nkönnte auch einfach sagen:\näh, null.  Okay.  Ich denke, es wurde wahrscheinlich\nentladen.  Lass uns das wieder einsetzen. Lass uns\ndas wieder laden.\nVersuch's nochmal, Gemma.  Rechts.  Wenn ich also sage, dass\ndie vollständige Datei game.js einfach erneut ausgegeben werden soll.\nÄh,\nwo hat es das hingelegt?  Es war in dem einen.\nMan kann ihm also genau sagen,\nwelche Datei es lesen und in welche es\nschreiben soll.  Ich hoffe also, dass es\nauf meine Anweisungen hört und dann\ndie Datei neu generiert.\nWährend wir warten, hat vielleicht jemand\nandere Ideen für ein Spiel, das wir entwickeln könnten?\nPaige ist ganz verrückt nach rosa\nEichhörnchen, aber du könntest ja mal\netwas in der Art ausprobieren.  Irgendwelche\nSpielideen?\nEin Spiel, in dem du dein eigenes Spiel erschaffen kannst\n.\nWow.  Lass es uns versuchen.  Also, ich werde ein\nSpiel benutzen.   Ja\n.\nRechts.  Lass uns fragen gehen.  Wir werden das große\nModel fragen.  Also, wenn ich sage: äh, okay.  Erstelle eine Spezifikation\nfür ein Spiel, in dem du dein eigenes\nSpiel innerhalb des Spiels erstellen kannst\nund\ndiese als Referenz verwenden kannst.  Wir werden also\nzunächst eine Spezifikation erstellen.  Äh, gehen wir einfach\nhierher und verwenden wir –\nja, wir verwenden die Spezifikation\ndes anderen als Referenz.\nLass uns das mal ausprobieren,\nwährend wir schauen, was mit unserem\noffenen Code los ist.\nEs sieht so aus, als würde die Datei\ngerade bearbeitet.\nJa, man kann sehen, dass die\nTokens gerade verarbeitet werden.\nWenn ich zu diesem gehe,\nOmniForge.\nAlso, was ich hier gemacht habe, ist, dass\nich dem Programm gesagt habe, es solle eine bestimmte\nSpezifikation befolgen.  Äh, es behält also das gleiche Muster bei.\nWenn ich beispielsweise ein bestimmtes\nFormat vorgebe, hält es sich\nziemlich gut an diese\nAnweisungen und achtet darauf, die Vorgaben einzuhalten\n.  Das mag für jemanden, der schon einmal ein\nModell aus dem Jahr 2026 benutzt hat, nicht beeindruckend sein,\naußer vielleicht der Tatsache, dass es sich um\netwas handelt, das man tatsächlich zu Hause betreiben kann\n.  Das ist für mich der interessante Aspekt daran, nämlich dass\nalle\nTopmodels das können.  Äh, aber ja,\nbis vor kurzem nicht, dass man das\nselbst hätte regeln können.  Also, lassen wir das jetzt einfach mal seinen Lauf nehmen\n.  Wurde meine\nDatei inzwischen repariert?  Es wurden weitere Änderungen vorgenommen.  Wir können\nhingehen und nachsehen, was sich verändert hat.  Es\nbeginnt also.\nOh, es hat noch etwas\nDelta-Zeit hinzugefügt.  Oh, es ändert die Eingabe.\nOkay.  Okay.  Nun, hier können Sie sehen, was dabei\nherauskommt.  Da sind so\nkleine Spielerkoffer und allerlei Zeug dabei\n.  Sollen wir abwarten, ob es\nwieder läuft?  Äh, während wir darauf warten,\nrichtig?\nWirst du jetzt loslaufen?\nAch, wissen Sie, was ich tun könnte, wäre, dem Programm einfach zu\nsagen: „\nÄhm, sagen wir mal, das\nDrücken des Knopfes\nstartet das Spiel nicht.“\nDie Dateien neu generieren.\nUnd hoffentlich werden\nsie einfach wieder ausgeschrieben.   Machen\nwir das.\nOkay, ich denke darüber nach.  Sehen Sie selbst, wie unsere\nSpezifikation voranschreitet.  Nehmen wir also einfach\n31B.  Könnten Sie\ndiese Spezifikation bitte\nals einzelne index.html-Datei\nmit eingebundenem CSS und JavaScript implementieren?   Sieh selbst,\ndass es das kann.\nOkay.\nÄh, und da ist noch etwas anderes, was ich\nIhnen zeigen möchte.  Wir werden das parallel tun.\nKI-Entwicklung  Eine Sache, die das Modell im\nmultimodalen Bereich tatsächlich sehr gut kann, ist, den\nKontext der Eingabe zu verstehen.\nIch könnte zum Beispiel einen\nScreenshot von einer Webseite machen,\nwenn ich zum Beispiel\nGemma für DeepMind aufrufe.\nGehen wir zu diesem.  Und wenn ich einfach so vorgehe, äh,\nich nehme mir das\nund könnte dann einfach zum Modell gehen, äh,\ndiese Webseite\nals eine einzige index.html-Datei implementieren.\nWenn ich nur diese eine Datei hochlade\n.  Bitteschön.\nund versuchen Sie, dies auszuführen.   Ja\n.\nWie entwickelt sich unser offener Code?\nDie Spieldatei wurde also hoffentlich\nfehlerfrei geschrieben.  Ich habe die Stildatei geschrieben\nund hoffentlich auch die Indexdatei.\nAlso, versuchen wir es noch einmal.\nRechts.   So, jetzt haben\nwir's.   Das\nist also unser Spiel, nur sehe ich\nkeine Asteroiden.\nOkay, wir haben ein Sternenfeld und wir haben\nein bewegliches Schiff.  Also, nochmal, das ist\neinfach das Ergebnis des Modells.\nMan könnte das einfach immer wieder wiederholen.  Man\nkönnte da noch etwas hinzufügen.  Äh, ich werde nicht fragen.\nIch könnte zwar nach weiteren\nAsteroiden fragen, aber ich denke, wir sind mit diesem hier fertig\n.  Mal sehen, wie es den anderen\nergeht.  Also, das ist\ndas Spiel, bei dem es darum geht, ein Spiel zu entwickeln.\nIch bin wirklich gespannt, was das hier bewirken wird,\ndenn das wird\nziemlich verrückt sein.  Und dann noch das hier,\ndas erzeugt das „Oh, ja“.  Dadurch wird\ndie Webseite neu erstellt.  Also, äh, das kann man\nalles kostenlos ausprobieren\n.  Also, man sollte sich darüber im Klaren sein, dass es\nNutzungsbeschränkungen im Hinblick auf\ngemeinsames Eigentum gibt.  Ähm, aber man kann\nes einfach zum Ausprobieren von Dingen verwenden\n.  Äh, deshalb ist es etwas\nlangsamer als die ähm, die Gemini-Modelle,\nweil es äh nur ein einziges\narmes Gemma-Modell gibt, das alle bedienen muss.  Mal\nsehen.  Ist das schon fertig?  Es\nläuft immer noch.  Ich weiß nicht.  Vielleicht ist es\nwie ein richtig episches Abenteuer gestaltet.  Ich denke, es könnte einfach so sein\n, dass man\nes verschickt, sobald das hier fertig ist.\nÄh, was möchte ich Ihnen sonst noch zeigen?  Oh, in\nOrdnung.  Während wir das tun, möchte ich\nIhnen diese coole Demo zeigen.  Also, einer aus unserem\nTeam ist total begeistert von Robotik.\nAlso, sie haben eine Version erstellt, falls\nSie jemals eines der Robotersimulationswerkzeuge verwendet haben\n.  Das hier heißt\nOpen Duck und ist so etwas wie ein kleiner\nEntensimulator. Man kann ihm\nFragen stellen oder mit ihm über\ndas E2B-Modell kommunizieren, das im\nBrowser läuft.  Man lädt also\ndas Modell nicht herunter, sondern es wird\ndirekt auf der Browserseite im Web-GPU-Modus ausgeführt.\nWenn Gemma dem Modell also diese Aktionen aufträgt,\ninterpretiert Gemma, was es vom\nModell verlangt hat.  Es prüft, was\nder Roboter kann, und gibt ihm die entsprechenden Anweisungen.\nWenn man ganz genau hinsieht,\nkann man erkennen, wo „Aktion ausführen“ steht.   Ja\n.  Bevor die Aktion tatsächlich ausgeführt wird\n, teilt es Ihnen mit, welchen Befehl es\nauslösen möchte.  Man kann sich also vorstellen, dass\ndies tatsächlich eingebettet auf dem\nGerät läuft oder in diesem Fall im\nSimulator, um sozusagen\nden Punkt zu beweisen.  Ähm, das ist ja eine ziemlich\ncoole Sache.  Das andere, was ich\nIhnen zeigen möchte, ist, dass das Android Studio-Team\nes in die Entwicklung von Android-Apps integriert hat\n.  Es gibt also so ein kleines\nChatfenster an der Seite, und\nvon dort aus kann man die Apps erstellen.  Sie\nhaben also wieder so eine Art kleinen ästhetischen Bauprozess.\nWenn Sie also nur Telefon-Apps entwickeln würden\n, könnten Sie ähm das Modell verwenden.  Ich glaube,\nsie verwenden wieder die 26B.  Ja, dafür\nverwenden sie die 26B.  Und\ndann haben wir es auch mit\ndem ADK kompatibel.  Unser Agent Development Kit bietet also wiederum\nverschiedene\nFunktionalitäten.  Es verfügt über eine Denkschleife.\nEs hat so etwas wie ein Feedbacksystem.\nSo können Sie ihm länger laufende\nAufgaben geben, und es kann Entscheidungen treffen, zum Beispiel\nInformationen abrufen und ähnliches\n.  Es gibt also all diese verschiedenen\nUmgebungen, in denen man es ausführen kann\n. Wollen wir sehen, wie unser Ergebnis aussieht?  Okay,\ndas wäre geschafft.  Dies wird also\nunsere Webseite sein.\nOh, das ist gar nicht schlecht.  Das sieht ziemlich\ngut aus.  Ich glaube nicht, dass diese Knöpfe\nirgendwohin führen, aber äh, was gibt's Neues?  Oh,\nich dachte wirklich, es hätte\nein Video davon gemacht.  Das wäre ein bisschen zu\nintensiv gewesen.  Aber ja, man kann schon allein am\nLayout sehen, dass es ziemlich\nnah dran ist.  Die Schriftart wurde im Großen und Ganzen\nkorrekt ausgewählt.  Das Verständnis des\neigentlichen Seiteninhalts ist ziemlich gut.  Und das ist quasi ein\nOne-Shot.  Richten Sie es also auf\nbeliebige Webseiten und schauen Sie, was es\nerstellen kann.  Und mal sehen, ob ich\njetzt wirklich Interesse an diesem Spiel habe.   Mal\nsehen, ob das tatsächlich funktioniert.\nOh mein Gott.  Rechts.  Ist das? Oh, ich habe\nquasi einen kompletten Editor.\nAlso, ich kann so etwas bauen. Oh, das gefällt mir\n.\nAlso, ein Ziel.  Kann ich das Spiel starten?  Äh, ich\nkann Sachen hineinlegen. Oh mein Gott.  Bitte sag\nmir das.  Ach ja.  Das Dreieck\nbewegt sich.  Oh, ich liebe es.\nWarum?\nOkay, bitte schön.  Das ist ein guter\nPunkt, um damit zu enden, denke ich.  Also, ja, äh\nGemma-Modelle, äh, wissen Sie, die laufen auf\nIhrem Handy, auf Ihrem Laptop,\nauf GPUs.  Äh, probier sie doch einfach mal aus,\nschau dir die KI-Galerie an, wenn du etwas\nentdecken möchtest.  Äh, ich bin heute und\nmorgen da, falls ihr Fragen dazu habt,\nwie… äh, aber ja, äh, ich freue mich schon sehr darauf,\ndas mit euch zu teilen, und äh, genießt den\nRest der Konferenz.   Weil",
  "transcript_chars": 102591,
  "ingested_at": "2026-05-23T16:30:22.670119+00:00",
  "source": "channel",
  "yt_meta": {
    "view_count": 544,
    "like_count": 31,
    "channel_id": "UCLKPca3kwwd-B59HNr-_lvA",
    "categories": [
      "Science & Technology"
    ],
    "tags": [
      "ai",
      "ai engineer",
      "ai engineering",
      "software development",
      "tech",
      "startups",
      "software architecture",
      "machine learning"
    ]
  }
}