{
  "video_id": "CXd0kDikK0U",
  "channel_slug": "deeplearningai",
  "channel_handle": "deeplearningai",
  "title": "AI Dev 26 x SF | Or Dagan: Optimizing Accuracy, Cost, and Latency in Real-World Agents",
  "duration_seconds": 1123.0,
  "url": "https://www.youtube.com/watch?v=CXd0kDikK0U",
  "upload_date": "",
  "transcript": "Wir versuchen, diesen\nTeufelskreis aus Genauigkeit, Kosten und Latenz zu optimieren.  Und\nman hat immer das Gefühl, dass man nicht\nalle drei haben kann.  Man optimiert\nfür einen, fügt einen weiteren hinzu, und der letzte fällt weg\n.  Das wäre also das Thema meines heutigen Vortrags\n.  Wie können wir\nGenauigkeit, Kosten und Latenz bei\nrealen Agenten optimieren?  Also, hallo, ich bin oder äh, von\nAI21 Labs.  Wir sind ein Forschungslabor für angewandte KI, das\n2017 gegründet wurde und\nLLMs, Produktionsagenten und seit\nKurzem auch Agentenoptimierung entwickelt. Genau darüber werden\nwir heute sprechen.\nIch fange also am Ende an, damit Sie wissen, dass\nes funktioniert, und dann zeige ich Ihnen, wie wir\nes gemacht haben.  Wir haben unsere Technik\nauf einige Benchmarks angewendet, aber das\nBeispiel, das wir in diesem Vortrag verwenden werden,\nist Browse Comp Plus, ein Deep\nResearch Benchmark, der\neinigen von Ihnen sicher bekannt sein dürfte. Wir haben\ndort den aktuellen Stand der Technik gegenüber\nbestehenden Methoden erreicht und werden versuchen,\nIhnen den Prozess zu erläutern, wie man so\netwas erreicht, und die\nOptimierungen, die Sie auf dem Weg dorthin vornehmen müssen,\num es nicht nur genau, sondern\nauch kosteneffizient zu gestalten.\nNehmen wir also an, Sie haben einen Agenten.  Ähm, du hast\ndie wenigen Blicke auf deinem\nComputer überstanden.  Sie haben etwas, das funktioniert,\naber Sie möchten es verbessern.  Äh, es\ngibt also ein paar Techniken, die man anwenden kann.  Äh, wir\nteilen sie gerne in zwei Kategorien ein.  Das eine gehört\neher in den Bereich der Konfiguration.  Äh,\nwelches Modell, welche Eingabeaufforderung und so weiter.  Und\ndie zweite, etwas fortgeschrittenere Frage\nbetrifft die Skalierung der Inferenzzeit bzw. die\nSkalierung der Rechenleistung.  Wie kann man mehr nutzen, um mehr zu bekommen\n?  Nehmen wir also an, wir beginnen\nmit der Konfiguration.  Wir wollen\nauf Browsecom Plus den aktuellen Stand der Technik übertreffen.\nWir beginnen also mit unseren Eingabeaufforderungen und testen\neinige Modelle, um zu sehen, was am besten funktioniert.\nWir beginnen also mit Modellen, aber wenn wir dann\nbeispielsweise die Kosten oder die Latenz optimieren wollen,\nspielen wir mit einigen der Parameter, um\naus\ndemselben Modell etwas Besseres herauszuholen, und versuchen, die\nEingabeaufforderungen anzupassen.  Das kann manuell erfolgen oder\nmithilfe von Methoden wie beispielsweise gapa oder\ndspy zur automatischen Prompt-Optimierung.\nWir ergänzen und optimieren die von uns\nverwendeten Tools, denn die Kombination der Tools\nbeeinflusst die Leistung maßgeblich, richtig?   Wenn\nman zu viele Hilfsmittel einsetzt, kann es passieren, dass Dinge dabei\nverloren gehen.  Aber man muss\ndie richtigen Werkzeuge für die jeweilige Aufgabe bereitstellen und\ndann immer weiter\ndas gesamte System optimieren, richtig?\nMan baut also eine Art Leitplanken um das herum, was\nman tut, oder eine Art systematischen Ablauf,\nder einen dorthin bringt, wo man hin will.  Und so erhält\nman am Ende einige\nKonfigurationen, die man grafisch darstellen kann.\nWas wir hier für browsecom plus sehen können,\nist also ziemlich einfach.  Drei, vier, fünf\nverschiedene Modelle mit drei verschiedenen\nAbrufwerkzeugen.  Das gibt\nuns sofort etwa 15 Punkte auf dieser Skala, wobei die\nGenauigkeit auf der y-Achse und entweder die Kosten\noder die Latenz auf der x-Achse abgetragen werden.  Angenommen, wir\nwollen, dass unsere Agenten die besten bzw.\neffizientesten sind, dann ist dies unsere erste\nSichtweise auf die Welt, und diese zeigt\nuns sofort, was wir gerne die\nParametrisierungsgrenze oder Parametrisierungskurve dieser\nAufgabe nennen, also die besten Konfigurationen,\ndie uns das beste Preis-Leistungs-Verhältnis bieten.\nSie befinden sich oben links, also das\nbeste Preis-Leistungs-Verhältnis,\ndas ist die Idee, und wir sehen sofort,\nob wir mit einer Genauigkeit von 60 % zufrieden sind.  Ich schätze, das sind\nwir nicht, aber sagen wir mal, es ist in Ordnung.  Äh,\nMiniax ist dafür hervorragend geeignet.  Äh, aber\nangenommen, wir wollen etwas Besseres, dann\nsehen wir, dass GBD5 mit latentem\nInteraktionsabruf in diesem speziellen\nFall knapp unter 90 % liefert.\nDas war der Stand der Technik vor\nunserem Ansatz.\nWir haben also mit verschiedenen Konfigurationen experimentiert.  Wir haben\nein paar ausprobiert, und das hier war ziemlich einfach,\nnichts Besonderes, aber jetzt wollen wir es\nnoch besser machen.  Der zweite Bereich, in dem\nwir tätig werden können, betrifft die Skalierung.  Eine\nArt der Skalierung kann die vertikale Skalierung sein.\nDas ist also, glaube ich, der direktere\nWeg.  Ich habe einfach mehr\nTokens hineingesteckt, und jetzt funktioniert es\nbesser.  Es können also längere Argumentationsketten sein\n, äh mehr Schleifen in der Reaktionsschleife, äh\noder vielleicht einige etwas\nfortgeschrittenere Muster wie Kritik-Reparaturschleifen,\ndie dasselbe LM oder ein anderes LLM\nzum Beurteilen hinzufügen und dann äh eine weitere Schleife\nzum Reparieren haben.  Äh, der zweite Themenbereich\nist die horizontale Skalierung.  Ähm,\nlasst uns kurz darüber sprechen.  Eine\nMöglichkeit besteht also darin, Best-of-\nEnd-Sampling anzuwenden. Man nutzt einfach die Tatsache, dass\nModelle probabilistisch sind, und führt mehr Simulationen durch.\nErstaunlicherweise funktioniert das wirklich gut.\nSolange man eine Möglichkeit hat, letztendlich eine\nRangfolge festzulegen oder auszuwählen, kann man daraus einen großen\nNutzen ziehen. Wir werden das gleich sehen. Die\nAuswahl kann mit LLM\nals Entscheidungshilfe erfolgen – ziemlich naiv, aber es funktioniert. In\nmanchen Fällen kann es jedoch deterministischer sein,\nsodass man eine bestimmte Methode zur\nkorrekten Bewertung haben kann.  Wenn es sich um eine Programmieraufgabe handelt,\nkönnen Sie vielleicht Tests durchführen oder Sie\nhaben vielleicht andere äh Ihre eigenen deterministischen\nFunktionen, um dies zu bestimmen.  Unsere Punkte\nvon vorhin, unsere 15 Punkte, sind jetzt also\nKurven, richtig?  Denn\ndies war der beste Zeitpunkt zuvor, als wir\nGPD5 einmal mit späterer Interaktion ausgeführt haben\n.  Aber seht, was passiert, wenn wir das\nzwei- oder viermal machen.  Wir erzielten dadurch sofort ein\nbesseres, dem neuesten Stand der Technik entsprechendes Ergebnis\n.  Man muss nicht viel darüber nachdenken,\nund es bietet uns einen großen Mehrwert.  Ähm, aber wir haben\noffensichtlich das Zwei- oder\nVierfache dessen bezahlt, was wir für die erste\nInteraktion bezahlt haben.  Was die Latenz betrifft, und\nich denke, dass dies in vielen Fällen der wichtigste Aspekt ist, haben\nwir nicht\nviel bezahlt, da dies parallel erfolgt.\nDeshalb zahlen wir nicht viel.  Das erste Ergebnis, das\nwir erzielten, war also sofort ein besseres, dem neuesten\nStand der Technik entsprechendes Resultat.\nAber es gibt\nhier noch etwas ganz Besonderes, das super interessant ist.  Schau dir an, was\nmit Miniax passiert ist.  Als wir nur\ndie Konfigurationen testeten und nur einen Durchlauf\ndieses LLM durchführten, war es unbrauchbar, richtig?\n60%.  Aber wenn man es acht oder sechzehn\nMal durchführt, entspricht es plötzlich dem aktuellen Stand\nvon GB5, den wir vor einer\nSekunde hatten.  Aber seht mal, wie schnell das geht,\nnicht wahr?  Also, bei gleichen Kosten, äh, viel\nschneller.  Wir erreichen einfach wieder den Stand der\nTechnik, den wir vorher hatten, indem wir das\nBeste aus dem End-Sampling herausholen.\nDer eigentliche Wert entsteht aber erst, wenn man\nall diese Elemente zu einem\nEnsemble oder einem vielfältigen Portfolio von\nModellen oder Agenten kombiniert.\nSie haben es vielleicht schon bei Karpatis\nLLM-Ratsansatz und anderen\nähnlichen Ansätzen gesehen.  Wir machen also dasselbe,\nverwenden aber unterschiedliche Modelle.  Und die\nFunktionsweise besteht letztendlich darin,\ndass wir nicht nur die\nWahrscheinlichkeitsnatur jedes Modells nutzen, sondern dass sie alle\nunterschiedliche Dinge lösen.  Wenn wir uns also nur\ndrei der ersten 15 Punkte ansehen, die wir hatten,\nsehen wir, dass sich das Venn-Diagramm nicht\nvollständig überschneidet.  Aus jedem\nModell ergeben sich also unterschiedliche Aufgaben\nfür diesen Benchmark, die\nvon den anderen Modellen nicht gelöst werden.\nDas ergibt zwei Werte.  Wir haben also\nall diese Punkte hier hinzugefügt.\nWir können nun feststellen, dass wir ausnahmsweise\neine noch bessere Genauigkeitsrate erzielt haben, richtig?\nDas ist das Erste, was wir wollen.  Wir\nwollen die bestmögliche Punktzahl erreichen.\nÄh, also wir haben alles nach oben geschoben.\nDa wir aber eine Vielzahl von Modellen\nunterschiedlicher Größe und unterschiedlicher Kosten verwenden, haben\nwir auch alles nach links verschoben.\nWir können also dasselbe Ergebnis erzielen wie\nzuvor, indem wir Gypy 5 viermal ausführen,\naber jetzt mit mehr als der Hälfte der\nKosten.\nGleiches gilt für die Latenz –\ndank des Ensembles ist die Latenz um 20 % geringer.\nWir haben jetzt eine Menge Konfigurationen zur Hand\n.  äh, wir haben ein paar Modelle, ein\npaar verschiedene Werkzeuge.  Wir können sie\nein-, zwei-, vier-, acht- oder sechzehnmal ausführen.  Wir können\nall diese zusammenstellen.  Es\nwird immer größer.  Und da ist noch etwas anderes, worüber\nwir nachdenken müssen.\nWelche Umsetzungsstrategie verfolgen sie?\nMachen wir sie alle gleichzeitig?\nVielleicht fangen wir mit den günstigen an und\ngehen dann zu den teureren über.\nUnd das sprengt den\nRaum natürlich noch weiter.  Aber das trifft doch genau den Nerv der\nNutzer hinsichtlich Kosten und\nLatenz, oder?  Denn selbst\ndasselbe Ensemble kann in zwei verschiedenen\nKonfigurationen\nin diesen Bereichen unterschiedlich wirken.   Sagen wir,\nich denke nur an die\nLatenz.  Ich werde alles gleichzeitig erledigen.\nIch zahle gern mehr, aber das ist echt schnell.\nÄhm, und wenn mir die Kosten wichtiger sind,\nkann ich mit den günstigeren anfangen und\nvielleicht habe ich damit Erfolg und muss bei\neinigen Aufgaben nicht auf die teuren zurückgreifen.   Hier\nwollen wir also, dass der Entwickler\ndie Abwägungen im Griff hat.\nWir hatten also fünf Modelle, ähm\ndrei, vier oder fünf verschiedene\nAbrufwerkzeuge, und es gab verschiedene\nAufforderungen und ein Ensemble sowie\ndie Möglichkeiten, diese zu kombinieren.  Ich denke,\nSie verstehen, worauf ich hinauswill.  Dies\nist praktisch ein unendlicher Raum,\ninsbesondere wenn man immer\nmehr Konfigurationen zu Eingabeaufforderungen oder\nanderen\nkontinuierlichen Hyperparametern hinzufügt.  Die Idee besteht also nicht nur darin,\ndie relevanten Punkte in diesem Raum zu finden,\ndie innerhalb meiner Beschränkungen liegen und\nmeinen Genauigkeits-, Latenz- oder Kostenbeschränkungen entsprechen\n.  Aber wie finde ich eigentlich\ndie optimale Lösung?\nUnd heutzutage ist das noch viel Handarbeit.\nIch glaube, hinter jedem Spitzenplatz in der Rangliste stecken\nMonate und Hunderte, ja Tausende von\nDollar, die für die Erforschung all\ndieser Konfigurationen, die Entwicklung von\nRollouts, deren großflächige Evaluierung und so\nweiter ausgegeben wurden.  Dies ist also ein echtes Problem, nämlich das\nProblem der manuellen Optimierung.  Es ist\nkostspielig.  Es ist ineffizient.\nUnd eines der größten Probleme ist, dass\nes nicht zukunftssicher ist, denn man nutzt\nes drei Monate lang, und dann kommt ein neues Modell auf den Markt\n.  Äh, die Preise ändern sich, Ihre Daten\nin der Produktion geraten ins Wanken und Sie müssen\nalles noch einmal von vorne beginnen.\nWir wollen also von manuell auf\nautomatisch umstellen, richtig?  Wir möchten eine\nsystematische Methode entwickeln, um den\noptimalen Punkt hinsichtlich Kosten, Latenz und Genauigkeit zu finden\n.\nWas genau erwarten wir also von dieser Lösung?  Ich\nsagte ja bereits, dass es automatisch sein soll. Natürlich\nwollen wir, dass es effizient ist, denn wie ich schon\nsagte, kostet es viel Zeit, alle Konfigurationen, die\nich eben erwähnt habe, auf den gesamten Datensatz anzuwenden\n.  Es ist ineffizient.  Wir\nmüssen also eine Lösung dafür finden.  Äh, wir\nwollen, dass es beobachtbar ist.  Wir möchten\neine klare Möglichkeit haben, die Vor- und Nachteile zu erkennen,\nz. B. was ich an Genauigkeit verliere, wenn ich\nmeine Latenz auf zwei Sekunden, 20\nSekunden oder zwei Minuten reduziere.  Äh, das ist also super\nwichtig.  Und das Letzte, was zukunftssicher ist, ist\netwas, das ich nicht\nin einem langwierigen und sehr teuren\nProzess neu trainieren muss, wenn sich etwas\nan meinen Daten oder an Modellen ändert.   Das\nist also, was wir tun.  Äh, mit A21\nMaestro und das ist unsere Vorgehensweise.  Äh,\nes besteht im Grunde aus zwei Teilen.  Der erste Teil\nist während des Build-Prozesses offline.  Während der Entwicklungsphase\nversuchen wir also, das optimale Portfolio zu finden,\ndas ich eben erwähnt habe – die\noptimale Anzahl an Modellen, Agenten und\nTools, die uns den besten Handlungsspielraum bietet, wie\nwir ihn nennen.  Und wir möchten\ndas auf effiziente Weise beproben, damit es nicht\nviel kostet.  Anhand dieser Daten trainieren wir\nein sogenanntes Aktionsmodell.  Dieses Aktionsmodell hat die\nAufgabe, die Genauigkeit, die\nKosten und die Latenz einer neuen Aktion vorherzusagen.\nAngenommen, ich hätte eine Aufgabe im Browser-Computing: Was würde\nmich GBD5 mit latenter Interaktion kosten und\nwie genau wäre das?  Sobald\nwir dieses Aktionsmodell für die Inferenz haben,\nbinden wir es in unsere Laufzeitumgebung ein.  Die Laufzeit\nist budgetbewusst.  Es sammelt stets die\nDaten aller laufenden Prozesse und nutzt\ndiese Vorhersagen aus dem Aktionsmodell,\num verschiedene Pfade dynamisch auszuführen und zu orchestrieren\n.  Wenn ich also mehr\nBudget habe, kann ich mehr ausgeben.  Wenn eine neue\nAufgabe ansteht, kann ich die richtigen\nWerkzeuge zum richtigen Zeitpunkt einsetzen.\nDer effiziente Ablauf der\nOptimierung ist wichtig.  Wir untersuchen\nden Raum also auf intelligente Weise.  Äh, wir\nmüssen nicht wirklich alle Rollouts\nfür jeden einzelnen Punkt im Raum produzieren.  Wir brauchen nur so viel, dass wir ein gewisses\nVertrauen in unsere Vorhersagen haben können, richtig?\nUnd dann müssen wir\neine nachvollziehbare Möglichkeit schaffen, damit der Benutzer\nseine optimale Konfiguration finden kann.  Die\ngrauen Kästchen hier stellen die Dinge dar, die wir\nvorhin schon gesehen haben.  Das sind unterschiedliche\nKonfigurationen mit jeweils einem Agenten und einem Modell.\nDie roten und blauen Linien sind das, was\nuns der Visualisierer anzeigt, wenn wir uns\nauf Latenz oder Kosten konzentrieren.  Und dies\nwären die Konfigurationen, die das\nAktionsmodell zur Laufzeit erzeugt.\nDas ist nicht intuitiv.  Niemand würde\nsie manuell auswählen, denn wir\nkönnen beispielsweise sehen, dass bei\neiner Ausführung von dem von\nuns gewählten Punkt aus fünf verschiedene\nDinge in der ersten Phase laufen: zwei GPT-5, drei\nMinimax. Basierend auf den Ergebnissen geht es dann\nzur nächsten Welle, und da mehr\nBudget zur Verfügung steht, wird eine weitere Welle ausgeführt. Diese\nändern sich dynamisch, und es ist sehr\nschwierig, sie auszuwählen; kein Entwickler würde das\nmanuell in sein Harness einbauen.\nUnd genau das hat uns im Grunde zu diesem\nhochmodernen Ergebnis bei Browse\nComp Plus geführt.\nIch sagte ja bereits, dass wir es auf\nverschiedene Dinge anwenden.  Wir\nsetzen es also auch in einigen geschäftlichen\nAnwendungsfällen bei unseren Kunden ein.  Ein weiterer\nMaßstab, auf den wir dies anwenden,\nist die umfangreiche Forschungsbank, die Ihnen\nwahrscheinlich bekannt ist.  Und hier, wenn wir beim\nBrowse-Comp basierend auf\nhorizontaler Skalierung optimiert haben, verwenden wir ein Ensemble\nund nutzen dessen Vorteile.\nMit Deep Research Vent verwenden wir\ndie vertikale Skalierung und die\nReparaturschleifen, um eine bessere Bewertung zu erzielen.\nAber auch hier stellt sich die Frage: Wann erreichen wir\nabnehmende Erträge? Lohnt es sich, einen\nweiteren Durchlauf durchzuführen? Erziele ich dadurch eine bessere\nBewertung? Ist das zusätzliche Budget gerechtfertigt? Wir\nwollen nicht vorab konfigurieren, ob wir\nfünf, zehn\noder zwei Durchläufe durchführen, wenn wir\netwas haben, das dynamisch\nzur Laufzeit Rubriken erstellt, diese anhand\ndes jeweiligen Beispiels validiert und gleichzeitig\nVorhersagen des Aktionsmodells darüber trifft, ob\nder nächste Durchlauf vorteilhaft ist.\nWir können die gleiche\nBeobachtbarkeit der Kompromisse haben. Dies\ngeschieht bei unterschiedlichen Kosten- und\nLatenzkurven für die spezifischen\nEinschränkungen, die ich vorgebe:\nWas passiert bei einem Budget von 1 $ pro Artikel\nbzw. 10 $ pro Artikel?\nWir bieten dazu auch eine Online-Demo an.\nAm Ende gibt es einen QR-Code, falls Sie daran\ninteressiert sind, herauszufinden, wo Sie beispielsweise einen beliebigen\nRechercheagenten für die\nAufgabenstellung eingeben können. Sie können aber auch ein\nanderes Budget festlegen und sehen, wie sich das System\nunter verschiedenen Bedingungen verhält – genau darum geht es\nhier.  Man kann\nsehen, dass es immer\nmehr Kandidaten hervorbringt, die sich im Laufe der\nZeit verbessern.  Wir nennen das die „Anytime Fashion\nGeneration“, weil man jederzeit\nden besten Kandidaten für diesen Zeitpunkt, diese\nLatenzbeschränkung oder diese\nBudgetbeschränkungen hat.  Wenn es wichtig genug ist,\ninvestiere mehr Zeit und Geld, um\nein besseres Ergebnis zu erzielen.  Wenn\nes sich aber um eine einfache Aufgabe handelt, können Sie an dieser\nStelle aufhören und einen der ersten\nKandidaten genießen, ohne fünf,\nzehn oder zwanzig Minuten warten zu müssen.\nAbschließend denke ich, dass wir Agenten automatisch optimieren können,\nohne\ndrei Monate lang manuell daran herumtüfteln zu müssen. Die Optimierung erfolgt\neffizient, indem nur die\nrelevanten Bereiche und\nKonfigurationen abgetastet werden. Die Implementierung ist kostengünstig und vermeidet hohe\nKosten. Die Optimierung ist transparent und\nzeigt uns die\nKompromisse zwischen Kosten, Latenz und\nGenauigkeit. So können wir den\noptimalen Betriebspunkt bestimmen.\nUnd schließlich, was ich für am wichtigsten halte, ist die Optimierung zukunftssicher.\nDenn das\nAktionsmodell wird so trainiert, dass für das nächste\nModell nur die\nspezifischen Konfigurationen dieses Modells gelernt werden müssen. Anders als bei einem\nRouter oder der Erstellung eines kleineren Modells muss das Modell\nnicht neu trainiert werden, wenn sich etwas\nändert. Es können nur die relevanten Bereiche trainiert werden.\nWir glauben, dass dies\ndie Zukunft der Agentenoptimierung ist.",
  "transcript_chars": 18237,
  "ingested_at": "2026-05-22T22:32:05.381167+00:00",
  "source": "channel",
  "yt_meta": {
    "view_count": 56,
    "like_count": null,
    "channel_id": "UCcIXc5mJsHVYTZR1maL5l9w",
    "categories": [
      "Education"
    ],
    "tags": []
  }
}