{
  "video_id": "esY99nYXxR4",
  "channel_slug": "aidotengineer",
  "channel_handle": "aidotengineer",
  "title": "How we solved Context Management in Agents — Sally-Ann Delucia",
  "duration_seconds": 977.0,
  "url": "https://www.youtube.com/watch?v=esY99nYXxR4",
  "upload_date": "",
  "transcript": "Alles\nklar, willkommen.  Vielen Dank, dass Sie\nheute gekommen sind.  Ähm, ich bin hier, um ein\nwenig über Kontextfenster zu sprechen, und ich freue mich sehr,\nweil ich\nüber etwas sprechen kann, an dem mein Team und ich\nehrlich gesagt schon fast ein\nJahr lang gearbeitet haben, nämlich RA-Agent Alex.\nÄhm, ich werde also ein wenig\nüber einige der Lektionen sprechen, die wir\nüber Kontextmanagement und das\nVerlassen des Kontextfensters gelernt haben.  Wer bin\nich also?  Ich bin Salianer.  Ich bin Produktchef\nbei Arise.  Ich habe einen technischen Hintergrund.\nIch habe im Bereich Data Science angefangen und\nentwickle jetzt Produkte für Teams.  Ähm, ich packe selbst mit an\n.  Ich bin ein wichtiger Mitarbeiter von\nAlex.  Ich bin nicht nur Projektmanager, sondern\nfungiere nebenbei auch ein wenig als KI-\nIngenieur.  Ich kenne also die Schwierigkeiten bei der\nEntwicklung dieser Produkte aus eigener Erfahrung, und\nes ist nicht einfach, einen erfolgreichen\nAgenten aufzubauen.  Äh, meine Aufgabe heute ist es eigentlich,\ndiese Probleme in Werkzeuge umzuwandeln, die\nAIG und AIPMs tatsächlich helfen können.\nIch werde ein wenig über\nAlex sprechen.  Ich möchte nicht viel\nZeit mit Alex verbringen.  Wenn Sie mehr darüber erfahren möchten,\nwas wir gebaut haben, besuchen Sie mich am\nStand im Untergeschoss.  Ich werde Ihnen eine Demo geben.   Im\nGrunde genommen ist Alex aber nichts anderes als ein KI-\nGeschirr.  Es soll Ihnen beim Erstellen\nIhrer KI-Anwendungen helfen.  Wir verfügen über eine fortschrittliche\nPlanung, mehr als 40 integrierte Fähigkeiten und\nKern-Workflows im Bereich Prompt Engineering\nwie Requisitenoptimierung, Datengenerierung,\nDatenanreicherung, Annotationen usw. Äh,\ndas ist nur ein Screenshot aus unserem\nProdukt, aber ja, sprechen Sie mich gerne an, wenn Sie\neine Demo wünschen.   Im\nheutigen Vortrag werde ich ein wenig\nüber das Problem des Kontext-\nEngineerings und des Kontext-Managements sprechen,\nIhnen etwas über eine Teufelsschleife erzählen, in der\nwir feststeckten, wie wir\ndieser Schleife entkommen sind, und dann darüber, wie lange\nKonversationen Agenten zum Absturz bringen können, ein wenig darüber,\nwas wir über Sub-\nAgenten gelernt haben, und dann werde ich Ihnen etwas darüber erzählen,\nworan wir noch arbeiten,\ndenn wir haben sicherlich noch nicht\nalles herausgefunden.  Das Problem ist also, dass\netwa Mitte letzten Jahres der Begriff „Context\nEngineering“ immer\npopulärer wurde.  Dies ist ein X von Andre\nKaparthy über Plus-Eins-Beziehungen im Kontext-\nEngineering gegenüber Prompt-Engineering.  Ich\nglaube, sehr früh konzentrierten sich alle wirklich sehr\nauf die Vorgaben.  Doch wir\nbegannen zu erkennen, dass der Kontext\nletztendlich darüber entscheidet, ob ein Agent Erfolg hat oder\nscheitert.  Ähm, und so hat sich der Stack tatsächlich\nverändert.  Wir konzentrieren uns nicht mehr\nnur auf die Vorgaben.  Wir konzentrieren uns auf\ndas neue technische Problem, nämlich den\nKontext.  Meine persönliche Ansicht ist also, dass die\nbeste Kontextstrategie eine ist, die es\nIhren Agenten ermöglicht, sich an das zu erinnern, was sie tun müssen,\nund das zu vergessen, was sie nicht tun müssen.  Wir haben ein\nkleines Ding bekommen.  Wir werden also\nein wenig darüber sprechen, wie man\ndas macht.  Doch zunächst einmal sollten wir darüber sprechen, warum\nKontextmanagement überhaupt wichtig ist.  Ich\nglaube, viele Leute denken,\nKontextmanagement sei einfach nur das, was\nins Fenster passt.  Kontextgestaltung bedeutet aber im Grunde,\nstrategisch auszuwählen, was das Modell sieht.  Es ist\nwirklich wichtig, dass Sie darüber nachdenken,\nwelche Daten am wichtigsten sind,\nund nicht nur: „Oh, ich\nhabe nur eine bestimmte Anzahl an Token.“  Ich stopfen so viel wie\nmöglich da rein und schaue, was passiert\n.  Es geht also nicht nur darum, dass es unter diesem\nToken-Limit liegt.  Das ist eine Frage der strategischen Herangehensweise\n.  Und genau deshalb ist es so wichtig.\nAll diese verschiedenen Anwendungen\nlaufen oft im Hintergrund Ihres bestehenden\nSystems.  Deshalb ist es von großer Bedeutung, was Sie\ndem Modell zeigen.  Das kann\ndas Erlebnis dort entweder gelingen oder ruinieren.\nUnsere Realität mit Alex ist also, dass Alex auf\nArise aufbaut, unserer\nObservability-Plattform.  Wir müssen uns also\nmit allen Spuren auseinandersetzen, die\nKI-Agenten hinterlassen.  Wir haben also eine\nAufzeichnung, wir erhalten sozusagen die\nEingabe des Benutzers.  Es gibt Eingabeaufforderungen.\nDa sind all diese Metadaten.  Dann\ninteragiert der Benutzer mit Alex.  Und so\nwird es richtig groß.  Und das gilt nur\nfür eine einzige Spur.\nWas aber geschieht, wenn sie\nMuster in all ihren Spuren erkennen wollen?\nTja, das vermehrt sich einfach immer weiter\n.  Also,\nstrategischer Umgang mit dem Kontext war\nfür uns unerlässlich.  Wir mussten uns wirklich überlegen,\nwas\nfür Alex am wichtigsten zu sehen ist und wie wir damit\numgehen, wenn er quasi\nalles sehen muss.  Ähm, und genau dieses\nProblem wollen wir lösen.\nDeshalb sage ich als Produktmensch gerne,\ndass Kontextmanagement ein Produkt- und\nUX-Problem ist, nicht nur ein technisches\n.  Das ist sicherlich ein Problem, an dessen\nLösung die Ingenieure arbeiten werden.   Es wird\nviele verschiedene\nStrategien geben, die die Leute ausprobieren, aber\nletztendlich kommt es auf das Produkt\nund die Benutzererfahrung an, denn wenn ein Agent\nnicht über die richtigen Daten und den\nrichtigen Kontext verfügt, wird er\nfalsche Antworten geben.  Und wenn man falsche\nAntworten gibt, will ja niemand das\nProdukt benutzen, richtig?  Und deshalb\nwird es letztendlich zu einem Produktproblem\nund nicht nur zu einem technischen.\nUnd genau in diesem Teufelskreis steckten wir fest\n. Als wir Alex entwickelten,\nbeschlossen wir daher im Grunde, dass wir,\nwenn wir einen Agenten entwickeln können, der uns die\nEntwicklung unserer\nAnwendung erleichtert, wissen, dass wir\netwas haben werden, das unsere Benutzer wirklich\nnutzen wollen.  Und so haben wir Alex mithilfe von Alex entwickelt.\nUnd das ist die Teufelskreisschleife, in der wir immer wieder stecken blieben, in der\nAlex\nunsere Trace- und Span-Daten durchlief.\nDie Spannweiten würden größer werden.  Es gäbe zu\nviele Daten.  Wir wären an eine Kontextgrenze gestoßen.\nAlex würde scheitern und die Spanne enthält diese\nDaten.  Es würde es also erneut versuchen.  Wir würden\nweitere Daten hinzufügen.  Es würde laufen und dann\nwürde es ausfallen.  So gerieten wir immer wieder\nin eine Schleife, in der unser Kontext immer größer wurde\n.  Wir konnten\nAlex nicht dazu bewegen, es tatsächlich aufzuführen.  Deshalb\nwussten wir, dass wir uns eine\nStrategie ausdenken mussten.\nDas System zur Datenanalyse war also\ndurch die Daten selbst eingeschränkt, und das stellte\nfür uns ein großes Problem dar.  Alex konnte nur dann\nerfolgreich sein, wenn es\nall diese Daten verstehen und verarbeiten konnte\n.  Wie haben wir das also gelöst?  Nun ja,\nes ist im Grunde eine dreiteilige Sache, drei\nDinge, die wir hier wirklich gelernt haben, um aus\ndieser Schleife auszubrechen.  Wie lässt sich der\nKontext also tatsächlich kontrollieren?  Die Trennung von\nKontext und Gedächtnis.  Ich glaube, es ist sehr\nwichtig,\nsie gemeinsam zu bauen, aber irgendwie sind sie doch getrennt\n.  Und dann die Verlagerung schwerer\nAufgaben von einem Mitarbeiter auf einen anderen.  Das\nwar eine weitere Lektion, die wir gelernt haben.  Ich werde nun\njeden dieser Punkte einzeln erläutern und\nIhnen etwas über unsere\nVorgehensweise erzählen.\nIch glaube, das Allererste,\nwas mir in den Sinn kam, war eine sehr naive\nVerkürzung, so nach dem Motto: Okay, wir\nhaben diesen ewig langen Kontext-Blob.  Äh,\nkönnen wir uns nur den Anfang ansehen?  Ist\nnur der Anfang wichtig?  Reichen diese\nInformationen für Alex aus, damit es\ndie notwendige Analyse durchführen kann\n?  Wir haben also zunächst nur\ndie ersten 100 Zeichen genommen und\nden Rest einfach weggelassen.  Ziemlich\nnaiv.  Ähm, und es hat funktioniert, bis es nicht mehr funktionierte\n.  Also, ähm, am Anfang\nsah es so aus, als würde das bei ganz einfachen Dingen\nfunktionieren, aber letztendlich hat der Agent einfach\nalles vergessen.  Äh, die\nFolgegespräche sahen aus wie neue\nUnterhaltungen.  Wenn ich eine Frage stellte,\nwürde Alex antworten.  Und dann sagte ich, man sollte\neine Anschlussfrage stellen, zum Beispiel:\nWas sind die häufigsten Eingaben?  Okay,\ndas sind die häufigsten Eingaben.  Okay,\nkönnen Sie mir etwas mehr über\nEingang B erzählen?  Es verstand nicht, wovon ich\nsprach.  Wir haben also ziemlich\nschnell gemerkt, dass das nicht\nfunktionieren würde.  Deshalb mussten wir anfangen,\nandere Optionen in Betracht zu ziehen.\nDie wichtigste Erkenntnis daraus war also, dass die\nübermäßige Kürzung die Argumentation zunichtemachte.  Es\nkonnte sich nicht erinnern.\nWir dachten dann: Okay, gut,\nZusammenfassung, wir haben ja all diese LLM-Absolventen,\ndie sind ziemlich gut im Zusammenfassen.  Können\nwir den gesamten Kontext in einer\nkürzeren Anzahl von Token zusammenfassen, damit wir\ndiese an den LLM senden und ein\nbesseres Ergebnis erzielen können?  Das klang zwar\nnach der naheliegenden Lösung, war aber\nzu unbeständig.  Es gab keine Kontrolle\ndarüber, was wichtig war.  Wissen Sie, wir\nüberlassen es einfach dem LLM,\ndie Daten auszuwerten und zu entscheiden, was damit zu tun ist.  Ähm,\nund das war ziemlich unzuverlässig.  Wir haben also\nziemlich schnell gemerkt, dass\nauch eine Zusammenfassung nicht funktionieren würde.  Das war das zweite, was wir\nausprobiert haben.  Ähm, und die nächste Lösung war diese\nintelligente Speicherkürzung.  Das ist das, was wir\nheute tatsächlich bei Alex verwenden.  Ähm, es ist so eine Art\nKombination aus Abschneiden,\nein bisschen\nKomprimierung und Speichern im Speicher.\nÄhm, also nehmen wir den Anfang, also immer noch 100\nZeichen.  Wir ziehen außerdem 100 vom\nHeck ab.  Ähm, und dann nehmen wir\nden mittleren Teil heraus und lagern ihn ein.\nDer Agent hat also weiterhin Zugriff darauf.\nWenn es also doppelte Nachrichten gibt,\nkönnen die Tool-Aufrufe sehr, sehr lang werden,\nund Alex macht viele Tool-Aufrufe.\nÄhm, und deshalb behalten wir das aktuellste\nErgebnis bei.  Wir setzen die Systemabfrage nicht zurück\nund schneiden den mittleren Teil ab.  Äh, den\nKopf im Schwanz behalten.  Und wenn Alex dann zu irgendeinem Zeitpunkt das\nGefühl hat, dass ein Tool-Aufruf\nwichtig war oder eine Nachricht aus dem\nvorherigen Gespräch\nwichtig ist, kann er jederzeit zu\ndiesem Kontext zurückkehren.  Und so erhält Alex\nein wenig mehr Kontrolle darüber, welcher\nKontext tatsächlich wichtig ist.  Und wir\nfanden das wirklich sehr\nerfolgreich.  Ähm, wir mussten\ndas seit einigen Monaten nicht mehr anfassen.  Wir nähern uns\ndem Punkt, auf den ich\nspäter noch eingehen werde: Wir überdenken\nunsere Strategie.  Äh, aber wir haben festgestellt,\ndass diese Kombination aus Verkürzung und\nSpeicherung wirklich sehr\nerfolgreich war.\nAlso [schnaubt und räuspert sich] der Kontext\nentscheidet, was das Modell sieht, das Gedächtnis\nentscheidet, was überlebt.  Und das ist also im Prinzip\ndas System, das wir mit der\nintelligenten Kürzung aufgebaut haben.  Ähm, und auch\ndas funktioniert bei uns sehr gut.\nWir hatten aber noch ein anderes Problem, als wir uns überlegten,\nwie wir mit dem\nKontextmanagement umgehen sollten, nämlich mit langen Sitzungen.  Und ich\nglaube, das ist etwas, worauf viele\nLeute stoßen, nämlich dass Benutzer\nihre Chats normalerweise nicht neu starten.  Ähm, ich\nglaube, es gibt verschiedene Herangehensweisen\nan diese Frage.  Manche Leute, die ich kenne, mögen es, wenn man\nCloud oder Cursor benutzt, damit man\nalles in einem Chat zusammenfassen kann.  Manche\nLeute bevorzugen mehrere Chats, aber\nwir haben bei Alex festgestellt, dass die\nmeisten Leute lieber in einem\nChat bleiben, während sie durch die\nSeiten navigieren.  Unsere Gespräche werden also intensiver und\nunsere Fehler zeigen sich erst spät.  Als wir\ndie intelligente Kürzung zum ersten Mal durchführten,\nschien es also zu funktionieren.  Ähm, aber\nals wir dann diese immer länger werdenden\nGespräche beobachteten, traten Fehler auf, von denen\nwir erst zu\nspät erfuhren, als ein Benutzer sie meldete\noder ich mir die Daten ansah und\nfeststellte, dass Alex im Laufe\ndes Gesprächs anfing, Dinge zu vergessen\n.  Die Lösung, die\nwir hier gefunden haben, sind also lange Sitzungsauswertungen.\nUnd ich wollte das unbedingt erwähnen, denn\nes hat vielleicht nicht direkt mit der Art und Weise zu tun,\nwie man das\nKontextmanagement handhabt, aber es ist ein sehr hilfreiches\nSignal, um zu verstehen, wie gut das\nKontextmanagement funktioniert.  Äh, weil ich denke, dass\nlange Sitzungen\nbei diesen Anwendungen ganz natürlich vorkommen\n.  Also\nladen wir letztendlich 10 Durchläufe und\ntesten dann den 11., um zu verstehen, wie der\nKontext funktioniert.  Und so werden diese Fehler\ntatsächlich testbar.  Ich muss nicht\nwarten, bis ich es finde oder ein Benutzer\nes meldet.  Also, äh, ich wollte kurz etwas dazu erzählen\n.  Und selbst mit der\nTestbarkeit und der äh Abschneidung\nhier gibt es immer noch manchmal zu viele\nDaten für einen einzelnen Agenten.\nEine weitere wichtige Erkenntnis, die wir gewonnen haben, ist,\ndass nicht jeder Kontext in denselben\nAgenten gehört.  Ähm, ich werde\nhier ein Beispiel geben, unsere Suchaufgabe.  Hier\nversucht Alex also, Daten\nin Arise zu durchsuchen.  Das passiert zum Beispiel während\nunserer Hauptverfolgung oder sogar, wenn wir uns nur\neinen einzelnen Trace-Stack ansehen.  Sie\nwissen ja, dass es darin Hunderte von Spans geben kann,\nund Alex muss herausfinden,\nwelche Daten er sich ansehen soll.  Es finden also\nmehrere Abfragen gleichzeitig statt, Unmengen an\nDaten, viele Zwischenschritte werden ausgeführt,\nund wir sind\nzu dem Schluss gekommen, dass nicht all dies\nim Hauptdialog enthalten sein muss.\nWir hatten also einmal eine Art Hauptagenten\nfür unsere Spuren- und Fähigkeiten und entschieden dann, dass\ndas eigentlich nicht notwendig war.  Unsere\nLösung bestand also in Subagenten,\nund ich denke, das ist auch ein sehr\nwichtiger Punkt, wenn wir\nüber Kontext und die Verwaltung\ndieser Agenten sprechen, die viele\nDaten benötigen, d. h. die rechenintensive\nAufgabe auslagern.  Das Hauptgespräch kann\nklein bleiben.  Bevor wir zum eigentlichen\nGespräch kamen, haben wir eine umfangreiche Chatverlaufsanalyse durchgeführt –\nalles in einem einzigen Kontext.  Dies wurde\nalles von einem einzigen Agenten abgewickelt, und im Grunde\nhaben wir jetzt diesen\nHauptagenten plus einen Unteragenten.  Wir haben also\ndas Hauptgespräch mit dem Chat und\nnur leichtem Kontext.  Wir halten es ziemlich\nlocker.  Es kann die Daten\nan die Unteragenten delegieren, und dort\nbleiben die großen Datenmengen.  Wir können also\nden gesamten umfangreichen Datenkontext in unserem Subagenten speichern\nund, sobald dieser das Ergebnis erhält,\ndieses wieder an den Hauptagenten weitergeben, sodass\nder Benutzer\ndie\nKonversation fortsetzen kann. Selbstverständlich kann der Subagent bei Bedarf\nauch jederzeit auf den Speicher zugreifen.\nIch glaube also, dass dies\netwas war, das alles verändert hat.  Wir haben inzwischen\nviele Unteraufträge eingeführt,\nda wir herausgefunden haben, dass dies der\nrichtige Weg ist, um all die wirklich\ndatenintensiven Operationen zu bewältigen.   Das war also\nein Großteil dessen, was wir\nim Hinblick auf das Kontextmanagement herausgefunden haben.  Es\nfunktioniert wirklich gut.  Ich glaube, am\nmeisten überrascht hat mich die Tatsache, dass die\nZusammenfassung nicht funktioniert hat.  Ich denke, das\nwar wieder einmal die naheliegendste Wahl für\nuns.  Aber die Kombination aus Kürzung\nund der Möglichkeit, die Daten im Speicher zu speichern, hat sich als sehr\nerfolgreich erwiesen.  Was müssen wir also\nnoch herausfinden?  Weil es eine ziemlich große Menge an\nKontext gibt, kann es immer noch zu Problemen kommen.\nIch denke, es ist immer noch ein\nProblem für uns, sehr große Eingabeaufforderungen oder\nEingaben stoßen immer noch an die Grenzen des Anbieters.\nDa wir mit einem Agenten arbeiten, der\nAgentendaten verarbeitet, können Sie sich vorstellen, dass\nalle Systemaufforderungen, die Benutzernachricht,\nder Gesprächsverlauf – all das –\nunsere Kunden versuchen, mithilfe von\nAlex zu verstehen. Und da ihr\nKontext wächst, haben wir ein größeres\nKontextproblem, weil wir\nherausfinden müssen, wie wir damit umgehen. Das\nMuster, zu dem wir immer wieder zurückkehren, sind\nUnteragenten. Wir teilen die Dinge einfach immer weiter auf\nund lassen den Kontext von verschiedenen\nTeilen verarbeiten.  Ähm, und das ist etwas, worüber wir\nnoch lernen und wo wir\nsehen, ob wir etwas tun müssen, um\ndiese Strategie noch weiterzuentwickeln\n.  Das Langzeitgedächtnis ist nach wie vor schwer zu halten.  Daran\narbeiten meine Ingenieure aktuell.  Lange Sitzungen\nsind also knifflig.  Wir beobachten, dass die Gespräche immer intensiver werden\n.  Ich glaube, als wir\nanfingen, sah ich bei Alex weniger als 10\nGesprächsrunden pro Unterhaltung, und jetzt\nsehe ich, dass die Leute\ndie Grenzen wirklich ausreizen, auf 20 und mehr.\nWas da tatsächlich passiert, ist, dass sie sich\nmithilfe von Alex innerhalb unserer Anwendung bewegen\n.  Und während sie versuchen,\ndiese längeren Arbeitsabläufe durchzuführen,\nstellen sie natürlich mehr Fragen und\nfinden Alex hilfreich, aber\ndas ist ein Problem für uns, denn wir müssen\nherausfinden, wie wir damit umgehen sollen.\nIch denke also, worauf wir uns im Moment wirklich konzentrieren,\nist das echte Langzeitgedächtnis.\nDas ist etwas, was Alex nicht hat.  Der\nSpeicher ist im Grunde nur diese Art von\nKontext im Speicher, den\nAlex nutzen kann.  Wir\nhaben also eigentlich kein Langzeitgedächtnis.  Ähm, ich denke,\nes ist auch deshalb wichtig, weil die Leute auf\nThemen Bezug nehmen wollen, die sie zuvor\nmit Alex besprochen haben.  Und wenn sie sich also dazu\nentschließen, einen neuen Chat zu starten,\nhat Alex dafür wirklich keinen Kontext.\nWir sind also gerade dabei,\nLangzeitspeicher hinzuzufügen.  Und ich glaube, das\nwird für uns ein echter Gamechanger sein\n.   Die\nKontextselektion ist\nfür uns immer noch ein Häresie.  Die Entscheidung, welcher Kontext erhalten\nbleibt, ist im Grunde so grundlegend, wie ich schon\nsagte, die ersten 100, die letzten 100. Aber\nwir fragen uns immer wieder:\nBehalten wir die richtigen Dinge?  Äh, wir\nhaben noch kein festgelegtes Kontextbudget\nund auch noch keine klaren Kennzahlen für die Kontextqualität\n.  Wir nutzen unsere Evaluierungen häufig, um zu\nüberprüfen, ob unser Kontext angemessen war\noder nicht.  Ähm, aber ich glaube, es gibt da etwas\nKomplizierteres, das\nwir erforschen, um herauszufinden, ob das\ndie richtige Häresie ist.  Ähm, was\nuns ein bisschen überrascht hat, ist, dass –\nich weiß nicht, wie viele Leute das\nhier lesen – der CLA-Code\nquasi für uns alle freigegeben wurde, damit wir ein bisschen\ndarüber lesen konnten.  Wir waren überrascht, dass\nsie eine ähnliche\nStrategie der Datenkürzung und -komprimierung anwenden wie\nwir.  Äh, und wir hatten irgendwie gehofft,\nihnen ein kleines Geheimnis entlocken zu können, aber ich denke, wir müssen wohl alle weiterhin selbst recherchieren\n.  Ähm, und nur ein paar wichtige\nPunkte, da ich noch etwas\nZeit für Fragen lassen wollte.\nÄhm, Kontextmanagement ist iterativ.  Äh,\nwir lernen noch.  Ich denke, jeder\nsollte weiterhin lernen, sich engagieren und\nversuchen, sein Kontextmanagement zu optimieren\n.  Ähm, eines\nist meiner Meinung nach ganz klar:\nKontextgestaltung spielt wirklich eine Rolle.  Erinnerung ist\nwichtig und Bewertung ist wichtig.  Wenn\nSie etwas von\nmir oder uns bei Arise mitnehmen wollen, dann sind es diese drei\nDinge.  Und das beruht sowohl auf unserer eigenen\nErfahrung als auch auf unseren Erfahrungen\nmit unserer gesamten Nutzerbasis.\nUnd schließlich scheitern Agenten nicht an den\nEingabeaufforderungen, sondern am\nKontext.  Ich glaube, das ist\netwas, was wir aus\nerster Hand erfahren haben und was wir immer häufiger beobachten\n.  In der Anfangszeit waren die Vorgaben\nalles.  Alle waren auf\nschnelle Entwicklung fokussiert, aber wir und\nalle unsere Nutzer konzentrieren uns jetzt wirklich\nauf Kontextentwicklung.  Ähm, und da gibt es eine\nMenge Strategien, die man anwenden kann\n.\nWenn Sie Rise ausprobieren möchten,\ngeben Sie einfach einen QR-Code ein, um es zu testen. Sie können\nAlex, ähm, unseren Agenten, kontaktieren.  U, wir sind\nunten am Stand.  Falls Sie\neine Vorführung sehen möchten, insbesondere von Alex, gebe ich Ihnen diese gerne\n.  Ich wollte mir aber unbedingt\nZeit nehmen, um auch wirklich\nFragen beantworten zu können.\n[Applaus]\nJa.  Frage.\ndas\nkam heraus.\nHey, danke.  Es war ein tolles Gespräch.  Ähm,\neine der Erkenntnisse aus dem\nCode-Leak von Claw war, wie viel Aufwand\nsie in die Vermeidung von\nCache-Invalidierungen durch ihr Kontextmanagement gesteckt haben?\nArbeitest du auch daran oder wie\ndenkst du darüber?\nJa, ich denke, im Moment konzentrieren wir uns wirklich\nauf das Langzeitgedächtnis\n.  Wir haben uns noch nicht eingehend mit dem\nCache beschäftigt.  Im Prinzip haben wir die Daten\nin einer Datenbank mit IDs gespeichert.\nAlex kann also ein Tool verwenden, das\nalle IDs enthält und angibt, an welcher Stelle im\nGespräch es darauf zugreifen muss.  Also, war\nes früh am Anfang, wie viele Nachrichten, und es\ngibt eine kleine Vorschau.  Ähm, so haben\nwir es bisher gehandhabt.  Ich bin\nabsolut davon überzeugt, dass wir etwas\nverfeinerter werden und darin\ninvestieren müssen.  Aber im Moment\nfunktioniert es.  Wir konzentrieren uns daher eher\nauf das Langzeitgedächtnis, da ich den Eindruck habe, dass\nich in diesem Bereich die meisten\nBeschwerden erhalte.   Ja\n.  Noch weitere Fragen?   In Ordnung\n.  Nun, kommen Sie einfach nach unten,\nwenn Sie Fragen haben.  Vielen Dank\nfür Ihre Zeit.  [Applaus]\n[Musik]",
  "transcript_chars": 21592,
  "ingested_at": "2026-05-12T00:30:38.681191+00:00",
  "source": "channel",
  "yt_meta": {
    "view_count": 14438,
    "like_count": 365,
    "channel_id": "UCLKPca3kwwd-B59HNr-_lvA",
    "categories": [
      "Science & Technology"
    ],
    "tags": [
      "ai",
      "ai engineer",
      "ai engineering",
      "software development",
      "tech",
      "startups",
      "software architecture",
      "machine learning"
    ]
  }
}