{
  "video_id": "UM6sFg_jdlE",
  "channel_slug": "aidotengineer",
  "channel_handle": "aidotengineer",
  "title": "RAG is dead, right?? — Kuba Rogut, Turbopuffer",
  "duration_seconds": 673.0,
  "url": "https://www.youtube.com/watch?v=UM6sFg_jdlE",
  "upload_date": "",
  "transcript": "[Musik]\nOkay, willkommen allerseits.  Danke fürs\nKommen.  Ich sehe, der Raum ist voll, deshalb freue ich mich über\njeden einzelnen Besucher.\nWillkommen also zur Diskussion darüber, dass Ragtime tot ist,\nnicht wahr?  Also, mein Name ist Kuba.  Ich bin als\nIngenieur bei Turbo Puffer im Einsatz.  Für diejenigen,\ndie Turbo Puffer nicht kennen: Wir\nsind eine Volltext- und Vektorsuchdatenbank, die\nvon Grund auf auf\nObjektspeicherung basiert.\nWenn Sie mehr erfahren möchten, können Sie\nmich nach dem Vortrag einfach aufsuchen, falls Sie\nFragen haben.\nDann lasst uns anfangen.  In\ndiesem Gespräch geht es also darum, dass\nRag tot ist und dass die Kombination aus Hybrid-Tool und Tool Rich\nRetrieval zum Standard für\nernsthafte agentenbasierte Suche wird.   Wenn\nihr also auf Twitter oder anderen\nSocial-Media-Plattformen unterwegs wart – oder ich nehme an, X\nnennen sie das jetzt –, dann habt\nihr vielleicht viele Tweets wie\ndiesen gesehen, in denen es darum geht, dass Rag tot ist.  Man kann sehen, dass es vor allem\nEnde 2025 und\nAnfang dieses Jahres viele Tweets darüber gibt, wie\nRag tot ist, dass die Agentic-Dateisuche alles ist, was\nwir brauchen, und es gibt\njetzt eine Menge Tweets und Inhalte darüber.\nInteressanterweise kann man aber, wenn man sich zum Beispiel\ndas\nSuchvolumen bei Google in den letzten zwei Jahren ansieht, feststellen, dass es ab\n2023, wenn die KI an Bedeutung gewinnt, einen Anstieg gibt, der sich\n2024 etwas abschwächt, sich dann\nfür etwa ein Jahr einpendelt und dann\nMitte 2025 einen\nneuen Wendepunkt erreicht, an dem das Suchvolumen explosionsartig ansteigt\n.  So,\nTwitter, das kannst du dir abschminken.   Ähm,\nklären wir zunächst, was Rag ist und\nwas agentenbasierte Suche ist.  Das sind so\nzwei Begriffe, die heutzutage von vielen Leuten inflationär verwendet werden\n.   Für\nviele ist „rag“ nichts anderes als eine\neinfache Vektorsuche.  Sie\ndenken einfach, dass es sich dabei lediglich um das\nEinbetten eines Inhaltskorpus handelt, wobei\nein Einbettungsvektor übergeben und dieser anschließend\ndurch das LLM geleitet wird.  Und\nwas ich Turbo Puffer meine, was wir glauben, was das\ntatsächlich bedeutet, wissen Sie, wenn man\nRag in Retrieval Augmented\nGeneration aufschlüsselt, wissen Sie, dass Retrieval nicht\nnur Vektorsuche ist.  Es sind viele\nverschiedene Dinge.  Es könnte sich um eine Vektorsuche oder eine\nVolltextsuche handeln, bei der beispielsweise\nBM25, grep, globbing, reguläre Ausdrücke oder auch\nandere einfache Filter zum Einsatz kommen.\nUnd die erweiterte Generation gibt es\noffensichtlich einfach an Ihren LLM\nIhrer Wahl weiter.\nUnd dann die agentenbasierte Suche.  Das sind so\nAusdrücke, die heutzutage inflationär verwendet werden\n.  Wenn von\nagentenbasierter Suche die Rede ist, ist damit im Allgemeinen im Wesentlichen\nnur die Suche im Dateisystem gemeint.  Wenn ihr also\nmit etwas wie Cloud Code vertraut seid –\nund das ist Cloud Code Codex –, dann wisst ihr, dass\nviele Leute das als\nagentenbasierte Suche bezeichnen. Im Wesentlichen\ndurchsucht man damit einfach das Dateisystem.\nDas ist auch der Grund, warum diese Begriffe so eng miteinander\nverbunden sind.  Und was wir tatsächlich glauben,\nund wissen Sie, welche\nDefinition wir dafür geben wollen,\nist, dass es den Agenten eine Reihe\nvon Werkzeugen an die Hand gibt, um schrittweise und\niterativ\nKontext zu finden und zu analysieren.  Mit Cloud Code können Sie –\nfalls Sie damit bereits vertraut sind –\nIhre Datei lesen,\nIhr Dateisystem durchsuchen, eine\nDatei lesen, feststellen, dass es das Benötigte nicht gefunden hat – also das, was\nes zum\nAbschließen der Aufgabe benötigt – und dann,\nSie wissen schon, etwas erneut suchen und\ndies so lange wiederholen, bis es zufrieden ist, also\neinen Zustand erreicht hat, in dem es\nmit der Aufgabe fortfahren kann.\nWir werden also einen Schritt zurücktreten\nund über eines der Unternehmen sprechen, die\nTurbo Puffer verwenden und\nunserer Meinung nach eine hervorragende\nArbeit bei der agentenbasierten Suche leisten.  Das ist eine\nFirma namens Cursor, von der Sie vielleicht schon einmal\ngehört haben.\nWitzige Tatsache: Sie gehören tatsächlich zu den\nallerersten Kunden von Turbo Puffer.  Und sie\nhaben diesen hervorragenden Blogbeitrag, der\nAnfang 2026 erschienen ist, darüber, wie\nsie Codebasen indizieren.  Für alle, die es noch\nnicht wissen: Wenn Sie in Cursor eine neue Codebasis\noder einen neuen Branch öffnen,\nbeginnt Cursor damit, Ihre\nCodebasis einzubetten.  Sie werden also den Code in einzelne Abschnitte unterteilen, diese\nanalysieren,\nIhre Codebasis einbetten und sie so für die\nsemantische Suche verfügbar machen.  Und dieser Blogbeitrag geht auf die\ntechnischen Details ein,\nwie sie das machen.\nUm es kurz zu fassen:\nDas Tolle an ihrer Arbeit ist, dass sie herausgefunden haben, dass die\nmeisten Leute, die\nin einem Team arbeiten – sagen wir, es sind 100\nIngenieure –,\nwenn sie Codebasen öffnen,\nnormalerweise zu 99 % dieselbe Codebasis verwenden,\nweil ein Team von\n100 Leuten die meiste Zeit an\nein, zwei oder vielleicht ein paar wenigen Codebasen arbeitet, richtig?\nUnd es ist wirklich teuer,\ndiese Codebasen jedes Mal neu aufteilen, neu einbetten und erneut hochladen zu müssen.\nSie verwenden also im Wesentlichen Merkle-Bäume,\nalso im Grunde einen kryptografischen Hash-\nBaum, um Ähnlichkeiten zwischen\nCodebasen zu berechnen, die von Mitarbeitern desselben Teams erstellt wurden.\nUnd wenn sie sich ausreichend ähneln,\nwerden die Daten im Wesentlichen kopiert\nund anschließend nur die geänderten\nDateien aktualisiert, neu aufgeteilt und neu eingebettet.\nUm\nsicherzustellen, dass dies auf\nsichere Weise geschieht, wird Turbo Puffer verwendet.  Und\nja, es ist einfach ein hervorragender Blogbeitrag.  Die\nmachen echt coole Sachen.\nUnd Sie denken vielleicht, das sei eine Menge\nArbeit.  Warum tun sie das?  Der\nGrund dafür wird auch in\neinem anderen Blogbeitrag über die\nVerwendung semantischer Suche erläutert.  Auch hierfür verwenden sie\nTurbo Puffer.\nUnd was sie feststellen, ist, dass es im Durchschnitt über alle\nModelle hinweg, glaube ich, eine\nSteigerung der Antwortgenauigkeit um etwa 12,5 oder 13,5 Prozent ist\n.  Dies steht im Widerspruch zu\nihrem internen Cursor-Kontext-Benchmark.\nSie wissen also, dass es sich nicht um einen öffentlichen Vergleichsmaßstab handelt,\naber\nSie können den Zahlen, die sie uns geben, vertrauen.\nUnd auf der rechten Seite können Sie\nderen Composer-Modell sehen. Das ist der Stand\nvor Composer 2; damals gab es eine\nSteigerung der Antwortgenauigkeit um fast 24 %\n.  Die Integration semantischer\nSuchfunktionen in diese Tools und\nModelle kann also tatsächlich zu echten\nLeistungssteigerungen führen.  Und wie Sie unten rechts sehen können, stammt\ndies aus einem Online-AB-Test, den sie durchgeführt haben und der\nauch in\nihrem Blogbeitrag behandelt wird. Darin wird erläutert,\nwie die\nCode-Retention in großen\nCodebasen fast bei 2,6 % liegt und wie die Anzahl unzufriedener Nutzeranfragen um 2,2 % sinkt\n.  Und Sie\ndenken vielleicht: „Na ja, diese Zahlen\nsind ja nicht so hoch, so 2,6 % oder 2,2 % – nicht so\nviel“, aber es wurde auch berücksichtigt, dass die\nsemantische Suche nicht bei jeder\neinzelnen Suchanfrage verwendet wird.  Bei ihrem Online-AB-Test\nwissen Sie also, dass, wenn Sie dieses\nTool 100 zufälligen Suchanfragen aussetzen,\nnicht jede 100 Suchanfrage tatsächlich\nvon der Existenz eines semantischen\nSuchtools profitiert. Deshalb sehen diese Zahlen\netwas klein aus.\nÄhm,\nund nun lasst uns ein wenig über\nCloud Code sprechen.  Cloud Code verwendet also keine\nVektorsuche, wie\nBoris Cherney in seinem Tweet bereits erwähnte.   Für alle, die\nBoris nicht kennen: Er ist im\nWesentlichen der Gründervater von Cloud\nCode.  Und er sagt, dass sie in frühen\nVersionen von Cloud Code tatsächlich\nrag in ihrer lokalen Vektordatenbank verwendet haben, aber\nfestgestellt haben, dass das für sie einfach nicht wirklich\nfunktioniert hat.\nAber es\nist wichtig zu verstehen, dass\nwir uns\nintern intensiv mit der\nIdee auseinandergesetzt haben, dass\nEmbeddings und semantische Suche eine Art\nCash-Computing sind.  Und Sie\ndenken vielleicht so etwas wie „Cash Compute“, als würden Sie\nmich jetzt mit einer Menge Fachbegriffen überhäufen\n.  Ich weiß nicht genau, was das\nbedeutet.  Ich denke, es ist am besten,\nein Beispiel durchzugehen, das im\nWesentlichen einem Cloud-Code-ähnlichen\nTrace und einem Cursor-ähnlichen\nTrace ähnelt.  Wie diese Agenten\nIhre Codebasis verstehen werden.  Links befindet sich also eine Art\nsitzungsbezogene\nErkennung von Cloud Code.\nWenn wir beispielsweise den Agenten bitten sollen zu verstehen,\nwie die Metadatenfilterung funktioniert, muss er\ngrep read assess and\nrepeat verwenden und versuchen, die benötigten Dateien zu finden, um\ndieses\nVerständnis für jede Sitzung einzeln zu erlangen.  Das\nbedeutet also, dass Sie beispielsweise\n10 Agenten an 10 verschiedenen Tagen\nbei 10 Entwicklern haben könnten, die\ndieselbe Frage mehrmals stellen.\nSie wissen, dass\nder Agent jeden Tag immer wieder genau dieselben\nSchritte wiederholen muss, um ein vergleichbares\nVerständnis dieser Codebasis zu erlangen.  Und\ndas könnte, wie Sie wissen, eine ganze Menge\nSpielmarken kosten.  Sie wissen, 6.000 scheinen\nhier nicht viel zu sein, aber denken Sie daran, dass dies nur\nein Teilschritt eines Agenten ist.\nUnd dann gibt es auf der rechten Seite so etwas wie eine\nCursor-ähnliche Ablaufverfolgung, bei der zwar\nanfängliche Kosten für die Indizierung anfallen, wir aber stattdessen ein\nleichtgewichtiges Tool einsetzen können, um dem Agenten zu helfen,\ndiese Informationen zur Laufzeit abzurufen.   Es gibt\nalso offensichtlich Vorlaufkosten\nfür das\nParsen einer Codebasis, das Einbetten und die\nBereitstellung, aber das sind\neinmalige Kosten, und dann kann der Agent zur Laufzeit einfach\nabfragen, wie beispielsweise, wie\nMetadaten gefiltert werden.\nEs kann zu einfachen Ergebnissen führen und\nwürde eine Menge Token, viel Zeit\nund einfach eine Menge Geld sparen.  Und das\nhilft dem Agenten, deutlich schneller zu werden.\nViele Leute im Team, die früher\ngroße Cloud Code-Nutzer\nhier bei Turbo Puffer waren, haben inzwischen angefangen,\nauf Cursor umzusteigen, einfach weil\nes so schnell wird, insbesondere\nmit den Composer Two-Modellen und\ndiesem semantischen Verständnis.\nWir finden es einfach wirklich sehr gut.\nVom Lappen zum agentischen Abruf.  Ähm, was\nwir jetzt feststellen, ist, dass viele\nLeute nicht mehr die einfache\nMethode anwenden, die man auf Twitter so nennt, nämlich\neinmal eine Vektorsuche durchzuführen und sie dann\nin das Kontextfenster einzufügen.\nWir stellen fest,\ndass\ndies Anfang 2023/Anfang\n2024, sozusagen in den Anfängen der KI, noch funktionierte, aber\nviele der anspruchsvolleren\nKunden setzen jetzt auf agentenbasierte Suche, was zu\nwirklich großen\nLeistungssteigerungen führt\nund neue Produkte ermöglicht.\nUnd was wir feststellen, ist, dass\nsie unzählige Anrufe tätigen und\ndiese Agenten dabei\nmehrere Schritte durchdenken.  Sie suchen je\nnach Bedarf semantisch oder im Volltext usw. und rufen nur das ab, was\nfür den jeweiligen\nAnwendungsfall benötigt wird. Wichtig ist jedoch zu wissen, dass der\nAbruf nicht mehr\nnur ein einfacher einmaliger Aufruf der\nVektordatenbank ist.  Es wird immer iterativer,\nund diese Agenten\nverstehen wirklich, wonach sie suchen, und\nversuchen in gewisser Weise, noch mehr zu verstehen.\nEs ist so etwas wie eine interessante Schleife.  Sie\nkennen doch Jeff Dean von Google? Er war mal in\neiner Sendung oder einem Podcast oder\nso, ich weiß nicht mehr genau, und er hatte da dieses wirklich gute\nZitat, das wir gerne verwenden und das wir auch\nsuper interessant fanden.  Er\nsprach, glaube ich, ein wenig darüber, dass die\nModelle von Gemini gewissermaßen\ndiese wirklich großen Kontextfenster hatten.\nÄh, ich habe die genaue Frage des\nModerators vergessen,\naber er meinte, wissen Sie, bei großen\nKontextfenstern spielt es keine Rolle, ob man eine\nKontextfenstergröße von einer Billion erreicht;\nwas man wirklich braucht, ist ein Stufenabruf, also\nein leichtgewichtiger Mechanismus, um\ndiese Billionen Token auf jeweils\nMillionen zu reduzieren.\nUnd wie das Zitat genau lautet: Man\nbraucht nicht gleich eine Billion, sondern die\nrichtige Menge an Millionen.\nÄhm, darüber denken wir\nbei Turbo Buffer viel nach.\nWissen Sie, wir haben Kunden, die\nBillionen von Token\nin Turbo Buffer eingebettet haben, und\nwie wir sehen, ist der wirklich wichtige Teil, auf\ndiese\n100.000, 10.000, eine Million herunterzubrechen, um sie in\ndiese Kontextfenster zu übergeben\n.\nÄh, das war's dann wohl mit dem Gespräch.  Ähm, falls\nSie Fragen zu irgendwelchen\nDetails haben, können Sie\ndiese entweder jetzt stellen oder mich\nnach dem Vortrag ansprechen.\nÄh, aber ich weiß es zu schätzen, dass ihr gekommen seid.\n[Applaus]\n[Musik]",
  "transcript_chars": 12677,
  "ingested_at": "2026-06-15T00:47:21.904561+00:00",
  "source": "channel",
  "yt_meta": {
    "view_count": 15226,
    "like_count": 355,
    "channel_id": "UCLKPca3kwwd-B59HNr-_lvA",
    "categories": [
      "Science & Technology"
    ],
    "tags": [
      "ai",
      "ai engineer",
      "ai engineering",
      "software development",
      "tech",
      "startups",
      "software architecture",
      "machine learning"
    ]
  }
}