{
  "video_id": "X6NShR2ccOg",
  "channel_slug": "aidotengineer",
  "channel_handle": "aidotengineer",
  "title": "Lessons from Trillion Token Deployments at Fortune 500s — Alessandro Cappelli, Adaptive ML",
  "duration_seconds": 1115.0,
  "url": "https://www.youtube.com/watch?v=X6NShR2ccOg",
  "upload_date": "",
  "transcript": "Hallo zusammen.\nIch bin Alessandro Cappelli.  Ich bin Mitgründer\nund Chief Customer Officer bei Adaptive\nML.\nBei Adaptive ML entwickeln wir eine RL-Ops-\nPlattform (Reinforcement Learning\nOperations), die es großen Unternehmen\nwie AT T, Manulife und CCS ermöglicht,\nihre eigenen spezialisierten, sehr großen Sprachmodelle zu erstellen, zu evaluieren und in der Produktion einzusetzen\n.\nIch bin hier, um\nIhnen zu zeigen, dass Reinforcement Learning (\nRL) nicht einfach nur ein weiterer Algorithmus für die\nNachbearbeitung ist, sondern ein Algorithmus,\nder im Kern Modelle in die\nProduktion überführt.  Vor etwa 3 Jahren\nwar ich Teil eines Teams, das\nFalcon trainierte.  Falcon war vor etwa 3 Jahren\neines der am weitesten verbreiteten\nOpen-Source-Modelle, und wir erkannten mit\nmeinem Team, das eigentlich das\nKerngründungsteam von Adaptive ML ist, dass\ndie Lücke, die zwischen der\nEinführung eines Open-Source-Modells in die\nProduktion und proprietären Modellen\nwie denen von Frontier Labs wie OpenAI bestand,\ntatsächlich im Reinforcement Learning lag.\n95 %\nder GenAI-Pilotprojekte erreichen nicht den\nProduktionsstandard.\nWarum ist das so?  Äh, ich glaube, es handelt sich um das, was\nwir den Mythos der letzten Meile nennen.\nHier sehen Sie beispielsweise eine\nZeitbeschreibung dessen, was es braucht, um\nzur Produktion zu gelangen, was, äh, ich glaube,\nfalsch ist.  Und die Idee, dass der schwierigste Teil beim\nErreichen eines MVP darin besteht,\neine Demo zu entwickeln, die vor\nStakeholdern und\nKollegen gut aussieht, und genau das ist der schwierige\nTeil.  Und dann kommt noch\ndie letzte Meile, auf der das\nModell tatsächlich in die Serienproduktion überführt wird\n.  Das Problem ist, dass die meisten MVPs\nauf proprietären Modellen aufbauen\noder auf einem Open-Source-Modell\nmit feinabgestimmten Anweisungen.\nBeide Lösungsansätze ermöglichen keine\nsystematische Verbesserung Ihrer Lösung.\nSie integrieren nicht auf wirklich\nsystematische und mathematische Weise, welche\nMängel\nauf dem Weg zur Produktion auftreten können.  Ich\ngebe Ihnen ein Beispiel.\nWenn Sie beispielsweise Ihre Lösung testen\nund dabei einige Fehler auftreten, und\nSie ein proprietäres Modell verwenden,\nkönnen Sie nur die Systemabfragen ändern\n.  Wenn man nun die\nSystemaufforderung in die eine Richtung ändert, können\nandere Fehler auftreten, und es gibt keine\nwirklich wissenschaftliche, systematische Methode,\ndiese Systemaufforderung auf\neine Weise zu verbessern, die man leicht überwachen kann.\nGleiches gilt für die Feinabstimmung der Anweisungen.   Das\nBeste, was man tun kann, ist, den Datensatz zu durchlaufen\n.  Das könnte teuer werden.  Und was geschieht\nnach der Produktion?  Werden Sie\njede Woche einen neuen Datensatz erstellen\n?\nDies ist meiner Meinung nach eine\nrealistischere Sichtweise darauf, wie der Weg zur\nProduktion und darüber hinaus tatsächlich aussieht\n.  Der Weg zum MVP ist nicht einfach, aber\ndas ist erst der Anfang.\nDie eigentliche Reise, der\nwahre Marathon, besteht darin, vom MVP zur\nSerienproduktion und darüber hinaus zu gelangen.\nUnd das Geheimnis dabei ist die\nBeschleunigung des Modelllebenszyklus.  Ziel ist es,\njedes einzelne Feedback\naus verschiedenen Quellen zu integrieren, um die\nLösung kontinuierlich zu verbessern.  Diese\nkontinuierliche Umschulung, Verfeinerung und\nVerbesserung, die durch echtes Kundenfeedback\n, Geschäftskennzahlen und\nBelohnungen aus dem Umfeld vorangetrieben wird, wird\nsystematisch nur durch bestärkendes\nLernen ermöglicht.\nWie ich bereits erwähnte, besteht mein Hauptargument darin, dass Reinforcement Learning\nquasi von\nNatur aus die Integration von\nFeedback auf eine beinahe mathematische Weise ermöglicht.\nAber Reinforcement Learning ist nicht einfach nur\ndas.\nIm Vergleich zu anderen\nTechniken zur Verhaltenssteuerung nach dem Training, wie zum Beispiel\nHilfestellungen und die\nFeinabstimmung von Anweisungen, erreichen sie alle\ndasselbe Ziel, nämlich das\nVerhalten eines Modells zu steuern,\naber sie sind nicht gleich effektiv.\nReinforcement Learning ist\nunverhältnismäßig effektiver als die\nFeinabstimmung von Anweisungen, und ebenso effektiv im Vergleich zu\nPrompting.\nReinforcement Learning ermöglicht,\nsagen wir mal, überragende Leistungen.  Was\nbedeutet das also?  Wie Sie im Diagramm sehen können,\nlässt sich\nmit einem relativen Modell\nim Vergleich zu SFT die gleiche Leistung mit einem wesentlich kleineren\nModell erzielen.  Was dadurch freigeschaltet wird, das\nIhnen tatsächlich hilft, in die Produktion zu gelangen.\nEine rel-fähige Skala bei der Einführung.  Was meine\nich damit?  Wenn Sie ein kleineres\nModell trainieren, werden diese Modelle\nim großen Maßstab kostengünstiger zu bedienen sein, und die\nTokenomics Ihres Anwendungsfalls wird\nschließlich Sinn ergeben.\nWenn Sie ein großes Unternehmen wie AT T sind,\nkostet Sie jeder Anwendungsfall, jede Funktion, die Sie als Standardprodukt anbieten möchten – sei es für interne Mitarbeiter oder für Kunden –, in großem Umfang Millionen von Dollar.\nBeispielsweise fasst AT T\njedes einzelne Gesprächsprotokoll zusammen, das\nzwischen einem\nKunden und einem Mitarbeiter stattfinden könnte.  Zusammenfassend lässt sich sagen,\ndass sie dadurch Millionen von Dollar verloren haben.\nWenn Sie ein Modell trainieren können, das viel\nkleiner ist als beispielsweise\nein Chat GPT oder ein Sonnet, sparen Sie\nGeld.   Ein\nweiterer Vorteil ist, dass das\nkleinere Modell schneller ist.  Nicht\nalle Anwendungsfälle erfordern Geschwindigkeit, aber bei vielen gibt es\neine Latenzschwelle, die nicht nur\nwünschenswert, sondern eine Einschränkung darstellt,\ndie den\nProduktiveinsatz verhindert.  Nehmen wir an, Sie haben ein Modell\nfür den Kundensupport, das beispielsweise\nein Spracherkennungssystem antreibt.  Man\nkann auch über eine halbe Sekunde hinausgehen, und ich\nwürde sagen, eine halbe Sekunde ist schon\nseltsam.  Wenn man sich mit jemandem unterhält\nund dann eine halbe\nSekunde warten muss, ist das schon seltsam.  Im Idealfall\nsollte es ein Drittel einer Sekunde sein.  Und ein\nDrittel einer Sekunde ist etwas, das man bei der\nVerwendung großer Sprachmodelle niemals erreichen wird\n.  Sie müssen kleine Modelle verwenden.\nVielleicht, wissen Sie, die neueste Gemma, die\nspätere Mistral, die spätere When,\nwissen Sie, aus der 10B-Familie, aber Sie können auch\nviel größere Modelle verwenden.  Das Letzte, was man\nfreischaltet, ist das Eigentum.  Sie besitzen\ndie Daten, die Sie dem Modell zur Verfügung stellen, da\ndas Modell mit Ihren eigenen Geschäftsdaten trainiert wird\n, und Sie besitzen die\nLösung.  Sie brauchen sich also keine Sorgen zu machen\nüber, Sie wissen schon, das neueste Update des\nModells, das die Leistung\nunter Ihren Füßen verändern könnte.\nAlles, was ich bisher gesagt habe, trifft auf\njeden erdenklichen Anwendungsfall zu.\nIch erwähnte Zusammenfassung, es hätte auch\nKlassifizierung sein können, äh, es hätte\nOCR sein können, es hätte alles sein können, was Ihnen\neinfällt.\nUnd Reinforcement Learning ist bereits\ndie bessere Wahl.  Doch nun befinden wir uns im\nZeitalter der Agenten, und Agenten machen die Sache tatsächlich nur noch\nkomplizierter.  Agenten\nbenötigen mehr Token, höhere Komplexität.\nEs gibt weniger Spielraum für Fehler, da\nnun Agenten Zugriff auf die Daten haben und\nÄnderungen in der Datenbank vornehmen können, die\nentweder mit\ninternen Mitarbeitern oder mit Kunden verbunden sind\n.\nAll das\nerhöht also die Anforderungen an das, was\nin Produktion genommen werden kann, und wirft die\nFrage auf, ob die\nTokenomics eines Agenten tatsächlich\nsinnvoll ist oder nicht.  Wie ich bereits erwähnt habe,\nkann man allein für einen Anwendungsfall wie die Zusammenfassung Millionen ausgeben.  Stellen Sie sich vor, Sie\nskalieren einen Agenten auf das Zehnfache der\nToken-Anzahl.   Der\nbereits bestehende RL-Vorteil\nvergrößert sich nur noch, wenn es um das\nTraining von Agenten geht.  Denn RL wurde im Kern\neigentlich entwickelt, um Roboter zu trainieren, also\nAgenten, die in\neiner bestimmten Umgebung leben können.  Und\nUmgebungen sind der Ort, wo Agenten sich\ntatsächlich verhalten.  Reinforcement Learning passt also ganz natürlich\nin eine Erzählung, in der man ein Modell trainieren möchte, damit es\nein guter Agent wird.  Nun gibt es zwei\nSzenarien.  Entweder haben Sie bereits einen\nAgenten.   Nehmen\nwir zum Beispiel die Firma\nManulife.  Und Manulife hatte bereits\nAgenten.  Sie verfügen also bereits über einen festgelegten\nArbeitsablauf.  Als\nmüssten wir es nicht auf unserer Seite nachbilden.\nSie können direkt ein Modell einbinden, das Sie zuvor\ntrainiert haben.\nKann zum Beispiel die neueste Version 3.5 sein.\nUnd Sie können das Modell direkt\nin einer bereits existierenden Umgebung trainieren.   Auch\nwenn eine solche Umgebung nicht existiert,\nkann sie geschaffen werden.  Man kann\ndie Werkzeuge immer noch verspotten.  Und falls Sie\nfür den jeweiligen Anwendungsfall einen simulierten Benutzer benötigen, können Sie diesen auch erstellen.\nWenn Sie beispielsweise einen Chatbot erstellen möchten,\nder Zugriff auf Tools hat, könnte ein simulierter Benutzer\nein LLM sein.\nUnd die Belohnung?  Die Belohnung wird\neinfach, wissen Sie, jedes Geschäftsergebnis,\njede KPI, jeder LLM als Juror sein, der\nfür Sie definieren könnte, wie Erfolg aussieht.   War\nder Agent hilfreich?\nWar der Agent hilfreich?  Hat der Agent\n, wissen Sie, einen Tonfall und eine Wortwahl verwendet,\ndie den Geschäftsrichtlinien entsprechen?\nZu diesem Thema haben zwei meiner Kollegen,\nLetizia und Joao, einen\nWorkshop aufgezeichnet, den Sie vielleicht\nauf unserer Website für Ingenieure finden. Darin wird\nIhnen genau gezeigt, wie Sie\nein Modell trainieren können, indem Sie es in eine\nbestehende\nUmgebung einbinden.\nWenn ich mit Kunden spreche, ist\neine der Hauptursachen für\nZweifel daran, ob sie jemals\nein MVP oder eine Produktionsversion erreichen werden, dass ihnen\ndie Daten dafür fehlen.  Daten waren\nschon vor den Agenten ein Problem.  Das\nProblem nach dem Agenten ist noch größer, da die\nTrainingsdaten der Agenten in freier Wildbahn nicht existieren\n.  Es gibt beispielsweise keinen solchen\nDatensatz, den man aus dem Web extrahieren könnte,\nwo beispielsweise ein Agent ein Tool verwendet.\nSie verfügen nicht über einen solchen Datensatz.  Das\nSchöne daran ist, dass man beim Trainieren eines\nModells mit Reinforcement Learning und wenn man\neine Umgebung und eine\nBelohnung hat, im Grunde genommen\nals Nebenprodukt seiner\nUmgebung eine\nPipeline für synthetische Datensätze erstellt.  Im Grunde genommen\nkann man, je nach Umfeld, buchstäblich\npositive Entwicklungspfade gestalten,\ndenn die dafür vorgesehenen Belohnungen geben\neinem vor, was gut und was nicht gut ist\n.  Im Prinzip kann man also eine Ablehnungsstichprobe durchführen\nund einen Datensatz erstellen, mit dem man\ndas\nerste Training eines Modells beginnen kann.  Und das Schöne daran ist, dass\nviele Unternehmen zwar\nnicht über die exakten\nDaten verfügen, die für das Training von Agenten erforderlich sind, aber\ndennoch über eine Vielzahl von Datensätzen verfügen, die\ngenutzt werden können, um das gesamte\nNutzungserlebnis in der Umgebung zu verbessern.  Bei solchen Daten\nkönnte es sich beispielsweise um ein echtes Protokoll der Kommunikation\nzwischen einem Kunden und einem Mitarbeiter handeln, das\ndem simulierten Benutzer zur Verfügung gestellt werden kann.  Der simulierte Benutzer\nkann sogar so trainiert werden, dass er eine\nrealistische Person darstellt, die\nnervig sein kann und beispielsweise dreimal\nhintereinander Fragen stellt.  Wir arbeiten beispielsweise mit\nKunden wie\nMedizintechnikunternehmen zusammen, wo Menschen in\nPanik geraten und anrufen.  Das richtige\nVorgehen wäre also beispielsweise, dass ich\nSie an einen menschlichen Mitarbeiter weiterleite oder\nfür Sie den Notruf 911 wähle.  Und solche,\nsagen wir mal, schmutzigen, realen Gespräche\nlassen sich\nmithilfe proprietärer Datensätze leicht ins Lächerliche ziehen.\nWo bleibt der Mensch in diesem Prozess?\nÄhm, ein\nBrunnen wurde\nin der LLM-Welt dank ChatGPT berühmt,\nweil OpenAI einen Blogbeitrag veröffentlichte, in dem\nwir sagten, dass wir RLHF gemacht haben, also\nReinforcement Learning aus menschlichem\nFeedback.\nDoch manchmal steckt hinter diesem Menschen,\nwas erfreulich ist, in\nWirklichkeit etwas, das sich hinter teuren\nAnnotationskampagnen verbirgt.  Meiner\nErfahrung nach hat also\nniemand Lust, eine Annotationskampagne zu starten\n.  Entweder ist es teuer, oder es\nist völlig nutzlos, denn die Realität\nist, dass die Leute es nicht tun wollen, man aber\ntrotzdem einen Menschen im\nSpiel haben möchte.  Wo kommt also der Mensch ins\nSpiel in der Gleichung, die ich\nIhnen gerade gezeigt habe?\nBeim Training mit RL ist das\nWichtigste,\nein Belohnungssignal zu erzeugen.  Ein Belohnungssignal\nkann aus verschiedenen Quellen stammen.  Könnte\neine systematische Belohnung sein, wenn sie beispielsweise darauf beruht, ob\nder Code ausgeführt wird?  Ist\ndie Syntax korrekt?  Es kann sich um\ndirekte KPIs oder Bit- und\nGeschäftsergebnisse handeln.  Einer unserer Kunden, CCS, das\nMedizintechnikunternehmen, das ich\nvorhin erwähnt habe, verfügt über ein Kundendienstsystem,\ndas – wie jedes andere\nKundendienstsystem auch – darauf abzielt, die Eindämmungsrate zu maximieren\n.  Zum Beispiel, wie viele Anrufe\ntatsächlich vollständig vom Modell abgewickelt werden\n.  Und genau diese Belohnung, dieser Prozentsatz\nan Anrufen, die tatsächlich zu einer vollständigen Abwicklung geführt haben,\nist etwas, das Sie direkt\nmaximieren können.\nViele andere Dinge, zum Beispiel, ob der Tonfall\nangemessen war?  Wurden die Geschäftsanforderungen\neingehalten?\nBei der Frage der systematischen\nBelohnung handelt es sich um eine etwas offene Angelegenheit, aber dieses Problem kann\nmit LLMs als Juroren gelöst werden.  Der Mensch im\nRegelkreis hilft also allein dadurch, dass er die\nBewertungskriterien festlegt, die Systemvorgaben für\ndie LLM-Juroren definiert\nund die Szenarien festlegt.  Das heißt,\nsicherstellen, dass es genau\nmit dem übereinstimmt, was sie sehen.  Diese\nTätigkeit, die der Mensch ausführt,\ndauert beispielsweise einige Minuten bis Stunden,\naber keine Wochen, und man muss sie auch\nnicht\ndutzende Male wiederholen.\nBei allem, was ich zuvor erwähnt habe, geht es bei RL\nnicht nur um einen einzigen Algorithmus, sondern um den\neinen Algorithmus, der die Überführung des\nModells in die Produktion industrialisiert.  In den\nletzten zwei Jahren haben wir bei Adaptive die\nAdaptive Engine entwickelt, eine RL Ops-\nPlattform zur Bewertung, Optimierung und Bereitstellung\nder besten LLMs für Ihr Unternehmen.\nDie Adaptive\nEngine ist eine ganzheitliche Plattform, auf der Sie\ngleichzeitig beobachten, trainieren und dienen können.\nAls ich ganz am Anfang erwähnte,\ndass das Ziel darin besteht, die Lebenszyklen zu beschleunigen\n, meinte ich damit nicht, das\nTraining an sich zu beschleunigen, richtig?  Sie möchten außerdem\nüberprüfen,\nob das Modell sich tatsächlich so\nverhält, und Sie benötigen eine systematische Methode, um\nFehler vor und nach der Produktion zu finden\nund entsprechend zu handeln.  Das gelingt\nnur mit einem\nsystematischen, ganzheitlichen Ansatz.\nUnsere Modelle basieren auf den besten\nOpen-Source-Modellen, sagen wir, auf\nden meisten verfügbaren Open-Source-Modellen\n,\nwie zum Beispiel dem neuesten Gemma Gemma 4, von dem Sie\nvor ein paar Tagen gehört haben, dem neuesten\nMistral, dem neuesten Gwen, die alle\nin Ihrem Unternehmen verfügbar sind, und je\nnachdem, welches Modell\nSie bevorzugen, können Sie darauf aufbauen\n.\nUnd schließlich,\nwas ist der Haken an RL?  Der einzige\nHaken an RL ist, dass Reinforcement\nLearning tatsächlich schwierig ist.  Reinforcement\nLearning ist nicht so einfach wie das Ändern einer\nSystemaufforderung, und es ist auch nicht so einfach wie das\nErstellen eines Datensatzes zur\nFeinabstimmung der Anweisungen.  Einer der bekanntesten\nRL-Algorithmen, nämlich PPO,\nerfordert die gleichzeitige Orchestrierung von nicht nur einem, sondern vier\ngroßen Sprachmodellen.   Genau da liegt die\nStärke der Adaptive Engine, denn wir lassen Sie die\nRubriken und alles Weitere selbst definieren,\nkümmern uns aber um die Komplexität des\nReinforcement Learnings, indem wir\nIhnen eine Reihe vorgefertigter Rezepte zur Verfügung stellen.  Sie müssen also nicht\nden neuesten Algorithmus, beispielsweise GSPO, implementieren, und Sie\nmüssen auch nicht so etwas wie\nein Trainingsrezept erstellen, um\nein tatsächliches Training durchzuführen.  Also, noch einmal:\nRL ist der einzige Algorithmus, mit dem man ein\nModell\nsystematisch und industrialisiert in die Produktion überführen kann, und\nall das ist mit der\nadaptiven Engine möglich.\nVielen Dank für eure Aufmerksamkeit.\nIch habe eine Frage zu\neinigen Aspekten des menschlichen Feedbacks,\ndie in RL integriert werden können.  Ja.\nZum Beispiel hatte Cursor letztes Jahr\neinen Blogbeitrag veröffentlicht, in dem sie darlegten, wie\nsie\nmenschliches Feedback aus Produktionsdaten einbeziehen,\netwa ob die Top-\nCompletion akzeptiert wird oder nicht.  Ja.  Und\nsie nutzen es ständig, um das Modell zu aktualisieren\n.  Ja.\nIn solchen Umgebungen, in denen ein LLM zum\nEinsatz kommt, also\nim traditionellen LLM-RL-Stil,\nwürde man\nmehrere Rollouts pro Prompt durchführen,\ndie funktionierenden auswählen und anhand\ndieser wenigen Beispiele trainieren.   Ja\n.  Wenn es sich um menschliches Feedback handelt und es nur\nein einziges Signal gibt, äh, nur ein einziges\nSignal,\nähm, macht man dann äh, Wiederholungen, um ähm,\nviele Variationen von Ausgaben für\ndieses Problem zu erhalten und damit zu trainieren, oder ist es\neffektiver, nur ein einziges äh,\nimplizites Feedback aus der Produktion\nals Belohnungsfunktion für das Training zu verwenden?\nAlso, ich würde sagen, wissen Sie,\nIhre Frage lautet: Wie können wir\nmenschliches Feedback nutzen?  Äh, ich würde\nsagen, es gibt\nzwei, sagen wir, Szenarien.  Es gibt ein\nSzenario, in dem, wissen Sie, manchmal das\nmenschliche Feedback so lautet: „Es\nkommt nicht aus der Produktion, richtig?“  Das kommt\nvon, wissen Sie, äh, so\n10 bis 20 Rückmeldungen.  In diesem\nFall\nnutzen wir es in der Regel dazu, den\nLLM als Juroren zu verbessern, indem wir beispielsweise bewerten, was gut und was\nschlecht ist und wie es in die\naktuelle Beschreibung dessen passt,\nwas Sie erreichen wollen.  Und das Schöne daran\nist, dass Sie, wenn Sie in die Produktion gehen,\nTausende solcher\nRückmeldungen erhalten werden.  Was wir also tun, ist, dass wir\nnormalerweise, anstatt für LLM als\nRichter zu verwenden, ganz am Anfang einfach\nein wirklich großes Sprachmodell verwenden\n, sagen wir, wenn 235B.\nWenn wir in die Produktion übergehen, verfügen wir über so\nviele Daten, dass wir\ndiese Daten nutzen, um Belohnungsmodelle zu trainieren, sodass\nwir im Grunde das menschliche Feedback skalieren können, um\ndas LLM aktiv zu trainieren.\nUnd dann, wissen Sie, in Bezug auf\ndie Frage, wann diese\nRückmeldungen nicht so explizit, sondern eher\nimplizit sind, denke ich, dass es wirklich\nvom jeweiligen Anwendungsfall abhängt, und dann\nkönnen wir ein entsprechendes Belohnungsmodell aufbauen.\nDa wir die Daten bereits haben\n, können wir zwei verschiedene\nSzenarien durchspielen, um herauszufinden, welche Trainingsart bei\neiner bestimmten Bewertung die besten Ergebnisse und die beste Leistung liefert\n.   Gern geschehen\n.\nOkay.  Dann vielen Dank.",
  "transcript_chars": 19180,
  "ingested_at": "2026-05-12T22:57:07.898984+00:00",
  "source": "channel",
  "yt_meta": {
    "view_count": 1311,
    "like_count": 29,
    "channel_id": "UCLKPca3kwwd-B59HNr-_lvA",
    "categories": [
      "Science & Technology"
    ],
    "tags": [
      "ai",
      "ai engineer",
      "ai engineering",
      "software development",
      "tech",
      "startups",
      "software architecture",
      "machine learning"
    ]
  }
}