{
  "video_id": "ON5LIT0M4do",
  "channel_slug": "aidotengineer",
  "channel_handle": "aidotengineer",
  "title": "You can't just one shot it — Mehedi Hassan, Granola",
  "duration_seconds": 611.0,
  "url": "https://www.youtube.com/watch?v=ON5LIT0M4do",
  "upload_date": "",
  "transcript": "[Musik]\nCool.  Na, wie geht's euch, Leute?  Ich bin Maddie.\nWir werden über einige Produktentwicklungsthemen sprechen, an denen\nwir\nbei Cronulla gearbeitet haben.  Dies wird nicht in die\nTiefe unserer technischen Details gehen.  Wenn\nSie also von mir erwarten, dass ich einen Master in Rechtswissenschaften oder\nÄhnliches mache, wird das nicht passieren.  Ich warne dich schon jetzt\n.  Ihr wisst also, was\nkommt.  Cool.\nIch bin also Produktentwickler bei Cronulla.  Ich programmiere schon,\nseit jQuery\ncool war.  Ich habe miterlebt, wie React die\nFrontend-Entwicklung verändert hat.  Und natürlich erleben wir jetzt, wie\nviele von Ihnen, den Wandel im Ingenieurwesen und in allen anderen Bereichen durch den LLM.  Für alle, die es noch nicht\nwissen: Cronulla ist eine App, mit der man\nseine Arbeit erledigen kann.  Im Wesentlichen\nsind wir eine App für Besprechungsnotizen, die sich\nin Ihr Dokument einfügt,\nso wie es gerade der Fall ist.  Und es hat\nZugriff auf das\nAudio Ihres Systemtranskriptionssystems sowie auf das Audio Ihres Mikrofons\n, was bedeutet, dass wir eine Echtzeit-\nTranskription durchführen können.  Und am Ende\nIhres Meetings können wir Ihnen dann richtig\ntolle Notizen geben.  Ich werde\nIhnen also nur eine kurze Demo geben.  Ich habe also\nden vorherigen Vortrag\nhier aufgezeichnet und man kann sehen, dass ich\nbuchstäblich alles mitgehört habe, was der Vortragende\ngesagt hat.  Und das Tolle an Cronulla\nist, dass man zusätzlich zu dem, was in der Transkription steht, auch eigene Notizen hinzufügen kann\n.  Das Endergebnis\nentspricht also eher dem, was man normalerweise tatsächlich\nauf einen Notizblock schreiben würde.  Ich werde also jetzt\ndie Notizen hier generieren.  Und\nSie werden sehen, dass dies\neine wirklich gute Zusammenfassung ergibt.\nUnd wie Sie sehen können, habe ich\ndiese 20%ige Überlappung aufgeschrieben, und der Fokus lag\neher auf dem Ergebnis, richtig?  Das ist also\nCronulla.  Wir bieten Ihnen erstklassige\nBesprechungsnotizen, unabhängig von Ihrer Rolle,\nund diese behindern Sie nicht bei Ihrer Arbeit.  Und\ndas ist\nseit dem ersten Tag unsere Produktphilosophie.\nWir liefern also viele KI-Funktionen in\nCronulla aus und unser Produkt ist dafür bekannt, dass es\nIhnen nicht im Weg steht.  Mal\nsehen, was passiert, wenn man eine einfache\nKI-Funktion in die Produktion einführt.\nIch werde Ihnen das anhand unserer\nChat-Funktion an einem Beispiel verdeutlichen.\nDies ist eine Funktion, die in Cronulla bereits existiert\n.  Sie können Fragen zu einem\nMeeting stellen, das Sie gerade hatten, oder auch zu einer\nReihe anderer Meetings oder zu einem\ngemeinsamen Kontext.  Und Cronulla\nwird versuchen, diese Frage nach bestem Wissen und Gewissen zu beantworten\n.  Nehmen wir also an, ich hätte so ein\neinmaliges Chat-System entwickelt.\nDas ist ganz einfach.  Und ich habe es\nin meiner gefälschten Cronulla-App zum Laufen gebracht.\nUnd sobald die Nutzer das hören, ist\nes so, als ob sie aufgefordert würden, mich in einer Minute anzurufen.\nAlso, geben Sie mir eine Liste der Städte.  Die Websuche\nist zu langsam.  Ich schreibe keine Folge-E-\nMails so, wie ich meine E-Mails normalerweise schreibe.  Ich habe\nes gebeten, mich über meine Meetings zu beraten,\nund es erzählt mir von Meetings mit meinem\nFußballtrainer.  Offensichtlich handelt es sich hierbei um\nsehr\nhäufige Probleme, auf die man\nstoßen wird, wenn man einen generischen\nChatbot erstellt.  Wie können wir dieses Problem also lösen\n?\nWir haben also festgestellt, dass es extrem schwierig sein kann, das\nLLM an Ihren spezifischen Anwendungsfall anzupassen\n.\nEin Beispiel dafür ist die\nWebsuche.  Die Websuche nach den meisten LLM-\nAnbietern sieht also aus wie eine Codezeile.  Man\nfügt einfach das Websuchtool hinzu und\nerwartet, dass es einfach funktioniert.  Das\nwollen die Labore Ihnen glauben machen, aber sobald man sich näher damit befasst\n, gibt es viele andere\nKomplikationen.  So können beispielsweise der\nTokenverbrauch und die Tokenkosten\nerheblich ansteigen, insbesondere bei komplexen\nAbfragen.  Das wird deinen\nKontext komplett sprengen.  Und jeder Chat könnte\nSie etwa 10 Pence kosten.  Offensichtlich\nist dies bei Millionen von Nutzern\nnicht wirklich praktikabel.\nUnd dann, wissen Sie,\nsind die Anbieter von Websuchmaschinen auch völlig von\nden Laboren abhängig.  So haben wir beispielsweise in\nunserer Entwicklung festgestellt, dass\nwir ein Modell über einen längeren\nZeitraum verwendet haben.  Und dann wurde über Nacht\nein Update veröffentlicht, und aus irgendeinem Grund\nverschlechterte sich die Websuche, und das lag\nvöllig außerhalb unserer Kontrolle.  Und wir\nhatten im Allgemeinen keine Ahnung, was da vor sich ging, außer dass wir eben den\nAnbieter gewechselt hatten.  Wir möchten aber mehr\nKontrolle darüber haben, weil es sich auf das\nNutzererlebnis auswirkt.\nUnd wissen Sie, es gibt buchstäblich\nMilliarden-Dollar-Unternehmen, die Web-\nSuchen anbieten.  Das zeigt also, dass\nes sich um viel mehr handelt, als nur um das Hinzufügen eines\nWeb-Suchtools zu Ihrem LLM-Prozess.   Was\nfür Apps wie Cronulla ebenfalls extrem wichtig ist, ist die Ausgabe.\nDie Zusammenfassung, die Sie gesehen haben, war also ziemlich\ngut für das, was ich erwartet hatte, aber\njemand im Vertrieb würde vielleicht einen stärkeren\nFokus auf den Abschluss erwarten.  Jemand aus dem Ingenieurwesen würde vielleicht so etwas wie\nAktionspunkte, Blocker oder\nlineare Tickets erwarten.  Die Personalabteilung möchte vielleicht\netwas ganz anderes.  Und das\nProblem ist, dass eine einzige Eingabeaufforderung im Allgemeinen nicht\nallen gerecht werden kann.  Und wissen Sie, LLMs sind\nstörrisch, und wir müssen herausfinden, wie wir Zugang zu\nihnen bekommen und sie so zum Laufen bringen,\nwie wir es wollen.\nUnd ja, wie Sie ja wissen,\nwird das Verhalten von LLM größtenteils als eine Art Blackbox betrachtet\n, aber wir wollen sehr tief\nin die Details eintauchen und genau herausfinden,\nwas vor sich geht.  Was wir also\nkürzlich bei Cronulla gemacht haben, ist, dass wir damit begonnen haben,\nunsere eigenen Tracing-Tools zu entwickeln.  Und\ndank LLMs kann man\ndiese Dinger natürlich auch mit einem einzigen Versuch erledigen.  Und genau da kommt es mir gelegen, dass man mit\neinem Schlag alles erledigen kann.\nUnd so haben wir hier unsere Tools zur Toolverfolgung entwickelt, mit denen\nwir im Grunde\nvollständige Transparenz über die Toolaufrufe\nvom Anfang bis zum Ende haben.\nWir haben also volle Transparenz über die\neinzelnen Toolaufrufe, warum\ndiese Toolaufrufe erfolgen, die Suchwerkzeuge, die\nAnalysewerkzeuge und die Kostenstruktur,\ngenau so, wie wir es wünschen.  Und das Nützlichste daran\nist, dass wir\ndie Daten genau so strukturiert haben, wie wir\nes wollten.  Und die Benutzeroberfläche ist so konzipiert, dass sie\nunseren internen Mitarbeitern dient, nicht nur den\nIngenieuren, sondern auch den Bereichen Produkt,\nDaten und Kundenerfahrung, und eigentlich allen.  Man\nmuss also nicht erst in\nCloudWatch gehen und sehr komplexe\nAbfragen durchführen, um herauszufinden, warum etwas\nfehlgeschlagen ist.  Und das war sozusagen der Schlüssel für\nuns, um diese Blackbox zu entschlüsseln.\nBisher entsprach die Entwicklung solcher\nTools natürlich in etwa der Nutzung\neines SaaS-Anbieters.\nUnd dazu hätte man einfach\nkeine Zeit.  Aber jetzt\nkönnen Sie sich tatsächlich die Zeit nehmen, dieses\nTracing-Tool zu entwickeln, das\nIhren Bedürfnissen entspricht.\nDies ist natürlich nur ein sehr einfaches\nBeispiel, aber selbstverständlich können Sie auch\nOpenTelemetry oder andere Anbieter verwenden.   Im\nGrunde speichern wir die Daten einfach\nin einer Datenbank, binden dann ein KI-SDK ein, und\ndas Frontend ist sozusagen der\nwichtigste Teil, denn damit werden die\nLeute herausfinden,\nwas funktioniert und was nicht.  Und\nunser Gründer\ngeht buchstäblich bis ins Detail und\nverfolgt den gesamten Agentenprozess von Anfang\nbis Ende, um genau herauszufinden, was\nschiefgelaufen ist.  Am Ende dieses Prozesses\nkönnen Sie dann genau herausfinden, was\nschiefgelaufen ist, also beispielsweise, was Ihnen komisch vorkommt.  Und wenn man dann\niterativ vorgeht, kann man diese\nDinge verbessern.\nAber wie ich bereits sagte, wird dies weit mehr\nsein als nur die üblichen LLM-\nInhalte.\nUnd das Verhalten von LLM ist offensichtlich auch Teil des\nGesamtbildes.  Auch die Art und Weise, wie Nutzer mit\nIhrem Produkt interagieren und es erleben, ist von großer\nBedeutung.\nMit LLMs kann man also mehr\nDinge auf einmal herstellen und mehr Varianten erstellen,\nwas uns gefällt, weil wir so mit\nverschiedenen Funktionen experimentieren können.  Wir können beispielsweise\ndamit experimentieren, dass ein und dasselbe Merkmal\nbei vier verschiedenen Benutzern ganz unterschiedlich aussieht.\nDas Problem für uns in\nCronulla war jedoch, dass wir eine Desktop-Anwendung sind,\nwas bedeutet, dass man immer nur eine\nInstanz der Anwendung gleichzeitig ausführen kann.  Und es\ngab viele Reibungspunkte beim\nTesten neuer Funktionen, verschiedener\nVarianten und beim parallelen Testen dieser\n.\n[räuspert sich]\nAlso, vorher, wissen Sie,\nvorher musste man die\nElectron-App lokal ausführen, die\nAbhängigkeiten installieren und Dinge testen.  Wenn Sie\nmöchten, dass ein Kollege diese\nÄnderungen testet, müssten Sie ihn dazu bringen,\ndiese Dinge ebenfalls zu tun.  Wir hatten nicht\ndie gleichen Annehmlichkeiten wie Web-Apps.   Im\nWesentlichen haben wir also\nunsere Electron-App genommen und das\nFrontend der Electron-App in eine Web-\nShell umgewandelt.  Und das wurde online umgesetzt.\nUnser CI-System sieht nun so aus, dass wir jedes Mal, wenn wir einen Pull Request öffnen,\neinen Vorschaulink erhalten und\ndie Änderungen testen können.  Und das hat\nunsere Entwicklungszeit im Allgemeinen noch einmal deutlich beschleunigt\n.  Und das Tolle daran\nist, dass LLMs ihre Arbeit jetzt selbst verifizieren können. Sobald\nwir einen PR öffnen, testet Cursor ihn und\nlädt einen Screenshot in unsere PRs hoch, was\nden Testprozess enorm beschleunigt.\nUnd auch hier gilt: Man könnte meinen,\ndas sei viel Arbeit, aber eigentlich ist es\nganz einfach.\nFür diejenigen unter Ihnen, die\nmit Electron nicht vertraut sind: Es gibt offensichtlich einen Hauptprozess\nund einen Rendering-Prozess.  Der Hauptprozess\narbeitet mit den System-APIs, und der\nRendering-Prozess ist im Grunde Ihr\nFrontend.  Im Wesentlichen haben wir\nunsere IPC-APIs, also die\nSystem-APIs, abstrahiert, um im\nWebumfeld auf Webstandards zurückzugreifen.  Und ähnlich verfahren wir\nauch mit den React-APIs, wie Routern,\nSessions und der Abfrageschicht; auch diese migrieren wir\nzu den\nWebstandards.  Und im Wesentlichen wurde dadurch\ndie Renderarchitektur von\nElectron agnostisch.  Und wir können es einfach\nals Webanwendung ausführen.\nDies hat uns zusätzlich zu den LLM-\nVerbesserungen geholfen, da wir beispielsweise\neine\nFunktion in mehreren verschiedenen\nVarianten ändern und testen konnten.  Das\nEndergebnis fühlt sich also richtig gut an, weil\nwir wissen, dass wir so viele\nverschiedene Varianten ausprobiert haben.\nUnd wir haben diese Produkte tatsächlich in der\nPraxis erlebt, anstatt sie nur\nin Figma zu sehen.   Im\nGrunde genommen ist dies also\nein langer Vortrag, um Ihnen zu sagen, dass die Antwort\nnicht darin besteht, mit einem Schlag besser zu werden.  Es geht darum\nherauszufinden, wie man eine\nFeedbackschleife schaffen kann, bei der es sich ein bisschen so anfühlt, als würde man\nmit LLM ein Tennisspiel spielen.\nDas Endprodukt fühlt sich also eher wie Magie an als wie\neine Blackbox, bei der man darauf\nhofft, dass die Funktion, die man\nveröffentlichen wird, bei den\nKunden gut ankommt und die Überzeugung hat,\ndass das, was man ausliefert, tatsächlich\nbei den Nutzern Anklang findet.\nDanke schön.  Noch Fragen?\n[Applaus]\nWas halten Sie von einem Plattformwechsel\nvon Electron zu Tauri?\nWir haben schon ein paar Mal über einen Umzug nach Tauri nachgedacht\n.\nIch finde, die Art und Weise, wie Electron uns im Moment dient,\nist wirklich super.  So wie sich die APIs ständig\nändern.  Wir haben\nTauri auch schon vorher ausprobiert und konnten keine\nwirklich großen Leistungssteigerungen feststellen,\nworauf es uns aber am\nmeisten ankommt.   Ja,\ndas wurde schon einmal besprochen.\nWir haben damit herumexperimentiert, es aber noch nicht\nausgeliefert.\nCool.\nDanke, Leute.\n[Applaus]\nJuhu!\n[Musik]",
  "transcript_chars": 12208,
  "ingested_at": "2026-05-12T00:30:46.294343+00:00",
  "source": "channel",
  "yt_meta": {
    "view_count": 2694,
    "like_count": 48,
    "channel_id": "UCLKPca3kwwd-B59HNr-_lvA",
    "categories": [
      "Science & Technology"
    ],
    "tags": [
      "ai",
      "ai engineer",
      "ai engineering",
      "software development",
      "tech",
      "startups",
      "software architecture",
      "machine learning"
    ]
  }
}