{
  "video_id": "4_VQBbs2iQA",
  "channel_slug": "aidotengineer",
  "channel_handle": "aidotengineer",
  "title": "How Building with AI Can Double the Throughput of Your Engineering Team — Brian Scanlan, Intercom",
  "duration_seconds": 1309.0,
  "url": "https://www.youtube.com/watch?v=4_VQBbs2iQA",
  "upload_date": "",
  "transcript": "[Musik]\nHey, ich bin Brian von Intercom.\nIch finde, das war bisher eine großartige\nKonferenz.  Ich habe\naus den Vorträgen, den\nGesprächen und den vielen Menschen so viel Alpha und Inspiration gelernt.\nIntercom ist also ein 15 Jahre altes, in Privatbesitz\nbefindliches irisch-amerikanisches B2B-SaaS-Startup,\ndas sich am Wochenende der Veröffentlichung von ChatGPT zu einem KI-Unternehmen gewandelt hat\n.  Ich habe\nrund 1400 Mitarbeiter in Dublin,\nLondon, Berlin, San Francisco, Chicago und Sydney.  Die Forschungs- und Entwicklungsabteilung\nwird von Dublin aus geleitet.   Die\nIngenieurstätigkeit konzentriert sich fast ausschließlich auf\nEuropa.  Vier eingesetzte Ingenieure haben das Ganze etwas\nverändert.  Diese\nGrafik vergleicht unser Umsatzwachstum mit den\nWachstumsraten börsennotierter SaaS-\nUnternehmen in den letzten Jahren.\nUnd man kann beobachten, dass es bei börsennotierten SaaS-\nUnternehmen eher bergab geht.  Intercom,\ndiese fantastische Aussicht.\nUnd als würden wir die Standardtrends buchen, unter denen\nSaaS-Unternehmen in\nletzter Zeit gelitten haben.\nUnd jetzt werde ich Intercom\nlive auf der Bühne abschalten.\nIch habe einmal während eines Vortrags eine Live-Implementierung durchgeführt\nund fand das beeindruckend.\nSo ist Intercom zum\nParadebeispiel für Unternehmen geworden, die sich\nim Zeitalter der KI neu definieren.  Die New York\nTimes veröffentlichte kürzlich einen Artikel über SaaS-\nUnternehmen, die sich neu erfinden, in dem\nIntercom eine prominente Rolle spielte.\nUnd für mich bedeutet es, ein KI-Unternehmen zu sein, viel\nmehr, als einfach nur ein paar\neinfache Hüllen darüberzuwerfen oder ein\nTextfeld automatisch zu vervollständigen oder so.\nUnser KI-Agent für den\nKundensupport, Finn, hat über 8.000\nKunden, branchenführende durchschnittliche\nLösungsquoten, einen Umsatz von\nfast 100 Millionen, wurde am\nTag der Veröffentlichung von GPT-4 eingeführt und war das erste Produkt, das\ntatsächlich auf GPT-4 veröffentlicht wurde.\nUnd wir entwickeln KI-Funktionen\nseit etwa 2018.\nAber wissen Sie, die modernen LLM-Modelle\nhaben enorme Möglichkeiten für den\nUmgang mit Kundensupportfragen eröffnet, das ist\nvöllig offensichtlich.\nUnd Unternehmen wie Anthropic, Snowflake,\nLinear, Glean und LaunchDarkly nutzen Finn für\nihren Kundensupport.  Vielleicht\nist SaaS also doch nicht tot.\nUnd es eignet sich gut für Unternehmen jeder Größe\n.\nWir haben kürzlich außerdem bekannt gegeben, dass wir ein\neigenes Modell haben, das 100 % der Finnen bedient.\nÄhnlich wie textbasierte Konversationen im Englischen\ninnovative Modelle wie SaaS übertreffen –\nbilliger, schneller, besser.\nUnd wir liegen bei etwa 2,2 Millionen guten\nVorsätzen\npro Woche.\nUnd wir freuen uns auch, Ihnen den direkten\nZugang zu unserer Modellpalette anbieten zu können.\nIch spreche aber über all das nicht\n.  Ich bin also leitender\nIngenieur bei Intercom, arbeite dort seit 12\nJahren und bin in unserer Plattformgruppe tätig.  Wir\nkümmern uns um die Verfügbarkeit,\nLeistung, Sicherheit, Kostenkontrolle,\nBeobachtbarkeit von Intercom,\nunsere majestätischen monolithischen Anwendungen, die\nwir lieben, hauptsächlich Ruby on Rails,\nund die gesamte interne Entwicklerproduktivität.\nUnd noch etwas zu Intercom:\nWir sind vom Versand besessen.\nSchnelle und iterative Produktentwicklung ist der\nbeste Weg, um qualitativ hochwertige Produkte herzustellen,\ndie Kunden gerne nutzen.   Deshalb haben\nwir schon immer in die Produktivität unserer Entwickler investiert.\nDie Auslieferung neuer Produkte ist das Herzstück Ihres\nUnternehmens.  Es ist ein toller Blogbeitrag, den wir\nvor vielen, vielen Jahren geschrieben haben, und\nHoneycomb hat dazu coole Aufkleber gemacht.\nUnd natürlich habe ich in den letzten Jahren\nviel Zeit damit verbracht, den\nEinsatz von KI in unserem Softwareentwicklungszyklus zu ermöglichen\n.  Ich werde also ein bisschen darüber\nsprechen.\nUnd so überrascht es nicht, dass wir\ngenerell sehr begeistert von KI waren und\ndas gesamte Unternehmen umgestellt haben, um den\nKundensupport\nmithilfe von KI-Agenten aufzubauen.\nUnd wir waren ungeduldig, die\nEinführung zu beschleunigen und unsere Vorgehensweise bei der Entwicklung mit\nIntercom zu ändern.  Wir sind sozusagen auf\nbekannten Wegen geblieben,\nwir alle haben GitHub Copilot genutzt,\ndann haben alle angefangen, Cursor einzusetzen,\nund wir haben uns auch Augment und ein paar\nandere Dinge angesehen.  Aber letztendlich,\nsagen wir Mitte letzten Jahres, waren wir\nmit den Ergebnissen unzufrieden.\nEinige gute Anzeichen, einige Aufgaben,\neinige Arbeiten, die dadurch etwas besser und irgendwie\nunterhaltsamer geworden sind.\nAber wissen Sie, wir sind uns ziemlich bewusst,\nwohin die Modelle und ihre\nFunktionsweise gehen, und wir sind fest davon\nüberzeugt, dass KI, wie schon\nvor vielen Jahren,\nalle wissensintensiven Bereiche verändern wird.\nAlso haben wir uns Mitte letzten Jahres\nein einfaches Ziel gesetzt.  Lasst uns den\nDurchsatz im Ingenieurwesen jedes Jahr verdoppeln.  Und\nwissen Sie, wir messen bei Intercom eine Menge Dinge\n.  Wir nutzen das, weil wir viele\nEntwicklerumfragen durchführen.  Wir nutzen Tools wie DX.\nWir haben uns jedoch für Codeänderungen pro F E-\nMitarbeiter als primären Maßstab für die\nProduktivität entschieden.\nJede Maßnahme ist schlecht.  Sobald man anfängt,\nes zu messen, ist es keine Messung mehr und so weiter\n.\nAber wir sind auch so, als wären wir\nungeduldig und würden\nerwarten, dass der Gesamtdurchsatz\nsteigt.  Wenn wir\ntatsächlich neue\nArbeitsweisen einführen und KI in allen möglichen\nBereichen einsetzen, dann sollten wir mit\neiner deutlichen Steigerung des Durchsatzes rechnen.  Und so 2x das, was\nwir das nennen, 2x der Name des\nProjekts und ihres Teams und alles.\nDas ist geradezu wahnsinnig ambitioniert.  So wie damals, als\nwir das im Juni letzten Jahres oder so veröffentlicht haben\n.\nVerdopplung der Produktivität ohne Verdopplung der\nTeamgröße.  Aber auch irgendwie wahnsinnig\nunambitioniert, wenn man\ndie Punkte verbindet und sieht, wohin die Modelle und\nCodierungsstrukturen führen.  In diesem\nVortrag werde ich darüber sprechen, wie wir dabei vorgegangen sind\n, wie wir über\nProduktivität denken und einen kleinen Einblick in einige\nunserer internen Daten und Fähigkeiten geben\n.\nWissen Sie, diese\nArbeit hier fiel auch mit dem wohl bemerkenswertesten\nWandel in der Modell- und\nCodierungsfähigkeit zusammen.\nUnd so, wissen Sie, wir haben das alle schon gesehen,\nund das war so, als hätte einer unserer leitenden\nIngenieure, ungefähr wie\nalle anderen auch, um die\nWeihnachtsferien im letzten Jahr gepostet und gesagt:\nOh mein Gott, die Dinge\nhaben sich massiv verändert.  Und das hat\nwesentlich zu unserem Erfolg bei 2x beigetragen.\nDies ist also der Teil des\nVortrags, der sich mit Führungskompetenzen im Ingenieurwesen befasst.  Deshalb\nmüssen Sie entschlossen handeln und klare\nAnweisungen an die Führungsebene geben.  Und wissen Sie, man muss\norganisatorische Veränderungen vornehmen.  Und wir haben schon eine Menge\nDinge getan.  Wir haben die Stellenbeschreibungen aktualisiert\n.  Wer in Intercom keine KI einsetzt\n, egal ob Designer,\nProduktmanager, Ingenieur oder was auch immer, erfüllt die\nErwartungen nicht.  Binär.\nUnd\nja, man muss die gleiche Botschaft\nimmer und immer wieder, über 100 Mal, in jedem\nverschiedenen Forum, was auch immer, wiederholen.  Sie müssen einfach bei der\nKernbotschaft bleiben und ständig\ndie Dringlichkeit dieser Angelegenheit betonen.\nIhr müsst uns auch belohnen.  Wenn\nLeute etwas Gutes tun, sieht man das auch in\nden Slack-Kanälen,\nwo ständig automatisierte Aktionen angezeigt werden, z. B.\nwenn jemand seine Fähigkeiten aktualisiert oder dies oder\njenes tut.  Es ist, als ob es\nin diese Kanäle eingespeist würde.  Wir feiern\nDinge.   Die\nLeute zeigen einander verschiedene\nTechniken und was für sie funktioniert\nund so weiter.  Wir haben\nHackathons veranstaltet.  Wir haben KI-Intensivtage veranstaltet\n.  Und wissen Sie, all diese Dinge\nsind notwendig, um die Leute mitzunehmen\n.  Außerdem haben wir dafür\nVollzeitkräfte eingestellt.  Wir haben ein Team 2x.  Das scheint immer weiter zu wachsen\n.\nUnd wissen Sie, wir sagen nicht einfach nur: „\nHey, ihr müsst alles mit KI automatisieren.“\nViel Glück.\nWir versuchen quasi, alle mit ins Boot zu holen –\nHunderte von Ingenieuren, Hunderte von\nMitarbeitern in der Forschung und Entwicklung.\nWenn Sie also in einem mittelständischen oder großen\nUnternehmen arbeiten, brauchen Sie unbedingt\nMitarbeiter, und zwar Ihre besten Mitarbeiter,\nin Vollzeit.\nUnd so haben wir uns für Cloud Clo Cloud Code\nals unsere Plattform entschieden.  Bis dahin gab es bei uns\nquasi nur Divora, wo die\nLeute ihren Lieblingseditor und\nso weiter auswählen konnten.  Und\nwissen Sie, es gibt unzählige Leute, die\nClo Cloud Code einsetzen, unzählige Leute, die\nCursor verwenden, unzählige Leute, die\nAugment verwenden.\nAber\nwir glauben generell an Plattformen\n.\nUnd im Grunde ist es egal, wofür du dich\nentscheidest.\nAber die Wahl ist wichtig.\nMan muss sich bis zu einem gewissen Grad\nvon der Angst vor dem Modeln lösen.  Es ist wie\nMulti-Cloud.  So wie man die\nVorteile einer gut konzipierten\nPlattform nicht voll ausschöpfen kann, wenn man seine gesamte\nArbeit über verschiedene Cloud-\nAnbieter oder Ähnliches verteilt.  Es ist viel besser, sich voll und ganz auf ein System zu konzentrieren\nund es so zu optimieren und zu\nverbessern, dass es funktioniert.   Es sei denn, es gibt\nsehr\nspezifische oder wichtige Gründe, warum die Bearbeitung auf\nmehrere Agenten verteilt werden muss\noder Ähnliches.\nUnsere Vision dabei war es,\nCloud so zu behandeln bzw. daran zu arbeiten, dass\nCloud\nbei jeder technischen Aufgabe innerhalb von\nIntercom wie ein leitender Ingenieur agieren kann.\nUnsere Vision dabei war, die\nCloud mit allem zu verbinden.  Alles, was ich auf\nmeinem Laptop mache,\nsollte also auch in der Cloud möglich sein.  Und\ndas bedeutet alles.  Natürlich\nsind wir auch jetzt nicht leichtsinnig.  Wir wollen\nnicht einfach alles seinen Lauf lassen\nund alle unsere Datenbanken löschen.  Aber\nwir sind wie ein etabliertes Unternehmen.  Wir verfügen über\nzahlreiche Kontrollmechanismen, Berechtigungen, Prüfmechanismen\nund ähnliches,\ndie uns viel Vertrauen geben, die\nCloud genauso freizusetzen, wie\nwir unsere Ingenieure in unseren\nUmgebungen freisetzen.\nUnd wissen Sie was? Wir haben es an Bord geholt.  Wir\nmüssen ihnen all das beibringen, was wir\nLeuten beibringen, wenn sie bei Intercom anfangen.\nAlle unsere Rails-Konventionen, unsere\nArchitektur, React-Muster.  So wie wir\nin den letzten 15 Jahren eine Menge Software entwickelt haben.\nAber wie bei Standardteststandards,\nSicherheitsregeln und all dem.  Cloud\nmuss unbedingt die\nspezifischen Informationen der Gegensprechanlage kennen, um\ndiese Aufgabe erfüllen zu können.\nUnd\nvor allem: Nutzen Sie die\nPlattform für alle technischen Arbeiten.  Und es klappt\nnicht auf Anhieb,\nstößt auf ein Problem, schlägt den falschen Weg ein, und\ndie Anleitung muss aktualisiert werden.  Es ist wie ein\nSchwungrad, zu dem wir alle beitragen.\nUnd so haben wir einen Großteil dieses\nWissens und Kontextes in technischen\nErfassungen, Fähigkeiten, Anleitungen und Mechanismen zusammengefasst, um\ndiese Dinge zu erzwingen.  Wir verbringen viel\nZeit damit, Cloud Code dazu zu bringen, gut zu funktionieren.\nWir machen Dinge wie das Verteilen\nunserer internen Cloud-Plugins\nauf alle Laptops, indem wir die\ngesamten Cloud Code-Update-Mechanismen umgehen,\nweil man sonst sehr viel\nZeit mit dem Debuggen von Cloud\nCode-Installationen auf Hunderten von\nLaptops verbringt.  Das ist so, als würde man versuchen,\nPython zu installieren oder Python-Installationen zu verwalten\n.  Und so ist es letztendlich,\nwie jeder einzelne Teil der technischen\nArbeit.  Es geht also nicht nur um die Generierung von Code,\nes ist auch nicht so etwas wie eine fortgeschrittenere automatische\nVervollständigung.  Es ist alles.\nAlso Debugging, Testen, Planen, all diese\nDinge.\nEs sollte nur noch um Sie gehen, die Cloud steuern, und\nidealerweise sollten Sie immer weniger Zeit damit verbringen, in der\nHierarchie aufzusteigen\nund den Kunden echten Mehrwert zu bieten, also\nCodeprodukte oder Ähnliches zu liefern\n.  Alles ist also im Leistungsumfang enthalten.  Und\nwir glauben, dass selbst wenn sich die Modelle\nund Gurte überhaupt nicht verbessern,\nwas definitiv nicht der Fall sein wird.\nWenn sich so etwas wie diese Fähigkeitskurve\nbeschleunigt, aber wie beim Bauen\nhaben wir heute die Bausteine, um uns zu\nverbessern, im Grunde genommen große\nTeile der Arbeit in unserem\nSoftwareentwicklungslebenszyklus so zu verlagern, dass der Agent an\nerster Stelle steht.  Als könnten sie einfach\nalles anhalten und wir hätten nur dieses\nSchwungrad und würden\nalles durchgehen und jedes einzelne\nArbeitsstück überprüfen, und als wären die Werkzeuge\nheute gut genug, um das zu tun.\nIch habe einige Grundsätze formuliert, die uns auf unserem\nWeg leiten sollen.  Wissen Sie,\nwenn man versucht,\nHunderte von Menschen dazu zu bringen, ihre\nArbeitsweise zu ändern oder zu verstehen, was wir\nerreichen wollen, muss man die Dinge aufschreiben\nund ihnen dabei helfen.\nUnd wissen Sie, dass\nan verschiedenen Orten unterschiedliche Prinzipien gelten sollten, aber\nwie\nSie wissen, glauben wir, dass sich das gesamte\nIngenieurwesen verändert.\nAlles, was Sie tun können, muss auch der Agent tun können,\nund das kann sich anfangs etwas\nseltsam anfühlen, zum Beispiel, wenn Sie\nuns zum ersten Mal mit Produktionssystemen verbinden\n.\nUnd\nja, so wie es unsere Aufgabe ist,\nals Ingenieure, Produktentwickler\nusw. die Karriereleiter hinaufzusteigen.  Und wenn ich zum Beispiel vor\nlanger Zeit Unix-\nSystemadministrator war, dann\nging man in\nRechenzentren, baute Server ein,\nverkabelte Dinge, konfigurierte Netzwerke und so weiter\n.\nUnd dann kam die Wolke dazu und ich bin im\nStapel nach oben geklettert.  Wissen Sie, und es gibt\nLeute, die vom Systemadministrator\nzum SRE wechseln.  Die Arbeit war stärker auf Automatisierung\nausgerichtet, wirkungsvoller und besser bezahlt.\nIch denke also, dass wir das Ganze im\ngroßen Stil 100 Mal schneller durchspielen.  Aber irgendwie habe ich das Gefühl, das schon mal erlebt zu haben\n.\nWir\nbei Intercom sind technisch\nkonservativ.  Wir bevorzugen es, einzelne Werkzeuge zu verwenden\nund diese dann besonders gut einzusetzen.\nUnd so entstehen diese Ruby on\nRails-Monolithen und ähnliches.  Und so\nwenden wir diesen Denkprozess\nauch an, um uns zu fragen: Worauf\nsollten wir uns konzentrieren?  Worauf richten wir unsere\nAufmerksamkeit?  Wollen wir, dass jeder\nseine eigenen Multiagenten-Orchestratoren oder\nvordefinierte Workflows schreibt? Wir\nwollen vielmehr langlebige, testbare und qualitativ hochwertige\nKomponenten entwickeln, und die Entwickler sollten\nden Lebenszeitwert ihrer Produkte berücksichtigen.\nDie Werkzeuge und die spezifischen Implementierungen\ndieser Dinge werden sich im Laufe der Zeit ändern,\naber\nich bin mir ziemlich sicher, dass das Aufschreiben von\nArbeitsabläufen in Intercom in jedem Fall wertvoll sein wird\n.  Vielleicht lässt es sich\nin Zukunft leichter herausfinden.  Das ist\nim Moment ein Problem.   Das\nbedeutet also\nin der Praxis, dass wir uns\nauf kleine, hochwertige,\nlanglebige und testbare Fähigkeiten konzentrieren, die ihre Aufgabe hervorragend erfüllen.\nWir können\nDaten nutzen und Backtests durchführen.\nWir haben eine riesige Menge an\nArbeit, Codeänderungen,\nVorfällen und allem Drum und Dran, und all das\nnutzen wir, um uns weiterzuentwickeln und\nnachzuweisen, dass diese Fähigkeiten von\nextrem hoher Qualität sind.\nUnd wissen Sie, wir\npraktizieren hier auch kontinuierliche\nVerbesserung, sorgen dafür, dass sich diese Dinge\nselbst aktualisieren, und\nstellen sicher, dass diese Dinge von sehr\nhoher Qualität sind.\nUnd\nja, wir wollen nicht ins Hintertreffen geraten, etwa\nweil\nwir zu viele\neigene Dinge umgesetzt haben.  Wir wollen einfach nur Dinge nutzen,\ndie uns als Intercom-\nSchiff oder Ähnliches zur Verfügung stehen.\nUnd vielleicht bleiben wir nicht ewig beim Thema,\naber\nwir sind sehr daran interessiert, den\nVorteil zu nutzen, dass jemand anderes\ngroßartige Software und Funktionen entwickelt und ausliefert,\nanstatt\nalles selbst entwickeln zu müssen.\nAlso ja, eine weitere Sache, zu der wir die Leute anleiten,\nist, dass man Probleme eher als\nAgenten denn als Aufgaben zuweisen sollte.  Wissen Sie, oft\nsagen die Leute sogar in der Gegensprechanlage, dass\nAgenten aufgefordert werden,\ndiese Fähigkeit auszuführen, um eine bestimmte Aktion durchzuführen, was meistens in Ordnung\nund auch irgendwie notwendig ist.  Ich\nmache das immer noch oft, aber\nwir müssen uns immer mehr darauf konzentrieren,\ndas Problem oder\ndie Aufgabe zu beschreiben und dem\nAgenten zu überlassen, welche Fähigkeiten er einsetzen\nund was er tun soll.\nIch habe eine lustige Geschichte: Vor Kurzem geriet ich\nin einen Sicherheitsvorfall.  Wir hatten\nversehentlich einige\nMetadaten einer Snowflake-Tabelle in einem öffentlichen\nGitHub-Repository veröffentlicht,\nund ich öffnete gewohnheitsmäßig den\nClaude-Code, sagte uns, wir sollten einem Slack-\nKanal beitreten und einen Blick darauf werfen.\nUnd ich wusste gar nicht, dass es eine Fähigkeit gibt,\ndie\nall unsere\nRichtlinien und Kriterien für den Umgang mit Datenschutzverletzungen und die Vorgehensweise bei der\nAnalyse perfekt zusammenfasst.  Claude hat\ndie Dateien einfach automatisch heruntergeladen, eine\nvollständige Analyse durchgeführt, ist zu dem Schluss gekommen, dass sie\nharmlos sind, und hat mir alle nächsten Schritte mitgeteilt.\nUnd ich finde es gut, dass ich ihm das nicht gesagt habe.\nEs hat sich einfach von selbst ergeben.  Es war\nin etwa 2 Minuten erledigt.\nUnd das wäre eine\n20-minütige Aufgabe gewesen und ziemlich langweilige Arbeit.\nIch müsste erst einmal nachsehen, wo diese Richtlinie steht, und mir\ndies, das und jenes genauer ansehen.\nUnd das fühlte sich ein bisschen so an, als wäre es nur\nein kleines Beispiel, aber\nich habe mir einfach das\nProblem gestellt, mir\nSicherheitsvorfälle anzusehen.  Ich habe einfach\ndie Absicht erkannt\nund eine gut formulierte interne Fähigkeit eingesetzt,\ndie diese Aufgabe für mich erledigt hat.\nUnd\nja, ich habe es ja auch schon bei\nIntercom erwähnt: Die Einführung von KI ist ungleichmäßig\nverteilt.  Ich denke, wir sind der\ngroßen Mehrheit der Unternehmen voraus, aber man\nmuss den Leuten trotzdem helfen zu verstehen, wo\nsie stehen und sich dahin entwickeln,\nAgenten in ihrer Arbeit hocheffektiv einzusetzen.\nIch habe gesehen, dass VAEGI kürzlich über eine Art\nReifegradbewertung für Ingenieure gesprochen hat, und\nunsere interne Bewertung ist in etwa ähnlich\n.  Man versucht quasi,\nverschiedene Level zu durchlaufen\nund am Ende\nalle Fähigkeiten zu beherrschen,\ndas Tool in- und auswendig zu kennen. Letztendlich\nwollen wir, dass die Leute den\nClaude-Code für alles verwenden,\nihre Arbeit automatisieren, das dann in eine Fähigkeit umwandeln,\ndann richtig gut im Schreiben von Fähigkeiten werden, diese\nFähigkeiten schreiben und genehmigen\nund dann die Umgebung für\nAgenten optimieren.  Das kann alles Mögliche sein, von der\nSoftwarearchitektur über die\nDokumentation bis hin zu anderen Ansätzen oder\nVorgehensweisen, die es\nden Agenten ermöglichen, noch effektiver und\noptimierter für das zu sein, worin sie\nheute schon gut sind.\nSo sieht der aktuelle Stand aus.\nJa, das sieht man, diese extremen Wendepunkte,\nnachdem man alles auf ein einziges Werkzeug gesetzt hat.\nDiese Entscheidung wurde im Dezember getroffen.  Wir haben\nim Januar mit der Einführung begonnen.\nUnd genau das haben wir erreicht: Wir haben\nden PR-Durchsatz in weniger\nals einem Jahr verdoppelt.\nUnd\nhier sind weitere Daten aus unseren internen\nDashboards.  Hier sind ein paar interessante\nSachen dabei.  Es gibt da so einige\nPull Requests aus unserem Claude-Code.\nEs ist wie\nin den 90er Jahren.\nSie können auch sehen, dass wir uns langsam\nunserem aktuellen Engpass, der\nCode-Überprüfung, annähern. Wir haben eine Genehmigungsrate von\netwa 17,6 %\nbei unserer automatischen Code-Genehmigung, und diese ist\nwesentlich\ndetaillierter als nur ein einfaches „Hey Claude, kannst\ndu das genehmigen?“.\nWir haben uns viele detaillierte\nArbeiten geleistet, um mithilfe von\nBacktesting und früheren Daten herauszufinden, wie wir\ndie Ausgaben von Menschen kennzeichnen lassen und so den\nVertrauensgrad der automatischen\nGenehmiger ermitteln können. Dadurch können wir die Pull\nRequests so gestalten, dass sie sehr sicher und einfach sind,\nwas wahrscheinlich schon immer so hätte sein sollen\n.\nAber jetzt werden sie einfach\nautomatisch genehmigt, und wir haben auch\nmit unseren Auditoren zusammengearbeitet, um sicherzustellen, dass\nwir vollständig SOC 2-, ISO 27001- und HIPAA-\nkonform sind.\nFür die\nErfüllung dieser Zertifizierungen ist keine menschliche Beteiligung erforderlich.  Sie\nmüssen aber genau wissen, was Sie\ntun, und sicherstellen, dass Sie\nentsprechende Kontrollmechanismen und alles Weitere eingerichtet haben.\nUnd zwar durch die Verlagerung der Genehmigungsprozesse auf eine\näußerst gut organisierte, erprobte und\nkompetente Suite von Agenten,\neinschließlich Codex für Code-Reviews.  Ich\nfinde multimodale Code-Reviews in Ordnung.\nIch bin einfach komplett zu meinem alten\nPlattform-Ding zurückgekehrt.\nWie\n[schnaubt] sind\nwir uns ziemlich sicher, dass\ndieses Zeug weder die Umwelt schädigt\nnoch zusätzliche Risiken birgt.  Tatsächlich\nglaube ich, dass dadurch Risiken beseitigt werden, denn Menschen\nsind in Wirklichkeit nicht so gut wie Agenten,\nwenn diese genau definiert sind.\nHier ist es wie beim Aufruf einer Fähigkeit.  Ich\nglaube eigentlich, dass die früheren Zahlen etwas\nfehlerhaft waren.  Wir verbinden also alles\nmit Honeycomb.  Wir haben überall Schnittstellen\nfür grundlegende Informationen, beispielsweise welche\nFähigkeiten\naufgerufen werden und ähnliches, und diese Daten sind\nintern verfügbar.  Hierbei handelt es sich nicht um private\nInformationen,\nund jeder kann es gewissermaßen nutzen, um sich\neinen Überblick darüber zu verschaffen, was\nwo verwendet wird.  Wir importieren aber auch\nalle Sitzungsprotokolle\nin S3, um Daten auszuwerten,\nBerichte zu schreiben, Anleitungen zu erstellen und auch um zu sehen, ob\nunsere Fähigkeiten effektiv sind – solche Dinge eben\n.  Wir haben also eine Art Feedbackschleife, die\ndie Sitzungsdaten nutzt, wodurch wir noch\nmehr herausholen können, aber wir\nmachen bereits einige interessante\nDinge damit.\nUnd das war zwar nicht das Ziel, aber ich bin nicht\nbesonders stolz darauf, dass die Anzahl der Fehler\nbis vor Kurzem immer weiter zugenommen hat, aber jetzt werden Fehler\nschneller als je zuvor behoben.  Und so haben sich\neinige Teams durch\nden Trend zur KI dazu inspirieren lassen, über Dinge\nwie Backlog Zero oder die Bearbeitung von\nHunderten oder Tausenden\nvon Fehlern nachzudenken.\nEiniges davon war also ein bisschen\nbewusst und geplant, aber gleichzeitig gibt es auch so etwas wie eine\nnatürliche Entkräftung, weil man\ndiese Arbeit heutzutage so viel schneller erledigt und\nalle Mängel so viel schneller beseitigt\n.\nUnd ja, es ist, als würden wir\ndas einfach ganz natürlich beobachten.  Wir arbeiten auch\nmit Partnern wie Stanford zusammen.\nDort gibt es eine Forschungsgruppe.\nWir stellen ihnen unseren gesamten Code zur Verfügung, und die Qualität unseres Codes\nhat sich gemäß ihren Kennzahlen in\nletzter Zeit verbessert.\nOkay,\nmir läuft langsam die Zeit davon\n.\nWir haben Hunderte von Mitwirkenden und Dutzende\nvon Codezeilen\nin unseren Claude-Code-Plugins.\nEs ist sehr aktiv\nund\nja, ich meine, Claude Claude selbst liebt\nuns.\nHier ist eine Beispielfähigkeit.  Das ist\nnicht das Wichtigste. Wir haben so Basis-\nPlugins, Dinge, die alle\nSitzungsprotokolle, Sitzungs-Sinking,\neinige Sicherheits-Hooks und so weiter übernehmen.\nUnd hier ist so eine Art Fähigkeit, die ich entwickelt habe, die\neinfach fehlerhafte Spezifikationen behebt.  Wir\nhaben Hunderttausende von Tests,\nund wissen Sie, die werden\nmit der Zeit etwas unzuverlässig, und äh, wir liefern ja sehr viel aus, also gehen\nwir einfach mit den Ausreißern um,\naber diese Waage wurde nicht von mir gebaut, indem ich mich hingesetzt\nund überlegt habe, was alles getan werden muss,\num unzuverlässige Spezifikationen zu beheben.  Ich habe\nin einem Feedback-Kreislauf gearbeitet, indem ich\ndem Agenten ein Ziel vorgegeben und ihn quasi\nan den richtigen Ort geführt habe, um gemeinsam mit ihm\nviele\nfehlerhafte Spezifikationen zu beheben.  Es ist ein ziemlich\ngutes Dokument mit all diesen Cheat-Codes und\nNachschlagetabellen,\nrelativ gut organisiert mit\nprogressiver Offenlegung und so weiter. Es behebt Probleme, und\nwenn unsere\nerfahrensten Rails-Entwickler das machen würden, wäre\nich begeistert.\nJa, es gibt noch viele andere Dinge, die passieren, zum Beispiel ist\nunsere CI zusammengebrochen, wir mussten das reparieren. Der\nCloud-Code wird bei\nIntercom außerhalb der Softwareentwicklung weit verbreitet genutzt, er ist\nviral gegangen, die Leute rennen\nuns die Bude ein, um die Konsole zu\nbenutzen. Wir denken viel über die Zukunft der Produktentwicklung nach, zum Beispiel, ob wir alle Produktmanager zusammenbringen sollten, die alles designen. Oh ja, die Ein-Personen-Teams, die Produktexperimente waren auch ziemlich interessant, und ich habe sogar\nCodes veröffentlicht, die Leute in\nihren Agenten verwenden können, um sich bei Intercom anzumelden.\nIch habe einfach\nunsere Fähigkeiten genutzt, um als Produktmanager zu agieren,\nwas ziemlich verrückt ist.\nSo, das war's. Ich wünsche euch allen viel\nGlück. Wenn ihr das heute noch nicht macht, werdet\nihr es\nin naher Zukunft tun.\nMeine Kontaktdaten findet ihr unter [Kontaktinformationen einfügen].  Auf\nbrian.scanlon.ie können Sie mit\nFinn im Messenger interagieren, ihn über unsere CLI konfigurieren\nund auf\nideas.finn.ai finden Sie viele weitere Informationen\nüber Intercom und unsere Agenten. Vielen Dank.\n[Applaus]\n[Musik]",
  "transcript_chars": 25702,
  "ingested_at": "2026-05-15T16:30:40.359678+00:00",
  "source": "channel",
  "yt_meta": {
    "view_count": 518,
    "like_count": 19,
    "channel_id": "UCLKPca3kwwd-B59HNr-_lvA",
    "categories": [
      "Science & Technology"
    ],
    "tags": [
      "ai",
      "ai engineer",
      "ai engineering",
      "software development",
      "tech",
      "startups",
      "software architecture",
      "machine learning"
    ]
  }
}