{
  "video_id": "kfSDc2eVLo4",
  "channel_slug": "aidotengineer",
  "channel_handle": "aidotengineer",
  "title": "How to Leverage Domain Expertise — Chris Lovejoy, Notius Labs",
  "duration_seconds": 1485.0,
  "url": "https://www.youtube.com/watch?v=kfSDc2eVLo4",
  "upload_date": "",
  "transcript": "[Musik]\nOkay, also herzlich\nwillkommen allerseits.  Hallo, mein Name ist\nChris Lovejoy.\nUnd ich werde darüber sprechen, wie man\nFachwissen nutzen kann, um\nbessere KI-Produkte zu entwickeln.  Und ich\nglaube, dass man dies erreichen kann, indem man etwas aufbaut, das\nich als domänenspezifische KI-\nOrganisation bezeichne.  Ich werde also darüber sprechen, wie das aussieht\n.\n[schnaubt] Ähm, kurz zu mir selbst,\nweil ähm das\nrelevant ist.  Ich begann meine\nKarriere also als Arzt.  Ich habe an\nder Universität Cambridge studiert und anschließend\nmehrere Jahre im staatlichen Gesundheitsdienst (NHS) gearbeitet.\nUnd dann, äh, im Jahr 2018, bin ich in den Bereich der\nkünstlichen Intelligenz gewechselt, habe mit dem\nHandel und der Entwicklung von Modellen begonnen und\nmit verschiedenen Organisationen zusammengearbeitet,\ndarunter Tandem, äh, der größte\nAnbieter klinischer KI-Produkte in\nGroßbritannien in Bezug auf die Akzeptanz.\n[schnaubt]\nÄh, auch Anterior.  Ich war der erste\nMitarbeiter\nund es handelt sich um ein Square Back-Startup, das\nVorabgenehmigungen in den\nUSA durchführt.  Und dann auch noch diverse andere\nStartups.\n[schnaubt]\nUnd meine ähm\nHerausforderung bei all diesen\nverschiedenen Unternehmen bestand darin, dass wir ein Produkt entwickeln, das\nFachwissen aus der Branche integriert.  Wie kann\nman das tun?  Wie lässt sich das so nutzen,\ndass daraus ein\ndifferenziertes KI-Produkt entsteht?\nIch habe darüber schon ein bisschen auf der\nletzten AI Engineer Konferenz in San\nFrancisco gesprochen.  Ich habe meine These dargelegt,\nnämlich dass das System zur\nEinbeziehung von Domänenerkenntnissen\nwichtiger ist als die Komplexität\nIhrer Modelle oder Ihrer Pipelines.\n[schnaubt]\nIch habe über das Problem der letzten Meile gesprochen, also über die\nHerausforderung, mit Ihrem\nProdukt die\nspezifischen Nuancen der Arbeitsabläufe und\nAnwendungsfälle Ihrer\nKunden, die Sie\nbedienen, wirklich zu verstehen.   Ähm,\nund\ndieser Vortrag wurde\nvon sehr vielen Menschen gesehen, ungefähr 100.000\nMenschen.  Es hat also verschiedene\nPlattformen durchlaufen.  Viele von ihnen haben sich an\nmich gewandt, und die häufigste Frage\nwar: „Okay, aber wie\nbaue ich meine Organisation auf? Ich\nbin ja im Prinzip dabei. Mir ist klar, dass\nFachwissen wichtig ist,\naber wie gestalte ich meine Organisation so, dass\ndies auch tatsächlich möglich ist? Welche Art\nvon Fachexperten sollte ich einstellen? Wo\nsollte ich sie in meiner Organisation einsetzen, damit\ndas funktioniert?“\n[schnaubt]\nAlso, darüber werde ich\nheute sprechen.\nUnd wissen Sie, ich habe gehört,\ndass man im Bereich der vertikalen KI am besten mit\ndem besten\nModell gewinnt.  Und ich glaube tatsächlich nicht, dass das\nstimmt.  Ich glaube,\ndass der\nErfolg im Bereich der vertikalen KI im Grunde ein\norganisatorisches Problem ist.\nUnd so habe ich dieses Rahmenwerk entwickelt, das\nauf verschiedenen\nOrganisationen basiert, die ich kennengelernt und in denen ich\ngearbeitet habe, und darauf, wie diese\nFachkompetenz einbringen. Es gibt\ndrei\nHauptwege, dies zu tun.  Sie können Ihren\nDomänenexperten als Orakel, als Evaluator, als\nArchitekten einsetzen.  Und ich werde nun etwas ausführlicher darauf eingehen\n.\nAber mal ganz ehrlich, warum\ninteressieren wir uns überhaupt für vertikale KI?\nLetztendlich läuft es darauf hinaus,\ndass vertikale KI eine große Chance darstellt.\nViele Risikokapitalgeber sprechen davon, dass\ndies der nächste große Trend sei.  Äh, es gibt\neine Menge Startups, die aufgrund\ndieses Potenzials\nund dieses Versprechens große Summen Geld einsammeln.\nWie Bessemer bereits erwähnte, geht es bei vertikaler\nKI, äh, wir hatten ja vertikale SaaS-Lösungen,\nund das war ein Markt mit einem Volumen von etwa 50 Milliarden Dollar,\naber jetzt\ndringt KI tatsächlich in den Arbeitsmarkt vor, und\ndas ist ein Markt mit einem Volumen von mehreren Billionen Dollar.\nAber wir haben noch keinen wirklichen Erfolg\nin großem Umfang gesehen.  Laut Gartner\nwurden im vergangenen Jahr etwa 50 % aller generativen KI-Projekte abgebrochen.\n[schnaubt]\nUnd ich denke, dafür gibt es viele Gründe\n, aber meiner Meinung nach ist einer der\nHauptgründe, dass wir\noft KI-Produkte und KI-\nSysteme entwickeln, ohne wirklich ein\ntiefes\nVerständnis dafür zu haben, welche Arbeitsabläufe\nwir automatisieren\nund wie\ndie Fachexperten\ndiese Prozesse durchführen würden.\n[schnaubt] Um es also noch einmal\nzu betonen:\nIch bin der Meinung, dass Front-End-Modelle gut\ngenug sind, aber die Lücke besteht nun darin, wie\nOrganisationen die Expertenmeinungen, die damit verbunden sind, in die Praxis umsetzen können.\nDie drei häufigsten Fehler, die\nich beobachtet habe, sind erstens, keine Fachexperten einzustellen\noder sie zu spät einzustellen.  Zweitens, die\nEinstellung des falschen Fachexperten.\nUnd schließlich noch die Tatsache, dass sie nicht\nangemessen in Ihre Organisation integriert werden und nicht\nrichtig genutzt werden.\nDas führt zu drei Fragen,\ndie ich in diesem Vortrag beantworten werde:\nBraucht man wirklich einen\nDomänenexperten?\nÄhm, warum?   Falls ja\n, wen benötigen Sie?  Und wie\nnutzt man sie dann?\nIch werde also zunächst auf den ersten Punkt eingehen und dann im Folgenden die\nAntworten auf die beiden anderen Punkte, das Oracle Evaluator Architect Framework, erläutern.   Brauchen\nSie also wirklich einen Domänenexperten?\nIch bin der Meinung, die Antwort lautet ja.\nUnd zwar deshalb, weil\ndie Beurteilung der KI-Qualität etwas ist,\ndas in Ihrem Unternehmen sehr wichtig ist\n.  Sie möchten in der Lage sein,\nEntscheidungen zwischen verschiedenen Vorgehensweisen\nanhand der Art des Ergebnisses zu treffen\n.  Und Ihr Unternehmen muss ein\nGespür dafür haben, wie gute KI-Qualität aussieht\n.\nUnd das erfordert letztlich Urteilsvermögen.\nUnd die beste Art von Urteilsvermögen erfordert\neine gewisse Fachkompetenz, die man\ndann in sein\nUnternehmen und in sein Produkt einfließen lassen kann.\nUnd diese Fachkompetenz könnte eine Art\nspezialisierte Fachkompetenz darstellen.  Es\nkönnte sein, dass Sie ein\nProdukt im Gesundheits- oder Rechtsbereich entwickeln und daher\nÄrzte oder Anwälte benötigen und\nderen Fachwissen in irgendeiner Form einbringen müssen.  Aber\ndas muss nicht so sein.  Es gibt auch eine Art\ninformelles Fachwissen,\nähm, und ich werde später einige Beispiele nennen.  Und um\nes gleich vorwegzunehmen:\nIch möchte in\ndiesem Vortrag nicht dazu auffordern, unbedingt\neinen Domänenexperten einzustellen.  Ich meine,\nvielleicht macht das Sinn.  In vielen\nFällen gibt es aber bereits jemanden in\nder Organisation, der\ndiese Funktion im Wesentlichen ausübt, und man möchte diese Person\nstärken oder\nverstehen, wie man die Organisation am besten um diese Person herum organisiert\n.\n[schnaubt]\nOkay, wen brauche ich denn nun tatsächlich\n?\nIch werde nun auf das Framework eingehen.\nIch habe also diese drei\nModelle zur Einbindung von\nDomänenexpertise erwähnt.  Die erste dieser Möglichkeiten nenne ich das\nOrakel; dabei handelt es sich um Ihren\nDomänenexperten, der sein\nFachwissen direkt in Ihre eigentliche\nAnwendung einbringt.\nÄhm, und ich werde gleich darauf eingehen, wie das konkret aussieht\n.\nDer Evaluator nimmt eine andere\nRolle ein.  Sie definieren, wie man\nQualität misst.  Was ist denn nun das Wichtigste?\nWorauf optimieren wir?\nUnd sobald das definiert ist, richten sie ein\nSystem ein, mit dem das dann gemessen werden kann,\nund man erhält diese Daten, die man dann\nletztendlich verwenden kann.\nUnd schließlich baut der Architekt dieses\nSystem, das sich automatisch\nselbst verbessert, immer mehr\nFachwissen integriert und einfach aus der\nNutzung durch die Benutzer\nund deren Interaktionen lernt.\n[schnaubt]\nWenn wir also eine sehr vereinfachte\nSichtweise darauf betrachten, was es bedeutet, ein\nKI-Produkt zu entwickeln?\nEs besteht im Grunde aus zwei Phasen, richtig?  So wie Sie\nbeurteilen, wie sich mein KI-Produkt\naktuell schlägt?  Wie ist der aktuelle Stand der\nDinge?  Und wie kann ich das dann verbessern?\nIm Oracle-Modell werden also beide\nSchritte vom Domänenexperten durchgeführt\n.  Der Fachexperte schaut sich also\ndie KI-Ergebnisse an, probiert\ndas Produkt aus, analysiert die\nProtokolle und fragt sich: „Okay, wie\nläuft es? Wo gibt es Probleme?\nWas könnte verbessert werden?“  Und dann gehen\nsie rein und verbessern\nes.  Und wissen Sie, in einem\neinfachen Fall geht es vielleicht nur um die Anpassung von Eingabeaufforderungen,\nich denke, das ist oft\nder Mechanismus hier, aber es kann auch sein, dass\nsie auch eine Art von\nDomänenexpertise einfließen lassen, beispielsweise durch das\nHinzufügen von Dokumenten,\nTools oder Ähnlichem.   Es gibt da\nein paar verschiedene Hebel, aber\nim Grunde gehen sie beide Seiten\nder Gleichung an.\nDas ändert sich jedoch, wenn man\nden Gutachter betrachtet.\nDer Fachexperte ist zwar noch mit der\nBeurteilung beschäftigt, aber diese Beurteilung gestaltet sich tatsächlich\nkomplexer.  Sie definieren also\nKennzahlen, die man speichern kann, eine Art\nobjektive Methode zur Quantifizierung der\nLeistung.\nUnd dann bauen sie\ndieses System auf.  Möglicherweise\nerhalten Sie die Nachricht von Ihren\nKunden.  Der Kunde nutzt es.  Es gibt eine Art\nNutzerkennzahl, die Sie\nverwenden werden, und zwar\nals Ihren Leitstern, der bestimmt, worauf es\nIhnen wirklich ankommt.\nMöglicherweise möchten Sie ja tatsächlich Fachexperten beauftragen, bestimmte\nÜberprüfungen durchzuführen.  Im klinischen Kontext könnte es daher sinnvoll sein,\nKliniker einzustellen, die\neine Teilmenge aller KI-\nErgebnisse überprüfen und feststellen, wie gut Sie abschneiden.\nSie könnten beispielsweise als Richter einen LLM-Abschluss erwerben.   Das kann man je nach\nAnwendungsfall in verschiedene Richtungen skalieren.\nAber\nwas funktioniert nicht? Und dann arbeiten wir mit\nden Ingenieuren zusammen, um\ndiese Änderungen tatsächlich umzusetzen.\n[schnaubt]\nUnd dann noch der letzte Schritt, bei dem der\nArchitekt hier sozusagen einen Schritt zurücktritt, während der\nDomänenexperte ein\nSystem entwirft, das beides kann.\nDie Idee ist also, dass\nin diesem eigentlichen Prozess in der Mitte nicht zu viel menschliches Eingreifen nötig sein sollte,\naber der Domänenexperte hier schafft\ndie Möglichkeit dazu.\nUnd wissen Sie, man nutzt die verschiedenen\nMechanismen, die zur Verfügung stehen, um\ndiese automatisierte Verbesserung zu erreichen.\nIch hatte das schon einmal erwähnt, deshalb gibt es unten einen\nLink dazu.  Ich werde jetzt nicht im\nDetail beschreiben, wie das System genau aussieht\n, aber es gibt verschiedene\nHebel, auf die man\nzurückgreifen kann.   Das\nist also der Rahmen.  Wen\nbenötigen Sie also für Ihre spezifische\nOrganisation?\nIch habe mir das als eine Art groben\nLeitfaden überlegt, um anhand Ihres\nkonkreten Anwendungsfalls und Ihres spezifischen\nUmfangs zu verstehen, was am sinnvollsten ist.\nUnd die erste Frage, die man sich meiner Meinung nach stellen sollte,\nist: Kann ich die Leistung anhand von\nKennzahlen messen?  Gibt es so etwas Objektives,\ndas ich messen kann und\ndas wirklich aussagekräftig ist?  Oder ist es\netwas, bei dem der Geschmack tatsächlich eine etwas\nwichtigere Rolle spielt?\nWenn man es nicht messen kann,\ndann sollte man einen Orakelansatz wählen\n.  Und die Frage ist:\nReicht eine Person dafür aus?  Vielleicht ist es bei meinem\naktuellen Umfang oder auch bei bestimmten\nProduktarten tatsächlich sehr gut\ngeeignet, nur ein Orakel zu haben.  Und\nich werde einige Beispiele geben, um es\nkonkreter zu machen.  Wenn das nicht der Fall ist, dann\nkönnten Sie mehrere haben, die sich mit\nverschiedenen Untersegmenten Ihrer\nKI-Ausgaben befassen.\nAngenommen, man kann\nund will Dinge messen, stellt sich\ndie Frage: „Wie\nschnell ist eine manuelle Iteration? Reicht es, wenn\nein Entwickler ein paar Änderungen vornimmt?\nKann ich mich\nan die Kundenbedürfnisse anpassen und\ndazulernen?“  Wenn ja, benötigen Sie eigentlich nur den\nEvaluator.  Sie brauchen Ihren Fachexperten, der im\nGrunde beurteilt, was Qualität ausmacht,\nwie wir im Moment abschneiden, und\ndiese Erkenntnisse an die Ingenieure weitergibt, damit diese\nVerbesserungen vornehmen können.  Wenn das aber nicht\nschnell genug geht und man sich nicht allein auf\nmenschliche\nIteration verlassen möchte, dann braucht man Ansätze, wie sie\nein Architekt entwickeln würde.\nEs sei auch darauf hingewiesen, dass sich\ndies innerhalb einer Organisation\nim Laufe der Zeit weiterentwickeln kann.  Ein üblicher Ausgangspunkt\nist also ein Orakel, insbesondere wenn Sie,\nwissen Sie, ein Startup sind und eher\nklein, sollte Ihr Domänenexperte\nwahrscheinlich zunächst das Orakel sein\n.  Aber dann können sie Fortschritte machen, und in\nmanchen Fällen wollen sie in die eine\nRichtung, in manchen Fällen in eine andere Richtung Fortschritte machen.  Es\ngibt bestimmte Kriterien dafür, wann es\ntatsächlich notwendig ist und auch, ob es\nmöglich ist.  Es ist also notwendig, wenn es\nin Ihrem Umfang derzeit zu Problemen kommt.\nUnd je nachdem, ob man in\neine oder zwei verschiedene Richtungen geht.\nMan kann aber nur dann zu einem\nGutachter übergehen, wenn es eine Art\nobjektives, äh, messbares Kriterium gibt.  Und\nebenso, wie ich bereits erwähnte, wenn manuelle\nIterationen zu langsam sind\nund man Methoden zur Automatisierung von Verbesserungen identifizieren kann\n, dann könnte man\nzu einer Art Architekturmodell übergehen.   In Ordnung\n.  Um das Ganze greifbarer zu machen, nutzen wir\neinige Fallstudien.\nAlso, Granoola, äh für diejenigen unter Ihnen, die es\nnicht wissen, ist ein Unternehmen, das\nKI-gestützte Besprechungsnotizen generiert und vor kurzem die\nMilliarden-\nBewertung überschritten hat.  Ähm, und meine Freundin bei\nGranoola, Joe,\nhat einen Hintergrund als\nSchriftstellerin und Journalistin und ist\nals erste Mitarbeiterin zu Granoola gekommen.  Sie hat alle\nVorgaben verfasst.\nUnd sie hat umfangreiche Recherchen angestellt,\nviele, viele Stunden damit verbracht, Fachartikel zu lesen und\nmit Hunderten, Tausenden von Nutzern zu sprechen, um\nwirklich zu verstehen, was\ngute Besprechungsprotokolle ausmacht.\nUnd ihre Rolle bestand gewissermaßen darin,\ndie primäre Hüterin der KI-Qualität zu sein.\nAlso, meine\nFrage an die Anwesenden:\nWelches der drei von mir skizzierten Modelle würde Ihnen am ehesten ähneln\n?   Ja\n, genau.  Sie macht also\nbeides\n.  Sie beurteilt sozusagen die\nErgebnisse, schaut sich die Besprechungsnotizen an,\ndie die aktuelle Version des Produkts\ngeneriert, und nimmt dann diese\nVerbesserungen direkt selbst vor und\ndurchläuft so einen iterativen Kreislauf.\nIm Fall von Granoola\nargumentiere ich, dass dies Sinn ergibt,\ndenn erstens gibt es kein objektiv\nperfektes Besprechungsprotokoll.  Wir können nicht einfach sagen:\nOkay, das ist der beste Ton.\nAlso, eigentlich geht es eher um den\nmenschlichen Geschmack und darum,\nsolche Dinge von Anfang an mit einzuarbeiten.\nUnd da Besprechungsnotizen –\nGranoola ist ja das Kernprodukt – die wichtigste\nAusgabe ihrer Produkte sind,\nist es auch in großem Umfang möglich, diesen\ndirekten menschlichen\nÜberprüfungs- und Verbesserungsprozess zu realisieren.   Also\n, selbst nachdem sie gewachsen sind,\nspielt Joe im Grunde immer noch hauptsächlich diese Rolle.   Es gibt\nNuancen.  Sie führen auch\nEvaluierungen durch und haben außerdem\neinige interne\nTools entwickelt, um anderen Personen die Möglichkeit zu geben,\nzu den Aufgaben beizutragen.  Aber im Grunde genommen handelt es sich hierbei um einen\nProzess, bei dem man gewissermaßen\nals Orakel fungiert.\nBetrachten wir also einen\nzweiten Anwendungsfall.\nTandem hat also dieses KI-gestützte medizinische\nSchreiberprodukt, das im\nGrunde einer ärztlichen\nKonsultation zuhört und anschließend\nBesprechungsnotizen generiert, diesmal jedoch mit\nmedizinischem Bezug.  Das bringt also\neinige Nuancen mit sich.\nUnd ihr erster Domänenexperte, den sie\neinstellten, hieß Roy.\nEr ist eigentlich Arzt\nund hat danach bei McKinsey angefangen.\nUnd was er tat, war, die\nKrankenakten zu überprüfen und die\nAnweisungen zu aktualisieren.  Er verfolgt also diese Art von\nOrakel-Ansatz.\nDoch als das Ganze immer größer wurde, war es\nfür eine einzelne Person unmöglich, das zu schaffen.\nAlso, was sie gemacht haben,\nwar, dass\nsie den Ansatz eines\ndezentralen Orakels verfolgt\nund\nverschiedene andere Experten beauftragt haben,\ndies in einer Art\nTeilmenge zu tun.  Und so haben sie die\nPlattform aktualisiert, um diese Art von\nvielfältigen Anpassungsmöglichkeiten zu unterstützen.  Die\nHerausforderung bestand darin, dass sie viele\nverschiedene Fachgebiete, viele verschiedene\nLänder, viele verschiedene Arten von\nBanknoten und viele verschiedene Anwendungsfälle bedienen.\nSie brauchten also die Möglichkeit,\nÄrzte aus verschiedenen Ländern und\nFachrichtungen\nusw. hinzuzuziehen, um diese Anpassungen\nund Änderungen vornehmen zu können.\nUnd das hat für sie gut funktioniert,\ndenn man braucht medizinisches Fachwissen, also auch\nFachexperten.  Es gibt ein gewisses Maß an\nSubjektivität.  Es gibt keine\nperfekte ärztliche Bescheinigung, genauso wenig wie es\nperfekte Besprechungsprotokolle gibt.  Es\ngibt diese von mir beschriebenen Variationen.  Und\nweil es so viele\nAnpassungsmöglichkeiten gibt,\nbenötigt man viele verschiedene Domänenexperten, von denen\njeder für eine bestimmte\nBeziehung oder eine bestimmte Teilmenge zuständig sein könnte.\nBeispielsweise könnte es jemanden geben, der sich auf ein bestimmtes Teilgebiet\nin einer bestimmten Region spezialisiert hat und\ndort mit den Kunden zusammenarbeitet, um deren\nBedürfnisse zu verstehen, die\nEingabeaufforderungen anzupassen, und diese Version der Eingabeaufforderung wird dann\ndort live geschaltet. Darüber hinaus gibt es aber noch viele\nweitere, Tausende oder mehr\nverschiedene Varianten von Eingabeaufforderungen, die\nan verschiedenen Orten verfügbar sind.\nOkay, dritte und letzte Fallstudie, und\nentschuldigen Sie bitte die Selbstbezüge an dieser Stelle.  Das ist ähm, ist es das?\nIch kann es als\nBeispiel verwenden, weil ich damit natürlich sehr\nvertraut bin.  Ähm, also\n, ich habe bei Anterior gearbeitet, und\nunser erstes Produkt war die\nVorabgenehmigung.\nUnd die vorherige Genehmigung ist, für diejenigen, die damit\nnicht vertraut sind, im Grunde ein Prozess\nin den USA, bei dem man zu seinem Arzt geht, der\nArzt dann eine bestimmte\nUntersuchung anfordert, sagen wir, eine MRT-Untersuchung.  Dann\ngeht es an die Versicherung, und die\nVersicherung hat Krankenschwestern und Ärzte\nim Haus, die dann entscheiden, ob\ndiese Behandlung genehmigt werden soll.\nIst das angemessen?\nÄhm, und so\nwar ich bei Anterior der erste technische\nMitarbeiter.\nIch habe das Ausgangsprodukt, die\nEingabeaufforderungen und den Code erstellt.\nÄhm, und dann habe ich unsere Ergebnisse überprüft.\nIch habe mich sozusagen in die Rolle des Arztes versetzt und\nklinisch beurteilt: Ist das eine\nangemessene Entscheidung, die da getroffen wird\n?\nDann habe ich die Eingabeaufforderungen und den\nCode entsprechend angepasst.\nAber auch das ließ sich nicht skalieren.\nUnd als wir mehr Kunden hatten und die\nNachfrage stieg, und als wir eine größere\nVielfalt an Produkten und\nDienstleistungen anboten, war es\nnotwendig, dass sich diese\nRolle weiterentwickelte.  Und so definierte ich dann\nKennzahlen und Fehlermodi.  Ich habe ein\nDashboard zur Leistungsbeurteilung entwickelt, damit Kliniker\nbestimmte Ergebnisse einsehen können, und habe\nKliniker eingestellt, um diesen\nProzess durchzuführen.  Wir haben das also sozusagen ausgeweitet,\nund das lieferte uns diese Kennzahlen und\nInformationen zur Leistung, die wir\ndann in Zusammenarbeit mit dem Entwicklungsteam nutzen konnten,\num diese Änderungen vorzunehmen.\nAber auch das ließ sich\naus Sicht der Befestigung nicht skalieren\n.  Also, diese Art von manueller\nIteration, die diese Ingenieure angewendet haben, hat nicht funktioniert,\nweil es\nviele verschiedene Variationen in der Art und Weise gab, wie\ndiese Organisationen letztendlich funktionieren.\nJa, so ungefähr,\nwo wollte ich eigentlich hin?  Äh ja\n, die Art und Weise,\nwie sie\nihre Richtlinien und Regeln interpretieren, ist sehr unterschiedlich.  Also,\nman braucht quasi einen Mechanismus, um das direkt am\nRande zu lernen,\nund deshalb musste ich mich dann eher\nin Richtung eines Architektenansatzes entwickeln\nund Methoden für die automatisierte\nVerbesserung entwerfen, worüber ich in einem\nanderen Vortrag hier spreche.\nUnd so machte es für uns insgesamt Sinn,\nvom Orakel über den Evaluator zum\nArchitekten zu gehen, denn\nin unserem Fall ist die KI-Qualität eindeutig\nmessbar.  Die KI gibt entweder die\nGenehmigung der vorherigen\nAutorisierungsentscheidung oder eine Weiterleitung zur Überprüfung durch einen Arzt aus\n.\nBasierend auf den medizinischen Erkenntnissen ist die Aussage also entweder richtig oder falsch.\nUm das festzustellen, ist klinisches Urteilsvermögen erforderlich\n.  Die\nAuslegung der Vorauthentifizierungsregeln variiert stark.  Äh, genau das wollte\nich\nhier eigentlich sagen.  Aufgrund solcher\nSchwankungen benötigt man ein\nSystem, das sich dynamisch anpassen\nund aus der Nutzung lernen kann, um das Problem zu\nlösen.\n[schnaubt]\nUnd dann auch noch diese Entwicklung, also das\nVerständnis der Fehlermodi\nals eine Art Orakel und ein wirklich\ntiefes Verständnis dafür, wie\ndie KI funktioniert, wie sie\nversagt, ist sehr\nhilfreich für die Entwicklung, äh Definition, wie man\nDinge bewertet und verbessert.\nCool.\nWen brauche ich also für meine\nOrganisation, und welche Fähigkeiten sollten\ndiese Personen mitbringen?   Um also darüber\nnachzudenken, welche Fähigkeiten\nman für die einzelnen\nRollen benötigen könnte,\nist es hilfreich, sich zunächst zu fragen:\nWas genau tun diese Rollen?  Der\nFachexperte schaut sich also die\nErgebnisse an, optimiert die Eingabeaufforderungen, nimmt\nÄnderungen vor und verbessert so das Produkt.\nDie wichtigste Kompetenz, die sie benötigen, ist einschlägiges\nFachwissen.  Und mit\nrelevant meine ich hier insbesondere\ndirekte Erfahrung mit dem Anwendungsfall.  Äh\n, also, einfach nur Arzt zu sein, reicht möglicherweise\nnicht aus.  Angenommen,\nIhr Produkt ist medizinische Kodierung,\nhaben Sie Erfahrung in diesem Bereich\n?  Weißt du, was das alles\nbeinhaltet?  Wissen Sie, wo dabei etwas\nschiefgehen kann?  Ähm\n, ja, man sollte schon etwas\ndetaillierter denken und nicht einfach nur sagen: „Oh, ich brauche einen\nArzt, ich brauche einen Anwalt, ich brauche,\nwissen Sie, welchen Fachexperten man auch immer\nbraucht.“\nUnd dann noch andere relevante Erfahrungen, Sie\nwissen schon, Dinge wie Prompting, Content-\nEngineering, das sind alles so\nnette Extras.  Ich meine, ich denke, diese sind\netwas leichter zu erlernen, ähm,\naber sie sind hilfreich.\nSie wissen schon, definitiv ein tiefer Einblick ins\nDetail.  Ich erwähnte das Beispiel von\nJoe Granoo – Joe von Granoola, sie\nging wirklich sehr ins Detail, und\ndas war sehr wertvoll.  Und dann Dinge\nwie die Kundenkommunikation, um zu\nverstehen, was genau\nIhre Kunden wollen?\nWenn der Evaluator\netwas anders macht, baut er sich ein solches\nSystem auf, um\ndie Leistung zu verstehen.\nIch denke also, dass man neben\nFachwissen auch ein gutes Gespür für Data\nScience braucht.  Denn im\nGrunde sehe ich vieles davon als eine Art\nData-Science-Fähigkeiten an.\nSie definieren Kennzahlen, die Ihnen wichtig sind\n.  Sie arbeiten an\neinem System, das diese\nKennzahlen erfasst und nutzbar macht.  Und\ndas sind im\nGrunde alles Data-Science-Fähigkeiten.\nEs ist auch hilfreich,\neinige der Fähigkeiten zu besitzen, die wir zuvor erwähnt haben\n.\nStatistische Kenntnisse könnten hilfreich sein, wenn\nSie dies in großem Umfang durchführen und\neinige\ndieser Kennzahlen genauer analysieren möchten.\n[schnaubt]\nBranchenkontakte sind hilfreich, wenn man\nein Team aufbauen will,\ndas diese internen Überprüfungen durchführt.\nEs ist hilfreich, auf\ndieses Netzwerk zurückgreifen zu können.  Es ist hilfreich, über\nFührungserfahrung zu verfügen, um\ndieses Team dann leiten zu können.  Und es ist hilfreich,\nErfahrung im Produktmanagement zu haben, denn so können\nSie die\nIngenieure bei der Umsetzung dieser Verbesserungen unterstützen und\neffektiv mit ihnen zusammenarbeiten.\n[schnaubt]\nUnd schließlich, was braucht man, wenn man\nein Architektenprofil hat?\nÄhm,\nähnlich, natürlich ist Fachwissen\nquasi selbstverständlich.\nUnd außerdem benötigen Sie Erfahrung in der\nArbeit mit LLM-basierten Produkten.  Äh,\nSie möchten also wissen, welche\nHebel Sie nutzen können, um Ihre\nLeistung letztendlich zu verbessern.\nUnd dann ist es auch relevant,\nwie ich bereits erwähnt habe, alles, was\nvorher schon gesagt wurde, und\nauch Ingenieurkenntnisse können hilfreich sein, weil man sich darauf stützen kann, um\ndie Entwicklung einiger dieser\nVerbesserungen umzusetzen oder zu steuern.   Die\ndritte und letzte Frage lautet also: Wie können Sie\ndiese Vorteile nutzen?  Okay, Sie haben den\nperfekten Domain-Experten gefunden.  Vielleicht\nhatten Sie sie schon, oder vielleicht haben Sie bereits\njemanden gefunden, den Sie einstellen möchten\n. Ähm, ich\ndenke, drei Prinzipien sind wichtig.\n[schnaubt]\nErstens bietet die\nDefinition eines Hauptfachexperten einen großen organisatorischen Nutzen.\nWas ich damit meine, ist, dass eine einzelne\nPerson letztendlich\nfür die Qualität der KI-Leistung verantwortlich ist\nund daher auch\nEntscheidungen treffen kann.  Dadurch wird also eine Art\nKonsensfindung durch Gremium vermieden, bei der\njeder irgendwie verantwortlich ist, sodass\nniemand wirklich verantwortlich ist, und man kommt etwas\nlangsamer voran.\nUnd wenn das in der\nVerantwortung dieser Person liegt,\nkann sie sich wirklich die Zeit nehmen, ein\ntiefes Verständnis dafür zu entwickeln, wie die KI\nfunktioniert.  Und das kann dann\nletztendlich zu besseren\nEntscheidungen führen, aber es gibt\nihnen auch die Zeit und den Raum, sich wirklich darauf zu\nkonzentrieren.  Und ich denke, darin liegt aus Sicht der Geschwindigkeit ein großer\nWert\n.\nZweitens halte ich es für wichtig,\nihnen Eigentumsrechte zu übertragen.  Letztendlich sollten Sie\nsie nicht einfach nur als\nBerater oder als jemanden behandeln, an den\nSie sich um Rat wenden.  Sie möchten, dass sie\nim Raum sind, wenn Sie diese\nEntscheidungen treffen.  Und das liegt daran, dass man\nsie nutzen möchte, um\nein differenziertes Produkt zu entwickeln.  Wenn\nsie nicht im Raum sind, dann ist das\nviel schwieriger.\n[schnaubt]\nUnd ähm ja\n, ich denke, ganz\nkonkret,\nwenn eines meiner Argumente lautet, dass man\neinfach einen Domänenexperten haben könnte, der\ndie KI-\nAusgaben überprüft und diese dann an\njemand anderen weitergibt.  Aber was Sie eigentlich tun\nmöchten, ist, darüber hinauszugehen\nund ein System darum aufzubauen, sodass\nSie organisatorisch in der Lage sind, Dinge\ngenau zu messen und zu verbessern, und das\nist ein wichtiger Bestandteil\nder Entwicklung eines differenzierten Produkts.\nÄhm, also ich habe hier schon einige Fehlerfälle gesehen,\nzum Beispiel hatte ein Unternehmen, bei dem ich war,\nzwei verschiedene leitende\nKliniker.  Also, keiner von beiden war\nwirklich ein führender Fachexperte.  Es ist\netwas unklar, wer letztendlich das\nletzte Wort hatte.  Sie hatten nicht so\nviel Mitspracherecht im Prozess\nund waren eher beratend tätig.\nUnd im Wesentlichen ging es nur\nsehr langsam voran, wenn es darum ging,\ndieses umfassendere System aufzubauen, um\ndie Qualität und Leistung der KI zu verbessern\n.\nUnd dann passierte es, dass\nbeide Personen\nnach etwa 12 bis 18 Monaten\ndas Unternehmen verließen, ich denke zum Teil, weil\nsie vielleicht nicht das Gefühl hatten, die\nEigentümer zu sein.  Und das ist natürlich ein\nVerlust für eine Organisation, denn sie\nhat eine Menge relevanten Kontext im\nKopf, auf dem man\naufbauen möchte.\n[schnaubt]\nUnd der letzte Punkt betrifft die Personalauswahl, um ein\nbreites Spektrum abzudecken.\nWir haben also alle, Sie wissen schon, alle Fähigkeiten gesehen, die\nauf der vorherigen Folie aufgeführt waren.  Ich meine, es ist schon eine\ngroße Herausforderung,\njemanden zu finden, der all\ndiese Fähigkeiten besitzt.  Meine generelle\nEmpfehlung ist daher, jemanden einzustellen, der über\nentsprechende Fachkenntnisse verfügt; das ist\ndie Basis und sollte selbstverständlich sein.  Aber\ndann so viele dieser Fähigkeiten wie\nmöglich.\nUnd man kann sie immer mit\njemandem zusammenbringen, der das dann gewissermaßen ergänzt\n.  Nehmen wir an\n, Sie benötigen einen\nStatistiker, und diese Person\nhat keine Erfahrung mit Statistik. Dann können Sie einen\nStatistiker finden, und die beiden können dann\nzusammenarbeiten.\nÄhm,\naber ich glaube, der Fehler liegt darin,\ndass man jemanden einstellt, der vielleicht\nnur ein Fachexperte ist.\nIch möchte die Bedeutung von Fachexpertise nicht verharmlosen\n.  Ich meine, natürlich\nkann das eine große Sache sein, aber\ndas kann es dem\nEinzelnen dann erschweren, sich vom Orakel\nzum Evaluator und schließlich zum Architekten weiterzuentwickeln, falls\ndas nötig ist.\nUnd dann, wissen Sie, organisatorisch gesehen,\nmüssen Sie vielleicht noch jemanden dazuholen,\nund das ist, ähm, meiner\nMeinung nach weniger wünschenswert, als jemanden zu haben, der Sie von Anfang bis Ende begleitet\n.\nUnd da Sie bereits\nErfahrung in einer Art\nOrakelrolle im Unternehmen gesammelt haben, verfügen Sie über einen hervorragenden\nEinblick in die Funktionsweise der KI.  Sie sind\nbestens gerüstet, um anschließend als\nGutachter tätig zu werden.  Sie wissen, welche Dinge\nSie messen sollten und welche\nFehlerquellen Sie vermeiden müssen.  Und\nja, es ist in gewisser Weise sehr\nkomplementär, jemanden hier zu haben,\nder sich dort weiterentwickelt.\n[schnaubt] Um es also\nzusammenzufassen:\nIch denke, die Beurteilung der KI-Qualität Ihres\nProdukts erfordert Fachwissen.  Das\nkann formell oder informell sein.\nIch habe im Wesentlichen drei Wege\nbeobachtet, wie Domänenexperten sozusagen\nin die Organisation integriert werden.\nDie erste Möglichkeit besteht darin, Domänenexpertise direkt\nin die Anwendung einzubringen.  Das\nist sozusagen die Rolle des Orakels.\nAußerdem geht es darum, Qualität so zu definieren, dass man sie\nmessen und verbessern kann – das ist die\nAufgabe des Evaluators.\nUnd dann die Entwicklung von Systemen, die sich\nim Laufe der Zeit verbessern und dazulernen.  Es gibt also die\nRolle des Architekten.\nDie geeignete Vorgehensweise\nhängt ganz von Ihrem konkreten Anwendungsfall ab.  Das\nhängt auch von Ihrem aktuellen Maßstab ab.\nUnd jede dieser Herangehensweisen erfordert\nunterschiedliche angrenzende Fähigkeiten.\nUnd mein Rat lautet: Die frühzeitige Einstellung eines führenden\nFachexperten ist aus organisatorischer Sicht sehr effektiv\n.\nSie möchten, dass sie über die einschlägige\nFachkompetenz verfügen und dass sie ein breites Spektrum\nan angrenzenden Fähigkeiten besitzen.\nSie möchten ihnen das Eigentum übertragen.\nMan sollte sie wahrscheinlich zunächst als\nOrakel in einer solchen Rolle einsetzen.  Und\nwenn sich Ihr Produkt und Ihre\nOrganisation weiterentwickeln, sollte sich auch ihre Rolle\nentlang einer der sinnvollsten Achsen weiterentwickeln\n.  Vielleicht ist es in gewisser Weise\ndezentralisiert, aber sie spielen eine Rolle\nbei der Kennzeichnung des dezentralen Orakels.\nVielleicht liegt es an diesem\nSpektrum von Evaluatoren und Architekten.  Aber im Grunde musst\ndu das selbst herausfinden.\nUnd letztendlich wird die genaue Vorgehensweise, wie das Ganze\nfunktioniert,\nderzeit noch erarbeitet, da wir uns auf\ndiesem Weg zur Entwicklung\nKI-gestützter Produkte mit\nFachkompetenz noch in einer sehr frühen Phase befinden.\nÄhm, vielen Dank.  Äh ja, ich werde die\nFolien auf meine Website stellen, falls Sie\ndiese Folien herunterladen möchten.  Ich\ndenke,\nvielleicht nur eine Frage.  Ich bin mir der\nZeit bewusst.  Äh, ja, danke.  Vielen Dank\nfür Ihre Aufmerksamkeit.\n[Applaus]\n[Musik]",
  "transcript_chars": 31349,
  "ingested_at": "2026-05-16T16:30:12.612538+00:00",
  "source": "channel",
  "yt_meta": {
    "view_count": 217,
    "like_count": 14,
    "channel_id": "UCLKPca3kwwd-B59HNr-_lvA",
    "categories": [
      "Science & Technology"
    ],
    "tags": [
      "ai",
      "ai engineer",
      "ai engineering",
      "software development",
      "tech",
      "startups",
      "software architecture",
      "machine learning"
    ]
  }
}