{
  "video_id": "osTNToMfiBo",
  "channel_slug": "arizeai",
  "channel_handle": "arizeai",
  "title": "Building the open-source standard for AI observability",
  "duration_seconds": 3279.0,
  "url": "https://www.youtube.com/watch?v=osTNToMfiBo",
  "upload_date": "",
  "transcript": "Willkommen bei „10.000 Sterne von Phoenix“, einer\nFeier zu Ehren der 10.000 Sterne von Phoenix auf\nGitHub.  Falls Ihnen Phoenix noch nicht bekannt ist:\nEs handelt sich um eine Open-Source-\nPlattform zur Beobachtung und Auswertung von\nKI-Anwendungen.  Es ermöglicht Ingenieuren,\nihre LLMs,\nAgenten und Frameworks zu bewerten und zu verstehen.  Es ist außerdem ein\nwichtiger Bestandteil von Open Inference, der Spezifikation, auf der\ndie KI-Observability-Community\naufbaut.  Wie Sie vielleicht schon gehört haben, haben wir jetzt die Marke von\n10.000 Sternen erreicht.  Arise\nfeiert das, indem es einige der\nIngenieure hinter Phoenix interviewt.  Vielleicht ist Ihnen\ndas nicht bewusst, aber Phoenix, das Team\ndahinter, besteht nur aus etwa sechs oder sieben\nIngenieuren.  Es handelt sich um ein Open-Source-Projekt,\nund wir nennen es ein Stadionprojekt.\nDas bedeutet, dass eine Handvoll Ingenieure\netwas entwickeln, das von Tausenden anderen\nIngenieuren genutzt wird.  Und ich möchte sie Ihnen\njetzt vorstellen.  Ich bin Ihre Gastgeberin mit den\nmeisten Rachel-Lee-Nachbarn.  Wir haben Miko\nKing, Leiterin des Open-Source-Bereichs bei Arise.  Ich bin\nseit dem ersten Tag hier.   Ich freue mich,\nhier zu sein.\nXander Song, Ingenieur, der bei\nArise als erster Devril, den wir je hatten, anfing.\nEs ist ein Vergnügen.  Danke schön.\nUnd Roger Yang, Ingenieur.  Phoenix war\ndein erstes Open-Source-Projekt.\nIch glaube, für euch alle war es tatsächlich\neuer erstes Open-Source-Projekt.  Aber\nRoger, du hast einige sehr wichtige\nPRs erstellt, über die wir\ngleich sprechen werden.  Na dann, fangen wir an.\nÄh, Phoenix begann 2023 als Jupiter-\nNotebook-Erweiterung. Wie kam es dazu\n?\nJa, ich denke, es war ein interessanter\nAnfang der Reise.\nArise startete ja bekanntlich im Jahr 2020 als\nUnternehmen mit geschlossener Software, und ich denke, es gibt im Grunde\ndrei große Probleme, die\nwir als\nUnternehmen mit geschlossener Software hatten.  Zum einen wollten wir\nviel mehr Nutzer erreichen, nicht\nnur Tausende unserer Kunden, sondern\nMillionen von Menschen.  Ähm,\nund wir spürten auch diese\nReibung, dass\nEntwicklergemeinschaften den Anbietern nicht wirklich vertrauten\nund dass sie typischerweise\nauf Open-Source-Lösungen wie Kernels\noder PyTorch zurückgriffen. Wir wussten, dass\nVertrauen ein entscheidender Anker für die\nNutzung von Software ist, und wir wollten\noffen entwickeln, Transparenz schaffen und nicht\ndiese langen, sechsmonatigen\nBeschaffungsprozesse durchlaufen müssen. Wir\nwollten diese Datenschutzprobleme lösen,\nindem wir ein Open-Source-\nProjekt ins Leben riefen.  Ich glaube, in der zweiten Hälfte des Jahres\n2022 wurde ich gebeten, sozusagen die Führung bei\nOpen Source zu übernehmen.  Wir wussten nicht genau,\nwas das bedeutete.  Ähm, aber wir wussten, dass wir\netwas entwickeln wollten, das schnelle\nIterationszyklen ermöglicht, sodass ein MLE beispielsweise\nÄnderungen an seinem KI-\nSystem vornehmen und diese schnell sehen kann.\nUnd wir wussten, dass ein Großteil unserer\nCommunity in Notizbüchern lebte und atmete\n.  Und so wollten wir\nunsere Entwickler quasi dort abholen, wo sie\nstehen.  Und so kamen wir auf\ndie Idee, eine Jupyter-\nErweiterung zu entwickeln.  Wir wussten also, dass wir\nOpen Source machen wollten.  Was das letztendlich bedeutete, hat sich meiner\nMeinung nach ziemlich\nschnell verändert.  Ich glaube, ähm,\ndas war tatsächlich Xander, der schon\nvorher dem Open-Source-Projekt beigetreten war, und wir\nwaren in Kalifornien.  Wir haben einfach zusammengebastelt\nund ich glaube, wir waren ziemlich\nressourcenbeschränkt, und so habe ich, im\nGrunde aus purer Verzweiflung,\nRoger gebeten, bei dem Projekt mitzuhelfen,\nund ich glaube, zu der Zeit\narbeiteten wir an unstrukturierten Daten, also\nspeziell an Einbettungen,\nspeziell für Dinge wie Klassifikatoren,\naber genau zu diesem Zeitpunkt begann plötzlich diese\ngroße Revolution, wissen Sie, als\nGPT-3 herauskam.  Wir\nhatten also die Hypothese, dass wir nur\ndurch die\nVisualisierung unstrukturierter Daten, wie\nunstrukturierter Fragen und ähnlicher Art, wirklich verstehen können, was diese LLM-Systeme leisten.\nUnd so war die\nHaltung damals natürlich auch deutlich zu spüren.\nUnd so begannen wir genau zu diesem Zeitpunkt, unsere\nPhilosophie bzw. unseren Anwendungsfall\nin Richtung LLMs umzuorientieren.  Ähm, und\nwissen Sie, Roger und ich haben\ngemeinsam an diesem Prototyp gearbeitet, und ich glaube,\nwir hatten so einen internen\nAha-Moment, als ähm, Roger\n[räuspert sich] tatsächlich ähm, UMAP zum Laufen brachte\nund HDB Scan funktionierte, sodass\nwir eine Punktwolke der\ninneren Funktionsweise eines\nChatbots zeigen konnten.  Und so wussten wir, dass wir auf\netwas Wichtiges hinarbeiteten\n.  Und wir haben uns sozusagen selbst positioniert\nund unseren eigenen\nSchuss angekündigt, den wir\nwährend der Beobachtung verkünden würden.  Und Llama Index war\njemand, über den wir schon\nviel gesprochen hatten.  Und da Llama Index ursprünglich\nein Trödelladen war, war es natürlich eine sehr\nnatürliche Entwicklung,\nunstrukturierte Daten zu visualisieren.  Eine\nRag-Pipeline verwendete unstrukturierte\nDaten.  Und so kam es, dass ich\nmit Jerry ins Gespräch kam und\nviel enger mit Llama Index zusammenarbeitete\n.  Ich denke, gerade bei Open\nSource gibt es viele Leute aus\nverschiedenen Repositories, die\nunterschiedliche Herangehensweisen an die Dinge haben.  Zu\ndieser Zeit war ich also im Ingenieurwesen generell noch ziemlich unerfahren\n.  Also, für mich\nwar es sehr aufschlussreich zu sehen, wie andere Menschen\nunterschiedliche Dinge tun und\nvon ihnen zu lernen und zu sehen,\nwie sie die Dinge angehen.  Ich glaube, ich erinnere mich daran, dass\ndies damals auch unser\ngrößtes Python-Projekt war.  Ich denke, was meine\nPython-Kenntnisse zu dieser\nZeit angeht, so kam Miko aus der JavaScript-Szene, während ich mich hauptsächlich mit\nBackend-Entwicklung und Go-\nProgrammierung beschäftigte.  Das war also mein\nAusgangspunkt, und Python war auch\nfür uns noch recht neu.  Ich denke, ein\ngroßer Vorteil von Open Source ist, dass\nman einfach den Code anderer Leute lesen\nund neue Dinge lernen kann und\nsehen kann, wie sie die Dinge besser machen als wir.\nJa, der\nWissensaustausch war für mich sehr interessant.\nDas ist ja genial.  Ich war damals bei\nMeta im React Native-Team, und\neine Sache, die ich dabei gelernt habe:\nReact war ein kleines Projekt, nur ein\npaar Ingenieure waren daran beteiligt, aber React Native\nwar viel traditioneller Open Source.\nBei Meta gab es zwar einige Ingenieure, aber\nbei Microsoft und\nanderen Unternehmen gab es zahlreiche, die aktiv\nzum Repository beitrugen.  Und manchmal\nhöre ich von großen Technologiekonzernen Fragen wie: Warum sollten wir\nin Open Source investieren?  Und das liegt daran, dass\nman wohl nie 40\nLeute finden wird, die sich dem Bau eines solchen Projekts widmen\n.  Aber wenn man es als Open\nSource veröffentlicht, ist es für\ngenügend Ingenieure wichtig genug, dass sie sich\nzusammentun können, und aufgrund der Natur von\nOpen Source können sie alle zum\nCode der anderen beitragen, ohne\neine Menge Patentklauseln usw. unterzeichnen zu müssen. Wenn\nSie jemals an Standards gearbeitet haben,\nwissen Sie, wie es ist, wenn die\nUnternehmensanwälte mit am Tisch sitzen.  Das ist also einer der\nAspekte, die wir meiner Meinung nach oft übersehen,\nwenn wir über Open Source sprechen.  Es ist\neine Möglichkeit für Teams verschiedener Unternehmen,\nzusammenzukommen und ihre besten\nIngenieure auszutauschen, um wirklich schwierige Probleme zu lösen.\nIch glaube, dieses Team ist richtig\ngut darin geworden, Reifen zu wechseln, während das Auto\nnoch fährt.\n[Gelächter]\nIch glaube, es wurde buchstäblich\nrückwärts entwickelt, was irgendwie …\nund dann war jeder einzelne Schritt\nin vielerlei Hinsicht ein großer Meilenstein. Und ich\ndenke, es gibt tatsächlich viele coole\nDinge, die aus der\nrückwärtsgerichteten Softwareentwicklung resultieren. Aber wissen Sie,\nwenn man traditionell\neine SAS-Plattform entwickeln will,\nwählt man eine Datenbank, ein Frontend,\nein Webframework und dann\nbraucht man im Grunde\nzahlende Kunden.  Man baut also eine\nAuthentifizierungsschicht auf.  Und dann baut man sozusagen darauf auf\nund entwickelt weitere Funktionen.  Ähm, weil\nPhoenix als Jupyter-Notebook begann, haben\nwir damit angefangen, Funktionen zu entwickeln, die\neinfach [Gelächter und Keuchen]\nreinen Mehrwert bieten.  Ich\nglaube, es begann damit, dass\nwir wussten, dass die Leute wissen wollten,\nwie die inneren Abläufe dieser\nDinge, wie zum Beispiel Frameworks, funktionieren.\nWir haben uns also im Grunde darauf konzentriert,\nMehrwert zu schaffen, indem wir\nbeispielsweise verstehen konnten, wie die Rag-Pipeline funktioniert. Über Persistenz haben wir aber nicht so sehr nachgedacht,\nweil wir einfach nur\nEinblick in diese, ähm,\ndiese ganz neue Domäne geben wollten, richtig?  Und\nwissen Sie, ich glaube, das war ein guter Weg, um im\nGrunde zu beweisen, dass wir tatsächlich\netwas Sinnvolles geschaffen hatten.  Ein\nNebeneffekt davon, etwas\nwirklich Sinnvolles geschaffen zu haben, war, dass die Leute das\nsofort bewahren wollten\n, richtig?  Und deshalb wollten sie in der Lage sein,\ndiese Daten zu erfassen.\nWir hatten damals zwar keine wirklich gute Geschichte\n, aber wir wussten, dass die Leute\ndem Alltagstrott entfliehen mussten.  Ich glaube, wissen Sie, worüber\nwir schon\nlange gesprochen haben, ist, dass Phoenix, um\nin vielerlei Hinsicht wirklich abheben zu können, aus\ndem Notizbuch herauskommen musste.  Und wir haben darüber\ngesprochen, ich meine, vielleicht sogar\nmehrmals.\nUnd ich glaube, wir haben da einfach eine Wette abgeschlossen\n, wissen Sie, wir haben einfach\neinen Container veröffentlicht und wollten sehen, was\npassiert, weil wir Leute hatten, die\ndiese Phoenix-Instanzen\nüber lange Zeiträume laufen ließen.  Sie hätten\n, wissen Sie, Millionen von Spuren\nund würden tatsächlich\nihre eigenen Wege finden, Daten zu extrahieren und\nsie in irgendwas zu speichern\n.  Ich glaube, es gab einen Anbieter, der\nElasticsearch nutzte, andere\nnutzten MongoDB,\nund deshalb wussten wir, dass wir\nPersistenz implementieren mussten.  Wir haben\nes also zuerst in einen Container gepackt, was verrückt klingt.  Wir haben\nes zuerst in einen Container gepackt und dann wussten wir, dass\nwir das Problem der Persistenz lösen mussten\n.  Ähm, und ich denke, wir\nhatten auch ein bisschen Glück, denn wir wussten, dass\nwir so etwas wie eine lokale Jupiter-\nErfahrung wollten, und deshalb wussten wir, dass wir\neine sehr schlanke lokale\nDatenbank unterstützen mussten, und ich denke, wir haben uns schnell für\nSQLite entschieden, aber wir dachten uns: Warum nicht?\nWir haben ja bereits einen SQL-Treiber,\nwarum also nicht auch PostgreSQL? Deshalb\nunterstützen wir sowohl\neine wirklich angenehme lokale\nErfahrung mit SQLite als auch eine\nverteilte Verteilung durch\nPostgreSQL.  Ich glaube,\ndie wichtigste Neuerung, die damals aufkam,\nwar die Idee der\nDatensätze, richtig?  Man braucht gewissermaßen eine feste\nSammlung von Beispielen dafür, wie KI-\nSysteme funktionieren.  Wir haben also tatsächlich Datensätze erstellt,\nund ich denke, wir alle wussten, dass es ständig\nAnfragen nach\nAuthentifizierung gab.  Xander hat also maßgeblich zur Entwicklung der\nAuthentifizierung beigetragen.\nDas ist aber so ähnlich wie bei\nPhoenix, wo man sagt, es sei rückwärts gebaut worden – es\nwurde tatsächlich rückwärts gebaut.  Wir haben\nFunktionen entwickelt, dann einen Container,\ndann eine Datenbankschicht und schließlich die\nAuthentifizierung.  Also buchstäblich genau\numgekehrt, als man es sich bei\neinem Softwareprojekt vorstellen würde\n.\nUnsere übliche Vorgehensweise\nwar, dass wir eine\nPerson hatten, die sich ein bisschen umsah\nund dann vielleicht die\nTickets aufteilte, und dann kam das Team dazu\n. Ja.\nIch meine, ich glaube, Xander ist ein bisschen zu\nbescheiden.  Ich glaube, wir wussten, dass, um das zu schaffen,\nschnell klar wurde, dass der\nUnterschied zwischen Open Source und\ntraditioneller Vorgehensweise, also eher wie bei einem\nProjektmanager, der sich die Sache ansieht, deutlich wird.\nWir hätten die\nAuthentifizierung wahrscheinlich viel schneller,\naber auf eine andere Art und Weise entwickelt, richtig?  Wir haben\nunsere Nutzer also sozusagen dort abgeholt, wo sie stehen.\nJemand sagte dann zum Beispiel: „Ich möchte\nKeycloak implementieren“ oder „Ich möchte\nCognoto-Unterstützung entwickeln“, und so weiter, OIDC-\nBasisauthentifizierung – all diese\nDinge entstanden durch die\nZusammenarbeit mit der Community, und Xander entwickelte\ndieses Framework, um\nes auf jedes OIDC-Backend erweitern zu können.\nDas ist ein Beweis dafür, dass der Vorteil\nvon\nOpen Source darin besteht, dass jeder Entwickler seine Fähigkeiten als\ngroßartiger\nEntwickler ausbaut, natürlich in erster Linie,\naber auch, indem er\nseine eigene Software bekannt macht und sich\nfür sie einsetzt.  Und so wurde es uns\ndreien wohl noch deutlicher, dass wir eine\nAuthentifizierung durchführen mussten.  Und so haben wir sozusagen in den sauren Apfel gebissen\nund eine\nAuthentifizierungsfunktion entwickelt, obwohl es so etwas vorher nicht gab.\nMan könnte zwar auf dem Papier sagen, dass wir bereits Arise AX hatten,\ndas über eine Authentifizierungsfunktion verfügte.  Es hat uns den\nRücken freigehalten.  Es hatte all diese Dinge.  Aber wir\nwussten, dass, wenn unser Ziel darin bestand, so\nviele Menschen wie möglich zu erreichen, die Authentifizierung von\ngrößter Bedeutung war und dass\nDatenschutz im\nZusammenhang mit KI so wichtig ist.  Ähm, richtig?  Hierbei handelt es sich um sehr\nsensible Nutzerdaten, weshalb wir\ndiese grundlegende Funktionalität um\nPhoenix herum entwickeln mussten, um Vertrauen zu schaffen.\nUnd so denke ich, dass das – und das\nist gewissermaßen eine kleine Werbung\nfür Open-Source-\nSoftwareentwicklung – bedeutet: Wenn man ein\nübergeordnetes Ziel hat, wenn man die Idee vertritt, dass\nDatenschutz wichtig ist, dann sollte man seine\nNutzer dort abholen, wo sie sind, und sich selbst\nals Entwickler\neines Dienstes sehen, der so viele Menschen\nwie möglich erreichen kann.  Manchmal macht es die\nEntwicklung einfach viel glasklarer,\nund es ist sehr hilfreich, einen Fahrplan zu haben,\nweil man einfach das tut, was die Leute von einem erwarten. Das war so ein\nBeispiel\ndafür, dass wir wussten, was wir zu tun hatten,\nund das war damals schon sehr klar.   Ähm,\nwir hatten definitiv einige Leute, die von Anfang an von\ndem Projekt begeistert waren.  Ich\ndenke, das war ein Fall, in dem die Orientierung an\nFrameworks eine\ngute Sache für uns war, richtig?  Denn ich\nglaube, was es bedeutete, eine KI zu sein,\nwissen Sie, ich glaube, selbst zu der Zeit, als\nder Begriff „KI-Ingenieur“ noch ziemlich\nvage war.  Wir wussten damals eigentlich gar\nnicht, was\nder Unterschied zwischen\nSoftwareentwicklung und KI-Entwicklung ist.  Und deshalb\nlernten viele Leute mithilfe von\nFrameworks, richtig?  Das\nwar sozusagen der natürliche\nerste Schritt: Niemand hatte eine Ahnung, wie man\neine Rag-App baut.  Sie würden also den\nLlama-Index oder die Sprachkette verwenden.  Und\nweil wir das irgendwie aufgegriffen haben, also quasi\ndie inneren\nAbläufe dieser\nSysteme enthüllt haben, konnten wir\neine Menge Menschen erreichen.  Ich denke, dass sich die\nDinge damals etwas verändert haben,\naber es gab in\ndiesen frühen Frameworks gewissermaßen Gegenmuster, richtig? Sie\nglaubten an eine strikte Kapselung der\nEingabeaufforderungen und mangelnde Konfigurierbarkeit.  Dadurch\nwürdest du all diese verschiedenen Schritte und Unterpunkte kennenlernen, die\ndiesen Dingen zugrunde liegen.  Aus der\nPerspektive einer Blackbox war es also nahezu\nunmöglich, seine Arbeit als KI-\nIngenieur mit diesen Frameworks zu erledigen, wenn man\nkeine Beobachtbarkeit hatte.  Und das hat\nwirklich geholfen, und ich denke, deshalb konnten\nwir uns so gut in\nder Llama Index-Community oder bei Leuten, die die\nSprachkette nutzen wollen, etablieren.  Das\nwar einer der Orte, an denen wir am\nmeisten mit Entwicklern in Kontakt standen.  Ich denke, so wie das Leben auf\nGitHub ist, das Leben auf Slack,\nund ich schätze, die Art und Weise, wie unser Team schon immer gearbeitet hat, ist, dass wir kein\nSupport-Team im Hintergrund haben, sondern selbst das\nSupport-Team sind.  Wenn man also das\nSupport-Team für sein eigenes Produkt ist, muss man einen\nsehr hohen Standard an\nQualität anstreben und sicherstellen, dass alles\nfunktioniert. Man fühlt sich verantwortlich,\nwenn Leute auf\nGitHub kommen und sagen: „Hey, das\nfunktioniert nicht“ oder „Hey, ich brauche etwas anderes“.\nÄhm, und ja, ich glaube, worauf\nMickey vielleicht\nauch anspielt, ist, dass das Team\nim Allgemeinen ziemlich stark\nin Veranstaltungen mit\nPartnern wie dem LMA Index und anderen\nFrameworks eingebunden ist.  Und so denke ich, dass die\nEntwicklung von Integrationen für\neinzelne Frameworks\nfür uns immer eine Art Zwang war,\ndas Produkt zu erweitern und es so wachsen zu lassen, dass es den\nBedürfnissen der\nverschiedenen Arten von Integrationen und\nFrameworks, die wir zu unterstützen versuchen, gerecht wird.\nJa, ich denke, Gemeinschaftsveranstaltungen waren\nziemlich wichtig.  Ich denke an die\nAnfangsphase des Projekts zurück.  Ähm, Nikia und\nich beschäftigen uns hauptsächlich mit Programmierung.  Aber Xander hat\nviele gemeinnützige Veranstaltungen organisiert.\nJa, also er hielt so etwas wie\nPräsentationen oder sprach mit Leuten.  Ich\nglaube, wir haben durch die Veranstaltungen\nauch viele Leute kennengelernt, und\ndie haben dann gerne mit uns über Slack gesprochen.  Also, diese\nArt von Treffen mit Leuten\nvor Ort war ziemlich wichtig.  Einer der\ngrößten Beiträge, die\nArise und das Phoenix-Team meiner Meinung nach im\nBereich der Observability geleistet haben, war die\nFörderung von Hotel-\nund Open-Inference-Lösungen, offener Telemetrie und\noffener Inferenz.  Was war die treibende\nKraft dahinter?\nWir haben uns intensiv mit unstrukturierten\nDaten beschäftigt, und das war echt cool.  Um\nehrlich zu sein, ich glaube, wir hatten eines der\ncoolsten Produkte im Bereich unstrukturierter Daten.\nWissen Sie, wir hatten diese 3D-Visualisierungen\nvon Clustern.  Xander besuchte in den\nAnfängen solche Veranstaltungen in\nSan Francisco, und das sorgte für Aufsehen. Es war so etwas wie\neines\nder coolsten Projekte überhaupt, wissen Sie, da gibt es\nkeinen Zweifel [lacht].\nPhoenix war zweifellos eines der coolsten Projekte, allein schon\naus visueller Sicht.  Aber ich\nglaube, es brauchte ein bestimmtes Volumen, richtig?  Man musste das Ganze\nquasi im großen Stil anwenden und\nquasi ein Datenwissenschaftler sein.  Sie mussten\nKenntnisse über UMAP und HTB-Scan und\nClustering haben.\nDie Integrationen waren auch knifflig, nicht wahr?   Es\nwar einfach schwierig,\ndie Daten in das Produkt und schließlich in\nPhoenix zu bekommen, richtig?\nJa, wir haben es zum Beispiel durch ADA laufen lassen,\naber damals kamen\nSparse Embeddings und ähnliche Dinge erst auf.\nIch glaube, in Lang\nChain gab es schon einige Tracing-Primitive,\nund wir wussten, dass wir das auf viele\nandere Frameworks ausweiten mussten.  Ich\nglaube, was damals interessant war, war, dass\nalle Teams, die an\nFrameworks, Tracing oder Observability arbeiteten,\nextrem schlank aufgestellt waren. Es\nwaren also sehr kleine Teams, und es ist wirklich\nschwierig, ein Framework zu entwickeln und\ngleichzeitig Observability aufzubauen. Ich denke,\nwir wussten immer, dass unser oberstes Ziel darin bestand,\ndiese KI-\nSysteme erklären, auditieren und\nevaluieren zu können. Daher\nübernahmen wir gewissermaßen\ndie Rolle einer Observability-\nPlattform für eine Reihe\ndieser Frameworks.  Sie hatten zwar\nObservability-Primitive, aber sie gingen dabei\nalle\nunterschiedlich vor und\nmussten diese Verbindungen herstellen. Aufgrund\nder Natur der Sache wussten wir, dass\nwir Tracing betreiben mussten.\nIch denke, das Dilemma damals war, dass es sich um\ndieses Hotel oder etwas Ähnliches handelte, dessen Entwicklung hin zu\noffener\nTelemetrie Jahre dauerte, aber im Wesentlichen eine\nNetzwerk- und Entwicklerbetriebssache war –\ndie richtige Wahl für KI.  Und ich\nglaube, wir haben intern viele Debatten darüber geführt, sodass wir am Anfang im Grunde genommen einfach eine Art\nKlon von Open\nTelemetry erstellt haben.  Also haben wir etwas gebaut, das wir\nTracer nennen.  Wir hatten diese Idee der\nAttribution, Sie wissen schon, Attribute und\nSemantik in Bezug auf die\nAttribution.\nAber dann gab es immer dieses\nnagende Gefühl, dass das Ganze doch so\nsehr an ein Hotel erinnert, dass\nRoger sogar an\neinem Wochenende eine Pressemitteilung herausgab, um es in ein\nHotel umzuwandeln, und ich habe mich dagegen gewehrt,\nweil ich dachte,\nwir versuchen hier, einen quadratischen Pflock in\nein rundes Loch zu stecken.  Ähm, ich glaube, es gibt\nein paar Dinge, die\nunsere Meinung geändert haben.  Ich glaube, der erste\nGrund, warum wir unsere Meinung geändert haben, war der\nenorme Druck.  Ich glaube, der\nWechsel zu Hotel ähm, es gab eine Menge\nGitHub-Probleme ähm, die durch den\nWechsel zu diesem System entstanden sind.\nIch glaube, die zweite war intern und\nwir alle wussten, dass sie kommen würde, nämlich die\nIdee des verteilten Tracings.  In der\nAnfangsphase wussten wir also, dass die\nTelemetrie auf ein Notebook beschränkt war\noder dass man nur innerhalb\ndes Llama-Index verfolgen konnte.  Man könnte also einen\nTracer haben, der sich einfach innerhalb des Lama-\nIndex befindet.  Aber wir wussten, dass es\nMulti-Client-Systeme geben würde oder dass das LLM\nmöglicherweise nicht über denselben Dienst aufgerufen würde, über den\nes aufgerufen werden sollte.  Ähm, aber ich glaube,\nder eigentliche Höhepunkt war, als wir uns\nmit echten Nutzern unterhielten. Wir sind alle nach\nSan Francisco geflogen und haben an\ndiesen Veranstaltungen teilgenommen. Die Leute waren wirklich\nbeeindruckt von dem, was Phoenix leisten konnte\n, aber sie sagten dann zum Beispiel: „\nIch bin der Maintainer von\nLangchain für Go“ oder „Ich habe eine bestehende\nRuby-Anwendung“.  Ich würde Phoenix wirklich gerne nutzen\n, aber ich werde nicht so bald auf\nPython umsteigen.  Und so wurde uns\nallen in diesem Moment klar:\nWie erreichen wir die meisten\nNutzer und wie bieten wir den größten Nutzen?\nWarum nicht die bewährten Strukturen nutzen,\ndie es\nim DevOps-Bereich sowie im AI-Ops-Bereich bereits gibt? Das hat\nunsere Meinung\nim Nachhinein wirklich verändert. Ich denke, es war immer die\nrichtige Entscheidung, denn\nProbleme verstärken sich gegenseitig. Ich denke,\nDevOps-Probleme sind auch AI-Ops-\nProbleme, richtig?  Wie Sie ja\nwissen, [Gelächter] ist OpenAI\naufgrund von DNS-Problemen schon mehrfach ausgefallen.   Es ist also ganz\nklar, dass sich die Probleme im Bereich KI-Operations\nund DevOps\nin gewisser Weise überschneiden.  Aber so hatten sich\nunsere Ansichten\nin der Anfangszeit verändert, und so haben wir\nRogers PR einfach wiederbelebt und umgestellt\n.  Damals herrschte\ndiesbezüglich große Unsicherheit.  Es war also auch nicht\nwirklich offensichtlich, dass das Hotel die richtige\nWahl war.  Erst im Nachhinein\ndenken wir: „Oh, das war wahrscheinlich die beste\nEntscheidung.“ Aber damals gab es\neinige Unterschiede. In einem\ntraditionellen Hotel werden\nnormalerweise Ereignisse erfasst, zum Beispiel passiert\netwas, dies oder jenes zu diesem Zeitpunkt. Aber\nals wir uns\ndie Daten ansahen, die die\nLeute tatsächlich interessieren, handelte es sich um\nKilobytes an Daten, also Dinge wie\nEinbettungen, Vektoren oder ganze Absätze\noder Konversationen. Es ist also eine\nriesige Datenmenge, und die traditionelle\nObservability\nerfasst die Daten nicht so genau, wie es das\nVolumen ist, mit dem wir es zu tun haben.  Es\nwar also nicht wirklich offensichtlich, dass das das\nrichtige Fahrzeug war, denn traditionell ging es dabei\neher um Signale,\nEreignisse, Timing und so weiter.  Es war also\nwirklich ein neues Gebiet für uns.  Ähm, aber damals, als\nich den\nGroßteil des Codes schrieb, und ich\nwar damals auch noch neu in der Hotelbranche, habe ich\nviel recherchiert. Und genau das\nist das Schöne an Open Source: Man\nkann sich den Code von jedem ansehen und sehen, wie er\netwas gemacht hat. Genau das habe\nich damals oft getan. Und was\nich dabei herausfand, war, dass es im Grunde genau das tat,\nwas wir tun\nwollten, auch wenn es nicht auf die\ngleiche Weise verwendet wurde. Und nachdem wir uns für den\nWechsel entschieden hatten, stellten wir\nüberrascht fest, wie groß das\nInteresse der Leute war,\ndazu beizutragen.  Ich glaube, wir\nhaben Leute, die bei unseren Veranstaltungen mitwirken, und zwar deutlich\nmehr, seit wir\nauf offene Telemetrie umgestellt haben.  Interessanterweise herrschte\nursprünglich\ndie Ansicht vor, dass sich KI-Daten\nvon DevOps-Daten unterscheiden, doch während Sie\nan diesem Problemfeld arbeiteten, entwickelten Sie sich\nparallel weiter und landeten schließlich sozusagen wieder\nim\nHotelbereich.   Ja\n.  Ich meine, ich denke, es ist immer noch eine sich\nentwickelnde Geschichte, richtig?  Es\ngibt definitiv DevOps-Daten und\nes gibt unterschiedliche KI-Operations-Daten.  Ähm, aber\nich glaube, dass das Zusammenfügen dieser Teile\nmehr Vorteile als Nachteile hat.  Wissen Sie, ich\nglaube, die Dinge, die die Sache\nbesonders knifflig machen, sind genau die, über die\nRoger spricht.\nMultimodalität,\ngroße Datenmengen, personenbezogene\nDaten – das sind Dinge, die\nmeiner Meinung nach\ndie beiden Bereiche von Natur aus irgendwie voneinander trennen\n.  Aber ich denke,\nder Vorteil,\ndurch offene Telemetrie Einblick in diese Dinge zu erhalten,\neröffnet die\nMöglichkeit, auch verantwortungsvoll auswertbare\nAssets zu schaffen, und ich denke, das ist der Punkt, denn\nwenn man bedenkt, warum\nHotels ein solcher Beschleuniger für die Softwareentwicklung waren,\nkann man unbekannte Unbekannte über die\nverschiedenen Verzweigungen von\nDatenbankabfragen aufdecken.  Eine ähnliche Analogie lässt sich doch auch\nauf KI-Operationen anwenden, oder?\nSie rufen einen Drittanbieter in\nOpenAI oder Anthropic auf, und dieses System ist\ngrößtenteils nicht beobachtbar.  Man braucht also gewisse\nMöglichkeiten, um zu sehen, wie die\nDinge laufen.  Aber die größte\nVeränderung besteht darin, dass diese Systeme\nohne\nIhre Kontrolle verändert werden, richtig?  Deshalb benötigen Sie\nEinblick in diese Aspekte.  Genauso wie\nein Softwareentwickler\nHalte- oder\nLogzeilen einfügen und Fehler\nvor und nach der Ausführung beheben kann, gibt es eine ähnliche Analogie für\nKI: Man muss wissen, welche\nOpen-AI-Funktion man aufgerufen hat, wie sie\nreagiert hat und wie man sie beim nächsten Mal verbessern kann. Es ist also vergleichbar damit, dass\nWebentwickler zu KI-Entwicklern werden und\nDevOps-\nMitarbeiter sich nun mit KI-\nBetriebsproblemen auseinandersetzen müssen. Ich denke, es ist eine natürliche\nEntwicklung, die natürlich auch ihre Tücken hat,\nwie z. B. PII-Sampling, Filterung und\nspezifische Auswertungssignale, die auf\nOpen Telemetry aufbauen. Aber ich denke, die\nVerwendung der gleichen\nInfrastruktur bietet viele Vorteile. Eine der\nDinge, die mich an\nPhoenix überrascht haben, ist, dass es\nkomplett lokal ausgeführt werden kann und\nkeine Informationen an einen\nRemote-Server sendet – es sei denn, man hat\nes für die Ausführung auf einem Remote-Server konfiguriert\nund dies gewünscht.  Äh, ich bin\nsehr gespannt auf lokale und geräteinterne\nLLMs.  Und manchmal bedeutet das, dass man\ntatsächlich Auswertungen auf dem\nRechner einer Person durchführen muss, ohne dass die Daten jemals\ndiesen Rechner verlassen.  War dies eine\nbewusste Entscheidung oder ergab sie sich\neinfach im Rahmen des\nGesamtkonzepts?\nIch denke, es ist ein glücklicher Zufall, und außerdem gefällt uns die Art und\nWeise, wie wir uns entwickeln, und\nich denke, dass es jetzt noch mehr Sinn macht als\nzuvor.  Ähm, wissen Sie, so ähnlich wie\nwir es schon ein bisschen besprochen haben,\ndenn es begann mit einer\nJupiter-Erweiterung. Es ging buchstäblich nicht, wir...\nwir haben ja nie eine\nSAS-Plattform entwickelt, richtig?\n[Gelächter], also mussten wir immer davon ausgehen,\ndass alles\nlokal laufen musste. Ich glaube, dann wurde das gesamte\nEntwicklerteam irgendwie süchtig danach, zuerst\nlokal arbeiten zu können.\nRoger fand zum Beispiel ein Problem,\nschickte mir einfach seine SQL-IDB-Datei, und\nich konnte es reproduzieren. Das war also ein\nenormer Beschleuniger für\nunsere Arbeit.\nWir mussten lediglich sicherstellen, dass die\nTreiber mit\nPostgreSQL und ähnlichen Systemen kompatibel sind.  Und so war es\nzunächst mit dieser lokalen Sache,\nich glaube, wir waren da irgendwie\nfestgefahren, aus\nMangel an einem besseren Wort [Gelächter], wissen Sie, wir\nwussten immer, dass wir\nauf einem lokalen Host laufen können mussten, und dann gab es\neinfach Anzeichen dafür, warum das\nSinn machte, richtig?  Ich glaube, als\nOlama herauskam, waren wir alle total begeistert von\nOlama.  Und dann dachten wir:\nOkay, wir fügen einfach Lama-\nUnterstützung hinzu, und dann\nkam Quen mit 70 Milliarden\nParametermodellen heraus, die auf meinem Mac laufen, und ich dachte nur:\nDas ist genial.  So wie ich es kann – ich kann\nprogrammieren, während ich im Flugzeug sitze.  Und ich\ndenke, jetzt, wo wir an einem Punkt angelangt sind, an dem es noch sinnvoller ist,\nlokal zu priorisieren\n.  Ähm, insbesondere bei\nAgenten, zum Beispiel, ich denke,\nwir sind wirklich begeistert von der Idee,\neinem Agenten einen Observability-Stack zu geben.\nWir betrachten sozusagen die Idee,\neine Softwarefabrik aufzubauen, richtig?\nWie kann man mehrere Agenten gleichzeitig\nausführen und\nderen Änderungen überprüfen? Nun, man muss\ndiesem Agenten sozusagen seine eigene Sandbox-\nObservability-Umgebung geben. Phoenix\nkann das, richtig? Und wir haben uns alle auf\ninteressante Weise damit beschäftigt,\nrichtig?  Einige von uns haben beispielsweise Git-\nArbeitsverzeichnisse, auf denen mehrere Phoenix-Instanzen\nlaufen, und möchten, dass diese\nihre Änderungen gewissermaßen nachverfolgen können.  Ähm, das\neröffnet also viele interessante Ideen.  Ähm, ich\ndenke also, es war ein glücklicher Zufall.  Ich glaube, das ist\nauch der Grund, warum Phoenix\ngetestet wird, weil es bis zu einem gewissen Grad als vertrauenswürdig gilt,\nda es in solchen\nLockdown-Umgebungen funktioniert.  Deshalb halte ich abgeschottete\nUmgebungen für enorm\nwichtig.  Ich glaube, in dem Moment, als wir wussten,\ndass es so viele personenbezogene Daten gibt – es gibt\nfast keinen Unterschied mehr zwischen der Beobachtbarkeit von KI und der Entfernung personenbezogener Daten –, wurde uns klar, dass es fast\nunmöglich ist, personenbezogene Daten aus der\nKI-Beobachtbarkeit zu entfernen, da diese LLMs selbst\ninnerhalb der\nmenschlichen Natur lernen, da sie über ein Gedächtnis verfügen und\nviel persönlichen Kontext enthalten, also viele\nsensible Informationen. Deshalb haben\nwir dieses Mantra bzw.\ndiese Philosophie stets beibehalten und\nunterstützen\nmit der Plattform immer die lokale „Privacy First“-Mentalität.\nJa, ich denke, das hilft einfach\nallgemein mehr Menschen.  Ich denke,\nwir haben im Laufe der Zeit interessanterweise festgestellt, dass es\nviele Supportanfragen\nvon Windows-Nutzern gibt.  Ähm, das hat\nuns etwas überrascht.  Ich denke, es war auch ein\nTest, eine Art Beweis dafür, wie weit\nverbreitet die KI-Einführung ist.  Es gibt\nviele Menschen, die KI in Unternehmensumgebungen einsetzen,\nwo man keinen Zugriff\nauf SAS oder die sensiblen Daten hat, die sie\nverfolgen möchten.  Ähm, und Fenix ​​war\nin diesen Umgebungen wirklich nützlich, weil man\nes einfach lokal verfolgen konnte.  Sie können sehen,\nwas vor sich geht, ohne\ndie Daten an einen anderen Ort senden zu müssen.  Und\nich war tatsächlich sehr überrascht von der\nAnzahl der Menschen, die mit Problemen zu uns kamen,\nund wir mussten\ndiese beheben. Ich war ziemlich froh,\ndass wir diese Menschen erreichen konnten.\nIch denke, wir sind doch alle auch Entwickler,\noder?  Es ist also fast so, als ob ich, wenn ich\netwas iterativ optimiere, kein\nGeld dafür bezahlen sollte, Daten an eine SAS-Plattform zu senden\n, richtig?  Ich denke, die\nrohstoffbasierte Preisgestaltung macht viel\nSinn, wissen Sie, so wie\nvolumenbasierte Kosten, aber ich möchte wirklich\nniemandem Geld zahlen müssen\n[lacht], damit er\nmeine Telemetriedaten erfasst, wenn ich lokal\nan Dingen iteriere.  Ich denke also, es\nmacht einfach zu viel Sinn, wenn wir\ndie lokalen Angebote nicht auch unterstützen.  Aber\nich denke, es macht im Hinblick auf die aktuelle Lage noch mehr Sinn\n.  Ich meine, ich glaube, wir hatten eine\nGeschichte, richtig?  Ich glaube, Rusty wollte\nihn vielleicht zur Rede stellen, aber er\n[Gelächter] Ich erinnere mich, dass er so sehr\nin seine lokale Entwicklung vertieft war.  Ich glaube, wir\nkamen an einen Punkt, an dem manche Leute\nlokale SQLite-Instanzen mit etwa 200 Gigabyte betrieben\n[Gelächter], und wir waren ziemlich\nschockiert und dachten: Wow, okay, die Leute\nnutzen es wirklich auf diese Weise.  Also, ähm, ja,\nich denke, eines der\ngroßen, oft übersehenen Merkmale von\nPhoenix war die Geschichte von Leuten, die\n400 Ingenieure in ihrem\nUnternehmen hatten.  Alle 400 dieser Ingenieure können\ndenselben Observability-Stack nutzen, ohne\nzusätzliche Kosten.\nUnd ich denke, genau deshalb\nglauben wir an das Phoenix-\nProjekt, denn es ist in erster Linie ein\nEntwicklerwerkzeug.  Es\nermöglicht lokalen\nEntwicklern definitiv, SAS-\nQualitäts-Observability- und\nEvaluationssuiten direkt auf ihrem Laptop zu nutzen.   Es ist\nnachvollziehbar, warum es\nbei Menschen, die in Unternehmen an\nWindows-Rechnern arbeiten, so beliebt ist.  Es ist Open Source,\ndaher müssen Sie nicht – nun ja, Sie\nsollten wahrscheinlich Apps verwenden – aber Sie\nmüssen sich nicht von\njemandem, der über ein Budget verfügt, etwas abschreiben lassen.  Sie können\nes einfach einrichten, und es ist zudem zunächst lokal,\nwas bedeutet, dass Sie sich keine Sorgen\ndarüber machen müssen, personenbezogene Daten oder andere\nsensible Informationen vom Gerät zu senden.  Sie\nverwenden ein lokales Modell, richten Ihre lokalen\nTraces ein und schon kann es losgehen\n.  Sie müssen nicht um\nErlaubnis fragen, bevor Sie anfangen, das Richtige zu tun,\num das System, das\nSie entwickeln, weiterzuentwickeln und zu verhindern, dass es über\nNacht zusammenbricht.  Ich glaube, es gibt\neine Geschichte darüber, dass Phoenix\nfür AX als Hotelsammler tätig war.\nWie konnte das passieren?\nNun ja, ich meine, ich denke, das ist\neine interessante\nDynamik bei Arise, nicht wahr?\nIch glaube, Arise war nicht etwa ein widerwilliges\nOpen-Source-Unternehmen, sondern eher im Grunde schon\n.  Und so denke ich, dass wir drei\nehrlich gesagt eine Zeit lang so eine\nArt geheimes\nArise-Projekt betrieben haben, so nach dem Motto: „Hey,\nwir brauchen Tracing, könnt ihr das zum Laufen bringen?“\noder „Hey, wir haben keine\nEvaluierungsfunktionen, könnt ihr welche entwickeln?“ Ich denke, aufgrund der\nNatur von Open Source und\nweil wir in Kontakt mit\nunseren Entwicklern standen und es auch\neine tolle Gruppe von Leuten war, haben wir\nfrüh viele Dinge im Open-Source-Bereich entwickelt, und\ndie Nachfrage danach existierte offensichtlich im\nUnternehmensbereich, war aber eher\nlatent. Das passt auch zum\nHotelbereich, und das\nist ein weiterer Grund, warum wir uns entschieden haben, ein\nHotel zu entwickeln. Ich glaube,\nEnde 2023, als wir Tracing hatten,\nfunktionierte es nur mit Rise –\nEntschuldigung, speziell mit Phoenix –, aber wir wussten, dass das\nein\nEnterprise-Projekt werden würde.\nWir wussten, dass es ein größerer\nKampf werden würde, weil es\nInstrumentierung erfordert, aber um\ndas zu erreichen, dachten wir: Okay,  Wir sollten\nunsere Beobachtbarkeit in einen gemeinsamen\nStandard überführen.  Wir sollten es als\nOpen Source veröffentlichen, damit auch AX davon\nprofitieren kann.  Und wir wussten,\ndass es einige Zeit dauern würde, bis\nArise AX fertig war.  Ich glaube,\nArise AX hat\nin mancher Hinsicht eine noch größere Evolution durchgemacht als Phoenix\n.  Sie wissen ja, Arise AX war eine\näußerst vertrauenswürdige Plattform für ML-\nObservability und hatte eine große\nNutzerbasis im Bereich ML-Observability, die nun\nin den\nBereich LM-Observability überging.  Und so\nwollten wir einen Weg finden, wie man\nbeides gleichzeitig nutzen kann, richtig?\nMan könnte Spuren mit Phoenix sammeln, die\ndann aber auch wieder\nin AX eingespeist werden könnten, und wir könnten\ndie beiden Plattformen gemeinsam weiterentwickeln\n.  [räuspert sich] Und so konnten wir\ndiese Lücke gewissermaßen schließen,\nindem wir sagten: Phoenix ist der\nDatensammler, und das Data Warehouse\nund die gewonnenen Erkenntnisse können\nin AX gespeichert werden.  Und wir konnten\ndiese Lücke nahtlos überbrücken, indem wir\nein geheimes Phoenix-Projekt eine Zeit lang als\nSammler für AX einsetzten\n.   Wisst\nihr, ich wette, es gibt viele\nPhoenix-Fans da draußen, die gar nicht\nwussten, dass es AX gibt.  Manchmal besuche ich\nKonferenzen\noder Meetups und frage dort: „\nWer von euch nutzt AX?“  Wer von euch nutzt\nEvaluierungen?  Okay, wer nutzt Phoenix?\nUnd dann gehen die Hände hoch.  Ich habe das Gefühl, dass\nPhoenix und Evals\nin manchen Kreisen synonym verwendet werden, aber manche Leute wissen vielleicht\nnicht, dass Arise auch\nPhoenix herstellt.  Wie würden Sie\nden Unterschied zwischen\nPhoenix und AX beschreiben?\nJa, ich glaube, sie überschneiden sich wahrscheinlich\nin mehr Hinsichten, als\nwir\nerwarten würden. [Gelächter]  Sie basieren gewissermaßen\nauf zwei verschiedenen Zielen, und ich denke,\nes ist wichtig für Unternehmen, beides zu haben\n.  ähm, in gewissem Maße.  Ich denke, Sie\nwissen, was unser Ziel bei Phoenix ist:\nso viele Nutzer wie möglich zu erreichen.\nDas Ziel von uns dreien und\ndem Phoenix-Team ist es also, Nutzer zu erreichen, und\ndann genießen wir den Vorteil, uns keine Gedanken\num die Umsatzseite machen zu müssen\n.  Und was wir versuchen zu tun, und ich\ndenke, das ist eine gute Sache, ist, die Stärken\nbeider Seiten optimal zu nutzen.\nAX bietet also offensichtlich enorme\nVorteile in Bezug auf die Infrastruktur, enorme\nVorteile in Bezug auf Sicherheit und Compliance und bietet eine erstaunliche\nUnterstützung für Unternehmen sowie die Möglichkeit,\ngroße Datenmengen lokal bereitzustellen.  Und so sind wir\ntatsächlich in der Lage,\nneue und innovative\nEvaluierungstechniken zu entwickeln, die offen zugänglich sind, oder uns auf die\nTelemetrie zu konzentrieren, was beiden\nSystemen zugutekommt.\nÄhm, und so haben wir sozusagen diese\nergänzende Rolle und\nbekommen dafür natürlich auch ein Gehalt.  Und\nich denke, das ist das wirklich Schöne daran:\nWir können uns\nnicht unbedingt auf uns selbst als\nUnternehmen konzentrieren, sondern vielmehr darauf,\neine Vielzahl von Vorteilen mit einer\nFreiheit zu schaffen, die nur wenige\nandere Open-Source-Projekte bisher genießen konnten\n.  Ich denke, Sie wissen, dass AX\nviele tolle\nFunktionen bietet und von einem viel größeren Team unterstützt wird\n.  Sie konnten also über viele Dinge nachdenken, und zwar aus\nder Perspektive, was\nerforderlich ist, um KI-Systeme\nin großen Unternehmen produktiv einzusetzen.  Und ich\ndenke, damit gehen auch eigene Vorteile\nund Facetten einher, großartige\nEigenschaften, die uns voranbringen.  Und ich glaube, umgekehrt\nfördert Phoenix auch AX, weil\nOpen-Source-Entwickler Dinge in\nder Entwicklergemeinschaft viel schneller übernehmen.\nAlso, die neuen Frameworks oder\ndie neuen Muster entstehen im\nOpen-Source-Bereich, und das Vertrauen in bewährte\nund erprobte Lösungen funktioniert bei\ngroßen Banken und großen\nFluggesellschaften. Informationen fließen ein,\nund wir halten die Informationskanäle offen. Wir versuchen, eine\ngemeinsame Basis zu schaffen – gemeinsame\nStandards, gemeinsame Telemetriedaten,\ngemeinsame Evaluierungsmethoden –, und\nstellen sicher, dass diese immer wieder auf\nOpen Source zurückgeführt werden, damit sich beide Systeme weiterentwickeln können.\nUnd so sehe ich das im Grunde\n.  Es geht nicht einmal darum, dass es zwei\nPlattformen gibt.  Es sind im Grunde diese\nbeiden... es gibt an\njedem Ende unterschiedliche wirtschaftliche Gegebenheiten, und wir versuchen,\nalles Wichtige in die\nOpen-Source-Welt zu bringen.  Was wir in\nden letzten Monaten immer wieder betont haben, ist die Bedeutung des\nKontextes, richtig?  So wie die\nBewertung ein Signal ist.  Es ist das Signal,\ndas von Menschen kommen könnte.  Es könnte\nvon einem QA-Team stammen.  Es könnte von\nSpezialisten kommen, wenn Sie beispielsweise im\nmedizinischen Bereich arbeiten.  Ähm, und\nall diese Meinungen zählen.  Und die\nArt von Plattform, die\nall diese Informationen sammelt und speichert, um beispielsweise\nVerbesserungen oder\nReflexionen über Codierungsagenten zu erzwingen.  Das alles\nspielt sich gewissermaßen in Phoenix ab.  Und\nja, ich denke, wie du schon sagtest, Rachel, die\nDinge verändern sich offensichtlich sehr\nschnell, nicht wahr?  Wenn man beispielsweise mit einem Team spricht\nund Notion sagt, dass sie\ndie Art von Agenten, die sie sich gewünscht hatten,\nin den Jahren 2023 und 2024 nicht einsetzen konnten, richtig?  Sie mussten die\nModelle feinabstimmen, um Funktionsaufrufe durchführen zu können\n.  Und dann spürten wir alle irgendwie\nden Umschwung Ende 2025, wo\nwir dachten: Okay, wissen Sie, [Gelächter] wenn man\nmit Claude Claude 45 spricht, dann erledigt das die\nDinge jetzt tatsächlich mit einem Schlag.  Ähm, es gab\ndefinitiv diesen, wissen Sie,\nParadigmenwechsel.  Und ich denke, genau da stehen wir im Moment\n, richtig?  Das ist der Punkt, an dem es früher war:\nMan versucht, das KI-\nSystem für die heutigen Modelle nutzbar zu machen.\nIch denke, jetzt haben Sie die Flexibilität, darüber\nnachzudenken, ob\nSie die richtigen Dinge für den\nAgenten oder das LMS entwickeln, das\nin etwa 6 Monaten auf den Markt kommen wird.\nWir müssen also unsere Denkweise verändern,\nund deshalb sind Evaluierungen so\nwichtig: Wenn diese Veränderungen eintreten, möchte man in der Lage sein,\nnoch schneller auf Verhaltensänderungen zu reagieren.\nWarst du es, der gesagt hat, dass man Phoenix\nals die Schweiz der E-Vokale betrachten kann?   Keine\nfesten Lieferanten, keine Tore.  Es integriert\njedes Framework in jeden\nHintergrund und funktioniert mit jedem Backend, sowohl mit\nPython als auch mit TypeScript.  Ich meine, ich glaube,\nin der Anfangszeit wussten wir auch\nnicht wirklich, wie eine gute Evaluation\naussehen sollte, richtig?  Und so ist es ein\nBeweis dafür, dass wir, glaube ich, im Allgemeinen\nimmer von unserer\nCommunity lernen wollten, und um das zu erreichen,\nwollten wir nicht sagen, wie\ngute Evaluierungen aussehen, denn ich\ndenke, es gab viele Dinge, die wir\nnicht wussten, wissen Sie, wir wussten nicht, wie man\nZusammenfassungs-Evaluierungen oder Rogue Score\noder Embedding Similarity durchführt, was viele Leute\nerforschten, und im Allgemeinen wollen\nwir einfach, dass die Leute\nmit Evaluierungen experimentieren und dass man uns\nvertraut, dass wir das auch erfassen können\n.  Da wir ja quasi die\nSchweiz sind, denke ich, dass es von\nNatur aus unser Leitstern oder einfach das ist, woran\nwir glauben, dass KI\nfür die Menschen funktioniert.  Und Open Source ist\nein Medium, durch das wir lernen können.\nÄhm, und deshalb lassen wir naturgemäß\nalles offen.  Ähm, wissen Sie, ich erinnere mich\nbesonders daran,\neinen Podcast mit John\nCarmarmac gehört zu haben, und warum er\nQuake mit seiner eigenen\nC-Variante entwickelt hat, damit die Leute daran herumtüfteln konnten\n.  Ich denke, es ist die gleiche Herangehensweise wie bei uns\n, wissen Sie, wir\nwollen, dass die Leute\nAgenten erstellen können, die funktionieren, richtig?  Und daran\nhaben auch wir ein großes Interesse\n.  Wir entwickeln quasi unsere eigenen Agenten\nund wollen, dass sie funktionieren, und dafür werden wir\ndefinitiv Phoenix einsetzen\n.  Und deshalb denke ich, dass wir in der Lage sein\nwollen, – wissen Sie, die\nSchweiz ist vielleicht ein interessanter\nBegriff –, dass wir wirklich daran glauben, dass\nFlexibilität besonders\nwichtig ist und dass wir nicht dogmatisch sein wollen, also nicht sagen müssen, dass man\nunsere Plattform nutzen muss, um\ngute Observability zu erreichen, denn je offener wir sind, desto eher gewöhnen sich die\nLeute daran\nund können ihr vertrauen.  Aber\nes hilft uns auch einfach dabei, diesen sich\nständig weiterentwickelnden Markt, der immer wieder neu bewertet\nund analysiert wird, besser zu verstehen und zu analysieren.  Ja, ich\ndenke, wir glauben, dass die Zukunft\nOpen Source ist, und wir werden\ndieses Jahr definitiv doppelt so viel Wert darauf legen.  Als wir uns\nentschieden,\nTracing speziell für Phoenix zu entwickeln\n, ergab sich eine Gelegenheit.  Wir hätten\nes einfach\nPhoenix Tracer nennen können und es so machen können,\noder wir hätten, wissen Sie,\ndie Dinge nachahmen können, die uns an\nder Hotellerie gefielen.  Und ich glaube, was\nuns besonders gefallen hat, war die Idee, dass\nSemantik eine wichtige Rolle spielt.  Und\nironischerweise glaube ich, dass Semantik\njetzt, wo wir Codierungsagenten haben, noch wichtiger ist\n.  Sie müssen\ndie Daten verstehen, aber wir wussten, dass es da im\nGrunde eine gemeinsame\nBasis gab, eine\nArt demokratisierende Oberfläche, die wir\nschaffen mussten. Wir\nwollten nicht sagen, dass diese\nDinge für dieses Framework wichtig,\naber für jene nicht wichtig sind. Wir\nwollten sagen, dass es einen gemeinsamen Satz von\nDingen gibt, die wichtig sind. Das\neinfachste Beispiel war die LLM-Schicht.\nWir wussten, dass die LM-Schicht\nwichtig ist, also welche Eingabeaufforderungen werden verwendet,\nwelche Ergebnisse werden generiert, welche\nHyperparameter\nwerden verwendet und wie werden\ndiese Dinge synthetisiert?  Die waren\nwichtig.  Aber ich glaube, was wir\nziemlich früh erkannt haben, ist, dass LM-\nSysteme als Ganzes eine\nReihe gemeinsamer Probleme aufweisen.  Sie haben eine\nReihe gemeinsamer Probleme im Zusammenhang mit Lumpen.  Sie\nhaben gemeinsame Probleme im Zusammenhang mit dem\nAufruf von Agententools.  Sie haben gemeinsame\nProblemfelder bei Themen wie der\nNeubewertung von Dokumenten und ähnlichen\nFragestellungen.  Und so entstand Open Inference,\nnicht nur als eine Art\nKonventionen zur Beobachtbarkeit des LM-Stacks, sondern auch als eine Frage, die sich stellt, was\nKI-Anwendungen betrifft\n.  Und so haben wir unsere eigenen\nKonventionen entwickelt und daraus eine Art\nStandard gemacht, den jeder\nnutzen kann, egal ob er ein\neigenes Framework, eine eigene\nmanuelle Instrumentierung oder eine\nLernmethode wie Hugging Phase oder eine\nSprachkette verwendet. Das ist sozusagen der\nUrsprung und der Grund, warum wir\nzuerst eine Spezifikation erstellt haben.  Wir haben zufällig\nan Monor-\nRepos geglaubt und uns entschieden, die\nInstrumentierung direkt neben die Spezifikation zu stellen, um\nblitzschnelle\nÄnderungen vornehmen zu können. Ich denke, das war der Grund für den\nErfolg von Open Inference: Es wurde von\nPraktikern entwickelt, die sich\nvielleicht immer mit\nder Zukunft beschäftigen – wie sieht die Welt\nin drei Jahren aus? Wie sieht\nObservability aus? Bei LMS ging es aber\nwirklich darum, wie die Zukunft\njetzt aussieht, quasi im Zwei-Tage-Rhythmus.\nWie verändern sich die Dinge? Und ich\ndenke, weil es Open Source war und\nweil\nder Code so einfach neben der Spezifikation einsehbar war und es\ndiese typischen Probleme von Profis löste, wie z. B.\nEingabeaufforderungen,\nAbruf oder die Möglichkeit,\nLMS-Workflows für Dokumente usw. durchzuführen, haben sich die\nLeute dafür begeistert.  Sie\nwollten eine Reihe von\nMöglichkeiten schaffen, ihre Anwendungen nachzuverfolgen, die, nun ja, in Ermangelung eines\nbesseren Wortes, demokratisiert waren und von jedem\ngenutzt werden konnten, richtig?  Zum Beispiel, ob\nSie Data Dog,\nAX oder\nPhoenix verwenden.  So wurde es zu einem Weg, über den\nsie die meisten\nMenschen erreichen konnten und\nmit Leuten wie uns zusammenarbeiten konnten, mit Leuten wie\nRoger, mit Leuten wie Xander, die sie sozusagen anleiten\nund\nihnen die Gründe dafür erklären konnten, warum wir\nbestimmte\nKonventionen etabliert hatten und weil wir diese\nPolitik der offenen Tür verfolgten, nicht wahr?  Wir bringen\nIhnen beispielsweise den\nObservability-Stack zur Verfügung, Sie bringen Ihre\neigene Instrumentierung mit und wir helfen\nIhnen bei deren Wartung.  Wir haben damit eine\ngroße Anzahl an Adoptionen erzielt.\nIch glaube, wir hatten einige besonders\naufregende Momente, wie zum Beispiel, als\nwir zum ersten Mal PR von\nHugging Face bekamen, das war super aufregend.\nXander musste offensichtlich viel\nArbeit in die Pflege dieser Software über die\nJahre investieren, aber ich denke, genau deshalb\nvertrauen die Leute Open Inference:\nweil wir es wirklich auf dem neuesten Stand gehalten\nund gewartet haben. Und ähm ja,\nwas können wir von Phoenix in\nZukunft erwarten, jetzt, wo ihr 10.000\nGitHub-Sterne-\nAgenten erreicht habt?\n[Gelächter]\nAgenten.   Ja\n.  Ich meine, ich meine, ich glaube,\ndas ist so was wie das Wort des\nTages, oder?  Genauso ist es doch auch bei\nSoftwareanwendungen: Die\nErwartungen der Nutzer haben sich im Vergleich zu\nvor einigen Jahren verändert, nicht wahr?  Und wissen Sie, wie so etwas wie die\nAgenten-First-Erfahrung\naussieht, wenn man Phoenix\nbenutzt? Phoenix ist ja eine\nAnwendung, richtig? Und wenn man\nmit einer Benutzeroberfläche arbeitet, welche\nErwartungen hat man dann in Bezug auf die Integration von\nIntelligenz in die Benutzeroberfläche?\nPhoenix ist ja auch [Musik]\nein Entwicklertool, richtig? Unsere Endbenutzer\nsind Entwickler, und die\nArbeitsweise von Entwicklern hat sich\nin der letzten\nZeit ziemlich drastisch verändert, richtig?  Also, ich\nglaube, ich mag handgeschriebenen Code nicht\nmehr, was irgendwie verrückt ist.  Ich\ntippe den Code ja nicht manuell ein.  Ich sage Claude\nan dieser Stelle, was er tun soll.  Und ich glaube, dass das\nviele Leute\nauch tun.  Das bedeutet also einfach, dass es so etwas wie eine\nSchnittstelle zwischen Entwicklern und\nihrem Code gibt.  Und deshalb müssen wir sozusagen\nin diesem Flow sein und\nWege finden,\nmit Coding-Agenten zu interagieren und\nKontext in Coding-Agenten einzuspeisen und\nsicherzustellen, dass\nwir diesen\nAgent-First-Flow sowohl in der Benutzeroberfläche als auch in\nder Entwicklererfahrung ermöglichen.\nViele Dinge, die Phoenix auszeichnen,\nwerden sich nicht ändern, wie das Vertrauen, das wir uns durch\ndie lokale Datenverwaltung erarbeiten, die\nWertschöpfung für die Nutzer und die aktive\nFeedback-Community.\nDiese Dinge bleiben bestehen. Ich denke, es wird sich aber auch\nverändern, und wir werden\njeden Tag von verschiedenen\nMenschen Neues lernen. Das ist der\nwichtigste Punkt. Ich stimme Xander zu: Da sich die\nDinge\nso schnell verändern, müssen auch wir uns anpassen. Deshalb\ntreiben wir die Entwicklung des\nKontaktmanagers voran\nund beobachten den Alltag, wie sich\ndie Programmierung im Allgemeinen verändert,\nwie wir das selbst empfinden und wie\nwir diese Erkenntnisse in\nPhoenix anwenden und\nder Community zurückgeben können.  Ich glaube, das ist das\nWichtigste.   Ja\n.  Ich denke, die bleibende\nBotschaft ist, wie\nXander schon sagte, richtig?  Ich denke, es hat sich definitiv ein\nenormer Wandel in der Softwareentwicklung vollzogen,\noder?  Als wäre die\nVerwendung von Codierungsagenten so einfach.  Ich denke, das\nProgrammieren und die Umsetzung von Ideen in die Realität waren,\nwissen Sie, ein enormer Durchbruch, insofern als\nRoger es, glaube ich, als eine Art\nÄquivalent zur industriellen\nRevolution darstellte.  Aber ich denke, was\nuns wirklich wichtig ist, ist,\nein großartiges Produkt zu entwickeln, das\nMenschen dabei hilft, großartige KI-Anwendungen zu entwickeln, die\nfür Menschen funktionieren.  Und ich denke, es\nbesteht eine gewisse Gefahr, dass man, wenn man\nden einfachsten Weg wählt, zwangsläufig\nmehr Schund produziert. Ich denke, es gibt\netwas, das man in Einklang bringen muss,\nund ich denke, es liegt in\nder Natur der Sache, wenn Agenten andere\nAgenten schreiben. Wie lernen\ndiese Agenten die\nbesten Praktiken kennen? Wie lernen sie,\nüber ihre Fehler zu reflektieren? Wie\nbeweisen sie uns Menschen, dass sie\nWert schaffen und nicht betrügen?  Ähm,\nund ich denke, genau da sehen wir uns\nselbst: Wir wollen\nimmer Beschleuniger sein.  Wir\nfreuen uns genauso wie alle anderen darauf,\nCoding-Agenten einzusetzen.  Das ist ein enormer Fortschritt\nfür uns und ein Beschleuniger, aber es gibt\ndort auch bewährte Vorgehensweisen.  Da ist,\nwissen Sie, menschliche Disziplin.  Es gibt\nwissenschaftliche Ansätze, um\nDinge tun zu können.  Evidenzbasierte\nEntwicklung ist wichtiger denn je,\nund Überprüfung und Automatisierung\nsind wichtiger denn je.\nUnd ich denke, das ist im Grunde das, was man\nvon Phoenix erwarten kann: mehr\nMöglichkeiten für Agenten,\nDaten abzurufen, und Agenten, die über die\nentsprechenden Berechtigungen verfügen, um im\nNamen von Benutzern Aktionen auszuführen.  Sie können davon ausgehen, dass mehr\nMenschen in die Prozesse eingebunden werden, sei es, dass\nMenschen das LMS auffordern,\nÄnderungen vorzunehmen, und wir\ndiese Änderungen dann genehmigen, oder umgekehrt, dass\nExperten mit Erkenntnissen kommen\nund wir Menschen\ndiese Daten dann verarbeiten können.  Wir sehen, wie sich all\ndiese verschiedenen Abläufe entwickeln, aber im\nKern geht es darum, dass\nwir\ndiese Systeme offen gestalten, sodass sie überprüfbar sind.\nSie sollten\nPhoenix verwenden, wenn Sie KI-Systeme ausliefern möchten, denn die\nEntwickler glauben an die Idee, dass man die\nVerantwortung für die Auslieferung von KI-Systemen übernehmen muss. Das ist ein zentraler\nWert, und wir werden nicht einfach nur\nagentenbasierte Entwicklungsabläufe hinzufügen, um ihrer selbst willen.\nWir werden es hinzufügen, weil wir\nwissen, dass bewährte Verfahren\nintegriert sind, die richtigen Schnittstellen vorhanden sind, die\nrichtigen Berechtigungen vorhanden sind und\nDatenschutzbedenken\nberücksichtigt werden. Ich denke, das fasst es ganz gut zusammen:\nSchnell, aber verantwortungsvoll zu liefern, ist sozusagen unser\nMotto.  Und ähm, wir versuchen definitiv,\nein System zu entwickeln, das Ihnen hilft,\nschneller, aber auch verantwortungsvoller voranzukommen.   Toll\n.\nWo können sich Interessierte\nam Phoenix-Ökosystem beteiligen?\nWir lieben den Austausch mit unseren Nutzern und ich\ndenke, wir alle wollen lernen und uns mit\nden coolen Dingen auseinandersetzen.  Wisst ihr,\nder Grund, warum dieses Team so viel Zeit\nauf Slack verbringt, ist, dass wir\ndie alten Zeiten der IRC-Kanäle vermissen, wo\nman noch mit uns reden konnte.\nMelde dich also unbedingt bei uns über Slack.  Offensichtlich\nleben wir auf GitHub.  Ähm, und das sind\nwahrscheinlich die besten Wege, um\nuns zu erreichen.  Ähm, wir reagieren extrem schnell.  Das\ndenke ich auch, und wir lieben es, uns über coole\nDinge auszutauschen und wollen deshalb in\ndiesen Gemeinschaften leben und von\neuch allen lernen.  Und falls Sie Feedback haben, können Sie sich\ngerne an uns wenden.  Wir sind\nimmer für Sie da.",
  "transcript_chars": 54387,
  "ingested_at": "2026-06-15T01:13:22.766431+00:00",
  "source": "channel",
  "yt_meta": {
    "view_count": 233,
    "like_count": null,
    "channel_id": "UCrVHzD-psX5IMCGoEWHXmGw",
    "categories": [
      "Science & Technology"
    ],
    "tags": []
  }
}