{
  "video_id": "OV56RddyFuU",
  "channel_slug": "aidotengineer",
  "channel_handle": "aidotengineer",
  "title": "Your Agent Can Now Train Models — Merve Noyan, Hugging Face",
  "duration_seconds": 1151.0,
  "url": "https://www.youtube.com/watch?v=OV56RddyFuU",
  "upload_date": "",
  "transcript": "Hallo zusammen und herzlich willkommen zu diesem Vortrag über das\nOpenAgent-Ökosystem, oder besser gesagt, über die Möglichkeit,\neinen KI-\nIngenieur jederzeit zur Hand zu haben.   Ähm, ich\nbin Marvia und arbeite im Open-\nSource-Team von Hugging Face.  Wie viele von\neuch verwenden täglich einen Umarmungs-Gesichtsausdruck\n?\nOh, das sollten wir ändern.  Das ist nicht in Ordnung.\nÄhm, aber zuerst sollten wir ein bisschen über Open\nSource und was das eigentlich ist, sprechen.  Wenn es also\num maschinelles Lernen geht, ist Open Source\nabsolut richtungsweisend.  Grundsätzlich\ngibt es die Modelle mit offenem Gewicht,\ndie mit nicht-kommerziellen\nLizenzen verwendet werden.  Wir nennen sie offene Gewichtung und\ndann gibt es Open-Source-Modelle, die\nkommerziell erhältliche Lizenzen haben,\nwie zum Beispiel diese von Deepseek, sie\nheißt MIT-Lizenz oder Apache 2.0. Und\ndann gibt es noch weitere offene Modelle, bei denen\nder Code offen ist.  Wenn man solche\nAgenten vor Ort hat, ist alles möglich,\nalle Türen sind offen.  Und das ist umso wichtiger, als erst\ngestern oder vorgestern\nbekannt wurde, dass die Leistung der Cloud\nnachlässt.  Wenn man also\nalles offenlegt, ändert sich nichts,\nohne dass man es merkt.  Keine\nLeistungseinbußen, ohne dass Sie merken, dass\nalles bestens ist.  Aber darüber hinaus kann man,\nwenn man Zugriff auf die Gewichte hat,\ndiese verkleinern, quantisieren und\nfeinabstimmen, wenn man möchte\n.  Und es bietet absolute Datenschutzgarantie\nfür Ihre Endnutzer, da Sie\nes auf Edge-Geräten und Browsern einsetzen können,\nohne dass die Daten irgendwo anders hin gelangen.\nÄh, das ist meiner Meinung nach heutzutage\nmit den\nSicherheitslücken und so weiter sehr wichtig,\nund es gab vor ein paar Jahren mal die Diskussion,\ndass Open-Source-Modelle nicht\nso gut seien wie... Nein, das stimmt nicht.\nWie Sie sehen, stürzt zum Beispiel das neueste GLM\n5.1 komplett ab, und ich\nbenutze es tatsächlich in meiner Programmierumgebung. Äh, das\nist der Artificial Analysis\nIntelligence Index, und die grünen\nsind Open-Source-Modelle.  Bei den\nschwarzen Modellen handelt es sich hingegen um die geschlossenen Ausführungen.  Und wir haben gerade erst\naufgeholt und werden\nmit den kommenden Modellen\nund so weiter noch weiter aufholen.  Und zurück zum Thema „\nGesichter umarmen“.  Alles wird also\nüber die Plattform „Hugging Face Hub“ abgewickelt.  Alle\noffenen Releases.  Es ist die Inferenzschicht\nfür all Ihre Open-Source-\nWorkflows.\nUnd mittlerweile beherbergt es sogar noch mehr\nModelle.  Ich hätte die\nNummer aktualisieren sollen.  Es handelt sich wahrscheinlich um fast drei\nMillionen Datensätze, Speicherplatz und\nso weiter, aber das ist noch nicht alles, was\ndas agentenbasierte Ökosystem ausmacht, und genau darüber werden\nwir\nheute sprechen.  Wenn Sie also zu den Modellen gehen,\nkönnen Sie nach ästhetischen Modellen filtern.  Äh, das\nsind hauptsächlich die Trendmodelle, und\nmeiner Meinung nach gibt es im Wesentlichen zwei Arten von Modellen\n.  Es gibt das v Vision LMS und\ndann gibt es die LLMs, und das Vision\nLMS kann auch als eine Art Computernutzungsagent\nfür die Screenshots fungieren.  Sie wissen,\nwo sie klicken müssen usw., was ziemlich\ncool ist.  Ein Trend, der mir in letzter Zeit\naufgefallen ist, ist die Tatsache, dass\nLabore ihre LLMs mit Bildverarbeitungsfunktionen direkt ab dem ersten Tag veröffentlichen.\nBeispielsweise war Gemma 4 ein Omni-\nModell und ist immer noch ein agentenbasiertes Modell. Es gibt auch\nQ1 3.5 und Kimik Kimik\n2.5 – das waren VLMs. Ich gehe davon aus, dass\nall diese Modelle im Laufe der Zeit direkt ab dem ersten Tag\nmit Bildverarbeitungsfunktionen veröffentlicht werden. Die\nNutzung ist heutzutage sehr einfach.\nMan kann beispielsweise VLM\nML oder den Llama CPP Llama Server verwenden und von Anfang an\nmit nur wenigen\nCodezeilen loslegen. Früher war das viel umständlicher,\naber heutzutage ist das kein Problem mehr.\nUnd wenn Sie offene Modelle vergleichen möchten,\nhaben wir kürzlich die Funktion „\nBenchmark-Datensätze“ eingeführt.  Wenn Sie also\nauf der linken Seite zu den Datensätzen gehen, gibt es\nunten\neine Reihe von Benchmark-Buttons. Klicken Sie einfach darauf,\nund dann sehen Sie die\ngängigen Benchmarks wie z. B. SWB Bench\nPro, Humanities Last Exam, AIME und\nandere. Wenn Sie beispielsweise\nSWB Bench aufrufen, um zu sehen, wie gut Ihr Agent\nim Bereich Codierung und so weiter ist, sehen Sie\ndie OpenModels nach ihren\nPunktzahlen geordnet.  Aktuell steht GLM 5.1 also ganz oben\nauf der Liste.   Heutzutage\nist es auch einfacher, ein offenes Modell auszuwählen,\nda es 3 Millionen\nModelle gibt, während es früher eine\nHerausforderung war, sich für ein bestimmtes Modell zu entscheiden.\nUnd wenn Sie es wirklich mal ausprobieren möchten\n, bietet HuggingFace diesen Service\nnamens Inference Providers an, der das\nRouting für die besten Modelle zu den besten\nAnbietern übernimmt, sodass alle Anbieter\ndort verfügbar sind.  Es gibt Gro Cerebras, ich weiß nicht,\nund so weiter, und dann ist es auch super einfach,\nsie zu vergleichen, wenn man sieht, äh, dass man\ndie günstigste oder schnellste\nOption hat. Eigentlich musste ich es kürzen, aber es gibt\nauch die Spalte \"Verwendetes Tool\", sodass\nman tatsächlich eines der Open-\nSource-Modelle für den Agenten-Anwendungsfall auswählen kann und so weiter. Und\nzurück zu den Agenten:\nHugging Face Hub\nhat kürzlich eine Menge Funktionen veröffentlicht, mit denen man\nOpen-Source-Modelle mit Agenten verwenden kann. Da wäre zum Beispiel\nder MCP-Server, wo man Hub\nin sein LLM einbinden kann,\nund es gibt Skills, mit denen man\nsogar Trainingsmodelle löschen kann. Man\ngeht einfach zu seinem Agenten und sagt: \"Trainiere Q1\n3.5 mit diesem Datensatz für mich\", und dann\ntrainiert er einfach. Für mich ist das im Moment wie Science-Fiction,\nweil es das früher nicht\ngab. Es passieren so viele Dinge\nim Hintergrund, und der Agent kommt damit\nwirklich sehr gut zurecht.  Und\ndann gibt es noch den lokalen Vertreter.  Sie\nkönnen also vollständige Codierungsagenten lokal\nvon Modellen mit Hugging Face Hub ausführen,\nda wir uns sehr gut in diese integrieren.\nUnd nun zum ersten Punkt:\nMein Vortrag wird sich im Grunde um all\ndiese Themen drehen.  Äh, kommen wir zum ersten Punkt: Da wären\ndie lokalen Codierungsagenten\nund Ihre Optionen.  Es gibt wirklich\nviele Möglichkeiten, aber eine meiner\nLieblingsoptionen ist Pi, weil es super\neinfach einzurichten ist.  Äh, grundsätzlich kann man das.\nIch glaube, man kann es auch mit\nInferenzanbietern remote verwenden, aber wenn\nman es wie einen lokalen Codierungsagenten einsetzen möchte,\nkann man llama CPP verwenden, um es bereitzustellen,\nund dann wird Pi es direkt konsumieren.\nUnd etwas wirklich Cooles ist auch der Llama-\nAgent, der als Binärdatei in Llama CPP integriert ist und den\nman einfach direkt\nausführen und ein Modell starten kann, indem man die\nHub-ID von Hugging Face angibt.  Es ist also auch super einfach,\neinen lokalen Agenten einzusetzen.\nIch werde meine Präsentation später auf meinem Twitter-\nAccount teilen, daher ist es nicht nötig, Fotos zu machen\n.\nEines meiner absoluten Lieblingsdinge heutzutage\nsind die Agenten von Hermes, und dabei bleibe ich\n.  Dies ist also quasi noch\neinen Schritt weiter als\nOpen Claw, was die\nSpeicherverwaltung und alles andere angeht, und der\nEinstieg ist wirklich kinderleicht.\nMan kann es entweder\nlokal oder mit dem Hugging Face Inference\nProvider verwenden.  Ich habe zum Beispiel damit herumgespielt, dass\nder Einrichtungsassistent alles\nfür einen erledigt.  Du gibst einfach die Schlüssel und\nso weiter an und integrierst es dann in deinen Slack-\noder WhatsApp-Kanal oder was auch immer, und schon kann es losgehen\n.  Und ich empfehle\ndies unbedingt, wenn Sie es mit einem offenen Modell verwenden möchten\n.  Ich kann GL GLM 5.1 uneingeschränkt empfehlen\n.  Zum Beispiel ist es mir anfangs tatsächlich nicht gelungen, mich\nin Slack zu integrieren.  Ich\nhabe hier Zeugen, mein Kollege\nNeils, und ich habe GLM 5.1 gebeten,\ndas mit dem Hermes-Agenten zu beheben, und es hat sich von\nselbst behoben. Es war\nein guter Tag. Ich finde GLM 5.1\nein sehr gutes Modell und kann es kaum\nerwarten, es mit Gemma 4 zu verwenden.\nAber dieses Wochenende gab es auf\nTwitter ein Gerücht, das ignoriert wurde: Ein\nMinimax-Modell soll erscheinen.  Ich werde\ndas also wahrscheinlich auch ausprobieren und meine\nErgebnisse mitteilen.  Daher empfehle ich Ihnen unbedingt,\nihre Agentin für die offenen Models zu nutzen.\nUnd noch etwas:\nHugging Face Hub verfügt nun über einen neuen Datensatz-\nRepository-Typ namens Traces.  Und das\nist im Grunde Ihr gesamter Code, äh,\nCloud-Code oder Pi-Traces, die werden von ihnen gehostet.\nWenn Sie beispielsweise zu Ihrem ähm gehst, wenn\nSie äh eine Spur äh gedrückt haben und dann dorthin gehen,\nsehen Sie im Datensatz-\nViewer, wenn Sie auf die Spalte „Spuren“ klicken, dass\nes so aussieht.  Es ist sehr\ngut aufbereitet, und man kann\nseine Daten einfach erkunden und später, wenn man möchte,\nsogar ein Modell darauf trainieren, was\nmeiner Meinung nach ziemlich cool ist.\nUnd wenn Sie Ihre Agenten-Traces übertragen möchten,\nkönnen Sie Ihre Sitzungen einfach\nvon diesen Pfaden hochladen, mehr\nist nicht nötig.  Und wir werden vermutlich auch\nsehr bald einen Hermes-Agenten für Spurensicherung haben.\nWenn Sie\nmehr Optionen benötigen, um LLM\nlokal hinter dem Agenten bereitzustellen, gehen Sie zurück.   Hier also\neinige Tipps und Tricks zur Auswahl eines\nguten Modells.  Du gehst einfach zu einem umarmenden Gesicht über.\nEs gibt noch einen weiteren Tab.  Unter dem anderen\nReiter befinden sich die Apps.  Diese Apps sind also\nso etwas wie LM Studio, Jean, UM, Llama, CPP –\nalles, was für die lokale Bereitstellung gedacht ist, befindet sich\ndort.  Und wenn Sie danach filtern\n, erhalten Sie die Modelle, die von diesen\nlokalen\nApps unterstützt werden.  Was auch immer Sie servieren möchten, wir\nhaben das Richtige für Sie.  Und wenn man zum\nModell-Repository geht, ist etwas, das\nich persönlich sehr cool finde, dass es auf der linken und rechten\nSeite den Abschnitt GGUF gibt.  Also,\nfalls Sie es nicht wissen: GGF wird\nunterstützt, es liegt im\nLlama CPP-Dateiformat vor, das von\nvielen Dingen unterstützt wird, wie zum Beispiel von allen Llama\nLM Studio-Anwendungen. Und es\ngibt Hardwarekompatibilität, zum\nBeispiel passt das größere Gemma 4-Modell, wenn man\nes auf 4 Bit quantisiert, in eine L4-\nGPU mit 24 GB VRAM.\nIch finde das also sehr cool und es wird\nauch in MLX-Repositories angeboten\n.  Und wenn Sie dann zum\nModell-Repository zurückkehren und\nabsolut keine Ahnung haben, wie Sie\ndieses Modell bereitstellen, finden Sie oben rechts\ndie Option „Dieses Modell verwenden“ sowie\ndie lokalen Anwendungen, die das Modell\nunterstützen. Wenn Sie darauf klicken,\nsehen Sie, dass Sie mit nur wenigen Befehlszeilen\ndas Modell installieren und bereitstellen können – fertig.  Es ist heutzutage\nsehr, sehr praktisch, die offenen Modelle zu verwenden\nund schließlich Ihre\nCodierungsagenten mithilfe von Hugging Face-Fähigkeiten zu optimieren.\nWir haben also eine ganze Reihe von Fähigkeiten, um\nIhnen den Einstieg ins\nTraining zu erleichtern, z. B. Inferenz mit\noffenen Modellen, die Nutzung offener Modelle, die\nErkundung offener Datensätze, die Verwendung von KI-Apps usw.\nWir haben außerdem diese sogenannte\nHugging Face CLI-Fähigkeit, mit der\nProgrammierer Repositories verwalten,\nJobs ausführen, Demos starten und alles Mögliche tun können.\nUnd so können Sie sie installieren:\nGeben Sie einfach „HF Skills“ in Google ein,\nund Sie finden die Befehle.  Äh,\naber wir haben mehr zu bieten.  Im\nGrunde ermöglicht Ihnen dies, Hub\nin Ihre Agenten einzubinden und Ihnen so die gesamte\nHub-Exploration mit dem umarmenden Gesicht zu ermöglichen.  Aber der\nRest seiner Fähigkeiten ist echt super.  Es\ngibt LLM-Trainerfähigkeiten.  Im Grunde genommen ist dies\nnicht nur für LLMs, sondern auch für\nvisuelle Sprachmodelle gedacht.  Sie können\ndem Modell einfach sagen: „Okay, trainiere dieses Modell\nmit diesem Datensatz“, und es startet\nden Job entweder remote auf unserer Infrastruktur oder\nlokal, wo immer Sie möchten.\nUnd es gibt Gradu Skill, mit dem man\nDemos erstellen kann.  Und es gibt die\nFähigkeit „Hugging Face Data Set“, mit der Sie\nDatensätze über unsere Data\nSet Viewer API erkunden können. Die Installation ist\nkinderleicht.  Und schon wieder präsentieren wir weitere\nIntegrationen.  Ich habe hier einfach Cloud und\nGemini eingefügt.\nUm das in die Praxis umzusetzen, habe ich zum Beispiel\ndas Modell gefragt: „Äh, ich habe Cloud\nCode gefragt: ‚Hey, kannst du qan2vl auf\nLava Instruct Mix trainieren? Das ist so etwas wie ein Bildverarbeitungs- und\nSprachdatensatz.‘ Und es hat mir ein paar\nFragen gestellt.“  Es hieß: Okay, in welcher Instanz soll das erfolgen? Es stehen\nIhnen\nmehrere Optionen zur Verfügung.  Das Modell, also\nder Agent im Backend,\nberechnet die benötigte Menge an\nVRAM, um das\nModell in einer bestimmten Batchgröße feinabzustimmen.\nEs erledigt also alles für\nSie.  Es werden Ihnen lediglich ein paar Fragen gestellt.\nOkay, wie sieht Ihre Validierungsaufteilung aus?\nBlablabla.  Und dann startet es einfach den\nJob, was für mich bis heute absolute Science-Fiction ist, da\nich seit\nBeginn meiner Karriere, also seit etwa sechs\nJahren, Modelle trainiere,\nund man am Ende sein\nModell einfach auf Hub findet.\nUnd das beschränkt sich nicht auf LLMs und VLMs;\nich habe kürzlich Fähigkeiten für\nbeispielsweise das Training von Objektdetektoren\noder Segmentierungsmodellen und\nalles für die Bildverarbeitung bereitgestellt.  Es verarbeitet\nbeispielsweise verschiedene Begrenzungsrahmentypen\nund alles andere.  Sie geben einfach den\nBefehl und überlassen den Rest dem Programm.\nUnd um auf MCP zurückzukommen: Was bieten wir an?\nÄh, wir haben Modelle, Datensatzbereiche,\nSuche nach Ihrer Aufgabe, äh, semantische Suche\nnach Bereichen.  Wenn Sie sich mit Spaces nicht auskennen,\nist es wie der App Store für KI.\nDort gibt es unzählige Apps für\nabsolut alles, was man sich vorstellen kann.  Und\nwir haben auch etwas, das wir Jobs nennen. Damit können\nSie einen Auftrag starten,\nder dann endet, wenn er fehlschlägt oder\nerfolgreich ist, und Sie bezahlen für die\nZeit, in der er lief.  Und Sie können\ndiese Apps auch über MCP abfragen, wie ich\nIhnen gleich zeigen werde.  Es funktioniert aber einwandfrei\nmit all Ihren Lieblingsplattformen.\nUnd so bitte ich hier beispielsweise das\nModell, ein Bild von einer schwarzen Lava aus\nGarn zu generieren, und dann ruft es das\nHugging Face of Qan Image auf, ein\nBildgenerierungsmodell, das remote gehostet wird,\nund fragt dieses ab und\nliefert das Ergebnis.  Es funktioniert und sieht\nsehr gut aus.\nAber Sie müssen eine\nEinstellung im MCP aktivieren, die „Dynamische\nRäume“ heißt.  Wenn Sie mehr Optionen wünschen, z. B.\nwenn Sie wirklich alle\nLeerzeichen anzeigen möchten, müssen Sie diese Option aktivieren, was\nein wenig experimentell ist.\nUnd hier sind ein paar Ideen, wie Sie die\nMCP-Spaces nutzen können.  Aber Sie sind keinesfalls darauf\nbeschränkt.  Und um das Ganze abzurunden:\nMein Kollege Neils hat\netwas entwickelt, das ich cool fand und deshalb\nteilen wollte.  Auf Hugging\nFace Hub gibt es also wissenschaftliche Artikel, und diese\nArtikel befassen sich hauptsächlich mit KI.  Wir\nmöchten, dass die Leute Fragen\nzu diesen Artikeln stellen oder sie teilen können, aber nicht alle\nArtikel sind mit Markdown formatiert,\nwas das Modell ist, mit dem wir indexieren können und so\nweiter.  Wir haben also 30.000 Dokumente per OCR mit\nHilfe von Codecs, offenen OCR-Modellen und Jobs\ndurch Eingabeaufforderung bearbeitet, was ein bisschen\nverrückt ist.  Die Vorgehensweise hierfür ist also\nzunächst, ein OCR-Modell auszuwählen, das günstig,\ngut und leistungsstark ist.  Bitten Sie den LLM,\neinen Verarbeitungsauftrag zu starten und\nden Code dafür zu schreiben. Starten Sie ihn dann\nauf der Hugging Face Infrastruktur und lassen Sie\ndie Skill die Instanz zum Hosten\ndieses Modells und alles Weitere einrichten, ohne dass Sie sich mit den mühsamen\nBerechnungen herumschlagen müssen – und profitieren Sie dann.   Um\nein OCR-Modell auszuwählen, müssen Sie ähm,\nSie können auf OCR Bench zugreifen, das\nist ein Benchmark-Datensatz, den ich\nIhnen bereits zuvor gezeigt habe.  Das erste Ergebnis\nist Chandra OCR, aber lassen Sie sich davon nicht täuschen\n.  Wir haben heute eine Funktion veröffentlicht, mit\nder Sie das Modell einfach fragen können,\nwelches OCR-Modell sich am besten für die\nFeinabstimmung eignet, und es gibt Ihnen auch\nEmpfehlungen zur Feinabstimmung und\nso weiter.  Wenn Sie also beispielsweise kleinere\nModelle benötigen, erledigt es\nmit dieser Funktion alles für Sie.  Das ist also ziemlich\ncool.  Hör zu.  Sobald Sie sich für ein\nModell entschieden haben, verwenden wir in diesem Fall\nChandram.\nWir haben das Modell gebeten, das Skript zu schreiben,\nund das hat es auch getan. Dann führt der Agent einfach\neine grobe Berechnung für die Instanz durch und\nberechnet die Kosten des laufenden Jobs\nund alles Weitere.\nDiese Jobs werden dann einfach\nwiederholt.  Wir haben vor Kurzem dieses\nInfrastrukturprodukt namens Buckets auf den Markt gebracht, das\nwie ein A3-Eimer ist, aber viel günstiger und\nschneller. Es\nkann mit Mounting verwendet werden und\nja, im Grunde können Sie es einfach verwenden\nund über diese\nLinks loslegen.  Ich hoffe, Ihnen gefällt dieser Vortrag.\nVielen Dank.",
  "transcript_chars": 17275,
  "ingested_at": "2026-05-13T22:30:12.491209+00:00",
  "source": "channel",
  "yt_meta": {
    "view_count": 4372,
    "like_count": 218,
    "channel_id": "UCLKPca3kwwd-B59HNr-_lvA",
    "categories": [
      "Science & Technology"
    ],
    "tags": [
      "ai",
      "ai engineer",
      "ai engineering",
      "software development",
      "tech",
      "startups",
      "software architecture",
      "machine learning"
    ]
  }
}