{
  "video_id": "SP-kORMUZns",
  "channel_slug": "machinelearningstreettalk",
  "channel_handle": "machinelearningstreettalk",
  "title": "Build Specialist LLMs Like It’s 2019 (Randall Balestriero)",
  "duration_seconds": 2071.0,
  "url": "https://www.youtube.com/watch?v=SP-kORMUZns",
  "upload_date": "",
  "transcript": "Wir haben dieses Experiment gerade erst gestartet und\nsind sehr überrascht zu sehen, dass\ndas enorm überparametrisierte Modell\nnicht nur sofort gut trainiert und\nsehr schöne Trainingskurven aufweist, sondern auch überhaupt\nnicht aggressiv überreagiert.\nUnd was wir empirisch festgestellt haben, ist, dass wir\neinfach so typische Methoden wie\nbetreutes Training anwenden.  Wir müssen nicht\nmit dem Hyperparameter-Optimierer herumexperimentieren und erhalten ein\nsehr, sehr stabiles Training.\nDas wirft auch die Frage auf, ob es sich\nlohnt, so viel Geld für einen\nriesigen Vortrainingsdatensatz auszugeben und\nmonatelang auf vielen GPUs zu arbeiten, um\ndiese Modelle zu erstellen. Zumindest für einige\nAnwendungen scheint es aber nicht viel\nbesser zu sein als\nzufälliges MLST. MLST wird von Twofer AI\nLabs gesponsert, die jetzt DeepSeek heißen und in der\nSchweiz ansässig sind. Sie haben ein fantastisches Team;\nviele der\nTeammitglieder haben Sie sicher schon bei Mind's AI gesehen.\nSie haben natürlich großartige Arbeit an\nARC geleistet.  Sie arbeiten jetzt an 01-\nStilmodellen sowie an Denk- und Schlussfolgerungs- und\nTestzeitberechnungen.  Der Grund, warum man\nfür sie arbeiten möchte, ist, dass man dort sehr viel\nAutonomie genießt.  Sie erhalten Sichtbarkeit.  Sie können\nIhre Forschungsergebnisse veröffentlichen und außerdem stellen sie neben\nML-Ingenieuren auch\neinen leitenden Wissenschaftler ein.  Sie\nwollen unbedingt die bestmögliche\nPerson für diese Stelle finden und sind\nbereit, einen Spitzenlohn als Antrittsbonus zu zahlen\n.  Wenn Sie also Interesse daran haben,\nfür sie als MO-Ingenieur oder als\nChefwissenschaftler zu arbeiten, setzen Sie sich mit\nBenjamin Cruzia in Verbindung, gehen Sie auf twoferabs.ai und\nschauen Sie, was passiert.  Ursprünglich bestand die\nHauptmotivation darin, herauszufinden, wie viele\nInformationen man durch das\nVortraining gewinnt und ob die\nVorhersage des nächsten Tokens dem\nNetzwerk tatsächlich etwas über Sprache\nund logisches Denken beibringt.  Wir\nsagen also, dass eine Möglichkeit, dies zumindest empirisch zu vergleichen, darin besteht,\nein\nzufällig initialisiertes Modell zu nehmen, es von Grund auf für\neine überwachte Aufgabe wie die Stimmungsanalyse zu trainieren,\nund da wir theoretisch nur sehr\nwenige Trainingsdaten haben,\nsagen wir 20.000 Beispiele, und\nda diese Modelle etwa 7 Milliarden\nParameter haben, wird das vortrainierte Modell\nmit ein wenig Feinabstimmung sehr gut funktionieren,\nda es bereits\nweiß, wie es über die gebildeten Daten argumentieren soll, richtig?\nVielleicht passt man sich einfach ein wenig an\ndie jeweilige Aufgabe an, die man haben möchte.\nDa man aber über so viel Vorwissen verfügt,\nwird man die Aufgabe sehr leicht lösen können. Bei einer\nzufälligen Aufgabe hingegen wird man entweder\nkomplett scheitern, weil man etwa 7\nMilliarden Parameter und nur 20.000\nTrainingsbeispiele hat, oder man\nlernt vielleicht gar nichts, weil die\nTrainingsdynamik völlig chaotisch sein wird.  Und\nso haben wir dieses Experiment gestartet\nund waren sehr überrascht festzustellen,\ndass das sieben Milliarden oder so ähnlich\nstark überparametrisierte Modell nicht\nnur sofort gut trainiert wird, mit\nsehr schönen Trainingskurven, fast so wie beim\nTraining von Amnest, sondern dass es auch überhaupt nicht\naggressiv überfällt, sondern\nweniger überfällt als wenn man MLP einfach\nauf MNEST trainiert.  Und das ist wirklich\nüberraschend. Deshalb haben\nwir uns gefragt: Gibt es da vielleicht eine\ntiefere Frage?\nWie viel implizite Voreingenommenheit steckt in\ndiesen Sprachmodellen? Wir\nwussten ja bereits aus der Computer Vision, dass man\nbeispielsweise ein 50-Millionen-\nModell auf einem Datensatz von 1 Million Bildern verwenden kann. Das ergibt ein\nVerhältnis von 50:1. Und es gibt diese\nimplizite Voreingenommenheit, die verhindert, dass man zu viele Fehler macht\nund die Aufgabe einfach löst.\nAber selbst mit 50:1 klingt das\nfür einen\nStatistiker vielleicht viel, aber jetzt sind es etwa 7\nMilliarden zu 20.000. Das Verhältnis ist also\ngigantisch. Und ja, ich fand es\nsehr überraschend, dass man trotz\ndieses enormen Verhältnisses\netwas lernen kann,\ndas nicht zu viele Fehler macht. Das ist sehr\nüberraschend, denn in der Computer Vision\nist beispielsweise bekannt, dass Transformer-Modelle\nleichter zu vielen Fehlern neigen als ResNet. Zumindest\nin der Computer Vision scheinen sie also weniger\nimplizite Voreingenommenheit oder implizite Regularisierung zu haben.  Die\nArt der Next-\nToken-Causal-Architektur LLM, äh ja,\nscheint nicht so einfach zu Ihren\nDaten zu passen, das war also ziemlich überraschend.\nUnd wir sollten den Namen erwähnen:\nDas war Ihr Workshop-Beitrag beim\nSelf-Supervised Learning Workshop hier\nbei News, und er trägt den Titel: Lohnt sich das\nVortraining von LLM durch Next-Token-\nVorhersage für Wahrnehmungsaufgaben? Das ist\nabsolut faszinierend, nicht wahr? Wir hatten also die\nAnnahme, dass\nwir diese riesigen vortrainierten\nModelle benötigen.  Sie werden anhand aller Daten im\nInternet geschult.  Und es stellt sich heraus,\ndass man gerade bei Diskriminierungsaufgaben,\nalso eher bei Klassifizierungsaufgaben als bei der\nGenerierung, tatsächlich einfach\nmit einem\nrelativ kleinen Modell von Grund auf neu beginnen kann und manchmal\nsogar bessere Ergebnisse erzielt.  Ja.  Ja.  Und\nselbst bei kleinen oder großen Modellen fängt man\neinfach ganz von vorne an.  Sie führen diese\nsehr einfache überwachte\nKlassifizierungsaufgabe durch, richtig?  Okay, angesichts dieser Vorgabe, ist das eine\npositive oder negative Aussage, oder um welche\nArt von Job handelt es sich, die in der Vorgabe beschrieben wird?\nWissen Sie, diese Art von Argumentation nennen wir nicht\n, sondern eher semantische\nKlassifizierung, und es stellt sich heraus, dass\nman tatsächlich mit Zufall beginnt.  Selbst wenn Sie nur über\neinen kleinen Trainingsdatensatz verfügen, erzielen Sie\nErgebnisse, die manchmal genauso\ngut sind wie die eines vortrainierten Modells.  Das\nwirft also auch die Frage auf, ob es sich lohnt,\nso viel Geld für die Erstellung eines\nriesigen Vortrainingsdatensatzes auszugeben und\nmonatelang mit vielen GPUs zu arbeiten, um\ndiese Modelle zu erstellen. In manchen Fällen ist die\nGenerierung von Daten zweifellos\nnotwendig, man\nerhält die Vorhersage für das nächste Token und\nlernt, wie man Stichproben generiert. Aber\nzumindest für einige Anwendungen scheint das Ergebnis\nnicht viel besser als zufällig zu sein. Es ist also durchaus\ninteressant, welche\nUnterschiede es in den gelernten\nRepräsentationen gibt.\nDas ist etwas, das wir bisher nicht wirklich\nuntersucht haben: die niedrigdimensionale\nRepräsentation des Gelernten.  Äh,\ndas ist möglich.  Einige Arbeiten versuchen also,\ndie Aufmerksamkeitsentropie und ähnliche Aspekte zu betrachten, also\njene mechanistischen\nInterpretationsmöglichkeiten des LLM.  Es\nwird also interessant sein zu sehen, ob es zu so etwas wie einem\nneuronalen Kollaps\nkommt.  Selbst wenn man also beispielsweise\n7 Milliarden Parameter hat,\nlernt man vielleicht am Ende ein sehr, sehr einfaches\nTeilnetzwerk, das die Aufgabe erfüllt, ähnlich wie die\nLotterielos-Hypothese.\nUnd das ergibt sich dann natürlich aus der\nTrainingsdynamik? Oder werden wirklich\nalle Parameter ausgenutzt? Ich denke, das\nist eine Sache. Um den\nWorkshop-Beitrag auf die Konferenz auszuweiten, wollen wir genauer\nuntersuchen, welche\nParameter nützlich sind, was gelernt wurde, ob jede\nSchicht tatsächlich etwas lernt oder ob\ndie ersten Schichten vielleicht gar nichts\nlernen, sondern nur die letzten paar\n.  Ja, dazu gibt es noch\nviele offene Fragen.\nWas sagt es uns über das Wesen des\nVerstehens und vielleicht sogar der\nIntelligenz?  Weil wir glauben, dass\nder Grund dafür, dass diese Dinge verstanden werden, darin liegt, dass\nsie\nall diese Repräsentationen für all diese\nverschiedenen Dinge in\nihrer Erfahrung haben, und jetzt können wir uns auf ein\nbesseres Wort verkürzen.  Was sagt uns das?\nJa, ich denke, das ist eine gute Frage.\nIn diesem Fall müssen wir uns also mit sehr\nspezifischen Klassifizierungsaufgaben befassen.  Nehmen wir an,\nSie haben eine Stellenbeschreibung – um\nwelche Art von Stelle es sich handelt, ob eine positive oder negative\nEinschätzung vorliegt. Sie können diese Frage zwar\nbeantworten, aber Sie können nicht über den\nRahmen hinausgehen, um neue\nFragetypen zu lösen. Beispielsweise\nkönnen Sie anhand dieser Stellenbeschreibung nicht beantworten: „\nVerdient diese Stelle mehr als jene?“,\nda diese Information nicht in den Trainingsdaten enthalten war.\nIch denke, man erhält zwar\nschnell und kostengünstig sehr gute Modelle\ndurch zufällige Initialisierung, diese sind jedoch\nsehr spezialisiert. Der\nVorteil des Vortrainings liegt möglicherweise darin, dass man eher\noffene Klassifizierungs- oder\nSchlussfolgerungsaufgaben lösen kann.  Ich denke also, es hängt wirklich davon ab, welche\nArt von Anwendung man\nlösen möchte, welche nachgelagerte Aufgabe man hat und\nwie weit man auf neue Szenarien generalisieren möchte.\nAber zumindest zeigt es jetzt, dass\nes nicht nur darum geht, vorzutrainieren, sondern die\nVorhersage für alles besser ist\n.  Wenn ich fünf\nJahre zurückblicke, dann haben Datenwissenschaftler\nfür alles spezifische Klassifizierungsmodelle entwickelt\n.  Und jetzt befinden wir uns in diesem Regime, in dem\nwir diese wirklich großen Modelle brauchen und\nwir kontextbezogenes Lernen betreiben und vielleicht sogar\neine Feinabstimmung vornehmen und sie dazu bringen,\nziemlich spezifische diskriminative Aufgaben zu erfüllen.\nAber jetzt sagen Sie, wir sollten fast wieder da anknüpfen,\nwo wir vor 5 Jahren waren, und\nwieder mit dem Bau spezialisierter Modelle beginnen.\nAnstatt\nKlassifizierungsmodelle zu erstellen, verwenden wir jetzt tatsächlich immer noch\ndie Transformatoren und\ndie LLMs, aber wir lassen\nsie spezifische Aufgaben erledigen.  Ja.  Ja.\nGenau.  Ich denke, wenn man nur\nein paar spezifische Aufgaben lösen will, sollte man dieses\nVorwissen nutzen, um einen guten,\nüberwachten Datensatz für die Architektur zu erstellen\nund das Ganze von Grund auf neu zu beginnen.  Äh, das hier wird\nwahrscheinlich viel besser funktionieren.  Aber Sie\nmüssen unbedingt sicherstellen, dass die nachgelagerte\nAnwendung niemals zu weit außerhalb des\nVertriebsnetzes liegt.  Deshalb hängt es wirklich\nvon der Anwendung und den jeweiligen\nAnwendungsfällen ab.  Aber ich denke,\nzumindest hier zeigt sich, dass es\nAufgaben gibt, bei denen die Vorhersage\nnicht die Lösung ist, und zwar nicht nur\nnicht die Lösung, sondern auch nicht besser als eine\nzufällige Initialisierung, was wirklich so etwas wie\nder schlimmste Fall ist.\nInteressant.  Ich meine, aus Sicht der Fairness und der Vermeidung\nvon Voreingenommenheit sagen viele Leute,\ndass große Sprachmodelle\nin gewisser Weise schlecht sind, weil es die\nDominanz nordamerikanischer Kulturen und\nso weiter gibt.  Man könnte aber auch\ndas Gegenteil behaupten, nämlich dass das Gute an\nihnen ist, dass sie ein gewisses\nWertbewusstsein haben, sodass wir\nsie feinjustieren können, um ihnen\nLeitplanken aufzuzwingen und sie dazu zu bringen, das Richtige zu sagen\nund so weiter.  Ist das mit\ndiesem Ansatz schwieriger?  Ja.  Da Sie sich hier\nin einer vollständig überwachten Umgebung befinden,\nhaben Sie nicht so viel Flexibilität, um beispielsweise\ndas Verhalten Ihres Modells zu ändern. Dies muss in\nForm von überwachtem Feintuning erfolgen.\nDa Sie jedoch keine generative\nFähigkeit besitzen, ist die\nArt der Interaktion mit dem\nModell und dessen Verbesserungsmöglichkeiten sicherlich eingeschränkt.\nDenn die Ausgabe lautet lediglich: „Okay, ist es eine\ngute oder schlechte Stimmung?“\nSie liefert keine vollständige Antwort,\ngegen die Sie argumentieren und aus der Sie\neinen Feintuning-Datensatz generieren könnten. Es ist einfach nur „Okay“, „Gut“, „\nSchlecht“, und das war’s.   Ein\nweiterer Punkt ist die Trainingsstrategie.\nSie wissen ja, die großen Player, die\ndiese LLMs entwickeln, verfügen über eine Menge\ninternes Wissen, zum Beispiel über\ndie Reihenfolge, in der man\ndie Sprachmodelle trainiert. Alles ist\nwichtig, wissen Sie, in den alten\nZeiten der einfachen Modelle hat man einfach\neine Menge Daten reingesteckt, da hat sich niemand\nwirklich darum gekümmert.  Sie wissen also jetzt, dass die\nLeute sich Gedanken\nüber Fachwissen machen müssen, vielleicht\nüber Lehrplanentwicklung und\nall diese Dinge.  Ja, das\nist ein guter Punkt.  Wir haben kürzlich eine Arbeit mit dem Titel „\nDas Paradoxon des fairen Sprachmodells“ veröffentlicht.\nDarin zeigen wir, dass die\nVorhersage des nächsten Tokens aufgrund der\ngeringen Häufigkeit mancher Tokens\nsehr schwierig und zeitaufwendig ist\nund daher viel Zeit in Anspruch nimmt.\nDas\nProblem besteht darin, dass für die\nVorhersage des nächsten Tokens die\ngesamte Tokenverteilung erfasst werden muss, was\nviel Zeit kostet. Sind die\nTokens mit geringer Häufigkeit jedoch\nfür die Lösung der Aufgabe nicht relevant, müssen sie nicht\nerfasst werden.\nHinsichtlich der Trainingsdynamik ist dies\nin\nvielen Fällen ein deutlich einfacheres Problem. Empirisch haben wir festgestellt,\ndass wir\nmit herkömmlichem überwachtem Training ohne Hyperparameter-\nOptimierung ein sehr stabiles\nTraining erzielen.  Eine Sache, die\nfür zukünftige Arbeiten ebenfalls interessant sein könnte,\nist zu untersuchen, ob sich dies\nleichter optimieren lässt und ob dies der Grund dafür ist, dass\nModelle mit etwa 7 Milliarden Parametern\nlernen können und nicht bei etwa 10.000\nStichproben überreagieren. Außerdem bringt es andere\nDinge mit sich, die vielleicht allein schon\neine bessere Initialisierung für die\nVorhersage des nächsten Tokens darstellen könnten.  Es ist also\nsehr offen und luftig.  Aber vielleicht\nkönnten Sie sich ein einfacheres\nüberwachtes Ziel ausdenken, das eine\nbessere Vortrainingslösung wäre, die\nSie dann beispielsweise für die Vorhersage des nächsten Tokens verwenden könnten,\nwenn Sie wollten.  Aber\nzumindest ist das ein besserer Ausgangspunkt als der Zufall\n.  Damit kehren Sie\nden Trend fast um.  Wir haben also über zwei\nExtreme gesprochen.  Auf der einen Seite haben wir also das\nVortraining, und man kann es dann\nfür jede beliebige nachgelagerte Aufgabe verwenden.  Und am\nanderen Extrem haben wir den Fall, dass man ganz\nvon vorne anfängt und nur eine einzige Aufgabe hat.\nGibt es eine Zwischenlösung?  Was wäre,\nwenn ich diesen neuen Ansatz für\nMultitasking anwenden würde, sagen wir für fünf Aufgaben?   Ja\n.  Ja.  Das ist eine hervorragende Frage.\nWenn man es also im Grenzfall wirklich betrachtet,\nkönnte man eine Vorhersage des nächsten Tokens\nals Multitasking formulieren, bei dem man für\njede Aufgabe wissen möchte, ob es sich um das nächste Token handelt, also ob es sich um dieses\noder nicht handelt.  Im Extremfall\nkönnte man also an einem Ende einfach eine Ex-Token-\nVorhersage wiederherstellen und am anderen\nEnde hätte man das, was wir hier haben.  Also nur\neine Aufgabe, ganz grob auf Augenhöhe vorherzusagen,\nob es sich um eine gute oder schlechte Stimmung handelt oder\nwas auch immer.  Dazwischen gibt es also ein riesiges\nSpektrum, das man ausnutzen kann, und wenn man, wie\nSie sagten, vielleicht fünf sehr\nunterschiedliche repräsentative Aufgaben findet,\nsollte das ausreichen, um\neine\nmöglichst allgemeine Repräsentation zu lernen, die man dann\nfür neue Aufgaben verwenden kann, die spontan auftreten\n.  Die Forschungsfrage lautet also,\nwie man die minimale Aufgabenmenge so gestaltet,\ndass eine\nmöglichst vielfältige Repräsentation erreicht wird, und natürlich\nwollen wir nicht in das Extrem verfallen, einfach nur die\nVorhersage des nächsten Tokens zu wiederholen.\nÄh, aber das ist eine sehr, sehr interessante\nForschungsfrage, denn wenn man\ndieses Spektrum hat und kontrollieren kann, wo man sich befinden möchte,\ndann kann man wirklich für jeden Anwendungsfall\neine individuelle Wahl treffen.  Es ist also nicht in Ordnung, dass\ndu immer hier bist oder immer hier bist.  Sagen Sie\nmir, was Sie tun möchten, wie viele neue\nAufgaben Ihr Modell voraussichtlich bewältigen muss,\nund ich sage Ihnen, wo Sie sich\nin diesem Spektrum einordnen müssen.  Das könnte also auch\nsehr interessant sein.  Sehr cool.\nSehr cool.  Das lässt mich allerdings darüber nachdenken, ob\ndiese Modelle durch\nnaive statistische Ausrichtung verstehen und ob es\nmöglich ist, dass die von uns verwendeten Benchmarks einfach nicht ausreichen, um die\nVerständnislücke zu schließen, die wir durch den\nÜbergang von den vortrainierten Modellen verloren haben\n.  Ja, ich denke, äh, weil\nwir uns insbesondere in den letzten Jahren sehr\nauf äh generative äh Decoder-\nMethoden konzentrieren, dreht sich bei der gesamten Bewertung und den\nZielen, die wir uns selbst setzen,\nwirklich alles um gute Generierung,\nrichtig? äh, selbst wenn man eine\nFrage beantworten will, muss man eine gute\nErklärung generieren, man muss äh\ndie Zwischenschritte verstehen, und ich\ndenke, die Tatsache, dass wir uns auf\ngenerative Modelle konzentrieren, bedeutet, dass wir\ndie Bewertung und die Art und Weise, wie wir das angehen, völlig verzerren,\nund vielleicht\nkönnte man trotzdem Wissen erlangen,\nohne in der Lage zu sein, äh\netwas zu generieren.  Ich denke also, dass dies auch\netwas ist, das interessant sein könnte,\noder zumindest im Hinterkopf zu behalten, wenn\nwir diese Modelle untersuchen.  Aber\nist Generation philosophisch betrachtet nicht\nin gewisser Weise analog zum Denken?  Sind\nModelle, die generieren, nicht\nin irgendeiner tieferen Ebene intelligenter?  Wahrscheinlich\nmöchten Sie sich vorstellen, was\nmöglich wäre, aber ich glaube nicht, dass Sie die\nGenerierung mit sehr detaillierten Angaben\nwie der Generierung des nächsten Tokens durchführen möchten,\ndenn wenn Sie\nnur an eine\nKlassifizierungsaufgabe denken, gibt es viele\nverschiedene Unsicherheiten, abhängig vom\nToken. Wenn ich den Satz beginne: „Okay, ich habe\ndiesen Film vier Minuten lang gesehen“, gibt es keine Möglichkeit, nach\nvier Minuten zu sagen, welches Token als nächstes kommt, richtig? Das bedeutet, dass es eher\neine Zeitkomponente wäre,\nrichtig?  Vielleicht sind es etwa 1 Stunde, 10\nMinuten, 2 Stunden.  Aber muss man wirklich in der Lage sein, diese –\nich weiß nicht –\n52 Minuten oder was auch immer die Antwort war, zu generieren, um zu\nverstehen, dass ich einen\nFilm gesehen habe und mich daher\nmindestens 5 Sekunden lang an einem Ort aufgehalten habe,\nrichtig?  Ich finde, das Token-Modell ist viel zu\ndetailliert.  Und wenn man so etwas wie ein\nKonzepttoken hätte, dann könnte man\nanfangen zu erkennen: Okay, das ist sinnvoll,\nweil das eher dem entspricht, was\nwir tun.  Aber im Moment befinden wir uns auf einer sehr, sehr\nniedrigen Ebene, da Tokenisierung eine\nverlustfreie Komprimierung ist, richtig? Das ist also zu nah\nan den Rohdaten. Dennoch\nhaben wir es im Vergleich zur Computer\nVision leicht, da man bereits mit\nSprache arbeitet, die eine sehr komprimierte\nWissensrepräsentation darstellt. Aber\nTokenisierung ist wahrscheinlich immer noch zu niedrig auf der Ebene. Nun, das war\neine faszinierende Arbeit. Kommen wir zu\nIhrer nächsten: der Entstehung des\nselbstüberwachten Lernens als überwachte\nTheorie. Das war mit Yan Lun, und Sie\nsagten im Grunde, dass die\nbeobachteten Unterschiede zwischen\nselbstüberwachtem und überwachtem\nLernen nicht auf die\nVerlustfunktion selbst zurückzuführen sind, sondern vielmehr auf die\nKennzeichnung des im Training verwendeten Datensatzes\n.  Nennen Sie uns den Elevator Pitch.   Ja\n.  Im Grunde zeigen wir in diesem\nArtikel, dass man ein überwachtes Ziel haben kann, zum Beispiel, um\nes einfach zu halten, die Anzahl der Quadrate.  Sie haben also die\nEingaben, die Vorhersage Ihres Netzwerks\nund die Labels, und\nSie können dieses Ziel, das versucht, die\nStichprobe XN in die Vorhersage YN umzuwandeln,\nin ein selbstüberwachtes\nLernziel umwandeln, das versucht,\nStichproben miteinander zu vergleichen.  Im\nGrunde geht es also darum, von der Frage „Okay, äh,\ndieses Bild zeigt ein Auto oder einen Hund“ zur Frage „\nSind diese beiden Bilder gleich oder nicht?“ über, was so etwas wie\ndie selbstüberwachte\nArt der Verknüpfung in der Welt darstellt.  Und so\nkann man zeigen, dass, wenn man Labels hat oder über\nKenntnisse dieser paarweisen\nBeziehung verfügt, sie tatsächlich die\ngleiche Repräsentation bis auf eine gewisse Symmetrie lernen,\ndie bei linearer Sondierung irrelevant ist\n.  Die Verlustfunktion an sich,\ndie SSL- oder die überwachte Verlustfunktion, versucht also\ndasselbe zu tun; sie arbeitet lediglich mit einer\nanderen Sichtweise der Kennzeichnung, ob\ndieses Bild jenes ist oder ob diese beiden\nBilder oder zwei Beispiele\ndasselbe darstellen.  Ausgehend davon stellt sich die\nFrage, ob selbstüberwachtes\nLernen bei OKCOM besser generalisieren kann\nals überwachtes Lernen. Aus dieser\nPerspektive lässt sich sagen, dass dies daran liegt, dass es so ist, als würden\nsie\neine überwachte Aufgabe lösen, bei der es\nnicht darum geht, alle\nAutos als Autos vorherzusagen, sondern um sehr, sehr feine\nUnterteilungen, bei denen im Grenzfall jedes\nBild im Grunde eine eigene Klasse darstellt.  Wenn\nman also an überwachtes Lernen in\ndiesem extremen Szenario denkt,\nüberfordert man die Aufgabe auch nicht, weil man\nkein Bild auf ein anderes reduziert, und so\nkann man theoretisch\nviele nachgelagerte Aufgaben nach Belieben lösen.\nDiese Gleichsetzung mit Zahnseide\neröffnet zumindest eine etwas neue Perspektive auf die\nTatsache, dass es eigentlich nicht um das\nZiel geht.  Es geht eher darum, ob man\ndie SSL-Pipeline entwirft oder ob man sagt: „Okay,\ndieses Beispiel hängt mit jenem Beispiel zusammen“,\naber das ist nicht das Ziel, das einem\neine bessere Darstellung beibringt.  Okay.\nUnd in dem Artikel sprachen Sie darüber,\nwie SSL die Leistung nachgelagerter Aufgaben im ungünstigsten Fall maximieren kann\n.  Können Sie\ndas skizzieren?  Ja.  Wenn man also\nalle möglichen Realisierungen\nder nachgelagerten Aufgaben betrachtet, könnte man einige\nsehr grundlegende, skalierbare Aufgaben haben.  Vielleicht haben Sie\nverschiedene Bilder von Autos und Bussen und\nmöchten einfach nur sagen, dass es sich um ein Auto oder einen\nBus handelt.  Zur Lösung dieses Problems müssen also keine Details kodiert werden\n.  Dann kann es aber auch\nFolgeaufgaben geben, bei denen man beispielsweise wissen möchte, um\nwelche Automarke es sich handelt oder welche\nFarbe das Auto hat.  Sie haben also eine\nVerteilung der nachgelagerten Aufgaben, richtig?\nDer springende Punkt ist also, dass Sie\neine Repräsentation lernen möchten, sodass Sie, wenn Sie sich\ndie Verteilung der\nLeistung bei nachgelagerten Aufgaben ansehen,\nbei den meisten Aufgaben so gut wie möglich sein können.  Rechts?\nMan möchte also in einigen Bereichen sehr gut sein\nund dann im hinteren Teil\nin den meisten Bereichen sehr schlecht.  Und so\nkann man dann versuchen zu sagen: Okay, welche\nBezeichnung wird am besten geeignet sein, um den\nschlimmsten Fall so gut wie möglich darzustellen?  Und\ndaraus kann man schließen: Okay, das ist\ntatsächlich die Art der Etikettierung, die der Selbst-\nSupervisor implizit vornimmt.\nWie wirkt sich die Klassenbilanz auf die\nDifferenz der Verluste aus?\nOh ja.  Das ist also ein sehr guter Punkt, den wir\nin einer Folgestudie, an der wir gerade arbeiten, weiter ausführen\n.  Wir zeigen, dass die aktuellen\nSSL-Ziele die Klassenbalance voraussetzen.\nUnd das ist etwas, worauf wir\nin unserer Arbeit über SL-Superlernen\nals einheitliches Cluster-\nPriorpapier, die wir vor ein paar Jahren verfasst haben, bereits kurz hingewiesen haben.  Wir\nzeigen, dass die aktuellen SSL-Ziele eine\nausgewogene Repräsentation von Klassen oder\nKonzepten voraussetzen.  Das bedeutet, dass das\nTraining mit Bildern sehr\ngut funktioniert, weil die Konzepte gewissermaßen\ngleichwertig repräsentiert sind.  Wenn man dann aber\nandere Datensätze wie beispielsweise naturalistische Datensätze betrachtet,\ndie sehr schwere Ausreißer aufweisen, dann hat man\neine enorme Verzerrung in der Darstellung.\nBis jetzt wusste man also nicht wirklich, wie man\ndieses Problem lösen sollte. Ein Ansatzpunkt\nist die Datenkuratierung.\nMan sagt sich: „Okay, ich\nentferne einfach die überabgetasteten Konzepte, um die Daten\neinheitlicher zu machen“, und wendet dann\nselbstüberwachtes Lernen darauf an.\nDa wir nun aber diese theoretische\nFormulierung und diese Äquivalenz der\nVerluste haben, können wir genau die gleiche\nEinstellung verwenden, die man beim überwachten\nLernen verwendet hat, um die Verluste abhängig von der\nHäufigkeit der Klassen zu berechnen.  Wir können dies nutzen, um\neinen neuen selbstüberwachten\nLernverlust zu entwickeln, der dieses Ungleichgewicht berücksichtigt\n.  Diese Art von Sache wird also\ndurch diese mathematische\nFormulierung und ihr Prinzip ermöglicht.  Mit dieser\nMethode des Wartens lässt sich anhand der überwachten Theorie beweisen,\ndass es die richtige Vorgehensweise ist\n.  Und das ist\nwirklich toll, denn aus dieser\nscheinbar naiven Verbindung kann man nun eine\nneue Generation von\nselbstüberwachten Lernmodellen entwickeln, die die\nDatenverteilung in der realen Welt tatsächlich abbilden können.  Also, auch bei\nungleichmäßiger Verteilung der Klassen, beispielsweise\nwenn einige Stichproben\nverrauschter sind als andere, können Sie\ndiese Information\nebenfalls in das SSL-Ziel einbeziehen.  Plötzlich eröffnet sich Ihnen\neine völlig neue Welt voller Möglichkeiten,\nund weil diese\nVerbindung besteht, können Sie tatsächlich beweisen, dass\ndies der richtige Weg ist, zumindest\naus der von Siri überwachten Perspektive.  Sie\nwiesen auch auf eine Verbindung zu VCrag hin.\nGenau.  Im Grunde genommen zeigen wir in\ndem Paper, dass man, wenn man ein\nLe-Square-Supervised-Objective hat\nund es in ein SSL-Objective umwandelt, im Wesentlichen\nVrag erhält.  Es\ngibt also einige Varianten, je nachdem,\nwie man vorgeht, von\nüberwachtem zu SSL, aber man kann zeigen, dass man je\nnach Art des überwachten Verlusts\nverschiedene Arten von SSL-\nVerlusten abdeckt.  Wenn man sich vielleicht eher die\nKreuzentropie ansieht, ähnelt das überwachte Lernen eher dem\nSIM-Clear-Verlusttyp, aber es\ngibt diese Eins-zu-Eins-Korrespondenz.\nUnd das ist auch sehr schön, denn beim\nüberwachten Lernen weiß man zumindest,\nwann eine Verlustfunktion\ngegenüber einer anderen bevorzugt werden sollte, und das wird ja schon seit\nlanger Zeit untersucht, nicht wahr?\nDa es überwachtes Lernen schon\nimmer gab, können wir\ndiese Erkenntnisse nun für selbstüberwachtes\nLernen wiederverwenden.  Ein weiterer großer Vorteil dieser Methode ist für mich,\ndass wir plötzlich die gesamte Theorie und\ndie Tausenden von Veröffentlichungen zum Thema überwachtes\nLernen einfach\nauf SSL anwenden können.  Ein anderes\nBeispiel ist beispielsweise ein neuronaler Kollaps,\nder in einem überwachten Lernumfeld nachgewiesen wurde\n.  Das gilt nun auch für fünf\nZeilen in einer SSL-Umgebung.  Diese\nVerbindung geht also weit über den bloßen Versuch hinaus\nzu sagen: Okay, das ist nicht das Ziel, das\nSSL besser macht.  Es geht im Grunde darum, diese\nbeiden riesigen Gemeinschaften auf\nein gemeinsames Ziel auszurichten: das\nErlernen von Repräsentation.  Und\ndas ist auch gut so, denn wenn man mit\nLeuten spricht, denken sie: Okay,\nauf der einen Seite gibt es überwachtes Lernen, auf\nder anderen Seite SSL, und im Grunde gehört man\nentweder zu dem einen oder dem anderen Lager. Aber\nwir zeigen jetzt, dass SSL so ziemlich\nalles im Repräsentationslernen ist\nund überwachtes Lernen nur eine\nRealisierung von SSL darstellt.  Dann wäre da noch V Craig\nohne Label eine weitere Option.  Dann\nist das hier noch ein anderes.  Man bekommt also ein\nbesseres Verständnis für diese\nBeziehung und dafür, was Lernen eigentlich bewirken soll\n.  Eine geistreiche Frage folgt.\nKönnte man SSL und überwachte\nLernziele irgendwie kombinieren, um die Generalisierung zu verbessern\n?  Ja.  Ja.  Es gibt also\neine Arbeit, die sich mit überwachtem\nkontrastivem Lernen befasst.  Sie gehen also so vor,\ndass sie die Labels innerhalb eines\nSim Clear-Frameworks verwenden, um im Grunde ein\nvollständig überwachtes Lernen durchzuführen, jedoch mit einem\nSim Clear-Ziel.  Zunächst einmal\nkönnen wir zeigen, dass dies tatsächlich Sinn macht\nund dass wir im Grunde das\nempirische Ergebnis, das sie erzielt haben, erklären können, aber\nwir können tatsächlich noch ein bisschen mehr tun\n.  Wenn Sie sich beispielsweise in einem\nsemi-überwachten Umfeld befinden, ist es\nmöglicherweise nicht mehr klar, wie Sie diese\nbeiden Verlustfunktionen kombinieren sollen, oder Sie könnten\nsagen: Okay, ich habe die beiden Verlustfunktionen und einen\nKoeffizienten, um sie zu gewichten, dann müssen Sie\nKreuzvalidierung durchführen und so weiter. Aber\naus dieser Perspektive können Sie\nsie nun auf eine sehr systematische Weise kombinieren und\nverstehen, welche Verlustfunktion sinnvoll ist, je\nnachdem, wie viele Stichproben Sie in der\neinen oder anderen Form haben, und Sie können auch für dieses Umfeld die gesamte\nLiteratur zum überwachten\nLernen verwenden.  Das\nlässt sich also auch\nmit dieser Rezeptur sehr einfach bewerkstelligen.  Okay.\nWenn also SSL und überwacht zwei Seiten derselben\nMedaille sind.  Ich meine, natürlich\nkönnen wir dieses theoretische Rahmenwerk nutzen, um\nneue Formen von SSL-Frameworks zu entwerfen, aber\nist die Unterscheidung überhaupt\nrelevant, wenn es sich um dasselbe handelt?  Ich\nglaube, es sind nicht einfach nur zwei Seiten derselben\nMedaille.  SSL ist allgemeiner als\nüberwachtes Lernen.  SSL\nkönnte also das allgemeinere Ziel sein,\nRepräsentation zu lernen.  Je mehr\nVorwissen Sie haben, je mehr Sie\nüber Ihre nachgelagerte Aufgabe wissen, je mehr Sie\nüber Ihre Labels wissen und dann\nwird SSL langsam zu einem überwachten Lernen\ndurch das Label, das Sie für das\nSSL-Ziel verwenden.  Aber da Sie, wie\nSie sagten, diese Hierarchie haben, macht es\nnicht wirklich Sinn, zu sagen, man\nhabe entweder überwachtes Lernen oder SSL.\nSinnvoller ist es vielmehr zu sagen: Okay, was ist\ndiese Beziehungsmatrix, was ist diese\npaarweise Matrix? Wenn Sie sie aus\nLabels erstellen, handelt es sich um überwachtes Lernen. Wenn Sie\nsie aus anderem Prioritätswissen erstellen,\nzum Beispiel wenn zwei aufeinanderfolgende Frames in einem\nVideo im Grunde die gleiche Klasse haben, befinden\nSie sich eher in einem unüberwachten SSL-\nSzenario. Aber es geht darum, wie man\ndiese paarweise Beziehungsmatrix erstellt.\nDas ist die Hauptfrage. Sehr cool.\nGut, kommen wir nun zu unserem nächsten Thema.\nKein Standort wird also vernachlässigt;\ndie Fairness impliziter\nDarstellungen von Erdbeobachtungsdaten wird gemessen und verbessert.  Es gibt also mittlerweile\nunzählige\nModellierungsframeworks, die diese impliziten\nneuronalen Repräsentationen von Geodaten der\nErde erstellen.  Also Dinge wie\nKlimamodellierung, Ressourcenverteilung,\nUmweltmodellierung.  Ich habe gestern tatsächlich\nJohannes von NXAI interviewt\n.  Ich weiß nicht, ob du ihn kennst,\naber er arbeitet an ähnlichen Projekten.\nDas Problem ist, dass Sie das untersucht haben und\nfestgestellt haben, dass es jede Menge\nVerzerrungen und Ungerechtigkeiten gibt.  Ja,\ngenau.  Im Grunde zeigen wir also,\ndass, wenn man\nbeispielsweise Temperatur oder\nNiederschlag modellieren möchte, um es einfach auszudrücken, und\nman beispielsweise eine implizite\nRepräsentation lernen möchte, das bedeutet, dass man ein\nModell möchte, das, wenn man beispielsweise einen Ort und\nein Datum angibt, vorhersagen kann, wie hoch\ndie Temperatur dort war.  Wenn man also über\ndiese Art impliziter\nRepräsentation verfügt, ist das sehr gut, denn wenn\nman ein gutes Modell lernt, kann man\ndiese Werte tatsächlich interpolieren.\nSchätzen Sie also vielleicht, wie hoch die Temperatur\nin diesem Teil der Erde war, wo Sie\nkeinen Sensor hatten.  Man kann aber auch eine\nExtraktion durchführen.  Wenn man davon ausgeht, dass man\ndas wahre physikalische Modell der\nWelt wirklich verstanden hat, könnte man anfangen zu sagen: Okay,\nwie hoch wird die Temperatur in zwei Jahren sein?\nRechts?  Es ist also sehr schön, dass es\ndieses Modell für alle möglichen\nAnwendungen gibt.  Die Sache ist die: Wenn man\ndas heutzutage macht, kann man je nach\nArchitektur und den getroffenen Designentscheidungen\nim Durchschnitt eine sehr gute Vorhersage treffen.  Wenn\nman sich also die Zinsentwicklung\nweltweit ansieht, insbesondere wenn man\nbeispielsweise Inseln oder\nKüstengebiete betrachtet, sind die Vorhersagen sehr\nschlecht, fast zufällig.  Das ist etwas,\ndas sehr besorgniserregend sein kann, denn wenn\nman dieses Modell verwendet, um\nüber eine Politik zu entscheiden, die eine\nbestimmte Insel betrifft,\nist die Vorhersage mit diesem Modell genauso gut wie\nzufälliges Raten.  Das kann also sehr\nschädlich sein, und die Menschen müssen sich\ndieser Vorurteile bewusst sein.  Wir haben also festgestellt, dass\nbeispielsweise bei dieser Art von\nKlimadaten Inseln oft\nvernachlässigt werden, also Küstengebiete, also\nRegionen, in denen es große Unterschiede in\nder Art der Daten gibt, die man zu\nmodellieren versucht.  Welche Verantwortung tragen\nModellierer Ihrer Meinung nach, solche\nVerzerrungen in den Daten zu erkennen?  Ich denke also, es gibt, wie\ndu schon sagtest, zwei Komponenten\n.  Eine Möglichkeit wäre also, dass die\nDynamik der Daten, die Sie zu\nmodellieren versuchen, schwieriger zu erfassen ist, beispielsweise in der Nähe von Inseln, oder dass\nsie sogar unvorhersehbar ist, weil Sie\nnicht genügend Beobachtungen dafür haben\n.  Es besteht also eine gewisse Unsicherheit,\ndie man selbst mit gutem Design wahrscheinlich nie wieder aufholen kann\n.  Aber was wir\nhier festgestellt haben, ist, dass viele der Verzerrungen heutzutage\nvon der Architektur herrühren, und alles, was man tun muss, um\ndiese zu kodieren, ist, die\nArt der Basis zu bestimmen, die man für die\nVorhersage verwendet.  Im Moment scheint es also so, als ob ein\ngroßer Teil der Verzerrung von der\nArchitektur herrührt, aber ich stimme vollkommen zu, dass\nwir die Verzerrung nicht vollständig beseitigen können,\nda es\nin\nverschiedenen Teilen der Welt möglicherweise auch unterschiedliche Arten von Unsicherheit gibt.  Ich\nmeine, die Welt ist ein sehr, sehr\nkomplizierter Ort.  Ich meine, realistisch betrachtet:\nInwieweit lässt sich das mathematisch\nmodellieren?  Ja.  Das ist eine gute\nFrage.  Ich denke also, es hängt vom\nZeithorizont ab, den man hat, und von der Art der\nDaten, die man modellieren möchte.  Wenn man es mit\neinem System zu tun hat, das viel chaotischer ist oder sich\nsehr schnell verändern kann, ohne dass sich die\nBeobachtungen in der Vergangenheit wesentlich geändert haben, dann ist das\netwas, womit die aktuellen Modelle sehr große\nSchwierigkeiten haben.  Wenn man\netwas anderes vorhersagen möchte, zum Beispiel die\nTemperatur in Nordamerika,\nnicht in Küstennähe, sondern eher im\nLandesinneren, dann liegt das vielleicht daran, dass dort weniger\nGradientendynamik herrscht, die Dinge etwas\nstationärer sind, insbesondere im Laufe der Zeit.   Dann\nkann es viel besser werden.  Äh,\naber ich denke, im Moment haben wir keine\nArchitektur, die wirklich versteht,\ndass in\nverschiedenen Teilen der Welt unterschiedliche physikalische Gesetze und Dynamikmodelle gelten. Deshalb\nsieht man nur, was\nim Durchschnitt am besten ist, und das bedeutet, dass\nviele Details verloren gehen. Können Sie uns\netwas über den technischen\nRahmen erzählen? Nun, eine Sache, die wir zum\nBeispiel gezeigt haben, zumindest für diese Art der globalen\nDatendarstellung, ist, dass die Leute eine\n4-Jahres-Basis verwenden, um die Vorhersage zu modellieren, und\ndas ist besser, als überhaupt\nkeine Basis zu verwenden.  Das\nbedeutet aber, dass Sie andeuten, dass die Art des Signals, das\nSie vorhersagen, sehr stationär und überhaupt\nnicht lokalisiert ist.  Und dies ist ein sehr\nstarkes vorrangiges Recht.  Das mag\nfür einige Dinge zutreffen, aber bei anderen Dingen\nwie Niederschlag oder Temperatur, wo es\nlokal sehr hohe Gradienten gibt, handelt es sich um\neine starke Verzerrung.  Und wenn Sie\naus der Signalverarbeitungsgemeinschaft kommen,\nwissen Sie sehr wohl, dass man für eine bessere\nLokalisierung von 4 auf Wavelets umsteigt.\nUnd das ist also eine Sache, die wir in\ndieser Arbeit gemacht haben, und wir haben gezeigt, dass die Verwendung einer\nWavelet-Basis zur Kodierung dieser Daten eine\nbessere Lokalisierung ermöglicht\nund einige der Verzerrungen beseitigt.\nHier handelt es sich eher um einen Machbarkeitsnachweis,\ndass unterschiedliche Designentscheidungen\nunterschiedliche Arten von Verzerrungsabwägungen mit sich bringen. Das ist nicht\ndie Antwort auf alles, richtig?\nAber ich denke, der nächste Schritt besteht darin, immer\nweniger zu kodieren\nund das Modell selbstständig aus den Daten lernen zu lassen.\nUnd so weit sind wir\nzumindest für diese Art von\nKlimadaten noch nicht.  Wie könnte es mit verrauschten\noder fehlenden Daten umgehen?  Das hängt ganz vom\nverwendeten Modell ab.\nWenn Sie beispielsweise INR verwenden, werden\ndie fehlenden Daten nicht in Ihre\nTrainingspipeline einbezogen, und das ist einer der\nVorteile dieser Methode.  Wenn also einer Ihrer\nSensoren über mehrere Jahre hinweg keine Daten mehr aufzeichnet,\nverwenden Sie diese Daten einfach nicht als Teil Ihrer\nTrainingsdaten, da Sie ja selbst bestimmen,\nwo und wann Sie die Daten\nhaben.  Wie sollte die Vorhersage lauten\n?  Diese Erdmodelle fließen also mittlerweile in die\nPolitikgestaltung auf der ganzen Welt ein.  Wen\nsollten wir zur Rechenschaft ziehen?  Ich meine, liegt es an\nder Technologie?  Sind es die Wissenschaftler, die\ndie Modelle entwerfen?  Sind es die politischen\nEntscheidungsträger, die die Ergebnisse interpretieren?  Ich\nglaube, es ist für den\nDesigner des Modells sehr schwer vorherzusagen,\nwofür es später verwendet werden soll.  Ich\ndenke also, es ist eher ein nachgelagerter Prozess, wenn man\ngenau weiß, was man damit anfangen will.  Sie\nsollten zunächst einen guten Evaluierungsprozess einrichten,\num sicherzustellen, dass\nSie ihn tatsächlich zur Entscheidungsfindung nutzen können.\nAnschließend können Sie alle\nbeobachteten Fehler melden, damit\nandere das Design verbessern können.  Aber im\nVorfeld ist es sehr schwer vorstellbar, wofür\ndieses Modell einmal verwendet werden soll.  Im\nIdealfall wünscht man sich also, dass es\nüberhaupt keine Voreingenommenheit gäbe, aber in der Praxis, da die\nWelt der Möglichkeiten so groß ist,\nbraucht es eher eine Feedbackschleife, die so lange\nwiederholt wird, bis man\netwas hat, dem man wirklich vertrauen kann, und\ndann kann man darauf reagieren.  Die\nModellierungsdaten der Erde sind sehr anthropozentrisch,\nrichtig? Wir konzentrieren uns also auf die\nmenschliche Bevölkerung und so weiter.  Sollten wir uns\nauch auf\nÖkosysteme und Orte konzentrieren, die\nnichts mit Menschen zu tun haben?  Oh ja,\ndas ist eine hervorragende Frage, und tatsächlich\nist das eines der Hauptprobleme vieler\nDatensätze, die per Crowdsourcing erhoben werden.\nDenn definitionsgemäß ist die Menge der\nerhaltenen Daten proportional zur\nAnzahl der Nutzer, abhängig vom\nStandort. Das bedeutet, dass eine\ngroße Verzerrung in dem entsteht, was das Modell lernt\nund worauf es sich konzentriert, wodurch\nviele Dinge verloren gehen.\nIch denke also, dass das auch ein Punkt ist:\nCrowdsourcing kann zwar\nschnell viele Daten liefern, aber diese Daten sind sehr verzerrt\n.  Die Frage ist also, wie viel\nvon diesen verzerrten Daten man verwenden sollte, im Vergleich dazu,\nviel mehr zu bezahlen und andere Teile der Welt zu erfassen.\nMan könnte vielleicht zeigen,\ndass man unter bestimmten Bedingungen, wenn man nur\n10 % der Daten aus einer\nqualitativ hochwertigen, gleichmäßigen Stichprobe und 90 % aus\nCrowdsourcing-Daten verwendet, versuchen kann,\ndiese 10 % als Grundlage für die eigene\nDarstellung zu nutzen und dann alle\nDaten zusammen zu verwenden. Es gibt jedoch eine Vielzahl\nvon Forschungsfragen dazu, da dies\neine sehr große Quelle für Verzerrungen darstellt.  Und\ndas ist eher eine Grundsatzfrage, aber wir\nnutzen diese Dinge ja zur\nRessourcenverteilung, richtig? Wenn wir also\neinigen Bevölkerungsgruppen mehr Ressourcen geben,\nkönnten wir sie\nanderen wegnehmen. Und dann ist da noch die Frage der Gerechtigkeit im Laufe der\nZeit: Was\nheute gerecht ist, muss es\nin 100 Jahren nicht mehr sein. Wie sollen wir also darüber nachdenken?\nJa, das ist eine gute Frage. Ich\ndenke, das ist auch sehr\nanwendungsspezifisch. Wenn man zum Beispiel\nvorhersagen möchte, wo man ein Haus bauen sollte, um ein\nbestimmtes Problem zu lösen, dann ist es vielleicht nicht so schlimm, wenn die\nVorhersage ungenau ist,\nweil es dort sowieso keine Bevölkerung gibt und man dort sowieso nicht bauen wird\n.  In diesem Fall\nist die Art der Datenerhebung durch Crowdsourcing also vielleicht doch gut.\nDas könnte aber tatsächlich von\nder Art der Anwendung abhängen.  Und nur eine\nSache möchte ich zu Ihrem vorherigen Punkt sagen:\nDiese Art von Verzerrung\nist tatsächlich etwas, das man in der Computer\nVision hat.  Es gibt da so eine sehr gute\nArbeit von Mark Bra.  Im Grunde haben sie\ngezeigt, dass die meisten Daten, die wir beispielsweise von\nImageT haben, aus Nordamerika stammen.\nDaher erreicht man vielleicht eine Genauigkeit von 90 %\nbei der Vorhersage\nvon beispielsweise Autotypen, aber nur\nfür nordamerikanische Modelle. Sobald man sich\nAutotypen oder Stühle\nin Zentralafrika oder Ostasien ansieht,\nist die Modellleistung plötzlich extrem schlecht.\nDieses Problem tritt also\nmodalitätsübergreifend auf und ist ein\nsehr großes Problem.\nRandall, es ist mir immer eine Freude und\nEhre, Sie in der Sendung zu haben.\nVielen Dank.  Ebenfalls.  Ebenfalls.\nVielen Dank.",
  "transcript_chars": 41262,
  "ingested_at": "2026-06-15T01:29:51.339942+00:00",
  "source": "channel",
  "yt_meta": {
    "view_count": 17258,
    "like_count": 475,
    "channel_id": "UCMLtBahI5DMrt0NPvDSoIRQ",
    "categories": [
      "Science & Technology"
    ],
    "tags": []
  }
}