{
  "video_id": "eGoszzMkGfU",
  "channel_slug": "ibmtechnology",
  "channel_handle": "ibmtechnology",
  "title": "Graph Neural Networks Explained: A Clear Guide to GNN Basics & Models",
  "duration_seconds": 1007.0,
  "url": "https://www.youtube.com/watch?v=eGoszzMkGfU",
  "upload_date": "",
  "transcript": "Die Welt funktioniert über Netzwerke.  Denken Sie an\nsoziale Kreise, Moleküle, sogar an das Netz.\nHerkömmliche neuronale Netze haben jedoch\nSchwierigkeiten, diese Zusammenhänge zu verstehen\n.  Heute analysieren wir\neinen Modelltyp, der das kann.  Das sind Graph-\nNeuronale Netze oder GNNs.   Die\nmeisten Modelle des maschinellen Lernens erwarten Daten\nin einer übersichtlichen Tabelle.  Doch die Welt ist\nunübersichtlich, daher ist das nicht immer möglich.\nGraphen erfassen hingegen sowohl\ndie Merkmale der Dinge als auch die Struktur,\ndie sie miteinander verbindet.  Diese Beziehungen\nwerden Kanten genannt und verbinden\nEntitäten, die Knoten genannt werden.\nMathematisch gesehen kann ein Graph G\nals Tupel aus einer Menge von Knoten\noder Eckpunkten V und einer Menge von Kanten dargestellt werden.\nJede Kante besteht aus zwei Knoten\nund stellt eine Verbindung zwischen\nihnen dar.\nEine einfache Möglichkeit, die\nKonnektivität eines Graphen zu visualisieren, bietet seine\nAdjazenzmatrix.\nDiese können sowohl ungerichtete als auch\ngerichtete Graphen darstellen.  So ist beispielsweise Knoten\nNull in einem gerichteten Graphen mit\nKnoten Eins verbunden.\nDas Umgekehrte gilt jedoch nicht, da\ndie Verbindung gerichtet ist.\nDies kann bedeuten, dass Knoten Null ein\nSchüler ist, Knoten Eins ein Lehrer und die\nKante zwischen ihnen eine\nSchüler-Schüler-\nBeziehung darstellt.\nKnoten Null ist also ein Schüler von Knoten Eins,\nseinem Lehrer, aber die Umkehrung\nwäre natürlich nicht wahr.  Daher kommt es, dass in der\nAdjazenzmatrix in Zeile null und Spalte eins\neine Eins steht, in Zeile eins und Spalte\nnull jedoch nicht.  Und da Knoten Null beispielsweise\nauch ein Schüler der Knoten zwei\nund vier ist, wird dies auch\nin der Adjazenzmatrix deutlich.\nUm diese Informationen zu nutzen, können wir\nEinbettungen generieren.\nUnd das kann sich\nnicht nur auf die Knoten, sondern auch auf die\nKanten und sogar auf den gesamten Graphen beziehen.\nEinbettungen sind von entscheidender Bedeutung, da sie\nGraphdaten in dichte,\nniedrigdimensionale Vektoren umwandeln, die\nsowohl strukturelle als auch merkmalsbasierte\nBeziehungen erfassen.  Und wir können GNNs\nsowohl für heterogene als auch für homogene\nGraphen verwenden.  Heterogene GNNs sind also solche\nmit unterschiedlichen Knoten- und Kantentypen,\nwie beispielsweise der Schüler-Lehrer-Graph, den wir\ngerade gesehen haben.\nHomogene Graphen hingegen sind solche, die\nnur einen Knotentyp und nur eine\nKantenart aufweisen.\nGroßartig.  Jetzt kennen wir also die Grundlagen von\nKnoten und Kanten.  Nun wollen wir darüber sprechen,\nwie wir die Kommunikation\nzwischen den Knoten darstellen können.  GNNs nutzen einen Nachrichtenaustauschmechanismus, um\nInformationen von benachbarten Knoten zu aggregieren und so\ndie komplexen\nBeziehungen in Graphen zu erfassen.  Die\nKernaussage ist, dass die Knotenpunkte nicht\nalleine Vorhersagen treffen.  Sie tauschen\nInformationen mit ihren benachbarten Knoten aus\nund aggregieren diese Informationen, um\nihre eigenen Repräsentationen zu aktualisieren.\nUnd das geschieht in Schichten.\nSchauen wir uns also Knoten A an.\nIn der ersten Schicht betrachtet der Knoten seine\nunmittelbaren Nachbarn.\nDas könnten also diese beiden sein.  In der\nzweiten Schicht betrachtet der Knoten dann die Nachbarn\nseiner Nachbarn.  Also, vielleicht\nhier\nund hier.\nUnd wie Sie sich vorstellen können, wird die Darstellung mit jeder Schicht immer\nreicher und\nreicher.  Und so lernt ein GNN\nsowohl lokale Muster als auch globale\nStrukturen.\nLassen Sie uns dies in typische\nSchritte der Nachrichtenübermittlung aufschlüsseln.  Der erste\nSchritt ist also die Erstellung einer Nachricht.\nHier sendet also jeder Nachbar dem\nKnoten A kodierte Informationen wie\nMerkmalsvektoren, Kantengewichte usw.   Als\nnächstes folgt die Aggregation.\nKnoten A kombiniert also alle eingehenden\nNachrichten mithilfe von Operationen wie\nder Summenbildung, der Mittelwertbildung, der Maximierung oder der\nGewichtung der Aufmerksamkeit.  Darauf kommen wir gleich zu sprechen\n.\nSchließlich kann Knoten A\nseine Repräsentation auf Basis der\naggregierten Nachrichten aktualisieren.\nWir haben gesehen, wie Knoten kommunizieren,\nNachrichten senden, diese aggregieren und\nihre Repräsentationen aktualisieren.  Aber nicht\nalle GNNs machen das auf die gleiche Weise.\nUnterschiedliche Architekturen verfolgen unterschiedliche\nAnsätze.  Heute beschäftigen wir uns mit Graph\nConvolutional Networks, GraphSAGE, Graph\nAttention Networks, Graph Isomorphism\nNetworks und Graph Transformers.  Viele\nneue Begriffe, ich weiß, aber keine Sorge,\nich bin hier, um zu helfen.  Beginnen wir mit dem\nKlassiker, den Graph Convolutional\nNetworks oder GCNs.\nDiese funktionieren ähnlich wie CNNs, jedoch mit\nGraphen anstelle von Bildern oder Videos.\nJeder Knoten erhält also eine geglättete, aggregierte\nDarstellung seiner Nachbarn.  Es ist eine\nhervorragende Wahl für halbüberwachte\nKlassifizierungsaufgaben.  Für die\nEinbettung\ndes Knotens V in Schicht L aggregieren wir zunächst\nüber jeden Nachbarn des Knotens V\nin der vorherigen Schicht L minus eins.\nWir werden das also folgendermaßen notieren\n.\nAnschließend wird dies durch die\nGewichtsmatrix der Schicht L geleitet, sodass W\nL entsteht.\nSchließlich können wir eine\nnichtlineare Aktivierungsfunktion anwenden.  Das wird also\nSigma sein.   Die\nNichtlinearität ermöglicht es dem Modell,\nkomplexe Muster im Graphen tatsächlich zu erlernen,\nanstatt alles auf\neine einzige große lineare Transformation zu reduzieren.\nAls nächstes kommt GraphSAGE.  Dies ist also die Kurzform für „\nGraph Sample and Aggregate“ (Grafikstichprobe und Aggregation).\nWie Sie sich wahrscheinlich denken können,\nlernt GraphSAGE, Informationen zu aggregieren und\nNachbarn zu untersuchen, anstatt den\ngesamten Graphen zu verwenden.  Und das macht es ideal\nfür wirklich große Netzwerke, beispielsweise solche\nmit Millionen von Knoten.  Für\neinen Knoten V\nin Schicht L aggregieren wir also zunächst die\nEinbettungen seiner Nachbarn aus der\nvorherigen Schicht L minus eins.  Wir können\ndas dann mit der eigenen Einbettung von Knoten V\naus Schicht L minus eins verketten.\nFüge also hier eine Verkettung ein.\nDas Ergebnis wird dann durch\ndie Gewichtsmatrix der Schicht geleitet.  Wir\nmultiplizieren das also mit W\nL.\nUnd verwenden eine nichtlineare Aktivierungsfunktion, um\ndie aktualisierte Einbettung zu erzeugen.  Also, nochmal\nSigma hier.\nUnd dann gibt es noch Graph Attention\nNetworks oder\nkurz GAT.  Wo nicht alle Nachbarn\ngleich behandelt werden.  Das Modell lernt, welche\nVerbindungen wichtiger sind, und weist\nwichtigeren Nachbarn höhere Aufmerksamkeitsgewichte zu als anderen.  Und so\nbetrachten wir für die Einbettung des Knotens V in Schicht L erneut alle seine Nachbarn U in der\nvorherigen Schicht L minus eins.\nAlso, U bei L minus eins.  Und wir können\ndiese Merkmale mit einer\nGewichtsmatrix W in der aktuellen Schicht transformieren.\nUnd wir können jeden einzelnen Wert mit einem\nAufmerksamkeitskoeffizienten multiplizieren.  Wir werden\ndies also als Alpha VU darstellen.\nUnd das zeigt uns, wie wichtig dieser\nNachbar ist.  Die\nAufmerksamkeitskoeffizienten werden als zufällige,\nlernbare Parameter initialisiert und\nwährend des Trainings mittels\nBackpropagation aktualisiert, um die\nWichtigkeit der Nachbarn dynamisch zu gewichten.  Und diese Alpha-\nWerte sind alle positiv und normalisiert,\nda ihre Summe eins ergeben muss.  Dann können wir\nalles zusammenfassen.  Wir betrachten also erneut\ndie Nachbarn des Knotens V.\nUnd wir können diese durch eine Aktivierungsfunktion leiten\n.\nDas wird also wieder Sigma sein.  Und dabei\nlernt Knoten V, sich bei der Aktualisierung seiner Repräsentation stärker auf die wichtigsten Nachbarn zu konzentrieren\n.  Eine weitere wichtige\nArchitektur, die erwähnt werden sollte, ist das\nGraphisomorphie-Netzwerk oder GIN.  Es ist\ntatsächlich eines der ausdrucksstärksten\nGNNs.  Wir verwenden mehrschichtige Perzeptrone oder\nMLPs\nanstelle von komplizierten Operationen, und irgendwie\nmacht diese Einfachheit es sogar noch besser,\nverschiedene Graphstrukturen zu unterscheiden\n.  Um also den\nKnoten V in Schicht L einzubetten, betrachten wir erneut jeden Knoten, mit dem er\nbenachbart ist.  Wir summieren also über\ndie Nachbarn\nvon V. Und wir nehmen deren Einbettungen auf\nder vorherigen Ebene.  Also, HUL minus eins.\nUnd wir addieren sie zu den eigenen Funktionen von Knoten V.\nDas ist also eine Summe von\nH und V aus\nder vorherigen Schicht.  Und wir können\ndies mit einem erlernbaren Wert skalieren, also mit eins\nplus ε.\nDieser kombinierte Vektor wird dann\ndurch ein MLP geleitet,\nwodurch Nichtlinearität und Ausdruckskraft hinzugefügt werden\n.\nUnd diese einfache Summen- und MLP-Struktur\nmacht GIN besonders stark bei der\nUnterscheidung verschiedener\nGraphstrukturen.  Besonders interessant ist dies, wenn man\nbedenkt, dass die meisten GNN-\nArchitekturen tatsächlich Schwierigkeiten haben,\nbestimmte Graphstrukturen zu unterscheiden,\ninsbesondere wenn zwei Graphen\nähnlich aussehen, aber nicht tatsächlich identisch sind.\nNehmen wir also dieses Beispiel.  Beide Graphen\nhaben die gleiche Anzahl an Knoten und Kanten,\nund jeder Knoten hat den gleichen Grad, da\njeder Knoten mit genau zwei\nanderen verbunden ist.  Wenn man sich das ansieht, passt\nstrukturell alles zusammen.\nDeshalb werden diese Graphen als\nisomorph betrachtet.  Aber hier ist der Haken.  Ein\nStandard-GCN hätte immer noch Schwierigkeiten,\nsie zu unterscheiden.  Die Art der Nachrichtenübermittlung,\ninsbesondere die Mittelwert-\nund Maximalpooling-Verfahren,\nneigen dazu, wichtige strukturelle\nUnterschiede zu glätten und unterschiedliche\nNachbarschaftsmuster so zu behandeln, als wären sie\nidentisch.\nUnd weil diese Art der Aggregation\nnicht injektiv ist,\nkönnen zwei verschiedene Graphstrukturen\nin der gleichen Darstellung zusammengeführt werden.\nUnd genau diese Art von Einschränkung sollte\nder WL-Test\nbeheben.  Der WL-Test ist\neine klassische und überraschend leistungsstarke\nMethode, um festzustellen, ob zwei\nGraphen strukturell identisch sind.\nGINs wurden so konstruiert, dass sie ihrer Ausdruckskraft gerecht werden\n, was bedeutet, dass sie\nGraphstrukturen zuverlässig unterscheiden können, die\neinfachere GNNs und insbesondere GCNs\nfälschlicherweise auf dieselbe Einbettung abbilden würden.   Zu guter Letzt\nhaben Transformatoren natürlich\nauch Einzug in Diagramme gehalten.\nGraph-Transformer\nnutzen also globale Aufmerksamkeit, was bedeutet, dass theoretisch jeder Knoten\nauf jeden anderen Knoten zugreifen kann.\nUnd sie eignen sich hervorragend, wenn man\nlangfristige Beziehungen erfassen muss oder\nmit unübersichtlichen, komplexen Graphdaten arbeitet\n.  Wie schon zuvor beginnt das Modell\nmit einer Matrix von Knoteneinbettungen, der\nMatrix H. Anschließend werden drei gelernte\nlineare Transformationen auf diese Matrix angewendet, um\nAnfragen, Schlüssel und Werte zu erzeugen.\nAlso, Q ist gleich H\ndoppelt Q.\nDasselbe gilt für Schlüssel\nund Werte.\nUnd diese Faktoren bestimmen, nach welchen Informationen es\nsucht, welche Informationen es anbietet\nund welche Informationen weitergeleitet werden.\nAnschließend berechnet das Modell den\nAufmerksamkeitswert für jedes Knotenpaar.\nDie Aufmerksamkeitsfunktion\nvon Q K\nV\nvergleicht die Anfrage jedes Knotens mit dem\nSchlüssel jedes anderen Knotens, um Aufmerksamkeitswerte zu berechnen\n.  Unser Zähler\nist also Q\nK transponiert.\nUnd optional können wir dies\nmithilfe einer Graphstruktur anpassen.  Das kann also\ndie Quadratwurzel der Dimension des Schlüssel- oder\nAbfragevektors sein.\nAlso, Quadratwurzel aus D.\nUnd bei Standard-Transformern\nwerden Aufmerksamkeitswerte ausschließlich aus der\nÄhnlichkeit zwischen Knoteneinbettungen berechnet.\nBei Graphen kommt es jedoch auf die Struktur des Graphen\nselbst an.  Graph-Transformer\nberücksichtigen dies, indem sie dem Aufmerksamkeitswert einen Bias-Term hinzufügen\n.\nPlus B.\nUnd das kodiert Strukturinformationen,\nwie zum Beispiel, ob zwei Knoten verbunden sind,\nwie weit sie im Graphen voneinander entfernt sind oder\nwelche Art von Kante sie verbindet.\nDann wird eine gewichtete Kombination von Wertvektoren verwendet, um\ndie Repräsentation von V zu aktualisieren, sodass\njeder Knoten global agieren kann und nicht nur\nauf seine unmittelbaren Nachbarn reagiert.  Anschließend\nwird das Ganze der Softmax-\nFunktion zugeführt.\nBeachten Sie, dass\nGraph-Transformer anstelle eines einzelnen Aufmerksamkeitsmechanismus\nmehrere Aufmerksamkeitsköpfe parallel verwenden.\nJeder Aufmerksamkeitskopf wird berechnet, indem\nder Aufmerksamkeitsmechanismus auf seinen\neigenen Satz von Anfragen, Schlüsseln und Werten angewendet wird.   Bei der\nMulti-Head-Attention\nfür dieselben Anfragen, Schlüssel und Werte werden die\nAusgaben aller Attention-Heads nach deren Erzeugung verkettet.\nUnd sie werden durch eine lernbare\nProjektionsmatrix WO geleitet,\ndie die Informationen der\nverschiedenen Köpfe zu einer einzigen\nRepräsentation kombiniert.\nNach dem Multi-Head-Attention-Schritt\nwird die Ausgabe durch ein Feedforward-\nNetzwerk, kurz FFN, geleitet.  Es handelt sich um ein kleines neuronales\nNetzwerk, das aus zwei vollständig verbundenen\nSchichten mit einer nichtlinearen Aktivierungsfunktion dazwischen\n, wie beispielsweise ReLU, besteht.\nZiel dieses Schrittes ist es,\ndie Darstellungen weiter zu transformieren\nund das Modell ausdrucksstärker zu gestalten.\nUnd ähnlich wie beim Aufmerksamkeitsschritt\nverwendet der Transformator eine Restverbindung\nund eine Schichtnormalisierung.\nDas bedeutet, dass der ursprüngliche Eingabewert\nvor der Normalisierung wieder zum Ausgabewert addiert wird\n.\nDiese Techniken tragen zur Stabilisierung des\nTrainings bei und erleichtern das Training\nkomplexerer Modelle.\nInsgesamt verfeinert dieser Schritt die\nKnotendarstellungen, sodass sie\nkomplexere Beziehungen in den Daten erfassen können.\nOkay, wir haben also verschiedene\nArchitekturen behandelt, und jede von ihnen verwendet die\ngleiche Kernidee: die Nachrichtenübermittlung.\nSie verfolgen jedoch unterschiedliche Ansätze hinsichtlich der Art und Weise, wie\nKnoten Informationen aggregieren, und wie weit\nsie in die Graphstruktur hineinblicken können.\nMerken Sie sich also:\nGCNs glätten, GraphSAGE-Sampling, Graph\nAttention Networks fokussieren die Aufmerksamkeit und\nGINs maximieren die Ausdrucksstärke.  Und\nnatürlich lassen sich Graphtransformatoren auf\nglobales Denken skalieren.   Das\nist also die Welt der GNNs.  Ich hoffe,\ndiese Einführung vermittelt Ihnen ein klares\nVerständnis davon, wie sie funktionieren und wann man\nsie einsetzt.   Gibt es\neine bestimmte GNN-Architektur,\nüber die Sie mehr erfahren möchten?  Teilt es uns unten mit\n.\nUnd falls Sie heute etwas Neues gelernt haben, vergessen Sie nicht, ein\nLike dazulassen und den Kanal zu abonnieren, um mehr\nInhalte dieser Art zu erhalten.",
  "transcript_chars": 14713,
  "ingested_at": "2026-05-25T16:31:07.826917+00:00",
  "source": "channel",
  "yt_meta": {
    "view_count": 2409,
    "like_count": 201,
    "channel_id": "UCKWaEZ-_VweaEx1j62do_vQ",
    "categories": [
      "Education"
    ],
    "tags": [
      "IBM",
      "IBM Cloud"
    ]
  }
}