Hoch-dimensionale Daten, Daten bedeutend, der verlangt, dass mehr als zwei oder drei Dimensionen vertreten, können schwierig sein zu dolmetschen. Eine Annäherung an die Vereinfachung soll dass die Daten Lüge von Interesse auf einer eingebetteten nichtlinearen Sammelleitung innerhalb des hoch-dimensionalen Raums annehmen. Wenn die Sammelleitung niedrig genug Dimension dann ist, können die Daten im niedrigen dimensionalen Raum vergegenwärtigt werden.

Unten ist eine Zusammenfassung von einigen der wichtigen Algorithmen von der Geschichte des Sammelleitungslernens und der nichtlinearen dimensionality Verminderung (NLDR). Viele dieser nichtlinearen dimensionality Verminderungsmethoden sind mit den geradlinigen Methoden verbunden, die unten verzeichnet sind. Nichtlineare Methoden können in zwei Gruppen weit gehend eingeteilt werden: Diejenigen, die zur Verfügung stellen (entweder vom hohen dimensionalen Raum bis das niedrige dimensionale Einbetten oder umgekehrt), und diejenigen kartografisch darzustellen, die gerade eine Visualisierung geben. Im Zusammenhang des Maschinenlernens, Methoden kartografisch darstellend, kann als ein einleitender Eigenschaft-Förderungsschritt angesehen werden, nach dem Muster-Anerkennungsalgorithmen angewandt werden. Normalerweise basieren diejenigen, die gerade eine Visualisierung geben, auf Nähe-Daten - d. h. Entfernungsmaße.

Geradlinige Methoden

• Unabhängige Teilanalyse (ICA).
• Hauptteilanalyse (PCA) (hat auch Karhunen-Loève genannt, verwandelt sich - KLT).
• Einzigartige Wertzergliederung (SVD).
• Faktorenanalyse.

Gebrauch für NLDR

Betrachten Sie einen dataset als vertreten als eine Matrix (oder ein Datenbanktisch), solch, dass jede Reihe eine Reihe von Attributen vertritt (oder Eigenschaften oder Dimensionen), die ein besonderes Beispiel von etwas beschreiben. Wenn die Zahl von Attributen groß ist, dann ist der Raum von einzigartigen möglichen Reihen exponential groß. So, je größer der dimensionality, desto schwieriger es für die Probe der Raum wird. Das verursacht viele Probleme. Algorithmen, die auf hoch-dimensionalen Daten funktionieren, neigen dazu, sehr höchste Zeit Kompliziertheit zu haben. Viele Maschinenlernalgorithmen kämpfen zum Beispiel mit hoch-dimensionalen Daten. Das ist bekannt als der Fluch von dimensionality geworden. Das Reduzieren von Daten in weniger Dimensionen macht häufig Analyse-Algorithmen effizienter, und kann Maschinenlernalgorithmen helfen, genauere Vorhersagen zu machen.

Menschen haben häufig Schwierigkeit, Daten in vielen Dimensionen umfassend. So ist das Reduzieren von Daten zu einer kleinen Zahl von Dimensionen zu Vergegenwärtigungszwecken nützlich.

Das reduzierte - dimensionale Darstellungen von Daten werden häufig "innere Variablen" genannt. Diese Beschreibung deutet an, dass das die Werte sind, von denen die Daten erzeugt wurde. Denken Sie zum Beispiel einen dataset, der Images eines Briefs enthält, der erklettert und durch das Verändern von Beträgen rotieren gelassen worden ist. Jedes Image hat 32x32 Pixel. Jedes Image kann als ein Vektor von 1024 Pixel-Werten vertreten werden. Jede Reihe ist eine Probe auf einer zweidimensionalen Sammelleitung im 1024-dimensionalen Raum (ein Raum von Hamming). Der innere dimensionality ist zwei, weil zwei Variablen (Folge und Skala) geändert wurden, um die Daten zu erzeugen. Die Information über die Gestalt oder den Blick eines Briefs nicht ein Teil der inneren Variablen zu sein, weil es dasselbe in jedem Beispiel ist. Die nichtlineare dimensionality Verminderung wird die aufeinander bezogene Information (der Brief) verwerfen und nur die unterschiedliche Information (Folge und Skala) wieder erlangen. Das Image zu den linken Show-Beispielimages von diesem dataset (um Raum zu sparen, werden nicht alle Eingangsimages gezeigt), und ein Anschlag der zweidimensionalen Punkte, der sich aus dem Verwenden eines NLDR Algorithmus ergibt (in diesem Fall wurde das Mannigfaltige Bildhauern verwendet), die Daten in gerade zwei Dimensionen zu reduzieren.

Vergleichsweise, wenn PCA (ein geradliniger dimensionality Verminderungsalgorithmus) verwendet wird, um diesen denselben dataset in zwei Dimensionen zu reduzieren, werden die resultierenden Werte nicht so gut organisiert. Das demonstriert, dass die hoch-dimensionalen Vektoren (jedes Darstellen eines Briefs), dass sich Probe diese Sammelleitung in einer nichtlinearen Weise ändert.

Es sollte deshalb offenbar sein, dass NLDR mehrere Anwendungen im Feld der Computervision hat. Denken Sie zum Beispiel einen Roboter, der eine Kamera verwendet, um in einer geschlossenen statischen Umgebung zu schiffen. Wie man betrachten kann, sind die durch diese Kamera erhaltenen Images Proben auf einer Sammelleitung im hoch-dimensionalen Raum, und die inneren Variablen dieser Sammelleitung werden die Position und Orientierung des Roboters vertreten. Dieses Dienstprogramm wird auf Roboter nicht beschränkt. Dynamische Systeme, eine allgemeinere Klasse von Systemen, die Roboter einschließt, werden in Bezug auf eine Sammelleitung definiert. Die aktive Forschung in NLDR bemüht sich sich zu entfalten die Beobachtungssammelleitungen haben dynamische Systeme vereinigt, um Techniken zu entwickeln, um solche Systeme zu modellieren und ihnen zu ermöglichen, autonom zu funktionieren.

Sammelleitungslernalgorithmen

Einige der prominenteren Sammelleitungslernalgorithmen werden unten (in ungefähr der zeitlichen Reihenfolge) verzeichnet. Ein Algorithmus kann ein inneres Modell der Daten erfahren, die verwendet werden können, um Punkte kartografisch darzustellen, die in der Lehrzeit ins Einbetten in einem Prozess nicht verfügbar sind, häufig hat Erweiterung aus der Probe genannt.

Kartografisch darstellender Sammon

Kartografisch darstellender Sammon ist eine der ersten NLDR Techniken.

Karten von Kohonen

Karten von Kohonen (auch genannt das Selbstorganisieren von Karten oder SOM) und sein probabilistic verschiedener generativ topografisch kartografisch darzustellen (GTM) verwenden eine Punkt-Darstellung im eingebetteten Raum, um ein latentes variables Modell zu bilden, das darauf gestützt ist, vom eingebetteten Raum bis den hohen dimensionalen Raum nichtlinear kartografisch darzustellen. Diese Techniken sind verbunden, um an Dichte-Netzen zu arbeiten, die auch um dasselbe probabilistic Modell basieren.

Hauptkurven und Sammelleitungen

Hauptkurven und Sammelleitungen geben das natürliche geometrische Fachwerk für die nichtlineare dimensionality Verminderung und erweitern die geometrische Interpretation von PCA durch das ausführliche Konstruieren einer eingebetteten Sammelleitung, und durch die Verschlüsselung des Verwendens geometrischen Standardvorsprungs auf die Sammelleitung. Diese Annäherung wurde von Trevor Hastie in seiner These (1984) vorgeschlagen und hat sich weiter durch viele Autoren entwickelt.

Wie man die "Einfachheit" der Sammelleitung definiert, ist jedoch vom Problem abhängig, es wird durch den inneren dimensionality und/oder die Glätte der Sammelleitung allgemein gemessen. Gewöhnlich wird die Hauptsammelleitung als eine Lösung eines Optimierungsproblems definiert. Die objektive Funktion schließt eine Qualität der Datenannäherung und einiger Strafbegriffe für das Verbiegen der Sammelleitung ein. Die populären anfänglichen Annäherungen werden durch geradlinigen PCA, den SOM von Kohonen oder autoencoders erzeugt. Die elastische Karte-Methode stellt den Erwartungsmaximierungsalgorithmus für die Hauptsammelleitung zur Verfügung, die mit der Minimierung der quadratischen am "Maximierungs"-Schritt funktionellen Energie erfährt.

Autoencoders

Ein autoencoder ist ein mit dem Futter fortgeschrittenes Nervennetz, das trainiert wird, der Identitätsfunktion näher zu kommen. D. h. es wird trainiert, von einem Vektoren von Werten zu demselben Vektoren kartografisch darzustellen. Eine der verborgenen Schichten im Netz wird jedoch beschränkt, um nur eine kleine Zahl von Netzeinheiten zu enthalten. So muss das Netz lernen, den Vektoren in eine kleine Zahl von Dimensionen zu verschlüsseln und dann ihn zurück in den ursprünglichen Raum zu decodieren. So ist die erste Hälfte des Netzes ein Modell, das von hoch bis niedrig-dimensionalen Raum und die zweite Hälfte von Karten von niedrig bis hoch-dimensionalen Raum kartografisch darstellt. Obwohl die Idee von autoencoders ziemlich alt ist, ist die Ausbildung des encoders nur kürzlich möglich durch den Gebrauch von Eingeschränkten Maschinen von Boltzmann geworden. Verbunden mit autoencoders ist der Algorithmus von NeuroScale, der Betonungsfunktionen verwendet, die durch das mehrdimensionale Schuppen und Sammon mappings (sieh unten) begeistert sind, um zu erfahren, vom hohen dimensionalen bis den eingebetteten Raum nichtlinear kartografisch darzustellen. Die mappings in NeuroScale basieren auf radialen Basisfunktionsnetzen.

Gaussian bearbeiten latente variable Modelle

Prozess von Gaussian latente variable Modelle (GPLVM) ist ein probabilistic nichtlinearer PCA. Wie Kern-PCA verwenden sie eine Kernfunktion zu bilden (in der Form eines Prozesses von Gaussian) kartografisch darzustellen. Jedoch im GPLVM kartografisch darzustellen, ist vom eingebetteten Raum bis den Datenraum (wie Dichte-Netze und GTM), wohingegen in Kern-PCA es in der entgegengesetzten Richtung ist.

Krummlinige Teilanalyse

Krummlinige Teilanalyse (CCA) sucht nach der Konfiguration von Punkten im Produktionsraum, der ursprüngliche Entfernungen so viel wie möglich bewahrt, während er sich auf kleine Entfernungen im Produktionsraum konzentriert (umgekehrt kartografisch darstellendem Sammon, die sich auf kleine Entfernungen im ursprünglichen Raum konzentrieren).

Es sollte bemerkt werden, dass CCA, als ein wiederholender Lernalgorithmus, wirklich sich Anfänge damit auf große Entfernungen (wie der Algorithmus von Sammon) konzentrieren, dann allmählich Fokus zu kleinen Entfernungen ändern. Die kleine Entfernungsinformation wird die große Entfernungsinformation überschreiben, wenn Kompromisse zwischen den zwei geschlossen werden müssen.

Die Betonungsfunktion von CCA ist als eine Summe der richtigen Abschweifung von Bregman bewiesen worden

Krummlinige Entfernungsanalyse

CDA trainiert ein selbstorganisierendes Nervennetz, die Sammelleitung zu passen, und bemüht sich, geodätische Entfernungen in seinem Einbetten zu bewahren. Es basiert auf der Krummlinigen Teilanalyse (der Sammon kartografisch darstellend erweitert hat), aber verwendet geodätische Entfernungen stattdessen.

Die Verminderung von Diffeomorphic dimensionality

Die Diffeomorphic Dimensionality Verminderung oder Diffeomap erfahren einen glatten kartografisch darstellenden diffeomorphic, der die Daten auf einen niedrigeren dimensionalen geradlinigen Subraum transportiert. Die Methoden lösen für das mit einem Inhaltsverzeichnis versehene solches Vektorfeld einer glatten Zeit, dass Pfad-Integrale entlang dem Feld, die an den Datenpunkten anfangen, an einem niedrigeren dimensionalen geradlinigen Subraum enden werden, dadurch versuchend, pairwise Unterschiede sowohl unter dem nachschicken zu bewahren als auch unter umgekehrt kartografisch darzustellen.

Kernhauptteilanalyse

Vielleicht ist der am weitesten verwendete Algorithmus für die Sammelleitung, die erfährt, Kern-PCA. Es ist eine Kombination der Hauptteilanalyse und des Kerntricks. PCA beginnt durch die Computerwissenschaft der Kovarianz-Matrix der Matrix

:

Es plant dann die Daten auf die ersten k Eigenvektoren dieser Matrix. Vergleichsweise beginnt KPCA durch die Computerwissenschaft der Kovarianz-Matrix der Daten, in einen hoch-dimensionalen Raum, umgestaltet

:

Es plant dann die umgestalteten Daten auf die ersten k Eigenvektoren dieser Matrix gerade wie PCA. Es verwendet den Kerntrick am Faktor weg viel von der Berechnung, solch, dass der komplette Prozess ohne wirklich rechnenden durchgeführt werden kann. Natürlich muss solch gewählt werden, dass es einen bekannten entsprechenden Kern hat. Leider ist es nicht trivial, um einen guten Kern für ein gegebenes Problem zu finden, so gibt KPCA gute Ergebnisse mit einigen Problemen nicht nach. Zum Beispiel, wie man bekannt, leistet es schlecht mit der schweizerischen Rollensammelleitung.

KPCA hat ein inneres Modell, so kann er verwendet werden, um Punkte auf sein Einbetten kartografisch darzustellen, die in der Lehrzeit nicht verfügbar waren.

Isomap

Isomap ist eine Kombination des Algorithmus von Floyd-Warshall mit dem klassischen Mehrdimensionalen Schuppen. Klassisches Mehrdimensionales Schuppen (MDS) nimmt eine Matrix von mit dem Paar klugen Entfernungen zwischen allen Punkten, und schätzt eine Position für jeden Punkt. Mit NLDR Algorithmen wie Isomap, jedoch, sind die mit dem Paar klugen Entfernungen nur zwischen benachbarten Punkten bekannt. So verwendet Isomap den Algorithmus von Floyd-Warshall, um die mit dem Paar klugen Entfernungen zwischen allen anderen Punkten zu schätzen. Das schätzt effektiv die volle Matrix von mit dem Paar klugen geodätischen Entfernungen zwischen allen Punkten. Isomap verwendet dann klassischen MDS, um das reduzierte - dimensionale Positionen aller Punkte zu schätzen.

Grenzstein-Isomap ist eine Variante dieses Algorithmus, der Grenzsteine verwendet, um Geschwindigkeit auf Kosten von etwas Genauigkeit zu vergrößern.

Das lokal geradlinige Einbetten

Locally-Linear Embedding (LLE) wurde in ungefähr derselben Zeit wie Isomap präsentiert. Es hat mehrere Vorteile gegenüber Isomap einschließlich der schnelleren Optimierung, wenn durchgeführt, um spärliche Matrixalgorithmen und bessere Ergebnisse mit vielen Problemen auszunutzen. LLE beginnt auch durch die Entdeckung eine Reihe die nächsten Nachbarn jedes Punkts. Es schätzt dann eine Reihe von Gewichten für jeden Punkt, die am besten den Punkt als eine geradlinige Kombination seiner Nachbarn beschreiben. Schließlich verwendet es eine Eigenvektor-basierte Optimierungstechnik, um das niedrig-dimensionale Einbetten von Punkten, solch zu finden, dass jeder Punkt noch mit derselben geradlinigen Kombination seiner Nachbarn beschrieben wird. LLE neigt dazu, ungleichförmige Beispieldichten schlecht zu behandeln, weil es keine feste Einheit gibt, um die Gewichte davon abzuhalten, zu treiben, weil sich verschiedene Gebiete in Beispieldichten unterscheiden. LLE hat kein inneres Modell.

LLE schätzt die barycentric Koordinaten eines Punkts X gestützt auf seinen Nachbarn X. Der ursprüngliche Punkt wird durch eine geradlinige Kombination wieder aufgebaut, die durch die Gewicht-Matrix W seiner Nachbarn gegeben ist. Der Rekonstruktionsfehler wird durch die Kostenfunktion E (W) gegeben.

:

Die Gewichte W beziehen sich im Wert vom Beitrag, den der Punkt X hat, während er den Punkt X wieder aufbaut. Die Kostenfunktion wird unter zwei Einschränkungen minimiert:

(a) Jeder weisen Daten X hin wird nur von seinen Nachbarn wieder aufgebaut, so W geltend machend, um Null zu sein, wenn Punkt X nicht ein Nachbar des Punkts X und ist

(b) Die Summe jeder Reihe der Gewicht-Matrix ist 1 gleich.

:

Die ursprünglichen Datenpunkte werden in einem D dimensionalen Raum gesammelt, und die Absicht des Algorithmus ist, den dimensionality auf solchen d dass D>> d zu reduzieren. Dieselben Gewichte W, der den ith Datenpunkt im D dimensionalen Raum wieder aufbaut, werden verwendet, um denselben Punkt in tiefer d dimensionaler Raum wieder aufzubauen. Eine Nachbarschaft-Bewahrungskarte wird gestützt auf dieser Idee geschaffen. Jeder Punkt X im D dimensionalen Raum wird auf einen Punkt Y im d dimensionalen Raum durch die Minderung der Kostenfunktion kartografisch dargestellt

:

In dieser Kostenfunktion verschieden von der vorherigen werden die Gewichte W fest behalten, und die Minimierung wird auf den Punkten Y getan, um die Koordinaten zu optimieren. Dieses Minimierungsproblem kann durch das Lösen eines spärlichen N X N eigen Wertproblem behoben werden, dessen Boden d Nichtnull eigen Vektoren einem orthogonalen Satz von Koordinaten zur Verfügung stellen. Allgemein werden die Datenpunkte von K wieder aufgebaut am nächsten, ist wie gemessen, durch die Euklidische Entfernung benachbart. Für solch eine Durchführung hat der Algorithmus nur einen freien Parameter K, der durch die böse Gültigkeitserklärung gewählt werden kann.

Laplacian eigenmaps

Laplacian Eigenmaps verwendet geisterhafte Techniken, um die dimensionality Verminderung durchzuführen. Diese Technik verlässt sich auf die grundlegende Annahme, dass die Daten in einer niedrigen dimensionalen Sammelleitung in einem hohen dimensionalen Raum liegen. Dieser Algorithmus kann aus Beispielpunkten nicht einbetten, aber Techniken haben auf dem Reproduzieren des Kernraums von Hilbert regularization gestützt bestehen, um diese Fähigkeit hinzuzufügen. Solche Techniken können auf andere nichtlineare dimensionality Verminderungsalgorithmen ebenso angewandt werden.

Traditionelle Techniken wie Hauptteilanalyse denken die innere Geometrie der Daten nicht. Laplacian eigenmaps baut einen Graphen von der Nachbarschaft-Information der Datei. Jeder Datenpunkt Aufschläge als ein Knoten auf dem Graphen und der Konnektivität zwischen Knoten wird durch die Nähe von benachbarten Punkten geregelt (z.B den K-Nearest-Nachbaralgorithmus verwendend). Der so erzeugte Graph kann als eine getrennte Annäherung der niedrigen dimensionalen Sammelleitung im hohen dimensionalen Raum betrachtet werden. Die Minimierung einer auf dem Graphen gestützten Kostenfunktion stellt sicher, dass Punkte in der Nähe von einander auf der Sammelleitung in der Nähe von einander im niedrigen dimensionalen Raum kartografisch dargestellt werden, lokale Entfernungen bewahrend. Der eigenfunctions des Laplace-Beltrami Maschinenbedieners auf dem mannigfaltigen Aufschlag als die Einbetten-Dimensionen, seitdem unter milden Bedingungen dieser Maschinenbediener hat ein zählbares Spektrum, das eine Basis für das Quadrat integrable Funktionen auf der Sammelleitung ist (vergleichen sich mit der Reihe von Fourier auf der Einheitskreissammelleitung). Versuche, Laplacian eigenmaps auf dem festen theoretischen Boden zu legen, haben sich mit etwas Erfolg, als unter bestimmten nichteinschränkenden Annahmen, der Graph getroffen, wie man gezeigt hat, ist Matrix von Laplacian dem Laplace-Beltrami Maschinenbediener zusammengelaufen, als die Zahl von Punkten zur Unendlichkeit geht. Der Code von Matlab für Laplacian Eigenmaps kann in Algorithmen gefunden werden, und die Doktorarbeit von Belkin kann an der Ohio Staatlichen Universität gefunden werden.

Verbreitungskarten

Verbreitung stellt Einflüsse die Beziehung zwischen der Hitzeverbreitung und einem zufälligen Spaziergang (Kette von Markov) kartografisch dar; eine Analogie wird zwischen dem Verbreitungsmaschinenbediener auf einer Sammelleitung und einer Übergang-Matrix von Markov gezogen, die auf Funktionen funktioniert, die auf dem Graphen definiert sind, dessen Knoten von der Sammelleitung probiert wurden. Lassen Sie insbesondere eine Datei dadurch vertreten werden. Die zu Grunde liegende Annahme der Verbreitungskarte ist, dass die Daten, obwohl hoch-dimensional, auf einer niedrig-dimensionalen Sammelleitung von Dimensionen.X liegt, vertritt die Datei, und lassen Sie vertreten den Vertrieb der Datenpunkte auf X. Zusätzlich dazu lässt definieren einen Kern, der einen Begriff der Sympathie der Punkte in X vertritt. Der Kern hat die folgenden Eigenschaften

:

k ist symmetrischer

:

k ist positivity, der bewahrt

So kann man an die individuellen Datenpunkte als die Knoten eines Graphen und des Kerns k das Definieren einer Art Sympathie auf diesem Graphen denken. Der Graph ist durch den Aufbau symmetrisch, da der Kern symmetrisch ist. Es ist leicht, hier zu sehen, dass vom Tupel {X k} man eine umkehrbare Kette von Markov bauen kann. Diese Technik ist in einer Vielfalt von Feldern ziemlich populär und ist als der Graph laplacian bekannt.

Der Graph K = (X, E) kann zum Beispiel mit einem Kern von Gaussian gebaut werden.

:

e^ {-|| x_i-x_j ||/\sigma ^2} & \text {wenn} x_i \sim x_j \\

0 & \text {sonst }\

\end {Fälle }\

</Mathematik>

Darin über der Gleichung zeigt an, dass das ein nächster Nachbar dessen ist. In Wirklichkeit sollte Geodätische Entfernung verwendet werden, um wirklich Entfernungen auf der Sammelleitung zu messen. Da die genaue Struktur der Sammelleitung nicht verfügbar ist, wird der geodätischen Entfernung durch euklidische Entfernungen mit nur nächsten Nachbarn näher gekommen. Die Wahl stimmt unseren Begriff der Nähe im Sinn dass wenn dann und wenn ab

:

jetzt vertritt eine Kette von Markov. ist die Wahrscheinlichkeit des Wechselns von zu in einem ein Zeitsprung. Ähnlich wird durch die Wahrscheinlichkeit des Wechselns von zu in t Zeitsprüngen gegeben. Hier ist die Matrix K multipliziert zu sich t Zeiten. Jetzt setzt der Kern markov Matrix K einen Begriff der lokalen Geometrie der Datei X ein. Der Hauptunterschied zwischen Verbreitungskarten und Hauptteilanalyse ist, dass nur lokale Eigenschaften der Daten in Verbreitungskarten im Vergleich mit der Einnahme von Korrelationen der kompletten Datei betrachtet werden.

definiert einen zufälligen Spaziergang auf der Datei, was bedeutet, dass der Kern etwas lokale Geometrie der Datei gewinnt. Die markov Kette definiert schnell und langsame Richtungen der Fortpflanzung, die auf den Werten gestützt ist, die vom Kern genommen sind, und weil man den Spaziergang vorwärts rechtzeitig fortpflanzt, wird die lokale Geometrie-Information ebenso als lokale Übergänge (definiert durch Differenzialgleichungen) des dynamischen Systems angesammelt. Das Konzept der Verbreitung entsteht aus der Definition einer Familienverbreitungsentfernung {}\

:

Weil ein gegebener Wert von t eine Entfernung zwischen irgendwelchen zwei Punkten der Datei definiert. Das bedeutet, dass der Wert dessen klein sein wird, wenn es viele Pfade gibt, die x mit y und umgekehrt verbinden. Die Menge schließt das Summieren aller Pfade der Länge t ein, infolge dessen zum Geräusch in den Daten im Vergleich mit der geodätischen Entfernung äußerst robust ist. zieht die ganze Beziehung zwischen Punkten x und y in Betracht, während man die Entfernung berechnet, und dient als ein besserer Begriff der Nähe als gerade Euklidische Entfernung oder sogar geodätische Entfernung.

Jute LLE

Wie LLE Jute basiert LLE auch auf spärlichen Matrixtechniken. Es neigt dazu, Ergebnisse einer viel höheren Qualität nachzugeben, als LLE. Leider hat es eine sehr kostspielige rechenbetonte Kompliziertheit, so ist es für schwer probierte Sammelleitungen nicht gut passend. Es hat kein inneres Modell.

Modifizierter LLE

Modifizierter LLE (MLLE) ist eine andere LLE Variante, die vielfache Gewichte in jeder Nachbarschaft verwendet, um die lokale Gewicht-Matrix das Bedingen des Problems zu richten, das zu Verzerrungen in LLE-Karten führt. MLLE erzeugt robuste Vorsprünge, die Jute LLE, aber ohne die bedeutenden zusätzlichen rechenbetonten Kosten ähnlich sind.

Lokale Tangente-Raumanordnung

LTSA basiert auf der Intuition, dass, wenn eine Sammelleitung richtig entfaltet wird, alle Tangente-Hyperflugzeuge zur Sammelleitung ausgerichtet werden werden. Es beginnt durch die Computerwissenschaft der k-nearest Nachbarn jedes Punkts. Es schätzt den Tangente-Raum auf jeden Punkt durch die Computerwissenschaft der d-first Hauptbestandteile in jeder lokalen Nachbarschaft. Es optimiert dann, um ein Einbetten zu finden, das die Tangente-Räume ausrichtet.

Lokales mehrdimensionales Schuppen

Lokales Mehrdimensionales Schuppen führt mehrdimensionales Schuppen in lokalen Gebieten durch, und verwendet dann konvexe Optimierung, um alle Stücke zusammen zu passen.

Maximale sich entfaltende Abweichung

Maximale sich Entfaltende Abweichung war früher bekannt als das Halbbestimmte Einbetten. Die Intuition für diesen Algorithmus ist, dass, wenn eine Sammelleitung richtig entfaltet wird, die Abweichung über die Punkte maximiert wird. Dieser Algorithmus beginnt auch durch die Entdeckung der k-nearest Nachbarn jedes Punkts. Es bemüht sich dann, das Problem zu beheben, die Entfernung zwischen allen nichtbenachbarten Punkten, beschränkt solch zu maximieren, dass die Entfernungen zwischen benachbarten Punkten bewahrt werden. Der primäre Beitrag dieses Algorithmus ist eine Technik, um dieses Problem als ein halbbestimmtes Programmierproblem zu werfen. Leider hat halbbestimmte Programmierung solvers hohe rechenbetonte Kosten. Die Merkliche-MVU Variante dieses Algorithmus verwendet Grenzsteine, um Geschwindigkeit mit einigen Kosten zur Genauigkeit zu vergrößern. Es hat kein Modell.

Nichtlinearer PCA

Nichtlinearer PCA (NLPCA) verwendet Rückübertragung, um eine Mehrschicht perceptron zu trainieren, zu einer Sammelleitung zu passen. Verschieden von der typischen MLP Ausbildung, die nur die Gewichte aktualisiert, aktualisiert NLPCA sowohl die Gewichte als auch die Eingänge. D. h. sowohl die Gewichte als auch Eingänge werden als latente Werte behandelt. Nach der Ausbildung sind die latenten Eingänge eine niedrig-dimensionale Darstellung der beobachteten Vektoren und die MLP-Karten von dieser niedrig-dimensionalen Darstellung bis den hoch-dimensionalen Beobachtungsraum.

Datengesteuertes hoch-dimensionales Schuppen

Datengesteuertes Hohes Dimensionales Schuppen (DD-HDS) ist nah mit der kartografisch darstellenden und krummlinigen Teilanalyse von Sammon verbunden, außer dass (1) es gleichzeitig falsche Nachbarschaft und Tränen bestraft, indem es auf kleine Entfernungen sowohl im ursprünglichen Raum als auch in Produktionsraum konzentriert wird, und dass (2) es für Konzentration des Maß-Phänomenes durch die Anpassung der Gewichtungsfunktion an den Entfernungsvertrieb verantwortlich ist.

Das mannigfaltige Bildhauern

Das Sammelleitungsbildhauern verwendet abgestufte Optimierung, um ein Einbetten zu finden. Wie andere Algorithmen schätzt es die K-Nearest-Nachbarn und versucht, ein Einbetten zu suchen, das Beziehungen in der lokalen Nachbarschaft bewahrt. Es erklettert langsam Abweichung aus höheren Dimensionen, während es gleichzeitig Punkte in niedrigeren Dimensionen anpasst, um jene Beziehungen zu bewahren. Wenn die Rate des Schuppens klein ist, kann es sehr genauen embeddings finden. Es rühmt sich höherer empirischer Genauigkeit als andere Algorithmen mit mehreren Problemen. Es kann auch verwendet werden, um die Ergebnisse von anderen Sammelleitungslernalgorithmen zu raffinieren. Es strengt sich an, einige Sammelleitungen jedoch zu entfalten, wenn eine sehr langsame kletternde Rate nicht verwendet wird. Es hat kein Modell.

RankVisu

RankVisu wird entworfen, um Reihe der Nachbarschaft aber nicht Entfernung zu bewahren. RankVisu ist auf schwierigen Aufgaben besonders nützlich (wenn die Bewahrung der Entfernung zufrieden stellend nicht erreicht werden kann). Tatsächlich ist die Reihe der Nachbarschaft weniger informativ als Entfernung (Reihen können aus Entfernungen abgeleitet werden, aber Entfernungen können aus Reihen nicht abgeleitet werden), und seine Bewahrung ist so leichter.

Das topologisch beschränkte isometrische Einbetten

Topologically Constrained Isometric Embedding (TCIE) ist ein gestützter Algorithmus, geodätischen Entfernungen nach der Entstörung geodesics inkonsequent mit dem Euklidischen metrischen näher kommend. Gezielt das Korrigieren der verursachten Verzerrungen, wenn Isomap verwendet wird, um wirklich nichtkonvexe Daten kartografisch darzustellen, verwendet TCIE Gewicht-Am-Wenigsten-Quadrate MDS, um zu erhalten genauer kartografisch darzustellen. Der TCIE Algorithmus entdeckt zuerst mögliche Grenzpunkte in den Daten, und während der Berechnung der geodätischen Länge kennzeichnet inkonsequenten geodesics, um ein kleines Gewicht in der belasteten Betonung majorization gegeben zu werden, der folgt.

Verwandtschaftsperspektivekarte

Verwandtschaftsperspektivekarte ist eine spezielle Klasse des mehrdimensionalen kletternden Algorithmus. Der Algorithmus findet eine Konfiguration von Datenpunkten auf einer Sammelleitung durch das Simulieren einer Mehrpartikel dynamisches System auf einer geschlossenen Sammelleitung, wo Datenpunkte zu Partikeln kartografisch dargestellt werden und Entfernungen (oder Unähnlichkeit) zwischen Datenpunkten als Kraft einer Art abstoßender Kraft verwendet werden. Da die Sammelleitung allmählich in der Größe wächst, die das multi-particale System allmählich abkühlt und zur Konfiguration zusammenläuft, die die Entfernungsinformation der Datenpunkte widerspiegelt.

Verwandtschaftsperspektivekarte wird durch das physische System am Anfang begeistert, in dem positiv beladene Partikeln frei die Oberfläche eines Balls vorwärtstreiben. Geführt von Coulumbian abstoßende Kraft zwischen Partikeln wird die minimale Energiekonfiguration der Partikeln die Kraft von abstoßenden Kräften zwischen den Partikeln widerspiegeln.

Verwandtschaftsperspektivekarte wird darin eingeführt.

Der Algorithmus hat erstens den flachen Ring als die Bildsammelleitung verwendet, dann ist es erweitert worden (in der Software VisuMap, um andere Typen von geschlossenen Sammelleitungen, wie der Bereich, der projektive Raum und die Flasche von Klein als Bildsammelleitungen zu verwenden.

Methoden, die auf der Nähe matrices gestützt sind

Eine Methode, die auf der Nähe matrices gestützt ist, ist diejenige, wo die Daten dem Algorithmus in der Form einer Ähnlichkeitsmatrix oder einer Entfernungsmatrix präsentiert werden. Diese Methoden den ganzen Herbst unter der breiteren Klasse des metrischen mehrdimensionalen Schuppens. Die Schwankungen neigen dazu, Unterschiede darin zu sein, wie die Nähe-Daten geschätzt werden; zum Beispiel sind Isomap, lokal geradliniger embeddings, maximale Abweichung entfaltend, und Sammon kartografisch darstellend (der nicht tatsächlich ist kartografisch darzustellen) Beispiele von metrischen mehrdimensionalen kletternden Methoden.

Siehe auch

• Diskriminanten-Analyse
• Elastische Karte
• Entfernungsmethoden von Pairwise
• Selbstorganisieren der Karte (SOM)
• Landkarte

Links

• Isomap
• Generativ topografisch kartografisch darzustellen
• Die These von Mike Tipping
• Gaussian Prozess latentes variables Modell
• Das lokal geradlinige Einbetten
• Verwandtschaftsperspektivekarte
• Waffeln sind eine offene Quelle C ++ Bibliothek, die Durchführungen von LLE, das Mannigfaltige Bildhauern und einige andere Sammelleitungslernalgorithmen enthält.
• Effiziente Dimensionality Verminderungswerkzeug-Einstiegsseite
• DD-HDS Einstiegsseite
• Einstiegsseite von RankVisu
• Kurze Rezension von Verbreitungskarten
• Nichtlinearer PCA durch autoencoder Nervennetze