Portal durchsuchen

Sort by

Problemübergreifendes Hyperparameterlernen

Problemübergreifendes Hyperparameterlernen

Eine der größten Herausforderungen im Maschinellen Lernen ist die geeignete Auswahl von Hyperparametern und Modellen, da State-of-the-Art Verfahren wie die Gitter-Suche oder zufällige Hyperparameter-Stichproben viele Durchläufe des Lernalgorithmus erfordern und aus diesem Grund üblicherweise in Rechenzentren statt in Robotern, Autos oder Smartphones durchgeführt werden. Folglich müssen autonome Hyperparameter-Lernverfahren entwickelt werden, die in der Lage sind, bisherige Hyperparameter-Performanz auf anderen Datensätzen und möglicherweise anderen Modellklassen einzubeziehen und somit lernenden Systemen zu ermöglichen, in einem Bruchteil der Zeit zu lernen, der gegenwärtig nötig ist. In diesem Projekt beabsichtigen wir, ein Hyperparameter-Empfehlungsmodell zu entwickeln, das auf Eigenschaften eines neuen Lernproblems und einigen wenigen Meta-Observationen basiert und in der Lage ist, geeignete Hyperparameter-Konfigurationen vorzuschlagen, dabei aber nur einen Bruchteil der Durchläufe des Lernalgorithmus benötigt und dennoch vergleichbare Leistungen erzielt. Um dies zu erreichen, werden wir mittels eines Faktorisierungsmodells latente Eigenschaften lernen, die Datensätze und Modelle charakterisieren, so dass die Hyperparameter-Performanz mit eben diesen Eigenschaften korreliert. Darüber hinaus werden wir Strategien des Aktiven Lernens anwenden, um Hyperparameter-Kombinationen so zu wählen, dass das Hyperparameter-Empfehlungsmodell noch weniger Durchläufe des Lernalgorithmus erfordert.

Aufgabenverteilung

Prof. Dr. Dr. Schmidt-Thieme Lars