Understanding noise correlations in generative models for graphics content generation and editing

Abstract

Graphics content plays an essential role in our daily lives, spanning diverse media forms such as images, videos, textures, point patterns, and 3D objects. Despite their ubiquity, limited research has investigated how the concept of noise correlation across these varied representations can have an impact on controllable graphics generation and editing aligned with user intent. This thesis explores how noise correlations can inform and simplify the process of generating and editing visual content. We focus in particular on the synthesis and editing of point patterns, images, and stereo videos. Our primary contributions lie in developing novel pipelines that leverage noise correlations to improve both fidelity and controllability in these domains. Specifically, we propose: (1) a training-free holistic feature extraction pipeline inspired by noise correlation for point pattern synthesis, (2) a decoupled representation and correlation embedding space for user-friendly point pattern editing, (3) a new perspective on integrating blue noise correlations into the training and sampling of diffusion models, and (4) a unified pipeline with noisy degraded data augmentation for fine-tuning diffusion models to enable simultaneous stereo video generation and restoration. Our methods demonstrate the capability of outperforming existing state-of-the-art techniques and highlight the untapped potential of noise structure as a guiding principle in visual synthesis. These findings open new avenues for controllable and high-quality graphics content generation and editing.

Grafische Inhalte spielen eine zentrale Rolle in unserem Alltag und erscheinen in vielfältigen Medienformen wie Bildern, Videos, Texturen, Punktmustern und 3D-Objekten. Trotz ihrer Allgegenwärtigkeit wurde bisher kaum erforscht, wie das Konzept der Rauschkorrelationen über diese unterschiedlichen Repräsentationen hinweg die kontrollierbare Generierung und Bearbeitung grafischer Inhalte im Einklang mit Benutzerabsichten beeinflussen kann. Diese Dissertation untersucht, wie Rauschkorrelationen den Prozess der Generierung und Bearbeitung visueller Inhalte vereinfachen und verbessern können. Im Fokus stehen dabei insbesondere die Synthese und Bearbeitung von Punktmustern, Bildern und Stereovideos. Der zentrale Beitrag liegt in der Entwicklung neuartiger Pipelines, die Rauschkorrelationen nutzen, um sowohl die Qualität als auch die Steuerbarkeit in diesen Bereichen zu erhöhen. Im Einzelnen schlagen wir vor: (1) eine trainingsfreie Pipeline zur holistischen Merkmalsextraktion, inspiriert von Rauschkorrelationen, für die Synthese von Punktmustern, (2) eine entkoppelte Repräsentation und einen Korrelations-Embedding-Raum für benutzerfreundliche Punktmusterbearbeitung, (3) eine neue Perspektive zur Integration von Blue-Noise-Korrelationen in das Training und Sampling von Diffusionsmodellen sowie (4) eine einheitliche Pipeline mit augmentierten, verrauschten Daten zur Feinabstimmung von Diffusionsmodellen für die gleichzeitige Generierung und Restaurierung von Stereovideos. Unsere Methoden zeigen eine Überlegenheit gegenüber aktuellen State-of-the-Art-Techniken und unterstreichen das bisher ungenutzte Potenzial von Rauschstrukturen als richtungsweisendes Prinzip in der visuellen Synthese. Diese Erkenntnisse eröffnen neue Perspektiven für die kontrollierbare und qualitativ hochwertige Generierung und Bearbeitung grafischer Inhalte.