Prezentable: PowerPoint-Add-in zur KI-gestützten Bearbeitung von Folien

Über unseren Kunden

Unser Kunde wollte die Erstellung und Bearbeitung von PowerPoint-Folien verbessern. Bisher erfolgte vieles manuell: Nutzer öffneten einzelne Folien, ersetzten Platzhaltertexte und prüften die Inhalte anhand der Vorlage.

Der Kunde wollte KI direkt in PowerPoint nutzen, ohne die Kontrolle über die Änderungen abzugeben. Die Lösung sollte Texte, Grammatik und Klarheit verbessern, ohne das Layout zu verändern oder Änderungen ohne Freigabe vorzunehmen.

SCAND wurde mit der Entwicklung eines VSTO-Add-ins beauftragt. Es sollte die Struktur offener PowerPoint-Dateien lesen, die relevanten Daten kompakt für ein KI-Modell aufbereiten und Nutzern vor der Übernahme alle Änderungen zur Prüfung anzeigen.

• Plattform: Microsoft PowerPoint
• Branche: Software für mehr Produktivität / Office-Automatisierung / Künstliche Intelligenz
• App-Typ: Desktop-Add-in für Microsoft Office

Herausforderung

PowerPoint-Add-ins laufen direkt im Prozess der Office-App. Dies stellte besondere technische und funktionale Anforderungen an die KI-gestützte Bearbeitung.

Die Lösung musste mit dem COM-basierten Modell von PowerPoint arbeiten, Daten mit einem externen LLM austauschen und dabei eine flüssige Bedienung ermöglichen.

Daraus ergaben sich folgende Herausforderungen:

• Verhindern, dass lange KI-Anfragen die Bedienung von PowerPoint blockieren
• Korrekte Verwaltung von PowerPoint-COM-Objekten, um Speicherlecks und Probleme beim Beenden zu vermeiden
• Schutz von API-Zugangsdaten und Inhalten der Folien vor unnötiger Offenlegung
• Übertragung von Daten zur Struktur der Folien an das LLM, ohne die .pptx-Datei hochzuladen
• Integration einer WPF-Oberfläche in einen Office-Aufgabenbereich, der WinForms-Steuerelemente unterstützt
• Wechsel von Designs und Sprachen zur Laufzeit
• Begrenzung der KI-Änderungen auf freigegebene Texte statt freier Bearbeitung von Folien
• Vorschau und ausdrückliche Freigabe durch Nutzer vor der Übernahme von KI-Änderungen

Zentrale Ziele

Um die KI-gestützte Bearbeitung von PowerPoint-Folien zu ermöglichen, legten wir folgende Projektziele fest:

• Entwicklung eines VSTO-Add-ins direkt für Microsoft PowerPoint
• Analyse der Struktur von Folien und kompakte Aufbereitung der Daten für die KI
• Integration eines OpenAI-kompatiblen LLM zur Verbesserung von Stil, Grammatik und Klarheit
• Flüssige Bedienung von PowerPoint während der KI-Anfragen und Option zum Abbrechen
• Vorschau aller Vorschläge vor der Übernahme von Änderungen
• Begrenzung der KI-Eingriffe auf bestehende Texte in den Folien
• Schutz von API-Schlüsseln und Daten während der KI-Nutzung
• Unterstützung mehrerer LLM-Anbieter und frei wählbarer API-Endpunkte
• Moderne WPF-Oberfläche mit Designs und mehreren Sprachen
• Automatische Tests für die KI-Verarbeitung und Analyse der Folienstruktur

Projektüberblick

SCAND entwickelte Prezentable, ein VSTO-Add-in mit C#, .NET Framework 4.8, PowerPoint COM Interop, WPF und einer OpenAI-kompatiblen API zur KI-gestützten Bearbeitung von Folien.

Ein eigenes Modul erfasste die Struktur und Inhalte der Folien als kompakten PresentationSnapshot. So musste die .pptx-Datei nicht an das LLM gesendet werden. Die KI lieferte gezielte Vorschläge zur Textkorrektur.

Die Oberfläche basierte auf WPF, MahApps.Metro und Caliburn.Micro. KI-Anfragen liefen asynchron, während COM Interop nur freigegebene Änderungen an bestehenden Texten übernahm.

Lösung

Die fertige Lösung ist ein KI-gestütztes PowerPoint-Add-in, das VSTO, die Analyse der Folienstruktur, die Textoptimierung durch ein LLM und die Kontrolle durch Nutzer vereint.

Statt die gesamte Datei an die KI zu senden, erfasste das Add-in nur die für die Textbearbeitung nötigen Daten. Die KI lieferte klar definierte Vorschläge, die erst nach Freigabe durch Nutzer übernommen wurden.

Kernfunktionen der Plattform

• PowerPoint VSTO-Integration: Eigene Prezentable-Registerkarte im Menüband und Aufgabenbereich direkt in PowerPoint.
• Analyse der Folienstruktur: Erfassung von Texten, Rollen der Platzhalter, Designs, Geometrie und der Hierarchie von Formen als strukturierte Daten.
• KI-gestützte Textbearbeitung: Ein OpenAI-kompatibles LLM verbessert Stil, Grammatik und Klarheit, ohne Sprache oder Sinn zu verändern.
• Vorschau der KI-Änderungen: Anzeige aller Vorschläge im Aufgabenbereich vor der Übernahme.
• Kontrollierte Textänderungen: KI-Eingriffe sind auf setText-Befehle für bestehende Textfelder und Formen begrenzt.
• Gruppierte Formen: Zugriff auf Texte in Gruppen von PowerPoint-Formen durch rekursive Suche.
• Asynchrone KI-Anfragen: Anfragen laufen getrennt von der PowerPoint-Oberfläche, mit Abbruch, Zeitlimits, erneuten Versuchen und Schutz vor veralteten Antworten.
• Sichere KI-Konfiguration: Schutz von API-Schlüsseln durch Windows DPAPI und Nutzung von Variablen der Umgebung.
• Mehrere LLM-Anbieter: Flexible Anbindung von Gemini, OpenRouter, Mistral, GitHub Models, Ollama, OpenAI und eigenen API-Endpunkten.
• Moderne Oberfläche: Kombination von WPF und WinForms mit MahApps.Metro und Caliburn.Micro.
• Designs und Sprachen: Helles und dunkles Design, 18 Akzentfarben von MahApps sowie Wechsel zwischen Englisch und Russisch.
• Automatische Tests: Prüfung der Logik zur Analyse von Folien und Erstellung von KI-Prompts ohne installierte PowerPoint-App.

Nutzer-Workflow

• Analyse der Folien: Nutzer öffneten eine PowerPoint-Datei und starteten die Analyse der Struktur.
• Erfassung der Struktur: Das Add-in analysierte die aktive Datei und erstellte eine kompakte Übersicht der Inhalte.
• KI-Anfrage: Nutzer gaben dem KI-Assistenten eine Anweisung, etwa zur Verbesserung von Stil, Grammatik oder Klarheit.
• KI-Verarbeitung: Die erfassten Daten und die Anweisung wurden an das gewählte OpenAI-kompatible LLM gesendet.
• Vorschau der Änderungen: Die KI-Vorschläge wurden im Aufgabenbereich angezeigt.
• Prüfung durch Nutzer: Nutzer konnten die Vorschläge prüfen und vor der Übernahme anpassen.
• Übernahme der Änderungen: Freigegebene Textänderungen wurden über COM Interop in die passenden PowerPoint-Elemente eingefügt.
• Aktualisierung der Struktur: Nach der Bearbeitung wurde die Struktur erneut erfasst, damit der Aufgabenbereich den aktuellen Stand zeigte.

Technologie-Stack

Für die KI-gestützte Bearbeitung von PowerPoint-Folien, die Office-Integration, den sicheren Austausch mit LLMs und eine flüssige Bedienung der Desktop-App setzten wir folgende Technologien ein:

• Plattform: C#, .NET Framework 4.8, VSTO, Visual Studio
• PowerPoint-Integration: Microsoft.Office.Interop.PowerPoint, Microsoft.Office.Core, Ribbon XML, Custom Task Panes
• Oberfläche / UI: WPF, MahApps.Metro 2.4, Caliburn.Micro, WinForms ElementHost
• KI: OpenAI-kompatible /chat/completions API, Vorlagen für LLM-Anbieter, Frei wählbare API-Endpunkte, z.ai glm-4.7-flash
• Netzwerk: HttpClient, Task.Run, CancellationToken, Zeitlimit von 90 Sekunden, Erneute Versuche bei HTTP 429, Schutz vor veralteten Antworten
• Verarbeitung von Folien: PresentationSnapshot, JSON-Serialisierung, Open XML SDK
• Verarbeitung von KI-Antworten: PromptBuilder, PatchParser, AiPatch, PatchApplier
• Bearbeitung von PowerPoint-Folien: PowerPoint COM Interop, SlideId, Shape.Id, GroupItems, TextRange.Text
• COM-Verwaltung: ComScope, Marshal.ReleaseComObject
• Sicherheit: Windows DPAPI / ProtectedData, CurrentUser-Bereich, Variablen der Umgebung
• Tests: Prezentable.Tests, Tests zur Extraktion mit Open XML, Automatische Unit-Tests
• Build: MSBuild

Kernteam

• Lösungsarchitekt / VSTO-Entwickler: Konzipierte die Add-in-Architektur, PowerPoint-Integration, Erfassung der Folienstruktur und Abläufe zur Textbearbeitung.
• C#- / .NET-Entwickler: Entwickelten VSTO-Funktionen, COM-Integration, KI-Client, Einstellungen und Logik zur Übernahme von Änderungen.
• WPF-Entwickler: Erstellten den Aufgabenbereich, Designs, Sprachoptionen und die Oberfläche mit WPF, MahApps.Metro und Caliburn.Micro.
• KI- / LLM-Ingenieure: Integrierten die OpenAI-kompatible API, Prompts, Analyse von KI-Antworten, LLM-Einstellungen und Verwaltung von Anfragen.
• QA-Ingenieure: Testeten die Analyse von Folien, KI-Antworten, Prompts, Übernahme von Änderungen und App-Logik mit automatischen Tests.