SeeAct wurde entwickelt, um visuelle Sprach-Agenten mit einer zweistufigen Pipeline zu befähigen: Ein Planungsmodul, angetrieben von großen Sprachmodellen, generiert Unterziele basierend auf beobachteten Szenen, und ein Ausführungsmodul übersetzt Unterziele in umgebungsspezifische Aktionen. Ein Wahrnehmungshintergrund extrahiert Objekt- und Szenenmerkmale aus Bildern oder Simulationen. Die modulare Architektur ermöglicht den einfachen Austausch von Planern oder Wahrnehmungsnetzwerken und unterstützt die Bewertung auf AI2-THOR, Habitat und benutzerdefinierten Umgebungen. SeeAct beschleunigt die Forschung im Bereich interaktiver embodied AI durch End-to-End-Aufgabenzerlegung, Verankerung und Ausführung.