Memories.ai hat sich zu einem Unternehmen für Video-Dateninfrastruktur für Physical AI, Robotik, Weltmodelle und Humanoide entwickelt. Das Kernprodukt ist ein Datalake: echte Arbeit an echten Einsatzorten, aufgezeichnet mit den eigenen Rigs des Unternehmens, darunter ein kopfmontiertes Stereopaar und eine synchronisierte Handgelenkansicht, plus rohe IMU-Daten und Kamerakalibrierung. Jeder Clip durchläuft eine Qualitätskontrolle und wird pro Hand, pro Aktion und pro Task indexiert, bevor er in den Lake aufgenommen wird.
Die Indexierung macht den Lake nach Verhalten durchsuchbar. Forschungsmodelle wie Memories-H0 für Handposen und EgoAction für Aktionssegmentierung zerlegen Clips in zeitgestempelte Segmente, sodass du genau die benötigten Momente abrufen kannst. Eine Abfrage kann Einsatzort, bestimmte Szenen, Fähigkeitsniveau und Bedingungen wie „beide Hände am Werkzeug" angeben und irrelevante Zustände wie ruhende Hand oder Gehen ausschließen. Zurückgegebene Momente lassen sich anschließend gegen deine eigene Taxonomie annotieren, mit dichten Beschriftungen pro Hand und Frame.
Die Lieferung ist strukturiert statt roh. Jedes Segment wird als JSON mit Hand, Label, Start- und Endzeit und Beschriftung ausgeliefert – jene Form, die Robotik-Lernpipelines verarbeiten. Das Unternehmen betreibt zudem eine eigene Capture-Operation über ein Netz aus Standorten und Rigs, bietet eine tragbare 4K-Ego-Kamera namens LUCI Pin und hat eine Beitragenden-App, über die Menschen Tasks aufnehmen und dafür bezahlt werden. Teams mit eigenem Material können die Indexierungs- und Annotationsdienste nutzen, ohne zum öffentlichen Lake beizutragen.