Scrabblecam löst ein sehr konkretes und kniffliges Problem: das Foto eines echten Scrabble-Bretts in einen maschinenlesbaren Spielzustand zu verwandeln. Für die Bretterkennung kommen modernste Deep-Learning-Modelle zum Einsatz, wodurch auch Bretter verschiedener Hersteller und optischer Varianten funktionieren – nicht nur ein bestimmtes offizielles Set. Auch das Bänkchen des Spielers wird separat erkannt.
Sind Brettzustand und Bänkchen bekannt, werden Züge über eine eigene Implementierung eines in einer wissenschaftlichen Arbeit beschriebenen Algorithmus erzeugt, der für jede gültige Eingabe in Sekundenbruchteilen die punktbesten Züge findet. Das Tool unterstützt Standardbretter mit 15x15 Feldern sowie mehrere offizielle Wortlisten, darunter Englisch CSW21, Englisch NWL23, Französisch ODS9 und Italienisch.
Über die interaktive Demo hinaus stellt Scrabblecam öffentliche APIs für Bretterkennung, Bänkchenerkennung und Zugerzeugung bereit, die jeweils strukturiertes JSON zurückgeben. Die Nutzung ist kostenlos, allerdings gelten für die API strenge Ratenbegrenzungen. Das Projekt bezeichnet sich ausdrücklich als unabhängig und nicht mit den Markeninhabern des Spiels verbunden.
