Scrabblecam résout un problème très concret et délicat : transformer la photo d'un plateau de Scrabble physique en un état de partie lisible par une machine. Il s'appuie sur des modèles d'apprentissage profond de pointe pour la reconnaissance du plateau, ce qui lui permet de gérer des plateaux de différents fabricants et styles visuels, et pas seulement un set officiel. Le chevalet de lettres du joueur est également reconnu séparément.
Une fois l'état du plateau et le chevalet connus, les coups sont générés par une implémentation maison d'un algorithme décrit dans un article académique, qui trouve les coups les plus payants pour toute entrée valide en une fraction de seconde. L'outil prend en charge les plateaux standard 15x15 et plusieurs listes officielles de mots, dont l'anglaise CSW21, l'anglaise NWL23, la française ODS9 et l'italienne.
Au-delà de la démo interactive, Scrabblecam expose des API publiques de reconnaissance du plateau, de reconnaissance du chevalet et de génération de coups, chacune renvoyant du JSON structuré. Le service est gratuit, mais l'API est soumise à des limites de débit strictes. Le projet se déclare explicitement indépendant et sans lien avec les détenteurs de la marque du jeu.
