Une clé USB oubliée et une vidéo de démonstration : les coulisses du moteur de Dropbox

En mai 2007, Drew Houston fonde Evenflow, Inc., posant ainsi les bases d'une plateforme de synchronisation dans le cloud née d'une simple frustration universitaire. Alors qu'il étudie au Massachusetts Institute of Technology, Houston s'agace d'oublier constamment sa clé USB. Pour résoudre ce problème de gestion de supports de stockage physiques entre plusieurs machines, il commence à coder un service capable d'harmoniser automatiquement les fichiers sur plusieurs ordinateurs.

La clé USB oubliée et la démonstration vidéo

Pour faire la démonstration du fonctionnement initial de son logiciel, Houston publie une simple capture vidéo de son écran. La vidéo attire l'attention d'Arash Ferdowsi, suffisamment séduit par la conception du produit pour s'associer à Houston en tant que cofondateur. À ses débuts, des litiges de marque contraignent l'équipe à héberger le service sur un domaine temporaire, getdropbox.com. La jeune entreprise fonctionne sous cette adresse web jusqu'en octobre 2009, date à laquelle elle acquiert le domaine dropbox.com et renomme officiellement Evenflow, Inc. en Dropbox, Inc.

La synchronisation delta et les ports locaux

Pour concevoir un système de synchronisation parfaitement fluide, il a fallu surmonter de lourdes contraintes de bande passante réseau. Plutôt que de renvoyer l'intégralité d'un document à chaque modification d'un fichier, Dropbox a mis en œuvre un mécanisme de synchronisation delta. Grâce à ce système, lorsqu'un fichier était modifié, le logiciel détectait les parties changées et ne téléversait que ces éléments modifiés au lieu de retransmettre le fichier entier. Afin d'accélérer les débits sur les réseaux locaux partagés, l'ingénieur Paul Bohm a créé en 2010 un protocole de synchronisation LAN. En émettant sur le port UDP 17500, ce protocole propriétaire permettait aux ordinateurs d'un même réseau local de se détecter mutuellement et de synchroniser leurs fichiers directement, sans dépendre de serveurs cloud externes.

Réécriture du backend : de Python à Go

À mesure que le nombre d'inscriptions s'envolait, le service a fait face à des goulots d'étranglement de performance au sein de sa base de code d'origine. Initialement, les applications clientes pour ordinateur et le backend serveur étaient tous deux entièrement écrits en Python, un langage qui avait permis à la première équipe d'ingénierie de concevoir et d'évoluer rapidement. Cependant, la gestion de millions de connexions actives imposait une très forte pression sur le modèle d'exécution de Python. En juillet 2014, Dropbox a entrepris la migration de son infrastructure backend critique pour les performances vers Go. Le passage à Go a permis aux ingénieurs de gérer ce gigantesque trafic simultané de manière bien plus efficace, tout en réduisant l'empreinte mémoire et l'utilisation du processeur.

La création de Magic Pocket

En parallèle de la réécriture de son backend, Dropbox s'est attaqué à un goulot d'étranglement majeur au niveau de son infrastructure. Depuis ses premiers jours, la plateforme s'appuyait exclusivement sur le service de stockage Amazon S3 pour héberger les fichiers de ses utilisateurs. Cependant, à mesure que le volume des données stockées prenait une ampleur gigantesque, le fait de tout héberger sur des serveurs tiers engendrait d'importantes contraintes techniques et financières sur le long terme. Entre 2014 et 2016, Dropbox a migré le cœur de ses données d'Amazon S3 vers du matériel conçu sur mesure appelé Magic Pocket. La création de sa propre architecture de stockage a offert à l'entreprise un contrôle direct sur la conception des serveurs, la densité des disques et la gestion des données. En s'affranchissant de l'infrastructure cloud tierce pour migrer vers son matériel personnalisé Magic Pocket entre 2014 et 2016, Dropbox a pérennisé sa capacité à faire évoluer en toute indépendance le stockage de fichiers pour des centaines de millions d'utilisateurs.

Image de couverture : illustration générée par IA ; ce n’est pas une photographie documentaire.

Source: History of Dropbox