Um pendrive esquecido e um vídeo de demonstração: a criação da infraestrutura do Dropbox

Em maio de 2007, Drew Houston fundou a Evenflow, Inc., estabelecendo a base para uma plataforma de sincronização em nuvem impulsionada por uma frustração acadêmica cotidiana. Enquanto estudava no Instituto de Tecnologia de Massachusetts (MIT), Houston cansou-se de esquecer constantemente seu pendrive. Para solucionar a necessidade de gerenciar dispositivos de memória física em diferentes máquinas, ele começou a programar um serviço capaz de manter arquivos automaticamente idênticos entre múltiplos computadores.

O pendrive esquecido e a gravação de tela

Para demonstrar o funcionamento das primeiras versões do software, Houston publicou um vídeo simples gravando a própria tela. A demonstração chamou a atenção de Arash Ferdowsi, que ficou impressionado com o design do produto a ponto de se juntar a Houston como cofundador. Na fase inicial de operação, disputas de marcas registradas obrigaram a equipe a hospedar o serviço no domínio provisório getdropbox.com. A startup operou sob esse endereço até outubro de 2009, quando adquiriu o domínio dropbox.com e alterou formalmente o nome de Evenflow, Inc. para Dropbox, Inc.

Sincronização delta e portas locais

Criar um sistema de sincronização fluido exigia superar limitações consideráveis de largura de banda de rede. Em vez de enviar um documento inteiro novamente a cada modificação de arquivo, o Dropbox implementou um mecanismo de sincronização delta. Por esse sistema, quando um arquivo sofria alterações, o software identificava apenas os trechos modificados e enviava somente esses blocos em vez de retransmitir o arquivo completo. Para aumentar a velocidade em redes locais compartilhadas, o engenheiro Paul Bohm desenvolveu, em 2010, um protocolo de sincronização em LAN para o Dropbox. Transmitindo via porta UDP 17500, o protocolo proprietário permitia que computadores na mesma rede local se localizassem e sincronizassem arquivos diretamente, sem depender dos servidores externos na nuvem.

Reescrevendo o backend: do Python ao Go

Com o rápido aumento no número de usuários cadastrados, o serviço começou a enfrentar gargalos de desempenho em sua base de código. Originalmente, tanto os aplicativos desktop quanto o backend dos servidores foram desenvolvidos inteiramente em Python, uma linguagem que permitiu à equipe inicial construir e iterar com rapidez. No entanto, lidar com milhões de conexões ativas gerou uma sobrecarga intensa no modelo de execução do Python. Em julho de 2014, o Dropbox iniciou a migração de sua infraestrutura de backend crítica para Go. A transição para o Go permitiu aos engenheiros gerenciar um enorme tráfego concorrente com muito mais eficiência, reduzindo o consumo de memória e a carga no processador.

Construindo o Magic Pocket

Em paralelo à reescrita do software de backend, o Dropbox enfrentou um gargalo crítico em sua infraestrutura. Desde o início, a plataforma dependia inteiramente do armazenamento do Amazon S3 para hospedar os arquivos dos usuários. Contudo, conforme o volume de dados cresceu para escalas gigantescas, manter tudo em servidores de terceiros gerou limitações técnicas e custos expressivos a longo prazo. Entre 2014 e 2016, o Dropbox migrou seus dados principais do Amazon S3 para um hardware personalizado chamado Magic Pocket. Desenvolver a própria arquitetura de armazenamento proporcionou à empresa controle direto sobre o design dos servidores, a densidade dos discos e a gestão de dados. Ao deixar a infraestrutura em nuvem de terceiros para adotar o hardware sob medida do Magic Pocket nesse período, o Dropbox consolidou sua capacidade de dimensionar o armazenamento de arquivos de forma independente para centenas de milhões de usuários.

Imagem de capa: ilustração gerada por IA; não é uma fotografia documental.

Fonte: History of Dropbox