Alan Emtage criou o primeiro mecanismo de busca da Internet porque procurar arquivos FTP era tedioso

Antes de existir a World Wide Web, um estudante de pós-graduação da McGill University se cansou de procurar software gratuito em servidores FTP anônimos.

Então automatizou o trabalho.

O nome dele era Alan Emtage.

A ferramenta que construiu virou Archie — amplamente considerado o primeiro mecanismo de busca da Internet.

Ele não pesquisava páginas web.

A Web pública ainda nem existia.

Pesquisava nomes de arquivos armazenados em arquivos FTP espalhados pela Internet inicial.

Hoje parece primitivo.

Na época, resolvia um problema que ninguém ainda percebia que se tornaria enorme.

A Internet já tinha informação. O problema era encontrá-la.

No fim dos anos 1980, Emtage era aluno de pós-graduação em ciência da computação e administrador de sistemas em McGill.

O departamento tinha pouco dinheiro para software comercial, então parte do trabalho dele era localizar programas úteis disponíveis gratuitamente na Internet.

Isso significava encontrar servidores FTP anônimos, conectar, listar o conteúdo e baixar arquivos cujos nomes pareciam promissores.

A conexão era lenta.

O trabalho era repetitivo.

E a Internet já estava ficando grande demais para uma pessoa lembrar onde tudo ficava.

Emtage escreveu scripts que contatavam automaticamente arquivos FTP, coletavam as listagens de diretórios e construíam um banco de dados pesquisável.

Ele frequentemente executava o processo à noite, quando menos pessoas usavam a conexão de McGill.

De manhã, a informação estava pronta.

A primeira versão foi construída para ele mesmo

Não havia plano de negócios.

Não havia pitch deck.

Não havia grande declaração de que search viraria uma das camadas mais importantes da Internet.

Emtage só estava removendo uma parte entediante do próprio trabalho.

Depois, outro estudante, Peter Deutsch, pediu ajuda para encontrar um software que alguém procurava em um fórum online.

Emtage consultou seu banco local e encontrou a resposta rapidamente.

Quando a resposta foi publicada, mais pessoas começaram a pedir ajuda.

A demanda tornou visível a infraestrutura que faltava.

As pessoas não precisavam apenas de arquivos.

Precisavam de um índice mostrando onde os arquivos estavam.

Archie criou o padrão que a busca moderna ainda usa

O nome veio de “archive” sem a letra “v”.

Conceitualmente, Archie fazia algo simples:

Ir até fontes distribuídas.

Coletar informação.

Indexar.

Permitir consultas sobre o índice.

Mecanismos de busca modernos são muito mais sofisticados, mas a sequência continua reconhecível.

Crawl.

Index.

Search.

Rank.

Archie não entendia páginas web porque ainda não havia páginas web para entender.

Indexava principalmente diretórios e nomes de arquivos de arquivos FTP públicos.

Mas estabeleceu algo mais importante do que uma lista de features.

A Internet precisava de uma camada pesquisável sobre a rede bruta.

O projeto cresceu antes da permissão acompanhar

Archie se espalhou rapidamente.

Isso criou um problema delicado.

A conexão de McGill era limitada e o serviço consumia banda e recursos reais.

Emtage contou depois que o grupo inicialmente manteve o projeto relativamente discreto porque a administração não entendia completamente o que estava acontecendo.

Então o diretor do departamento de ciência da computação foi a uma conferência.

Outros acadêmicos vieram agradecer a ele por Archie.

Segundo o relato, ele aceitou diplomaticamente os agradecimentos antes de entender inteiramente o que seus alunos haviam construído.

A história é engraçada, mas o padrão é familiar.

Ferramentas internas frequentemente provam valor antes de a organização ter uma categoria para elas.

Search não era óbvio porque a Internet ainda era pequena

Hoje, imaginar uma Internet sem busca parece absurdo.

Em 1989 não parecia.

A rede era pequena o bastante para muita gente navegar conhecendo máquinas, listas de discussão e arquivos específicos.

O problema da busca só ficou óbvio quando a quantidade de informação ultrapassou um limiar.

Isso acontece repetidamente em tecnologia.

Em pequena escala, memória basta.

Depois é preciso um diretório.

Em escala maior, o diretório falha.

Então é preciso search.

Mais tarde search retorna coisa demais.

Então surgem ranking, recommendation, filtering e personalization.

Nova infraestrutura muitas vezes aparece não porque o sistema antigo era ruim, mas porque o sucesso faz o método antigo deixar de escalar.

Emtage não virou bilionário com search

Mais tarde as pessoas perguntavam por que o inventor do primeiro mecanismo de busca não ficou absurdamente rico.

A resposta dele aponta para uma diferença importante daquela época.

A Internet ainda não era um mercado comercial como hoje.

Quem construía infraestrutura inicial trabalhava muitas vezes dentro de universidades, centros de pesquisa e comunidades técnicas.

O objetivo era tornar a rede mais útil.

Em 1992, Emtage e Peter Deutsch de fato fundaram a Bunyip Information Systems para comercializar serviços de informação na Internet e uma versão licenciada do Archie.

Mas search como gigantesco negócio de publicidade ainda não existia.

A lição de produto é fácil de perder

Archie não começou perguntando:

“Que categoria bilionária devemos criar?”

Começou com:

“Por que estou fazendo esta busca manual todos os dias?”

O primeiro usuário era o próprio criador.

O primeiro sinal de mercado foi outras pessoas pedindo o mesmo atalho.

O primeiro problema de escala apareceu porque a ferramenta era útil o bastante para consumir recursos compartilhados.

Vale lembrar essa sequência.

Alguns dos melhores produtos de infraestrutura começam como alívio pessoal.

Um script.

Um dashboard.

Um banco de dados.

Uma pequena ferramenta interna criada porque alguém cansou de repetir a mesma tarefa.

O sinal importante aparece quando outras pessoas começam a pedir o mesmo atalho.

Que ferramenta você construiu apenas para facilitar seu próprio trabalho e outras pessoas continuam pedindo para usar?

Fontes

• Internet Hall of Fame — Alan Emtage
• Internet Hall of Fame — Alan Emtage and the Birth of the First Internet Search Engine
• McGill University — The first Internet search engine
• McGill News — Search engine pioneer inducted into Internet Hall of Fame
• Imagem destacada — Alan Emtage em 2019, foto de Bajan64~commonswiki, CC BY-SA 4.0 via Wikimedia Commons. Recortada para 16:9; a obra derivada permanece sob CC BY-SA 4.0.