Você já passou por isso: está criando uma conta em um serviço gigante (como o Gmail), digita um nome de usuário e, antes mesmo de terminar de preencher o formulário, aparece a mensagem:
"Esse nome de usuário já está em uso."
Recentemente vi essa clássica pergunta de System Design:
"Existem bilhões de usuários. Como o sistema consegue responder tão rápido se um nome já existe?"
A primeira reação de muita gente é pensar em banco de dados, cache ou Redis. Mas, em escala massiva, consultar sistemas de armazenamento para cada validação pode sair caro.
