O Twitter anunciou que liberará o código fonte do Storm, um framework de processamento de fluxo de dados, em setembro, na conferência Strange Loop. Storm foi desenvolvido pela BackType, uma empresa que o Twitteradquiriu em julho. Na época, Nathan Marz, o engenheiro-chefe da BackType, afirmou que os planos de abrir o código da tecnologia não haviam mudado. Agora o Twitter juntou uma data à essa intenção, como se pode ler em uma entrada no blog oficial da empresa.
O Storm foi desenvolvido para usar o poder de processamento distribuído para o processamento em tempo real de fluxos de dados. Apesar de ser superficialmente similar à sistemas como o MapReduce do Hadoop, é essencialmente diferente. Os sistemas Hadoop são orientados através de tarefas isoladas, com o trabalho enviado para a rede e os resultados então coletados. Com o Storm, a computação dos dados nunca para pois a rede processa mensagens e produz resultados continuamente. Essas mensagens podem ser novos dados para análise, que então atualizarão as bases de dados em tempo real. Por exemplo, mensagens do Twitter sendo analisadas para tópicos relevantes e a passagem dessa informação para clientes dentro da arquitetura do sistema.
Mais detalhes sobre a configuração e mecânica básica do Storm, como as abstrações "spout" e "bolt", estão disponíveis na entrada do blog. No momento, Nathan Marz está preparando a documentação para o Storm, para que ele possa ser "rapidamente configurado e posto para funcionar", mas outros detalhes como informações sobre a instalação automatizada do Storm, RPC distribuído e outro elementos da arquitetura para as topologias do Storm, terão que "esperar até o dia 19 de setembro", afirmou Marz. Nã há informações sobre o licenciamento do Storm.
Fonte: h-online, em inglês.
0 comentários:
Postar um comentário