Versão alpha do Apache Hadoop 2.0

Os desenvolvedores do Apache Hadoop lançaram a primeira versão alpha do Apache Hadoop 2.0, que já vem equipada com o YARN, a implementação de próxima geração da tecnologia MapReduce. De acordo com o anúncio oficial feito por Arun Murthy, release manager do Hadoop 2.0, essa versão alpha ainda está longe de pronta para uso em ambientes de produção e deve ser considerada uma prévia tecnológica.

O YARN, introduzido no ramo 0.23 do Hadoop, divide o recurso JobTracker em dois daemons: um gerenciador global de recursos (ResourceManager, ou RM) e um para o agendamento de trabalhos por aplicativo (ApplicationMaster, ou AM). O RM cuidaria de gerenciar os recursos de todo o agrupamento de máquinas, enquanto o AM negocia com ele os recursos que necessita para executar os aplicativos.

Outros recursos presentes no Hadoop 2.0 alpha, e que apareceram no Hadoop 0.23, incluem a HDFS Federation e HDFS HA (alta disponibilidade com recuperação manual). Desempenho também já se encontra muito melhor na versão alpha. Compatibilidade entre HDFS e YARN também está disponível graças à uma mudança para usar o protobufs para comunicação.

Uma série de recursos ainda não foram incorporados -- como o HDFS Snapshots e recuperação automática para o HA NameNode -- e ainda será dispensado muito trabalho na estabilidade e desempenho do YARN. Além disso, Murthy destacou que algumas das APIs precisam ser alteradas para usar efetivamente o protobufs, e o HDFS HA e YARN precisam de mais testes e validação. Ele também pontua que muitos recursos ainda estão em desenvolvimento ativo.

Mais detalhes sobre a versão alpha do Hadoop 2.0.0 estão disponíveis na página de lançamentos do Hadoop e nas notas de versão. O Apache Hadoop 2.0.0 alpha pode ser baixado de espelhos do site da Apache e a documentação para essa versão já está disponível. A versão completa e estável mais recente do Hadoop foi a de número 1.0 em janeiro. O Hadoop é disponibilizado sob a licença Apache 2.0.

Fonte: h-online, em inglês