Hadoop

Origem: Wikipédia, a enciclopédia livre.
Ir para: navegação, pesquisa


Apache Hadoop
Hadoop Logo
Desenvolvedor Apache Software Foundation
Versão estável 2.5.2 (19 de novembro de 2014; há 4 semanas e 2 dias)
Escrito em Java
Sistema operativo Multiplataforma
Gênero(s) Sistema de arquivos distribuído
Licença Apache License 2.0
Página oficial hadoop.apache.org


Hadoop é uma plataforma de software em Java de computação distribuída voltada para clusters e processamento de grandes massas de dados. Foi inspirada no MapReduce e no GoogleFS (GFS). Trata-se de um projeto da Apache de alto nível, que vai sendo construído por uma comunidade de contribuidores[1] e utilizando a linguagem de programação Java. O Yahoo! tem sido o maior contribuidor[2] do projeto, utilizando essa plataforma intensivamente em seus negócios.[3]

♙O framework do Apache Hadoop é composto dos módulos seguintes na versão 2.2.x:

  • Hadoop Common - Contém as bibliotecas e arquivos comuns e necessários para todos os módulos Hadoop.
  • Hadoop Distributed File System (HDFS) - Sistema de arquivos distribuído que armazena dados em máquinas dentro do cluster, sob demanda, permitindo uma largura de banda muito grande em todo o cluster.
  • Hadoop Yarn - Trata-se de uma plataforma de gerenciamento de recursos responsável pelo gerenciamento dos recursos computacionais em cluster, assim como pelo agendamento dos recursos.
  • Hadoop MapReduce - Modelo de programação para processamento em larga escala.

Todos os módulos do Hadoop são desenhados com a premissa fundamental de que falhas e hardware são comuns, sejam elas máquinas individuais ou um conjunto inteiro de máquinas em racks, e devem portanto ser automaticamente  tratadas por software pelo framework.

Exemplo de um cluster de múltiplos nós

Adicionalmente, os maiores fornecedores e integradores de plataformas de TI do mundo também disponibilizam Hadoop como solução de plataforma[4] [5] .

No segundo semestre de 2014 a versão mais recente disponível era 2.5.1. Mesmo assim, a versão declarada como estável mais recente é 1.2.1, e é a versão recomendada por frameworks que se utilizam da plataforma como o Mahout versão 0.9[6] mesmo tendo suporte para as versões 2.x.x[7] .

Ligações externas[editar | editar código-fonte]


Referências

  1. Applications and organizations using Hadoop (em inglês)
  2. Hadoop Credits Page
  3. Yahoo! Launches World's Largest Hadoop Production Application (em inglês)
  4. IBM Software Team (2014). Hadoop IBM. Visitado em 17/10/2014.
  5. Amazon Web Services (2014). Amazon EMR Amazon. Visitado em 17/10/2014.
  6. FAQ Mahout The Apache Software Foundation (2014). Visitado em 17/10/2014.
  7. Building Mahout from source The Apache Software Foundation (2014). Visitado em 17/10/2014.


Ícone de esboço Este artigo sobre software livre é um esboço. Você pode ajudar a Wikipédia expandindo-o.