O que é Big Data? O termo Big Data é relativamente novo e ao mesmo tempo velho, surgindo por volta de 2005 com o Google e recebeu uma alavancada em 2008 com o pessoal do Yahoo que transformou a plataforma Hadoop em Open Source.

Quando pensamos em Big Data, é comum fazermos uma tradução literária do texto e imaginamos “Grandes Dados”, relacionado à grande quantidade de dados a ser analisado. Mas o termo é um pouco mais abrangente, levando como base os 3 Vs do Big Data. Mas o que são os 3 "V's"?

Volume, que está relacionado à grande quantidade de dados que possuímos dentro e fora da empresa; o segundo é a Velocidade, pois a cada segundo muitos dados novos são criados na internet, e alguns destes dados podem ser interessantes para sua empresa; o terceiro e ultimo está relacionado à Variedade, sendo que o dado pode ser um compartilhamento de um texto em uma rede social, um post no blog, um review em um e-commerce.

Juntando estes três pilares, é possível analisar praticamente tudo que está público, envolvendo dados estruturados, no caso de nós conhecermos a estrutura de armazenamento daquele contexto, e também os dados não estruturados, como imagens, vídeos, áudios e documentos.

Como aplicar em seu cenário?

A aplicação de técnicas de Big Data é particular para cada cenário. Pode ser que seu caso seja um portal de saúde e bem estar que consegue cruzar dados comuns de idade, altura, peso, sexo e localização de 10 milhões de usuários por mês, e inferir qual região tem mais propensão à determinada doença; ou então você é uma empresa de fabricação de aviões e não quer virar manchete por causa de uma queda de suas aeronaves, então consegue analisar os mais de 280 sensores espalhados pelo seu avião e consegue cruzar estes dados e saber se aquele avião que está a 4 horas de seu destino precisa fazer uma parada em um aeroporto mais perto para uma manutenção ou então é possível esperar ele chegar a seu destino.

Muitos até associam a conquista da copa do mundo do Brasil pela Alemanha devido a uma grande plataforma de dados que eles utilizaram. A aplicação destas técnicas é muito ampla, sendo possível encontrar a necessidade de seu cenário e então utilizar estas tecnologias para facilitar a aplicação e a tomada de decisão.

Quais tecnologias posso usar sem custo?

O Hadoop é uma plataforma Open Source, que roda em cima do servidor Apache em distribuições Linux. Não entendeu nada? O Hadoop é o nome do núcleo principal de uma plataforma pra trabalhar com Big Data, este núcleo pode ser executado em um servidor de internet chamado Apache, que é responsável por executar e controlar o ambiente que o Hadoop está trabalhando. Por sua vez, o Apache é uma ferramenta que trabalha em cima do sistema operacional Linux, famoso por ser gratuito e também por possuir muitas empresas trabalhando para adequar as funcionalidades para chegar a um trabalho cada vez mais profissional.

O Hadoop sozinho não faz muita coisa, ele precisa de APIs (Application Programming Interface), programas que interagem através de troca de informação com o núcleo principal, satélites que ajudam nas principais tarefas de uma plataforma. Existem APIs que se encarregam de fazer o trabalho para movimentar dados entre uma base de dados que você possui e o Hadoop.

Tem API que trabalha no âmbito de aprendizado de máquina e pode ajudar na sua tomada de decisão, aprendendo com métodos estatísticos o comportamento dos seus usuários. Outra API que é amplamente utilizada é responsável por agendamento de tarefas, que podem processar os dados que são inseridos durante o dia na plataforma de Big Data.

É possível implementar Big Data sem uma equipe de TI focada?

Sim, mas pode dar um trabalho extra e você precisará aprender algumas coisas de TI para isso. Hoje, grandes provedores de serviços na Internet oferecem plataformas prontas para se trabalhar com Big Data utilizando seus serviços. A Amazon possui uma plataforma que é comercializada através do Amazon Web Services; a Microsoft possui sua plataforma que se chama Windows Azure; e o Google tem o Google Big Query. Cada fornecedor possui suas peculiaridades, e também variam de preço e recursos. Em alguns o esforço é maior, em outros, é menor. Vale a pena investigar as ofertas do mercado e ver o que melhor se encaixa na sua necessidade e budget.

Mas você precisa ter Big Data no seu negócio/empresa?

É muito comum com o "modismo" as empresas implantarem um sistema ou tecnologia sem saber o que querem… assim como qualquer tecnologia, você precisa saber se o seu negócio está preparado, se de fato isso vai ajudar a sua empresa… essa é a típica solução que sozinha não dará nada! Ou seja, pense muito bem para não gastar uma fortuna com "mais um sistema" na sua empresa.

Outro cuidado grande esta relacionado a preocupação ou não com a essência do Big Data. O que isso quer dizer: esqueça se você está fazendo Big Data, BI, ou o que quiser chamar. O que importa é você investir o tempo em algo que de fato fará a diferença no seu negócio! Às vezes o mais simples já te entrega mais valor e muitas vezes o complicado… só é complicado!

*Alexandre Tarifa é diretor de Tecnologia do Minha Vida e escreveu esse artigo em parceria com Diego Nogare, especialista de BI e Big Data.