Fazer login no IT Mídia Redefinir senha
Bem-vindo de volta,
Digite seu e-mail e clique em enviar
Ainda não tem uma conta? Cadastre-se
Salvar em Nova pasta de favoritos

+

Criar pasta
Salvar Escolher Pasta
O que é DataOps? Analytics colaborativo e multifuncional
Home > Tendências

O que é DataOps? Analytics colaborativo e multifuncional

Disciplina emergente reúne equipes de DevOps com funções de engenheiro de dados e cientista de dados para pensar estruturas organizacionais analíticas

Thor Olavsrud

01/12/2020 às 15h04

Foto: Adobe Stock

DataOps é uma metodologia agile e orientada a processos para desenvolver e entregar analytics. Ele reúne equipes de DevOps com engenheiros e cientistas de dados para fornecer as ferramentas, processos e estruturas organizacionais para apoiar a empresa focada em dados. Michele Goetz, Vice-Presidente e Analista Principal da Forrester, define DataOps como "a capacidade de habilitar soluções, desenvolver produtos de dados e ativar dados para valor de negócios em todas as camadas de tecnologia, da infraestrutura à experiência".

Metas DataOps

De acordo com a Dataversity, o objetivo do DataOps é agilizar o projeto, o desenvolvimento e a manutenção de aplicativos baseados em dados e data analytics. Busca melhorar a maneira como os dados são gerenciados e os produtos são criados e coordenar essas melhorias com os objetivos do negócio.

DataOps vs. DevOps

DevOps é uma metodologia de desenvolvimento de software que traz entrega contínua para o ciclo de vida de desenvolvimento de sistemas, combinando equipes de desenvolvimento e equipes de operações em uma única unidade responsável por um produto ou serviço. DataOps se baseia nesse conceito adicionando especialistas em dados - analistas de dados, desenvolvedores de dados, engenheiros de dados e/ou cientistas de dados - para se concentrar no desenvolvimento colaborativo de fluxos de dados e no uso contínuo de dados em toda a organização.

"Você tem a tendência moderna de desenvolvimento de DevOps, mas cada vez mais pessoas estão injetando algum tipo de capacidade de ciência de dados no desenvolvimento, em sistemas, então você precisa de alguém na equipe de DevOps que tenha uma estrutura de dados", diz Ted Dunning, CTO de MapR na HPE e coautor de "Machine Learning Logistics: Model Management in the Real World".

CIO2503

E-book por:

Princípios DataOps

Assim como o DevOps, o DataOps segue as sugestões da metodologia agile. A abordagem valoriza a entrega contínua de insights analíticos com o objetivo principal de satisfazer o cliente.

De acordo com o Manifesto da DataOps, as equipes da DataOps valorizam a analytics que funciona, medindo o desempenho do data analytics pelos insights que fornecem. As equipes de DataOps também adotam mudanças e buscam compreender constantemente as necessidades em evolução dos clientes. Eles se auto-organizam em torno de metas e procuram reduzir o “heroísmo” em favor de equipes e processos sustentáveis e escaláveis.

As equipes de DataOps também buscam orquestrar dados, ferramentas, código e ambientes do início ao fim, com o objetivo de fornecer resultados reproduzíveis. As equipes de DataOps tendem a ver os pipelines analíticos como análogos às linhas de manufatura lean e refletem regularmente no feedback fornecido pelos clientes, membros da equipe e estatísticas operacionais.

Onde o DataOps se encaixa

As empresas hoje estão injetando cada vez mais o machine learning em uma vasta gama de produtos e serviços e o DataOps é uma abordagem voltada para o suporte às necessidades de machine learning de ponta a ponta.

"Por exemplo, este estilo torna mais viável para os cientistas de dados terem o suporte da engenharia de software para fornecer o que é necessário quando os modelos são entregues às operações durante a implantação", escrevem Dunning e a Coautora Ellen Friedman, Principal Tecnóloga da HPE.

"A abordagem DataOps não se limita ao machine learning", acrescentam. "Este estilo de organização é útil para qualquer trabalho orientado a dados, facilitando o aproveitamento dos benefícios oferecidos pela construção de um data fabric global".

Eles também observam que os DataOps se adaptam bem às arquiteturas de microsserviços.

DataOps na prática

Para aproveitar ao máximo os DataOps, as empresas devem desenvolver suas estratégias de gerenciamento de dados para lidar com os dados em escala e em resposta a eventos do mundo real conforme eles acontecem, de acordo com Dunning e Friedman.

“As funções tradicionalmente isoladas podem se provar muito rígidas e lentas para se encaixar bem em organizações de big data em transformação digital”, escrevem eles. "É aí que um estilo de trabalho DataOps pode ajudar".

Como o DataOps se baseia no DevOps, as equipes multifuncionais que cruzam "grupos de habilidades", como operações, engenharia de software, arquitetura e planejamento, gerenciamento de produto, data analytics, desenvolvimento de dados e engenharia de dados são essenciais, e as equipes de DataOps devem ser gerenciadas em maneiras que garantem maior colaboração e comunicação entre desenvolvedores, profissionais de operações e especialistas em dados.

Cientistas de dados também podem ser incluídos como membros-chave das equipes de DataOps, de acordo com Dunning. “Acho que a coisa mais importante a fazer aqui é não ficar com a organização Ivory Tower mais tradicional, onde os cientistas de dados vivem separados das equipes de desenvolvimento”, diz ele. "A etapa mais importante que você pode tomar é incorporar cientistas de dados em uma equipe de DevOps. Quando eles moram na mesma sala, comem as mesmas refeições, ouvem as mesmas reclamações, eles naturalmente ganham alinhamento".

Mas Dunning também observa que os cientistas de dados podem não precisar estar permanentemente integrados em uma equipe de DataOps.

“Normalmente, há um cientista de dados integrado na equipe por um tempo”, diz Dunning. "Suas capacidades e sensibilidades começam a se dissipar. Alguém na equipe então assume o papel de engenheiro de dados e uma espécie de cientista de dados de baixo orçamento. O cientista de dados real integrado na equipe então segue em frente. É uma situação fluida".

Como construir uma equipe DataOps

A maioria das empresas baseadas em DevOps já tem o núcleo de uma equipe DataOps disponível, diz Friedman. Depois de identificar os projetos que precisam de desenvolvimento intensivo em dados, eles precisam apenas adicionar à equipe alguém com treinamento em dados. Essa pessoa pode até ser um engenheiro de dados, em vez de um cientista de dados completo.

Frequentemente, as equipes serão formadas por indivíduos com conjuntos de habilidades sobrepostos ou os indivíduos podem assumir várias funções em uma equipe de DataOps, dependendo da experiência.

"Em projetos de grande escala, uma função particular do DataOps pode ser preenchida por mais de uma pessoa, mas também é comum que algumas pessoas cubram mais de uma função", escrevem Dunning e Friedman em seu livro. "Habilidades de operações e engenharia de software podem se sobrepor; membros da equipe com experiência em engenharia de software também podem ser qualificados como engenheiros de dados.

Frequentemente, os cientistas de dados têm habilidades de engenharia de dados. É raro, entretanto, ver a sobreposição entre ciência de dados e operações".

De acordo com Goetz da Forrester, algumas das principais áreas de especialização em equipes de DataOps incluem:

  • Bancos de dados
  • Integração
  • Dados para processar orquestração
  • Implantação de política de dados
  • Integração de dados e modelo
  • Segurança de dados e controles de privacidade

Independentemente da composição, as equipes de DataOps devem compartilhar um objetivo comum: as necessidades baseadas em dados dos serviços aos quais dão suporte.

“Com equipes de engenharia, bons engenheiros, o que você precisa fazer é definir bem as metas”, diz Dunning. "Uma vez que existe um objetivo comum, resolver um problema, a equipe se organiza com frequência para resolver esse problema. A dificuldade surge quando diferentes pessoas vêem diferentes aspectos do problema. O pessoal de operações ficará preocupado com a confiabilidade, que você obterá uma resposta dentro de um determinado tempo. O especialista em ciência de dados tende a se concentrar na precisão da resposta. Você já tem uma pequena divergência. Mas se eles estão tentando resolver o mesmo problema e estão dispostos a ceder sobre como é resolvido, acho que é uma estrutura social muito fácil de construir".

Funções de DataOps

De acordo com Goetz, os membros da equipe DataOps incluem:

  • Especialistas em dados, que oferecem suporte ao cenário de dados e às práticas recomendadas de desenvolvimento;
  • Engenheiros de dados, que fornecem suporte ad hoc e de sistema para BI, analytics e aplicativos de negócios;
  • Engenheiros de dados principais, que são desenvolvedores que trabalham em produtos e produtos voltados para o cliente.

Vai um cookie?

A CIO usa cookies para personalizar conteúdo e anúncios, para melhorar sua experiência em nosso site. Ao continuar, você aceitará o uso. Para mais detalhes veja nossa Política de Privacidade.

Este anúncio desaparecerá em:

Fechar anúncio

15