Home > Gestão

5 capacidades técnicas necessárias nas estratégias orientadas a dados

Liderar um negócio orientado a dados exige um compromisso pela excelência. Não é simples, mas não deve ser assustador

Isaac Sacolick, CIO (EUA)

02/10/2019 às 16h16

Foto: Shutterstock

Legenda: Estrategia para dados

Criar uma estratégia de dados uma década atrás era relativamente fácil em comparação aos dias de hoje. Naquela época, os especialistas em banco de dados debatiam os recursos e o desempenho dos bancos de dados relacionais da Oracle, Microsoft e IBM, ou sobre o uso de bancos de dados de código aberto, como MySQL e PostgresSQL.

Avancemos para hoje e podemos reconhecer que os dados se tornaram o ouro do século 21. É necessário ter diversas opções de gerenciamento de dados, práticas confiáveis ​​de dataops, governança proativa de dados, análises avançadas, programas de ciência de dados e recursos de aprendizado de máquina, tudo para fornecer recursos de negócios para garantir a competitividade.

Fechamento da lacuna entre estratégia e execução de dados

Participei da Strata Data Conference, em Nova York, recentemente para ver onde estão as novas oportunidades, tendências e desafios do CIO na criação e execução de estratégias de dados.

O CMO da Cloudera, Mark Hollison, citou pesquisas recentemente publicadas, conduzidas pela Harvard Business Review. Uma conclusão importante do estudo é que “69% dizem que suas organizações precisam de uma estratégia abrangente de dados para atingir suas metas estratégicas nos próximos três anos, mas apenas 35% dizem que os recursos de análise e gerenciamento de dados de suas organizações são necessários para atingir esses objetivos".

Essa é uma lacuna considerável que ilustra as crescentes expectativas de negócios em torno de dados e análises e as complexidades de implementação subjacentes. Os CIOs que buscam preencher essas lacunas devem considerar os cinco recursos técnicos a seguir em suas estratégias de dados destacados na Strata Data Conference.

1. Gerenciar plataformas de dados em várias nuvens

De acordo com a mesma pesquisa, 51% dos CIOs planejam alavancar ambientes multicloud como parte de sua estratégia de dados. No entanto, apenas 12% das organizações possuem mais de 75% de seus dados em nuvens públicas. A estratégia de consolidar dados em data warehouses parece estar datado, e a nova realidade é que os CIOs precisam ser capazes de gerenciar, integrar e compartilhar dados armazenados em nuvens públicas e privadas.

A boa notícia é que plataformas como Cloudera Data Platform, SAP Data Hub e InfoWorks DataFoundry foram projetadas para ajudar as organizações de dados a gerenciar, integrar e governar o acesso aos repositórios de dados armazenados em diferentes mecanismos de big data e em diferentes nuvens.

Sobre trabalhar com dados em um ambiente multicloud, o CIO da InfoWorks, Buno Pati, destacou: “Estabelecer uma base robusta e ágil para operações e orquestração de dados corporativos é fundamental para o sucesso de qualquer estratégia moderna de dados corporativos. Esses sistemas devem capacitar as empresas a iniciarem novos casos de uso analítico rapidamente, minimizar a dependência de talentos altamente especializados e atravessar ambientes híbridos e de várias nuvens com uma variedade de mecanismos de execução e sistemas de armazenamento, por exemplo, infraestrutura Hadoop, Spark e nuvem.”

2. Recursos maduros em várias plataformas de big data

Os CIOs provavelmente poderiam usar um dicionário de bolso para ajudar a definir todas as plataformas de big data que estão surgindo. Embora o Hadoop tenha sido o primeiro vencedor em plataformas de big data, as empresas estão investindo em uma combinação delas hoje, incluindo Apache Spark, Apache Hive, Snowflake, vários bancos de dados suportados na AWS, Azure e Google Cloud Platform, entre muitos outros.

O uso de várias plataformas de big data cria desafios significativos para o CIO, pois atrair pessoas qualificadas em análise de dados é altamente desafiador, e o gerenciamento de inúmeras plataformas acrescenta complexidades operacionais e de segurança.

Embora seja provável que muitas empresas se consolidem em menos plataformas de dados como parte de sua estratégia, elas também devem considerar serviços, ferramentas, parcerias e treinamento para fornecer melhor suporte em várias plataformas de dados.

3. Invista em um catálogo de dados

Como é improvável que grandes empresas consigam centralizar dados em um data warehouse ou data lake, a necessidade de estabelecer um catálogo de dados se torna ainda mais estrategicamente importante.

Os catálogos de dados ajudam os usuários finais a pesquisar, identificar e aprender mais sobre repositórios de dados que eles podem usar para análises, experimentos de aprendizado de máquina e desenvolvimento de aplicativos. Eles também fornecem um ponto central para controlar as políticas de acesso, publicar o status das fontes de dados e permitir a colaboração entre usuários finais e especialistas no assunto.

Cloudera, SAP e Infoworks possuem recursos de catálogo de dados como parte de suas ofertas.

4. Selecione a plataforma de integração de dados correta para o trabalho

Considerando que, há uma década, o debate era se investir em uma plataforma ETL e depois em qual, a questão hoje é mais ampla e estratégica. Isso porque a integração de dados agora abrange uma ampla gama de casos de uso além do processamento em lote que os ETLs suportam. Hoje muitas organizações têm:

  • Requisitos de fluxo de dados para IoT e outros processamentos de dados em tempo real implementados com plataformas como Apache Kafka, Apache Spark e arquiteturas orientadas a eventos, como VantIQ.
  • Documento e outros requisitos de processamento de dados não estruturados implementados na plataforma MarkLogic Data Hub Platform ou repositórios de documentos como Apache Lucene, Apache Solr e MongoDB
  • A preparação de dados precisa de cientistas de dados e analistas de negócios atendidos com ferramentas como Tableau Prep, Alteryx Designer e Trifacta Wrangler
  • Integração de API com plataformas SaaS e fontes de dados corporativas otimizadas com plataformas como Boomi e MuleSoft
  • Requisitos para melhorar a qualidade dos dados e criar fontes de dados principais executadas com plataformas da Talend, IBM, Reltio, Tamr e outras

Infelizmente, não há uma plataforma única que possa suportar todos esses casos de uso. Além disso, as integrações de dados podem ser implementadas de maneira mais eficiente e com suporte mais confiável, selecionando a ferramenta certa para o trabalho. Isso provavelmente significa que as empresas que desejam atender a amplas necessidades de integração de dados precisarão adquirir e amadurecer recursos com várias plataformas.

5. Estabeleça um controle proativo dos dados com cada novo recurso

Embora o CIO, o CISO e os CDOs prefiram estabelecer a governança de dados antecipadamente e antes de expor novos recursos de negócios, essa pode ser considerada uma estratégia irrealista. As empresas que precisam de análises para permitir a tomada de decisões orientada por dados e para outros benefícios competitivos devem agir rapidamente e podem impedir tentativas de implantar a governança como pré-requisito.

Apesar de ser difícil para executivos comprometidos em proteger os dados da organização, é possível que o CIO e o CDO instituam a governança de dados em paralelo à exposição de novas ferramentas, recursos e fontes de dados. É necessário investir em talento para entender os recursos de governança das plataformas que recebem investimentos e estabelecer procedimentos para introduzir e gerenciar alterações nas fontes de dados.

A boa notícia é que os CIOs verão os recursos de governança de dados em plataformas direcionadas a empresas. No entanto, ter a capacidade técnica é apenas o começo, e os CIOs precisarão de programas de treinamento e práticas de gerenciamento de mudanças para fazer com que as equipes de negócios entendam e cumpram a governança de dados.

Tornar-se orientado por dados requer um compromisso contínuo com a excelência

Eu não sou um grande fã da analogia "os dados são o novo petróleo", mas vamos continuar com isso por um momento. As empresas de petróleo não compram apenas brocas e, magicamente, têm um mecanismo de ponta a ponta para encontrar repositórios de petróleo com eficiência e enviá-los para refinarias. Não é tão simples, nem o gerenciamento de dados, a análise ou o aprendizado de máquina.

No entanto, também não é assustador, desde que as organizações invistam com responsabilidade em plataformas que atendam aos seus casos de uso, invistam em talentos e amadureçam suas práticas em integração, gerenciamento e governança de dados.

 

Junte-se a nós e receba nossas melhores histórias de tecnologia. Newsletter Newsletter por e-mail