Pela quarta vez consecutiva o Talend foi posicionado como líder no quadrante do Gartner para Ferramentas de Integração de Dados. Mais cedo neste ano, foi eleito pela segunda vez consecutiva líder no quadrante para Ferramentas de Qualidade de Dados.
Fonte: Gartner (Agosto de 2019)
Nos últimos anos o Talend não ficou parado e recebeu diversas inovações não apenas para integração de dados, mas para vários aspectos voltados para Governança e Gestão de Dados. Este artigo é uma análise resumida do relatório do Gartner explorando um pouco das funcionalidades do Talend e o que o fez ser colocado novamente neste quadrante de liderança.
Definições de Mercado
Como as características de cada solução variam bastante (assim como pode ocorrer com a nomenclatura de funcionalidades semelhantes entre estas soluções), o relatório do Gartner se inicia contextualizando os casos de uso, cenários avaliados e como as ferramentas se inserem nos mesmos. Vou pontuar aqui quais são esses cenários, mas em resumo se trata de clarificar que não estamos falando apenas de ETL, mas de arquiteturas de integração mais amplas.
- Integração de Dados para Analytics — ETL e ELT, basicamente. Soluções voltadas para ingestão de dados em Data Warehouse ou Data Lake, por exemplo. Afinal, parece que o grande desafio para implementação de qualquer case de Analytics ou Data Science de sucesso ainda é a ingestão de dados com qualidade (e agilidade).
- Extração e Entrega de Dados Mestres (Master Data) em Suporte à Gestão de Dados Mestres (MDM) — Conectividade e integração com Master Data, garantindo que dados críticos como por exemplo Cliente, Produto ou Colaborador apresentem uma visão única independente do número de fontes de dados possíveis para estas entidades.
- Consistência de Dados entre Aplicações — Suportar a sincronia de dados em diversas aplicações, podendo envolver ambientes on-premises ou na nuvem garantindo a consistência de maneira uni ou bidirecional.
- Aquisição e Compartilhamento de Dados — Prover suporte para aquisição e compartilhamento de dados internos ou externos (compartilhamento com fornecedores, por exemplo) em ambientes na nuvem, on-premises ou híbridos.
- Orquestração de Serviços de Dados — Arquitetura Orientada a Serviços (SOA), Web Services Soap, RESTful, APIs… Integração de aplicações online de modo síncrono ou assíncrono. O Talend acelera a curva de adoção destas tecnologias possibilitando o desenvolvimento de serviços Soap ou REST com a mesma facilidade que provê o desenho de workflows tipo ETL e com amplo suporte à Enterprise Integration Patterns. Além do mais, o Cloud API Services traz ferramentas que aprimoram o desenho, documentação, testes e gestão de APIs.
- Migração e Consolidação de Dados — Suporte à migração de dados de aplicações legado e bancos de dados. Porém, o relatório tem clareza de que as ferramentas de integração de dados sozinhas não solucionam todos os desafios para migração de dados e que esse não é o foco das mesmas.
- Suporte para Governança de Dados e Gestão de Ativos de Dados — Cada vez mais as ferramentas de integração de dados têm tido a necessidade de serem capazes de coletar, auditar, governar, compartilhar e monitorar dados das integrações implantadas dentro da organização. É crescente a necessidade de que estas ferramentas tenham habilidade de identificar o perfil dos novos ativos de dados e reconhecer as similaridades e casos de uso comparados com outros dados já integrados. A aplicação de Machine Learning é um diferencial que neste último relatório ajudou a separar os líderes dos demais players. Aqui o Talend apresenta o Data Catalog em que até 80% da descoberta de dados – ou data discovery – pode ser automatizada.
Na Nota 1, logo após o final do relatório, são listados todos os componentes avaliados nestas ferramentas e não cabe listar aqui em um “resumo do sumário” todos eles. Contudo, logo após as características mencionadas acima o Gartner dá destaque àquelas que diferenciaram um líder dos demais players neste relatório e o Talend se posiciona muito bem em todas:
- Operar com tecnologia de integração de aplicações em uma única arquitetura de solução — Habilidade de integrar soluções diversas, como por exemplo: CDC (Change Data Capture), consumo de APIs externas, streaming de dados, MQ (Message Queue) e exposição de dados através barramento de serviços (ESB).
- Suportar integração de dados em ambientes híbridos (nuvem e on-premises) e intercloud (diferentes provedores na nuvem) — Dados podem estar disponíveis em ambientes locais (on-premises) ou na nuvem e as ferramentas devem estar preparadas para suportar estas arquiteturas. Isso requer que estas soluções utilizem de metadados ativos e passivos para recomendar e até mesmo automatizar as integrações de dados e a implantação de infraestrutura sob demanda. Arquiteturas de gestão de dados mais flexíveis podem ser implantadas desta forma e isso reduz a necessidade de replicação de dados para suportar novos projetos de analytics.
- Suportar a aquisição e entrega de dados em uma ampla variedade de armazenamentos, repositórios e camadas de gestão de dados — Isso inclui, mas não é limitado a: soluções de gestão de dados distribuídos, repositórios de dados para analytics, data lakes e plataformas geralmente associadas com iniciativas de integração de dados não relacionais, como Hadoop, bancos de dados NoSQL e armazenamento em nuvem.
- Integração com Bancos de Dados Não-Relacionais (NoSQL) — Muitas soluções de integração demoram a desenvolver e disponibilizar interfaces para conexão com bancos de dados não relacionais. A review do Gartner captura essa característica como diferencial e acredito que o Talend sempre se destacou nesse aspecto devido aos inúmeros componentes disponíveis, além de sua característica aberta que possibilita consumir componentes desenvolvidos por outros usuários da ferramenta (caso não encontre um componente nativo para isso), ou desenvolver e customizar seus próprios componentes, se necessário.
- Convergência entre IT/OT — A Internet das Coisas – IoT – impulsionou a convergência entre a Tecnologia da Informação e Tecnologias Operacionais outrora desconectadas e desenhadas para trabalhar de modo totalmente standalone, como sensores, por exemplo. O consumo dos dados gerados por estes dispositivos é uma capacidade esperada das ferramentas de integração para suportar o que vem sendo chamado de convergência entre IT/OT e pessoalmente entendo como parte de um amplo cenário de Transformação Digital.
- Integração de Dados Self-service — Disponibilidade de ferramentas self-service voltadas para usuários de negócio e cientistas de dados para que estes criem interfaces de integração e preparação de dados sem necessidade de conhecimento técnico de integração. O Talend tem o Data Preparation para isso, possibilitando a estes usuários a criação de integrações de maneira fácil e criando sinergia com a TI, pois os desenvolvedores podem reutilizar as “receitas” de preparação de dados criadas através desta ferramenta self-service.
O Talend no Gartner MQ de 2019
Forças
- Market momentum e mind share — Impulsionada pela aquisição do Stitch dentre outras inovações, a receita com licenciamento de software subiu cerca de 30% entre 2018/19 e a base de clientes praticamente dobrou. Além disso, o mind share do Talend também subiu, fazendo-o aparecer em mais de metade das pesquisas realizadas pelo Gartner nesse período. Isso quer dizer que o Talend se tornou mais conhecido.
- Amplo portfólio e investimentos estratégicos em inovação em integração de dados — O Talend evoluiu de uma ferramenta simples de integração para uma plataforma completa voltada para a Gestão de Dados. O portfólio abrange integração, preparação, catálogo, stewardship, MDM, e capacidades de API management. A aquisição do Stitch (para carga de dados na nuvem e migrações de dados), do Restlet (para integração via APIs, tornando-se parte do Cloud API Services) e o desenvolvimento do Data Catalog (solução para inventário de ativos de dados) foram investimentos estratégicos que posicionaram o Talend muito bem para suportar integrações híbridas e multicloud.
- Compromisso open-source — O Talend possui uma comunidade de usuários ativa e comprometida com o suporte e apoio no uso da ferramenta. Além disso, a Talend ajuda a alavancar uma série de inovações open-source, tais como Apache Beam, Spark e o Kafka, que agora são usados extensivamente no Talend Data Fabric.
Fraquezas
- Escalabilidade do modelo de precificação — Embora o custo do Talend seja inferior à maioria dos concorrentes, alguns clientes reportaram observar um aumento gradual ao longo dos anos. O modelo de precificação do Talend é por “assento de usuário”, ou seja, por usuário ativo, o que permite um custo previsível. Porém, esse modelo nem sempre se adequa à grandes clientes, o que vem requisitando da Talend uma revisão.
- Documentação online, Migração e Upgrade — Alguns clientes reportaram dificuldade em realizar migrações entre versões. Estes clientes afirmam ter dificuldade em encontrar documentação online customizada para sua pilha de software. Apesar de ser algo totalmente relevante, cabe observar que esse déficit está relacionado às inúmeras alternativas de deploy de infraestrutura para o Talend, de certa forma sendo um custo pela flexibilidade – na minha opinião – e que obviamente deve se solucionar com o tempo à medida que vão sendo identificados os cenários de implantação da solução.
- Escassez de Profissionais — O Gartner também identificou que os clientes tem dificuldades em encontrar profissionais capacitados e parceiros especializados em estratégia e implantação dos produtos de integração e gestão de dados do Talend.
Conclusões
Acredito que ao longo do texto foi possível destacar um pouco de cada solução disponível dentro da plataforma Talend e o quanto governança de dados está presente. Há ainda espaço para explorar muito mais, pois o propósito deste relatório do MQ é voltado para integração de dados, deixando questões como Data Quality e Data Stewardship abertas para uma análise mais profunda. Por se tratarem de tópicos que merecem uma atenção especial, deixo essa análise para uma próxima postagem em que irei explicar em detalhes como o Talend pode ajudar a empoderar áreas de negócio com o domínio de seus dados sem perder a Governança e Gestão dos mesmos, além de quão fácil é implementar soluções de qualidade de dados e também se adequar à Lei Geral de Proteção de Dados – LGPD através de componentes nativos.
Claro que há pontos a se aprimorar e, como se pode notar na análise das fraquezas, eles se resumem a precificação e disponibilidade de recursos – sejam eles documentação ou profissionais capacitados. Estes pontos tendem a evoluir junto às necessidades dos clientes, visto que o contato com um parceiro é a melhor forma de se chegar em uma solução adequada às suas necessidades e somente a partir daí a Talend pode revisar seus modelos de precificação. Já a capacitação é a melhor forma de suprir a escassez de profissionais e há oportunidades aqui para profissionais em busca de se tornarem especialistas nesse tipo de ferramenta para que se destaquem em um meio ainda pouco explorado. E para suportar a evolução destes pontos, deixo abaixo um formulário de contato para interessados em conhecer o Talend ou aprender mais sobre esta plataforma.
Caso tenha interesse em receber um contato comercial para conhecer as soluções disponíveis dentro da plataforma e discutir a respeito de licenciamento, consultoria, ou manifestar interesse em capacitação e treinamentos por favor preencha o formulário abaixo com seu endereço de e-mail ou acesse nossa página de Contato.
