Por David Ferreira (*)

Num mundo cada vez mais orientado por dados, as organizações vivem num cenário de crescente complexidade, com múltiplos sistemas distribuídos, ambientes híbridos e multi-cloud, volumes crescentes de dados, requisitos regulatórios que exigem segurança, governação e transparência, e também a pressão para a adoção da Analítica Avançada e Inteligência Artificial.

As organizações necessitam de disponibilizar dados aos utilizadores a um ritmo que acompanhe a dinâmica do negócio, mas também fornecer dados com a qualidade adequada e em tempo quase real para as diversas aplicações de IA e analítica avançada. Todos estes dados necessitam de ser fidedignos, seguros, governados e conformes com as normas regulatórias, de modo a serem não só confiáveis, mas também eficazes no cumprimento dos objetivos do negócio.

Os data lakehouses como plataformas unificadas para a analítica não têm conseguido entregar o que prometem, por diversas razões como, dificuldade dos utilizadores na pesquisa e no acesso aos dados no momento em que são necessários, utilização de abordagens tradicionais de gestão de dados que impactam a disponibilidade e qualidade,  ausência de camada semântica e contexto de negócio que dificulta a interpretação e usabilidade dos dados, entre outras. Além disso, alguns dados sempre irão residir fora do lakehouse por inúmeras razões como por exemplo, o custo e o tempo de migração,  existência de requisitos regulatórios e soberania dos dados que assim o obrigam, ou mesmo porque residem em ambientes multi-cloud complexos.

E se conseguíssemos uma forma moderna de gerir e aceder a dados sem precisar de os mover ou duplicar? Ao contrário das abordagens tradicionais, uma abordagem de Logical Data Management suportada na virtualização de dados permite o acesso em tempo quase real aos dados dentro e fora do data lakehouse, ou de qualquer outro repositório centralizado, sem necessidade de replicação ou movimentação física dos dados. Esta abordagem potencia a utilização dos dados onde quer que eles estejam, disponibilizando uma camada semântica universal, um acesso em tempo quase real aos dados, uma governação transversal, self-service e também potencia a disponibilização de dados adequados para as aplicações de IA e Analítica Avançada. A vantagem? Mais rapidez, menos duplicação, menos custos e redução do time-to-value dos dados.

A virtualização de dados é um paradigma tecnológico que se baseia no princípio de criação de uma camada lógica que abstrai a complexidade das fontes de dados subjacentes (base de dados relacionais, data lakes, data warehouses, aplicações, APIs, IoT, ou sistemas legados), proporcionando uma visão única e consistente dos dados, eliminando a necessidade de movimentação massiva de dados e disponibilizando os mesmos como se estivessem num repositório único. Esta camada lógica que conecta e abstrai dados de diferentes fontes é também suportada por uma solida governação e gestão centralizada ou federada.

Numa abordagem de Logical Data Management (LDM) o valor está na gestão dos dados federada e orientada a produtos, promovendo agilidade organizacional e operacional.

Do ponto de vista da oferta tecnológica na área, podemos distinguir  dois grupos de players, os que se posicionam claramente numa visão mais estratégica de Logical Data Management (e Logical Data Fabric), e os que oferecem capacidades técnicas genéricas de virtualização de dados na sua oferta.

O Logical Data Management emerge como uma resposta estruturante aos desafios da era digital, ao combinar virtualização, governação de dados e orientação a produtos numa abordagem unificada. Mais do que uma evolução tecnológica, trata-se de um paradigma de gestão de dados que promove eficiência, conformidade regulatória, interoperabilidade e agilidade organizacional, ao mesmo tempo que maximiza o valor dos dados para iniciativas de Analítica Avançada e Inteligência Artificial. É, portanto, um pilar essencial para que as organizações retirem o verdadeiro valor dos dados, reduzam o seu time-to-value e se mantenham competitivas na era da Inteligência Artificial.

(*) Head of Data & AI, na Minsait em Portugal (Indra Group)