Realidade Imersiva, Inteligência Artificial e Computer Vision estão a transformar a cirurgia do cancro de mama na Fundação Champalimaud

O cancro da mama é a forma mais frequente da doença em todo o mundo e a investigação tem avançado em várias áreas também com a ajuda das tecnologias de computação que são usadas para dar ferramentas adicionais aos profissionais de saúde. O cirurgião Pedro Gouveia e a sua equipa têm em desenvolvimento vários projetos de investigação na Fundação Champalimaud onde aplicam as tecnologias de realidade imersiva, inteligência artificial e computer vision para dar aos cirurgiões a capacidade de ver o tecido maligno dentro da mama da doente, o que permite operações mais precisas e exatas. São “superpoderes” que podem revolucionar os resultados das cirurgias.

“Em pleno sec XXI o método de localização mais utilizado em todo o mundo para guiar a cirurgia do cancro da mama é literalmente espetar um arpão metálico dentro da mama da doente […] é uma coisa grotesca”, explica ao SAPO TEK Pedro Gouveia. E para além do desconforto, esta aplicação também dá apenas a localização do centro da lesão, e não das margens, quando estas são muito importantes quando se quer fazer uma cirurgia conservativa e deixar o máximo possível de tecido saudável para a transformação do peito após a operação.

É aqui que entra a investigação que está a ser desenvolvida na Unidade de Mama da Fundação Champalimaud, com vários projetos que se interligam no mesmo propósito e que estão a avançar, com o objetivo se criar um dispositivo médico que no futuro permita ao cirurgião visualizar o tecido maligno durante a cirurgia. O “MetaBreast - Metaverse for Breast Cancer Surgery” é um projeto financiado pelo Plano de Recuperação e Resiliência, e envolve um consórcio que conta com várias empresas e entidades portuguesas, e na Fundação já foi criado um laboratório cirúrgico digital, o Digital Surgery Lab, estando em projeto até final do ano uma nova sala dedicada à investigação, a Immersive Surgical Arena.

Veja as imagens do Digital Surgery Lab

O cirurgião Pedro Gouveia explica que o mote do board da Fundação foi de fazer a fusão entre o produto de investigação da ciência fundamental e a clinica, juntando dois programas diferentes, a neurociência e a clínica do cancro da mama, o que era difícil porque a neurociência trata o circuito neuronal e o programa de cancro trata a célula.

“Passaram 10 anos e finalmente a neurociência e a clínica encontraram nas tecnologias imersivas, com a Realidade Aumentada, uma forma de se juntar para trazer sustentabilidade à investigação e assim unir esforços”, defende Pedro Gouveia

O objetivo do projeto é criar uma plataforma de tecnologia imersiva e Inteligência Artificial, que beneficia da investigação em ciência fundamental, mas com foco no tratamento do cancro, recorrendo a uma equipa multidisciplinar que junta Pedro Gouveia, cirurgião de cancro da mama, Tiago Marques, especializado em Machine Learning e Computer Vision, e João Santinha, Engenheiro Biomédico com foco em imagem médica e inteligência artificial.

Superpoderes para os cirurgiões no bloco operatório do futuro

A visão de computador e os desenvolvimentos da imagem médica têm beneficiado da investigação em IA, desenvolvimento de algoritmos e de computação gráfica para conseguir um melhor desempenho médico, passando de imagens 2D para 3D. A capacidade de identificação e localização de tumores, assim como de aprendizagem no reconhecimento de padrões atinge uma precisão que ultrapassa largamente a dos humanos com vantagens no processo.

No centro da investigação está o MetaBreast, o projeto centrado no desenvolvimento de um dispositivo médico para o cancro da mama mas que está a desenvolver tecnologia que no futuro poderá ser aplicada a outros contextos cirúrgicos. Integra a iniciativa Health from Portugal, do Health Cluster Portugal, e conta com um financiamento de 2,7 milhões do PRR, envolvendo a Fundação Champalimaud, o INESC-TEC Porto, a BMD Software e a IT People.

Aqui a imagem médica é o elemento essencial e por isso a equipa trabalha para sobrepor as imagens médicas da doente, como a ressonância magnética e a TAC, os dados de imagiologia clínica mais comuns, com uma representação exata do seu corpo e da posição na mesa cirúrgica. Foram desenhados dois estudos clínicos que usam esses dados de exames realizados e depois é usada a nova sala do metaverso médico, o Digital Surgery Lab, para fazer o registo de um avatar real do torso da doente.

“É uma oportunidade única do board que permitiu criar um espaço de 25 m2 com a infraestrutura de hardware para fazer do scan de superfície uma nova modalidade médica”, adianta Pedro Gouveia. “É a primeira sala do género no mundo”.

O espaço que o SAPO TEK visitou alberga dois projetos diferentes, o Metabreast e o Cinderela, que quer dar às mulheres mais capacidade e opções na decisão sobre o resultado final da cirurgia reconstrutiva.

“Depois de identificado o doente e de realizado o surface scan vamos fazer ancoragem de dados volumétricos, com sincronização automática com o doente, que foi pré registado. Neste momento ainda é preciso arrastar a informação para fazer o mapeamento com o corpo do doente e nós queremos que seja automático para facilitar o processo e aumentar a fiabilidade. Dai que tenhamos desenvolvido dois estudos clínicos, com métricas perfeitamente estabelecidas de fiabilidade do sistema e critérios de usabilidade”, sublinha o cirurgião.

“Com a tecnologia de realidade aumentada os cirurgiões de cancro da mama podem ter superpoderes e ver por dentro do corpo”

Ver artigo

João Santinha adianta que “a automatização é absolutamente necessária porque dado o trabalho técnico que os profissionais têm, criar mais uma sobrecarga e uma tarefa que sendo automatizada traz mais precisão é estritamente necessário se queremos que haja adoção desta tecnologia que acreditamos que vai revolucionar o tratamento do cancro da mama”.

O conceito de bloco operatório do futuro, com recurso a tecnologias imersivas, neste caso de realidade aumentada ou mista, transforma o bloco operatório numa sala multimédia mas a instalação obriga a um setup diferente do habitual. “O objetivo não é substituir as pessoas mas aumentar a capacidade dos profissionais”.

Câmaras, algoritmos e inteligência artificial

No Digital Surgery Lab, que está a funcionar desde fevereiro deste ano, há duas câmaras que usam um sistema de infravermelhos de potência baixa, aprovadas para imagem médica, e que captam todos os ângulos da doente, nas várias posições, para que não exista oclusão da imagem quando o médico se desloca à volta da marquesa. A estas câmaras vai juntar-se uma terceira, que quando visitámos o laboratório ainda estava em testes, e que tem um sensor mais potente.

Tiago Marques, que fez o doutoramento no MIT e estudou a visão dos ratinhos e das pessoas, explica que o objetivo é alinhar a visão da computação com a visão humana. “Estamos a desenvolver modelos de computer vision, alinhados com o que vemos e no avatar fazemos a fusão, juntando os dados da imagiologia médica com dados da superfície da doente, que é volumétrica”.

O processamento é feito com recurso a inteligência artificial e no dia da cirurgia a informação fica disponível em tempo real para o médico, que usa uns óculos de realidade aumentada para ver por dentro da pele da doente, com dados em tempo real. A sincronização entre esses dados e o corpo da doente é fundamental para assistir o médico que deve estar focado na cirurgia.

Para os investigadores, esta tecnologia alavanca a oportunidade de garantir ao médico uma rápida interpretação da imagem. Uma ressonância magnética pode ter centenas de imagens, que são detalhadas num relatório, e o médico tem de a interpretar. “Não palpando a lesão, tem de fazer uma fusão cognitiva e adivinhar onde está, o que é sempre impossível. Ao ter uma imagem tática da doença, representada numa só imagem 3D, tem um ganho imediato para o ecossistema da saúde”, explica Pedro Gouveia. “Comparando, é uma mudança na navegação entre o que temos hoje e há 50 anos, em que não tínhamos mapas com GPS”.

“Estes ganhos de eficiência são significativos, conseguimos executar tarefas de forma mais rápida e eficaz e no final os benefícios são evidentes do ponto de vista do tema oncológico e da qualidade de vida do doente”, justifica Pedro Gouveia.

A identificação das margens do tumor e não apenas do centro da lesão vai também permitir ao cirurgião optar por uma cirurgia conservativa, em vez de recorrer à mastectomia que muitas vezes é feita por segurança para eliminar os potenciais tecidos malignos que não se conseguem ver a olho nu, e isso é uma transformação brutal, como realça João Santinha.

Cruzamento de áreas de tecnologia, engenharia e medicina

“Esta abordagem das tecnologias imersivas precisa de conhecimento de engenharia do Tiago Marques e do João Santinha para criar algoritmos com robustez suficiente para que possam ser úteis”, adianta Pedro Gouveia, sublinhando a importância da interdisciplinaridade na investigação que está a ser feita.

“A grande vantagem da Fundação Champalimaud é que num só espaço habitam médicos, enfermeiros, doentes, engenheiros, físicos, neurocientistas, técnicos. No mesmo edifício e equipa tem multidisciplinaridade e isso faz da Fundação um centro único no mundo, porque temos todos os elementos”, diz o cirurgião.

O Digital Surgery Lab ficou pronto em fevereiro e já foram realizados scans de mais de 70 doentes, mas o objetivo é chegar aos 500 só na primeira fase, com informação que pode ser partilhada numa plataforma digital, segura, e que passa por um processo de anonimização para poder ser usado por investigadores.

João Santinha destaca a importância da proteção de dados neste projeto, mas também da partilha de informação numa plataforma digital, sem a necessidade de recurso a CDs de imagem que ainda são usados.

Novos laboratórios de terapia digital

Na Fundação Champalimaud, no espaço que era a antiga Doca Pesca e que foi cedido à fundação, está também a nascer um novo espaço que vai ser usado na investigação e onde a equipa de Pedro Gouveia vai ter uma sala especial, a Immersive Surgical Arena.

Tiago Marques detalhou ao SAPO TEK que o projeto conta com quatro laboratórios, para diferentes projetos da fundação, e uma sala open Space que junta cientistas, pessoal clínico, a área de ciências da comunicação e imagem médica e que facilita a partilha de conhecimento.

A Immersive Surgical Arena é um espaço complementar do Laboratório de cirurgia digital e vai mimetizar o ambiente de bloco operatório para que a equipa de desenvolvimento técnico possa recriar este contexto e testar a tecnologia de hardware e software e “dar ao cirurgião uma visão sobre humana capaz de o capacitar para ver através da pele o tumor ou a artéria”, sublinha Pedro Gouveia.

Nesta sala vai haver uma marquesa e um manequim de cirurgia médica que é adaptado à cirurgia do cancro da mama, respira, fala e emite sons de dor, o que pode tornar-se assustador mas dá uma perspetiva mais realista. O manequim também pode ser personalizado com pele branca, negra ou geriátrica, que são diferentes na aplicação. “Tivemos de investir num manequim médico com algumas condições específicas para os testes, inclusive podemos colocar próteses mamárias”, como explica o cirurgião.

Com os óculos de realidade aumentada, no caso os Hololens 2 da Microsoft, é possível visualizar imagens de pormenor das artérias, mas também o relatório de exame médico, do angio TAC, em formato holograma e segmentado, mostrando os vasos sanguíneos que o cirurgião tem de evitar na operação.

A equipa está também a testar já os Magic Leap 2 que têm mais qualidade de imagem.

A trabalhar com o manequim estão também alunos de mestrado e doutoramento, que estão a desenvolver modelos na área de gráficos de computador. Pedro Brito, da Universidade de Aveiro está a trabalhar com motores de jogo Unity e Unreal, aplicados à imagem médica para a medicina, e a desenvolver uma plataforma de realidade aumentada para assistir os cirurgiões no planeamento da cirurgia e nas reuniões que fazem antes.

Com o apoio da Fundação, estes alunos que ainda estão nas universidades podem ter uma experiência com o mundo real, aplicando os seus conhecimentos focados num use case em concreto. “É uma junção feliz entre a ciência e a inovação”, defende Pedro Gouveia.

A tecnologia que está a ser desenvolvida poderá depois ser usada em outro tipo de cirurgias e a equipa de Pedro Gouveia está já a materializar a possibilidade de desenvolver dispositivos médicos, tendo criado um spin off, a Heka Vision, cujo nome é inspirado no deus egípcio da medicina. O projeto foi selecionado para participar no South3E, o programa de deep training do Horizon Europe com o objetivo de preparar um pitch e business case para uma startup.