Princípios Orientadores para Boas Práticas de Aprendizado de Máquina no Desenvolvimento de Dispositivos Médicos

1. Detalhes de Publicação

Publicado em 27 de outubro de 2021. Esta publicação é licenciada sob os termos da Licença de Governo Aberto v3.0. https://www.gov.uk/government/publications/good-machine-learning-practice-for-medical-device-development-guiding-principles/good-machine-learning-practice-for-medical-device-development-guiding-principles

2. Introdução

A U.S. Food and Drug Administration (FDA), Health Canada e a Medicines and Healthcare products Regulatory Agency (MHRA) do Reino Unido identificaram conjuntamente 10 princípios orientadores que podem informar o desenvolvimento de Boas Práticas de Aprendizado de Máquina (GMLP). Esses princípios orientadores ajudarão a promover dispositivos médicos seguros, eficazes e de alta qualidade que usam inteligência artificial e aprendizado de máquina (AI/ML). Tecnologias de inteligência artificial e aprendizado de máquina têm o potencial de transformar a saúde derivando insights novos e importantes da vasta quantidade de dados gerados durante a entrega de saúde todos os dias. Elas usam algoritmos de software para aprender do uso no mundo real e em algumas situações podem usar essa informação para melhorar o desempenho do produto. Mas elas também apresentam considerações únicas devido à sua complexidade e à natureza iterativa e impulsionada por dados de seu desenvolvimento. Esses 10 princípios orientadores pretendem estabelecer a base para o desenvolvimento de Boas Práticas de Aprendizado de Máquina que abordam a natureza única desses produtos. Eles também ajudarão a alinhar o crescimento futuro neste campo em rápido progresso. Os 10 princípios orientadores identificam áreas onde o Fórum Internacional de Reguladores de Dispositivos Médicos (IMDRF), organizações de padrões internacionais e outros órgãos colaborativos poderiam trabalhar para avançar a GMLP. Áreas de colaboração incluem pesquisa, criação de ferramentas e recursos educacionais, harmonização internacional e padrões de consenso, que podem ajudar a informar políticas regulatórias e diretrizes regulatórias. Nós vislumbramos que esses princípios orientadores podem ser usados para: Adotar boas práticas comprovadas em outros setores. Adaptar práticas de outros setores para que sejam aplicáveis à tecnologia médica e ao setor de saúde. Criar novas práticas específicas para tecnologia médica e o setor de saúde. À medida que o campo de dispositivos médicos AI/ML evolui, assim devem as melhores práticas GMLP e padrões de consenso. Parcerias fortes com nossos parceiros internacionais de saúde pública serão cruciais se quisermos capacitar stakeholders a avançar inovações responsáveis nesta área. Assim, esperamos que este trabalho colaborativo inicial possa informar nossos engajamentos internacionais mais amplos, incluindo com o IMDRF. Nós damos as boas-vindas ao seu feedback contínuo através do dossiê público (FDA-2019-N-1185) em Regulations.gov, e aguardamos engajar com você nesses esforços. O Centro de Excelência em Saúde Digital está liderando este trabalho para a FDA. Contate-nos diretamente em Digitalhealth@fda.hhs.gov, software@mhra.gov.uk e mddpolicy-politiquesdim@hc-sc.gc.ca. https://www.gov.uk/government/publications/good-machine-learning-practice-for-medical-device-development-guiding-principles/good-machine-learning-practice-for-medical-device-development-guiding-principles

3. Princípios Orientadores

Os 10 princípios orientadores para Boas Práticas de Aprendizado de Máquina (GMLP) no desenvolvimento de dispositivos médicos são os seguintes:

3.1 Expertise Multidisciplinar É Alavancada Ao Longo do Ciclo de Vida Total do Produto

Compreensão aprofundada da integração pretendida de um modelo no fluxo de trabalho clínico, e os benefícios desejados e riscos associados ao paciente, pode ajudar a garantir que dispositivos médicos habilitados por ML sejam seguros e eficazes e atendam necessidades clinicamente significativas ao longo do ciclo de vida do dispositivo.

3.2 Boas Práticas de Engenharia de Software e Segurança São Implementadas

O design do modelo é implementado com atenção aos “fundamentos”: boas práticas de engenharia de software, garantia de qualidade de dados, gerenciamento de dados e práticas robustas de cibersegurança. Essas práticas incluem gerenciamento de risco metódico e processo de design que pode capturar e comunicar apropriadamente decisões e racional de design, implementação e gerenciamento de risco, bem como garantir autenticidade e integridade de dados.

3.3 Participantes de Estudo Clínico e Conjuntos de Dados São Representativos da População de Pacientes Pretendida

Protocolos de coleta de dados devem garantir que as características relevantes da população de pacientes pretendida (por exemplo, em termos de idade, gênero, sexo, raça e etnia), uso e entradas de medição sejam suficientemente representadas em uma amostra de tamanho adequado no estudo clínico e conjuntos de dados de treinamento e teste, para que os resultados possam ser razoavelmente generalizados para a população de interesse. Isso é importante para gerenciar qualquer viés, promover desempenho apropriado e generalizável através da população de pacientes pretendida, avaliar usabilidade e identificar circunstâncias onde o modelo pode ter baixo desempenho.

3.4 Conjuntos de Dados de Treinamento São Independentes de Conjuntos de Teste

Conjuntos de dados de treinamento e teste são selecionados e mantidos para serem apropriadamente independentes um do outro. Todas as fontes potenciais de dependência, incluindo fatores de paciente, aquisição de dados e site, são consideradas e abordadas para assegurar independência.

3.5 Conjuntos de Dados de Referência Selecionados São Baseados em Melhores Métodos Disponíveis

Métodos aceitos, melhores disponíveis para desenvolver um conjunto de dados de referência (isto é, um padrão de referência) garantem que dados clinicamente relevantes e bem caracterizados sejam coletados e as limitações da referência sejam entendidas. Se disponíveis, conjuntos de dados de referência aceitos no desenvolvimento e teste de modelos que promovam e demonstrem robustez e generalizabilidade do modelo através da população de pacientes pretendida são usados.

3.6 Design do Modelo É Adaptado aos Dados Disponíveis e Reflete o Uso Pretendido do Dispositivo

O design do modelo é adequado aos dados disponíveis e suporta a mitigação ativa de riscos conhecidos, como sobreajuste, degradação de desempenho e riscos de segurança. Os benefícios clínicos e riscos relacionados ao produto são bem entendidos, usados para derivar metas de desempenho clinicamente significativas para teste, e suportam que o produto pode alcançar com segurança e eficácia seu uso pretendido. Considerações incluem o impacto de desempenho global e local e incerteza/variabilidade nas entradas, saídas do dispositivo, populações de pacientes pretendidas e condições de uso clínico.

3.7 Foco É Colocado no Desempenho da Equipe Humana-AI

Onde o modelo tem um “humano no loop”, considerações de fatores humanos e a interpretabilidade humana das saídas do modelo são abordadas com ênfase no desempenho da equipe Humana-AI, em vez de apenas o desempenho do modelo em isolamento.

3.8 Teste Demonstra Desempenho do Dispositivo Durante Condições Clinicamente Relevantes

Planos de teste estatisticamente sólidos são desenvolvidos e executados para gerar informações de desempenho do dispositivo clinicamente relevantes independentemente do conjunto de dados de treinamento. Considerações incluem a população de pacientes pretendida, subgrupos importantes, ambiente clínico e uso pela equipe Humana-AI, entradas de medição e fatores de confusão potenciais.

3.9 Usuários São Fornecidos Informações Claras e Essenciais

Usuários são fornecidos acesso pronto a informações claras, contextualmente relevantes apropriadas para o público pretendido (como provedores de saúde ou pacientes) incluindo: uso pretendido e indicações de uso do produto, desempenho do modelo para subgrupos apropriados, características dos dados usados para treinar e testar o modelo, entradas aceitáveis, limitações conhecidas, interpretação de interface do usuário e integração de fluxo de trabalho clínico do modelo. Usuários também são conscientizados de modificações e atualizações do dispositivo de monitoramento de desempenho no mundo real, base para tomada de decisão quando disponível, e um meio para comunicar preocupações do produto ao desenvolvedor.

3.10 Modelos Implantados São Monitorados para Desempenho e Riscos de Re-treinamento São Gerenciados

Modelos implantados têm a capacidade de serem monitorados em uso “no mundo real” com foco em segurança e desempenho mantidos ou melhorados. Adicionalmente, quando modelos são periodicamente ou continuamente treinados após implantação, há controles apropriados para gerenciar riscos de sobreajuste, viés não intencional ou degradação do modelo (por exemplo, deriva de conjunto de dados) que pode impactar a segurança e desempenho do modelo quando usado pela equipe Humana-AI. https://www.gov.uk/government/publications/good-machine-learning-practice-for-medical-device-development-guiding-principles/good-machine-learning-practice-for-medical-device-development-guiding-principles