A inteligência artificial pode ser usada para diagnosticar câncer, prever suicídio e auxiliar em cirurgias. Em todos esses casos, estudos sugerem que a IA supera os médicos humanos em tarefas definidas. Mas quando algo dá errado, quem é o responsável?
Não existe uma resposta fácil, diz Patrick Lin, diretor do Grupo de Ética e Ciências Emergentes da California State Polytechnic University. Em qualquer ponto do processo de implementação de IA de saúde, do design aos dados e entrega, podem ocorrer erros. “Esta é uma grande confusão”, diz Lin. “Não está claro quem seria o responsável porque os detalhes de por que um erro ou acidente ocorre são importantes. Esse evento pode ocorrer em qualquer lugar da cadeia de valor. “
Como a IA é usada na saúde
O design inclui a criação de hardware e software, bem como o teste do produto. Os dados abrangem a miríade de problemas que podem ocorrer quando o aprendizado de máquina é treinado em dados distorcidos, enquanto a implementação envolve como o produto é usado na prática. As aplicações de IA em saúde geralmente envolvem robôs trabalhando com humanos, confundindo ainda mais a linha de responsabilidade.
A responsabilidade pode ser dividida de acordo com onde e como o sistema de inteligência artificial falhou, diz Wendall Wallace, professor do Centro Interdisciplinar de Bioética da Universidade de Yale e autor de vários livros sobre ética em robótica. “Se o sistema não funcionar como projetado ou fizer algo idiossincrático, provavelmente vai voltar para a empresa que comercializou o dispositivo”, diz ele. “Se não falhou, se está sendo usado incorretamente no contexto do hospital, a responsabilidade recairá sobre quem autorizou esse uso”.
A Surgical Inc., a empresa por trás do Da Vinci Surgical System, resolveu milhares de processos na última década. Os robôs Da Vinci sempre trabalham em conjunto com um cirurgião humano, mas a empresa enfrentou acusações de erros gritantes, incluindo máquinas que queimam pacientes e peças de máquinas quebradas caindo sobre os pacientes.
No entanto, alguns casos são menos claros. Se a IA de diagnóstico for treinada em dados que superrepresentam pacientes brancos e, em seguida, diagnostica um paciente negro, não está claro se o culpado é a empresa de aprendizado de máquina, aqueles que coletaram os dados tendenciosos ou o médico que escolheu ouvir a recomendação. . “Se um programa de inteligência artificial for uma caixa preta, ele fará previsões e decisões como os humanos, mas sem ser capaz de comunicar suas razões para isso”, escreve o advogado Yavar Bathaee em um documento que descreve por que os princípios legais são aplicar a humanos não funciona necessariamente para IA. “Isso também significa que pouco pode ser inferido sobre a intenção ou comportamento dos humanos que criaram ou implantaram a IA, pois mesmo eles podem não ser capazes de prever quais soluções a IA alcançará ou quais decisões tomará.”
Dentro da caixa preta de IA
A dificuldade em culpar as máquinas reside na impenetrabilidade do processo de tomada de decisão da AI, de acordo com um artigo sobre delito e AI publicado no AMA Journal of Ethics no ano passado. “Por exemplo, se os designers de IA não podem prever como ela vai agir após seu lançamento para o mundo, como eles podem ser responsabilizados ilegalmente?”, Escrevem os autores. “E se o sistema legal isentar os designers de responsabilidade porque as ações da IA são imprevisíveis, os pacientes feridos podem ter menos oportunidades de reparo”.
A IA, como acontece com toda tecnologia, geralmente funciona de maneira muito diferente no laboratório e em um ambiente do mundo real. No início deste ano, os pesquisadores do Google Health descobriram que um sistema de aprendizado profundo capaz de identificar os sintomas da retinopatia diabética com 90% de precisão em laboratório causou atrasos e frustrações consideráveis quando implementado na vida real.
Apesar das complexidades, a responsabilidade clara é essencial para IA na área de saúde, tanto porque os pacientes individuais merecem responsabilidade quanto porque a falta de responsabilidade permite que os erros floresçam. “Se não estiver claro quem é o responsável, isso cria uma lacuna, pode ser que ninguém seja o responsável”, diz Lin. “Se for esse o caso, não há incentivo para resolver o problema.” Uma resposta possível, sugerida pelo estudioso jurídico de Georgetown David Vladeck, é manter todo o mundo envolvidos na utilização e implementação do sistema de IA responsável.
Inteligência artificial e saúde muitas vezes funcionam bem juntos, e a inteligência artificial aumenta as decisões tomadas por profissionais humanos. Mesmo com o desenvolvimento da IA, não se espera que esses sistemas substituam enfermeiras ou automatizem totalmente os médicos humanos. Mas, à medida que a IA melhora, os humanos acham mais difícil ir contra as decisões das máquinas. Se um robô estiver certo 99% das vezes, um médico pode enfrentar sérias responsabilidades ao tomar uma decisão diferente. “É muito mais fácil para os médicos aceitarem o que aquele robô diz”, diz Lin.
Em última análise, isso significa que os humanos estão cedendo alguma autoridade aos robôs. Há muitos casos em que a IA supera os humanos, então os médicos deveriam ceder ao aprendizado de máquina. Mas a cautela do paciente com IA na área de saúde ainda se justifica quando não há uma responsabilidade clara pelos erros. “A medicina ainda está evoluindo. É parte arte e parte ciência ”, diz Lin. “Você precisa de tecnologia e humanos para responder com eficácia.”
