La incursión de DeepMind en los servicios digitales de salud sigue siendo motivo de preocupación. Las últimas preocupaciones son expresadas por un grupo de auditores externos nominados por la compañía de inteligencia artificial propiedad de Google para informar sobre sus operaciones después de que los acuerdos iniciales de intercambio de datos con el Servicio Nacional de Salud del Reino Unido (NHS) hayan tenido una gran controversia. público en 2016.
El informe 2018 de por los revisores independientes de DeepMind Health destaca una serie de riesgos e inquietudes, incluida la posibilidad de que DeepMind Health "ejerza un poder de monopolio excesivo", como resultado de la infraestructura de acceso y transmisión de datos que se incluye con la provisión de la aplicación Streams, y que, contractualmente, posiciona a DeepMind como el intermediario del control de acceso entre los datos cuidado de la salud estructurado y cualquier otro tercero que pueda, en el futuro, querer ofrecer sus soluciones de asistencia digital al Fideicomiso.
Mientras que el FHIR subyacente (es decir, el recurso de interoperabilidad de salud rápida) implementado por DeepMind para Streams utiliza una API abierta, el contrato entre la empresa y las conexiones de embudo Royal Free Confíe en los servidores de DeepMind y prohíba las conexiones a otros servidores FHIR. Una estructura comercial que aparentemente funciona en contra de la apertura e interoperabilidad del fundador de DeepMind, Mustafa Suleyman, dijo que estaba apoyando.
" Hay muchos ejemplos en el área de TI donde las empresas bloquean a sus clientes en sistemas que son difíciles de cambiar o reemplazar, y estos acuerdos no son de interés público . Queremos que DeepMind Health se coloque en una posición donde los clientes, como los hospitales, se vean obligados a permanecer con DeepMind Health incluso si ya no es financieramente o clínicamente sensible para hacerlo queremos que DeepMind Health compita en calidad y precio, sin consolidar la posición heredada, "escriba los revisores
Aunque indican el compromiso expreso de DeepMind sobre la interoperabilidad de los sistemas," Y "su adopción del Abrir API FHIR "como indicaciones positivas, escribiendo:" Esto significa que hay muchas otras PYME involucradas, creando un mercado diversificado e innovador que funciona en beneficio de los consumidores, la innovación y la innovación. # 39; economía . "
" También tomamos en cuenta la intención de DeepMind Health de implementar muchas de las funciones de Streams como módulos que podrían intercambiarse fácilmente, lo que significa que tendrán que depender de cómo ser los mejores para mantenerse en el negocio ", agregan.
Sin embargo, las intenciones declaradas y los futuros potenciales claramente no son la misma realidad en el campo. Y, tal como es, una infraestructura de entrega de aplicaciones técnicamente interoperable está atestada de cláusulas prohibitivas. en un contrato comercial, y una falta de rechazo normativo contra tal comportamiento.
Los revisores también expresaron su preocupación por la continua falta de claridad en torno al modelo de negocios de The DeepMind Health: " Dado el entorno actual y sin claridad sobre el modelo comercial de DeepMind Health, las personas sospechan que debe haber un motivo de lucro no revelado o una agenda oculta. No creemos que este sea el caso, pero recomendaría a DeepMind Health que sea transparente con respecto a su modelo comercial y su capacidad para cumplirlo sin ser sobreescrito por Alphabet. Una vez que una idea de las agendas ocultas se fija en las mentes de las personas, es difícil cambiarla, sin importar cuánto esté motivada por el bien público. "
" Tuvimos conversaciones detalladas sobre los pensamientos en evolución de DeepMind Health en esta área y estamos conscientes de que algunas de estas preguntas aún no se han finalizado. Sin embargo, pedimos a DeepMind Health que exponga públicamente lo que proponen ", agregan.
DeepMind sugirió que quieren crear IA para la salud que pueda cargar los resultados, pero las transmisiones no involucran ninguna IA. también se ofrece gratuitamente a NHS Trusts, al menos durante los primeros cinco años, lo que plantea la cuestión de cómo exactamente la empresa de Google pretende recuperar su inversión.
Google monetiza de forma natural una gran gama de productos de consumo libre en el punto de uso, como el sistema operativo móvil Android, su servicio de correo electrónico en la nube de Gmail y la plataforma de videos compartidos de YouTube, por nombrar tres, recopilar datos personales de las personas y usar esa información para informar plataformas de orientación de anuncios.
De ahí la recomendación de los revisores para que DeepMind exponga sus ideas sobre su modelo de bus Iness para evitar sus intenciones contra los datos médicos de personas vistas con sospecha.
El modus operandi histórico de la empresa también destaca los posibles riesgos de monopolio si DeepMind está autorizada a forjarse una posición dominante en la prestación de asistencia sanitaria digital, dada la eficacia de su matriz capaz de transformar un sistema operativo móvil OEM para Android (Android) en el mercado global del mercado de teléfonos inteligentes, por ejemplo.
Así que mientras DeepMind tiene solo un puñado de contratos con NHS Confianza para la aplicación Streams y la infraestructura de entrega en esta etapa, las preocupaciones de los revisores sobre el riesgo de La adquisición del "poder de monopolio excesivo" no parece exagerada.
También están preocupados por la vaguedad continua de DeepMind sobre cómo funciona exactamente con su alfabeto principal y qué datos podrían transferirse al gigante publicitario, una combinación inevitablemente nauseabunda cuando se compara con la gestión de los historiales médicos de las personas. DeepMind.
¿En qué medida puede aislarse DeepMind Health de Alphabet para instruirlos en el futuro a hacer algo que han prometido no hacer hoy? O, si la gerencia actual de DeepMind Health abandonara DeepMind Health, ¿cómo podría un nuevo CEO cambiar lo acordado hoy? "Ellos escriben.
" Agradecemos que DeepMind Health siga estando sujeto al marco legal y regulatorio, pero gran parte de nuestro enfoque se centra en los pasos que ha tomado DeepMind Health para adoptar una postura más ética de lo que exige la ley; ¿Podría esto haber terminado? Alentamos a DeepMind Health a considerar maneras de romper la separación de Alphabet y DeepMind de manera más sólida, para que pueda tener una fortaleza duradera con respecto a los compromisos que toma. "
Respondiendo a la publicación del informe en su sitio web, DeepMind escribe que está" desarrollando nuestro modelo de negocio y nuestra hoja de ruta a largo plazo. "
" En lugar de cobrarnos por las primeras etapas de nuestro trabajo, nuestra primera prioridad era demostrar que nuestras tecnologías pueden ayudar a mejorar la atención del paciente y reducir los costos. Creemos que nuestro modelo comercial debe derivarse del impacto positivo que generamos y continuar explorando los elementos basados en los resultados, de modo que los costos estén, al menos en parte, relacionados con los beneficios que ofrecemos ", continúa.
No hay nada que decir para calmar las preocupaciones de los revisores sobre dejar en claro sus intenciones de monetizar los datos de salud, además de distribuir algunas opciones de audio PR
En sus vínculos con Alphabet, DeepMind tiene poco que decir, escribiendo solo esto : "Exploraremos otras formas de garantizar que haya claridad sobre los marcos jurídicos vinculantes que rigen todas nuestras asociaciones del NHS. "
" Los fideicomisos mantienen un control total de los datos en todo momento ", agrega." Estamos legalmente y contractualmente obligados a utilizar solo datos de pacientes bajo las instrucciones de nuestros socios. Continuaremos haciendo nuestros acuerdos legales con los fideicomisos a disposición del público para permitir la consideración de este importante punto. "
" T aquí no hay nada en nuestros acuerdos legales con nuestros socios que les impida trabajar con cualquier otro procesador de datos, si desean buscar los servicios de otro proveedor ", también afirma en respuesta a otras preguntas, hemos pedido
" Esperamos que las transmisiones puedan ayudar a desbloquear la próxima ola de innovación en el NHS. La infraestructura que impulsa a Streams se basa en estándares abiertos e interoperables a la vanguardia, conocidos como FHIR. El estándar FHIR cuenta con el respaldo en el Reino Unido de NHS Digital, NHS England y el grupo INTEROPen. Esto debería permitirle a nuestro socio trabajar más fácilmente con otros desarrolladores, ayudándolos a traer más innovaciones a las líneas clínicas, "nos agrega comentarios adicionales.
" En base a nuestros acuerdos contractuales con socios de confianza, nos hemos comprometido a construir una infraestructura FHIR API dentro de los términos de cinco años de los acuerdos. "
Cuestionado sobre el progreso realizado en una 'infraestructura de auditoría técnica para verificar el acceso a los datos de salud, que anunció el año pasado, reiteró las palabras en su blog, diciendo:" Nos mantendremos atentos a la definición de los más altos estándares posibles de gobernanza de la información. A comienzos de este año, hemos designado un gerente de gestión de la información a tiempo completo para supervisar el uso que hacemos de los datos en todas las áreas de nuestro trabajo. También continuamos desarrollando nuestra Auditoría de datos verificables y otras herramientas para mostrar claramente cómo estamos usando los datos. "
Así que los desarrollos en ese front end parecen tan lentos como esperábamos
su impulso hacia los servicios digitales de salud en 2015, al firmar sigilosamente un acuerdo de intercambio de información con un NHS Trust con sede en Londres que tiene se le dio acceso a aproximadamente 1,6 millones de registros clínicos para el desarrollo de las alertas de una aplicación para una condición llamada Lesión Renal Aguda.
También firmó un MoU con la Fundación, en el que la pareja expresó su propia ambición de aplicar conjuntos de datos de AI y NHS. (Llegaron a obtener la aprobación ética para un proyecto de inteligencia artificial, pero afirmaron sistemáticamente que los datos de Royal Free no se suministraban a ninguna IA .)
Sin embargo, la colaboración de intercambio de datos se metió en problemas en mayo de 2016 cuando se revelaron los datos de pacientes compartidos por Royal Free con DeepMind (a través del periodismo investigado). en lugar de revelaciones de Trust o DeepMind).
Ninguno de los ~ 1.6 millones de personas cuyos registros médicos no anónimos habían sido transferidos a la compañía propiedad de Google habían sido informados o solicitados para su consentimiento. Y las preguntas surgieron sobre la base legal para el acuerdo de intercambio de datos.
El verano pasado, la autoridad reguladora de la privacidad del Reino Unido concluyó una investigación del proyecto, señalando que Royal Free NHS Trust había incumplido las normas de protección de datos durante el desarrollo del proyecto. aplicación.
Sin embargo, a pesar de los problemas éticos y la restricción regulatoria sobre la legalidad del intercambio de datos, el proyecto Streams se ha estancado. Y Royal Free Trust ha seguido implementando la aplicación para el uso de los médicos en sus hospitales, mientras que DeepMind también ha firmado varios contratos adicionales para distribuir transmisiones a otros fondos del NHS.
Más recientemente, el bufete de abogados Linklaters realizó una auditoría del Proyecto Royal Free Streams, después de haber sido encargado por el Trust como parte de su acuerdo con el ICO. Aunque esta comprobación solo ha examinado la operación actual de Stream. (No hubo verificación histórica de la legitimidad de los registros clínicos de las personas compartidas durante la fase de construcción y prueba del proyecto.)
Linklaters recomendó que Royal Free finaliza su MoU más grande con DeepMind – y Trust ha confirmado
"La auditoría recomienda cerrar el histórico memorando de entendimiento con DeepMind, firmado en enero de 2016. El MOU ya no es relevante para la asociación y estamos a punto de ponerle fin", nos dijo. un portavoz de Royal Free.
Así que DeepMind, podría decirse que es la compañía de inteligencia artificial más famosa del mundo, se encuentra en la curiosa posición de estar involucrado en la provisión de servicios digitales de salud a hospitales del Reino Unido que en realidad no involucran ninguna IA. (Aunque tiene algunos proyectos de investigación de EI en curso con fondos del NHS).
A mediados de 2016, en el momento álgido del escándalo de datos Royal Free DeepMind, y en un esfuerzo por promover una mayor confianza pública, la compañía nombró al panel de auditores externos que ahora han producido su segundo informe mirando cómo funciona la división
Y es justo decir que ha sucedido mucho en el sector de la tecnología desde que se nombró a la comisión para socavar aún más la confianza del público en las plataformas tecnológicas y las promesas algorítmicas, incluido ICO descubrió que el & # 39; El acuerdo inicial de intercambio de datos entre Royal Free y DeepMind infringe las leyes de privacidad del Reino Unido.
Los ocho miembros del grupo para el informe de 2018 son: Martin Bromiley OBE; Elisabeth Buggins CBE; Eileen Burbidge MBE; Richard Horton; Dr. Julian Huppert; Profesor Donal O & # 39; Donoghue; Matthew Taylor; y Profesor Sir John Tooke.
En su último informe, los auditores externos advierten que la opinión pública de los gigantes tecnológicos se "desplazó sustancialmente" a lo que era hace un año, y afirmó que " problemas de privacidad en la era digital es, en todo caso, más preocupante ".
Al mismo tiempo, los políticos también son más críticos a la hora de observar las obras y los impactos sociales de los gigantes tecnológicos.
Aunque el gobierno del Reino Unido también ha querido posicionarse como un defensor de la AI, proporcionar fondos públicos para el sector y, en su libro blanco sobre estrategia industrial, identificar la IA y los datos como uno de los cuatro llamados "grandes desafíos" donde cree que el Reino Unido puede "liderar el mundo en los próximos años", incluido, en particular, el control de los nombres de DeepMind como una de las pocas empresas locales de IA a la vanguardia del país de las que estar orgulloso.
Más preguntas sobre cómo administrar y regular el sector público Los datos e implementaciones de IA, especialmente en áreas altamente sensibles como la atención de la salud, siguen siendo abordados claramente por el gobierno.
Mientras tanto, la invasión de las tecnologías digitales en el espacio de la salud, incluso cuando los técnicos ni siquiera involucran inteligencia artificial, ya enfrentan grandes desafíos al ejercer presión sobre las reglas y estructuras de gobernanza existentes. información y elevar el espectro del riesgo monopolístico.
Cuando se le preguntó si ofrece algún consejo al NHS Trust sobre la atención digital para médicos, incluyendo en particular si se requieren múltiples opciones ofrecidas por diferentes proveedores, el proveedor de servicios digitales del NHS, NHS Digital, ha abordado nuestra pregunta al Departamento de Salud (DoH), diciendo que es una cuestión de política de salud.
El Departamento de Defensa a su vez dirigió la pregunta a NHS England, el cuerpo ejecutivo no departamental que contrata contratos y establece prioridades y direcciones para el servicio de salud en Inglaterra [19659005] Y en el momento de escribiendo, todavía estamos esperando una respuesta del cuerpo de dirección.
Al final, parece que corresponde al servicio de salud establecer una estructura clara y sólida para la inteligencia artificial y los servicios de toma de decisiones digitales que promuevan la competencia basada en el diseño a través de la obligación del Fideicomiso de apoyar a más opciones independientes durante la compra de aplicaciones y servicios.
Sin este control y equilibrio importantes, el riesgo es que la dinámica de la plataforma domine y controle rápidamente el emergente espacio digital de atención médica, del mismo modo que la gran tecnología ha dominado la tecnología del consumidor.
Pero las decisiones y los conjuntos de datos de salud financiados con fondos públicos no deberían simplemente entregarse a la entidad dominante del mercado único que está disponible y puede quemar la mayoría de los recursos para poseer el espacio. [19659002] Tampoco debe el gobierno quedarse quieto y no hacer nada cuando existe un riesgo claro de que un gigante tecnológico pueda cerrar y cerrar un área vital de la innovación digital al salir y salir. él mismo como guardián antes que otros hayan tenido la oportunidad de mostrar de qué están hechas sus ideas e incluso antes de que un mercado haya tenido la oportunidad de entrenar.
