"La computadora es tonta. Y cuanto más estúpida es la herramienta, más brillante debe ser el maestro", afirmó Peter Drucker, en un artículo de 19671 que es citado a menudo. Aunque esta afirmación se presta un poco para hipérbole, el argumento era claro y quizás relevante en ese momento, porque las computadoras estaban sólo reemplazando las tareas de oficina.
Cincuenta años después, los sistemas de inteligencia artificial (inteligencia artificial), que se apoyan en los aumentos exponenciales del poder computacional y la disponibilidad de “big data”, están superando a los humanos en numerosos ámbitos. Estos sistemas inteligentes continúan penetrando en todos los sectores de la industria y están proporcionando enormes beneficios en la forma de nuevas oportunidades de negocio, profundización en el conocimiento del cliente, mejora de la eficiencia, mayor agilidad y así sucesivamente.
El Centro de Cáncer Memorial Sloan Kettering situado en los Estados Unidos está usando Watson de IBM para comparar la información médica del paciente con una amplia gama de pautas de tratamiento, investigación publicada, artículos de revistas, notas de médicos y otras ideas para proporcionar recomendaciones individualizadas y calificadas a los médicos.2 En Canadá, el Banco de Montreal desplegó robo-asesores para proporcionar asesoramiento automatizado, basado en algoritmos de gestión de cartera a sus clientes.3 El Instituto de Tecnología de Massachusetts (MIT, por sus siglas en inglés), desarrolló un sistema de Inteligencia Artificial que puede detectar el 85 por ciento de los ciberataques a través de la revisión de datos de más de 3.600 millones de archivos de registro cada día e informando sobre cualquier situación sospechosa.4
Se espera que la adopción de sistemas de inteligencia artificial se acelere en los próximos años. Un informe de Bank of América Merrill Lynch Research de diciembre de 2015 predijo que el mercado de la robótica y soluciones de inteligencia artificial crecerá a US $153.000 millones al 2020—el cual comprende US $83.000 millones para robótica y US $70.000 millones para analítica basada en inteligencia artificial. El mismo informe estima que este crecimiento exponencial puede aumentar la productividad en hasta un 30 por ciento y reducir los costos laborales de manufactura entre un 18 y un 33 por ciento.5
Mientras que algunas organizaciones todavía están experimentando con la inteligencia artificial utilizándola para tareas insignificantes en el negocio, otras están tomando pasos agigantados y ambiciosos delegando roles críticos a algoritmos de inteligencia artificial. Un ejemplo de ello es Deep Knowledge Ventures, una firma de capital riesgo con sede en Hong Kong, que en mayo de 2014 dio un salto de fe y nombró a un algoritmo de inteligencia artificial como su junta directiva.6 El algoritmo, llamado Vital, automatiza la debida diligencia a través de la revisión de las finanzas, ensayos clínicos, propiedad intelectual y evaluaciones anteriores sobre financiación de potenciales empresas, luego vota si invertir en la empresa o no; un rol con responsabilidad y consecuencias significativas.
La proliferación de la inteligencia artificial levanta oportunidades intrigantes; sin embargo, el riesgo asociado existe y, si prevalece, sus impactos pueden tener consecuencias significativas. Se ha documentado una serie de preocupaciones estratégicas con respecto al aumento de la inteligencia artificial; sin embargo, este artículo destaca tres preocupaciones cruciales de riesgo que enfrentan los líderes al adoptar la inteligencia artificial en sus negocios y proporciona conocimientos prácticos para minimizar la exposición del negocio mientras se maximiza el potencial de la inteligencia artificial. Estas preocupaciones sobre el riesgo son:
Un sistema bien diseñado de inteligencia artificial puede mejorar significativamente la productividad y la calidad, pero si se implementa sin el debido cuidado, los impactos financieros y reputacionales pueden ser de magnitud épica. En la banca y las finanzas, los algoritmos defectuosos pueden fomentar la toma excesiva de riesgo y conducir a una organización a la bancarrota. En el sector de la salud, los algoritmos defectuosos pueden prescribir medicamentos equivocados, dando lugar a reacciones médicas adversas en los pacientes. En el sector jurídico, los algoritmos defectuosos pueden proporcionar asesoramiento jurídico incorrecto, resultando en graves sanciones reglamentarias. En 2012, Knight Capital Group, una firma estadounidense de creación de mercado, proporcionó una visión inquietante de los posibles impactos de dicho riesgo cuando perdió más de US $440 millones en sólo 30 minutos como resultado de un cambio no probado en sus algoritmos de negociación de alta frecuencia. Apodado "la madre de todos los fallos de software", el incidente le costó a la firma cuatro veces su ingreso neto del 2011.7
A diferencia de los sistemas tradicionales basados en reglas, donde los errores pueden revertirse con un impacto mínimo en el negocio, errores menores en algoritmos críticos de inteligencia artificial pueden tener consecuencias severas. Una complicación adicional a este riesgo es la probabilidad de que los sistemas de inteligencia artificial puedan comportarse de manera impredecible cuando interactúan con personas o el medioambiente externo. A medida que los sistemas inteligentes asumen cada vez mayores roles vitales del negocio, el riesgo de que las decisiones cruciales de negocio puedan estar basadas en algoritmos defectuosos, invariablemente aumenta. Por lo tanto, la necesidad de que los conceptos del sistema de inteligencia artificial coincidan con los de sus diseñadores humanos aumenta a medida que el sistema de inteligencia artificial se vuelve más poderoso y autónomo.8
Los tres pasos clave críticos que pueden ayudar a las empresas a maximizar el valor de inteligencia artificial mientras gestionan el riesgo son:
Alinear la adopción de la inteligencia artificial con la estrategia de negocio y el apetito por el riesgoLos líderes del negocio deben ser conscientes del riesgo inherente a la adopción de la inteligencia artificial, llevar a cabo una supervisión adecuada y desarrollar principios que articulen los roles de negocio que pueden ser parcial o totalmente automatizados. Igualmente, importante, el directorio debe aprobar la automatización de las funciones de negocio de alto riesgo, asegurando que la empresa no está expuesta a riesgos más allá de su capacidad o riesgos que no contribuyen a la estrategia de negocio.
Una forma sencilla de llevar a cabo esta evaluación se ilustra en la figura 1, que muestra la exposición al riesgo en función de dos factores: criticidad de la función de negocio que se está automatizando y complejidad del modelo asociado. En el ejemplo de la figura 1, una institución financiera puede decidir automatizar algunas funciones del Call Center (R1) y Evitar la automatización de las aprobaciones de adquisición de negocio o derivadas (R4), basadas en diferentes exposiciones al riesgo. Los roles rutinarios o de papeleo son naturalmente más fáciles de automatizar y plantean un riesgo comercial menor en comparación con funciones complejas como las que requieren razonamiento intelectual, creatividad, habilidades interpersonales o inteligencia emocional.
Un entendimiento claro de las regulaciones que rigen las funciones específicas de negocio es vital porque la automatización completa de algunas funciones de negocio podría estar prohibida en ciertas jurisdicciones. Por ejemplo, en abril de 2016, la División de Valores de Massachusetts publicó una declaración de política en la que la división cuestionaba la capacidad de los robo-asesores para actuar como asesores de inversión registrados por el estado. El regulador de valores declaró: "Es la posición de la División que los robo-asesores totalmente automatizados, tal como están estructurados en la actualidad, pueden ser intrínsecamente incapaces de cumplir las obligaciones fiduciarias de un asesor de inversiones registrado por el estado”.9 El argumento de la división era que un robo-consejero totalmente automatizado no puede actuar en el mejor interés de su cliente, no lleva a cabo una debida diligencia, proporciona asesoramiento que es mínimamente personalizado y puede no cumplir con el alto estándar de cuidado.10 Esta posición de la política subraya la importancia de considerar cuidadosamente las implicaciones legales que se asocian con la automatización de una función del negocio, incluidas las reformas previstas, antes de comprometer cualquier capital del proyecto.
Una evaluación de riesgos efectiva requiere que los líderes empresariales respondan a las siguientes preguntas cruciales:
Aunque la adopción de la inteligencia artificial introduce desafíos significativos, también puede ser un catalizador para la reducción del riesgo. El primer robo industrial, Unimate, creado en 1961 por el inventor estadounidense George Devol, fue diseñado para ese propósito. El brazo robótico de 4.000 libras transportó piezas fundidas de una línea de ensamblaje y soldó estas partes en carrocerías de automóviles. Esto era una tarea de alto riesgo para los trabajadores que podían ser envenenados por los gases de escape o perder una extremidad si no estaban atentos.11 Un ejemplo similar, pero más actual, es el sistema Watson de IBM, que está siendo utilizado por empresas que operan en industrias altamente reguladas para mantenerse al día con los cambios en la legislación y los estándares de cumplimiento.12
Experimentar con funciones de bajo riesgoDelegar una tarea crucial antes de lograr una sólida comprensión teórica de los resultados asociados tiene un alto riesgo.13 Por lo tanto, las organizaciones deben experimentar, aprender y adaptarse utilizando tareas de bajo riesgo, bajo costo y fácilmente codificables. Una vez que se validan las suposiciones subyacentes, se prueban las competencias y se resuelven las principales incertidumbres, las organizaciones pueden gradualmente automatizar funciones más complicadas.
Testear rigurosamenteDebido a su alto grado de incertidumbre, los sistemas inteligentes requieren pruebas más extensas que las aplicaciones tradicionales. Cuando se construyen sistemas inteligentes que aprenden e interactúan con todas las complejidades de la realidad, no es suficiente verificar que el algoritmo se comporta bien en un ambiente de prueba. Se requiere trabajo adicional para verificar que el sistema continuará funcionando como se espera en entornos en vivo.14 Estas pruebas deben ser realizadas por empleados con calificaciones y motivaciones apropiadas. Del mismo modo, se deben realizar pruebas detalladas después de que el sistema de inteligencia artificial ha sido modificado, o después de haber adquirido nueva inteligencia, y las condiciones en las que se llevan a cabo estas pruebas deben reflejar un entorno real.
Cualquier programa de transformación significativo puede ser profundamente inquietante para los empleados. Los programas de inteligencia artificial amplifican este riesgo, porque los empleados cuyos trabajos son vulnerables a la automatización, especialmente aquellos que realizan tareas menos calificadas y repetitivas, pueden estar preocupados por el destino de sus trabajos. En consecuencia, estos empleados pueden resistirse activamente al cambio, descarrilando el éxito del programa de inteligencia artificial. Las revueltas contra la innovación no son nuevas. Uno de los ejemplos más famosos es el movimiento Luddite de principios del siglo XIX, durante el cual un grupo de artesanos textiles ingleses protestó contra la automatización de la producción textil, buscando destruir algunas de las máquinas.15 Además, la falta de una comunicación clara y consistente de los programas de transformación de la inteligencia artificial por parte de los líderes deja a los empleados expuestos a la confusión y la desconfianza.
Un informe de 2011 enfatizó que "la reorganización de las actitudes y comportamientos de los empleados es tan crucial para el éxito de una transformación como la implementación de los cambios en los procesos”.16 Para liderar exitosamente una transformación de inteligencia artificial, los líderes de negocio deben crear un ambiente de confianza y asegurar altos niveles de compromiso de los empleados y apoyo. Para ello, los líderes empresariales deben:
Las empresas continuarán automatizando las tareas realizadas por personas para reducir los costos, mejorar la eficiencia y reducir los errores operacionales. Debido al perturbador impacto que la automatización puede tener en los activos más valiosos de una organización, sus empleados, es esencial para los líderes del negocio anticipar el riesgo potencial tempranamente para minimizar los posibles impactos negativos. Los empleados también tienen un papel que desempeñar: mejorar sus capacidades para mantenerse relevantes frente a la innovación disruptiva. Los investigadores han predicho: "A medida que avance la tecnología, los trabajadores de más bajas competencias serán reubicados en tareas que no son susceptibles de ser informatizadas, es decir, tareas que requieran creatividad e inteligencia social. Sin embargo, para que los trabajadores ganen la carrera, tendrán que adquirir habilidades creativas y sociales”.18
La capacidad de los sistemas de inteligencia artificial para transformar completamente los negocios depende de la eficacia de sus controles de seguridad y privacidad. Fracasar en proporcionar estas garantías puede inhibir su aceptación. El informe de Bank of América Merrill Lynch Research afirma que las preocupaciones de seguridad y privacidad cibernéticas, y otros factores críticos como la regulación, los seguros y los costos, siguen siendo los principales obstáculos para la adopción de los automóviles no tripulados. El informe señala que el 54 por ciento de los compradores temen que los autos conectados sean hackeables y el 30 por ciento no quisiera usar un automóvil conectado porque les preocupa la privacidad.19 En 2015, un grupo de investigadores con base en Virginia, exitosamente hackearon un sistema de automóvil no tripulado y tomó el control del vehículo, destacando la significativa amenaza que representan los sistemas de inteligencia artificial no seguros.
El riesgo cibernético continúa aumentando su frecuencia e impacto en los negocios, y ha ganado una significativa atención de los consejos de directorios, reguladores y responsables de la formulación de políticas. Las empresas públicas y privadas ya están luchando para mantenerse al día con los cibercriminales despiadados, sofisticados y bien dotados de recursos. La inteligencia artificial complica aún más esta lucha con los problemas que se describen en las siguientes secciones.
VulnerabilidadesHasta la fecha, no existen estándares de la industria para guiar el desarrollo seguro y mantenimiento de los sistemas de inteligencia artificial. Para exacerbar mas esta falta de estándares es el hecho de que las firmas de start-up todavía dominan el mercado de inteligencia artificial. Un informe reciente del MIT reveló que, con excepción de algunos grandes jugadores como IBM y Palantir Technologies, la inteligencia artificial sigue siendo un mercado de 2.600 empresas start-up. La mayoría de estas start-ups se centran principalmente en un rápido tiempo de comercialización, funcionalidad del producto y un alto retorno de las inversiones. Imbuir La inclusión de resiliencia cibernética a sus productos no es una prioridad.
Inadvertidamente, los proveedores construyen soluciones con controles de seguridad básicos y vulnerabilidades fácilmente explotables, como contraseñas predeterminadas o procesos de autenticación débiles. Estas debilidades no sólo proporcionan objetivos fáciles para que los ciberdelincuentes exploten, sino que también potencialmente explotar capas de control de seguridad de red existentes. El Informe de Investigaciones de Violación de Datos de Verizon 2016 resaltó que el 63 por ciento de las brechas confirmadas involucraba contraseñas débiles, predeterminadas o robadas.20
Las capacidades de autoaprendizaje de los sistemas de inteligencia artificial también presentan desafíos únicos. Los ciberdelicuentes pueden predecir con éxito los datos que se utilizan para entrenar un algoritmo y deliberadamente manipular su comportamiento, contrariamente a sus objetivos de diseño. Los resultados de un reciente experimento en vivo de Microsoft con un robo de inteligencia artificial de chat, llamado Tay, ofrecen una historia que advierte sobre los peligros de exponer a Internet sistemas de inteligencia artificial vulnerables. En marzo de 2016, Microsoft admitió que había hecho una supervisión crítica cuando un ataque coordinado explotó la vulnerabilidad dentro de su algoritmo experimental de inteligencia artificial. Tay fue diseñado para imitar a una adolescente, interactuar con personas en las redes sociales y aprender de ellos. Desafortunadamente, la supervisión de Microsoft dejó a Tay abierta a una vulnerabilidad específica que fue expuesta por el ataque y resultó en que Tay enviara tweets e imágenes inapropiadas, ofensivas e hirientes, incluyendo insinuaciones racistas falsas respecto de los valores de Microsoft y el diseño de Tay.
Un juego de suma cero (Zero-sum)Los sistemas inteligentes ya están desempeñando un papel crucial en la lucha contra el cibercrimen, por ejemplo, mediante la detección automatizada de fraudes y la detección de spam. Sin embargo, este papel puede ser un juego de suma cero, porque la misma tecnología puede ser utilizada para perpetrar ciberataques altamente sofisticados y evasivos en contra de sistemas críticos. Este sentimiento hizo eco en más del 75 por ciento de los encuestados que fueron consultados en una encuesta de 2014 que fue llevada a cabo conjuntamente por McKinsey y el Foro Económico Mundial (WEF), incluyendo directores de información (chief information officers, CIOs), directores oficiales de seguridad (chief risk officers, CROs), directores de tecnología (chief technology officers, CTO), reguladores y ejecutivos de unidades de negocio, quienes admitieron que la sofisticación o el ritmo de los ciberataques crecerán más rápido que sus propias capacidades defensivas.21
Por lo tanto, una pregunta importante es: ¿estos maleantes seguirán superando a los proveedores de seguridad y desarrollarán programas de inteligencia artificial superiores y evasivos que desencadenarán amenazas persistentes avanzadas contra sistemas críticos, manipularán los mercados de valores, perpetrarán fraudes de alto valor y consecuentemente robarán propiedad intelectual, y, haciendo esto, destruirán la evidencia forense asociada?
Si continúan las actuales tendencias de la ciberdelincuencia sin disminuir, la exposición de negocio cibernético residual puede seguir aumentando.
Construcción de sistemas inteligentes resilientes a ciberataquesPara respaldar la innovación en los negocios (business innovation) y maximizar su valor, es vital una completa resiliencia cibernética para los sistemas inteligentes. Los esfuerzos unificados de los responsables de la formulación de políticas, los líderes empresariales, los reguladores y los proveedores son un prerrequisito para el éxito en el largo plazo. Sin embargo, antes de que estas normas concertadas se hagan realidad, los líderes empresariales deben:
Mirando hacia el futuro, aún quedan numerosos desafíos para la adopción completa de sistemas inteligentes, como cualquier tecnología emergente. Estos desafíos pueden palidecer en comparación con las consecuentes pérdidas de oportunidades presentadas por la inteligencia artificial.
En el entorno empresarial dinámico de hoy en día, las organizaciones necesitan experimentar con nuevas capacidades digitales y aceptar el riesgo de la búsqueda de nuevas ofertas de productos y de seguir siendo relevantes para sus clientes. Para ello, las organizaciones deben alinear sus estrategias de innovación con su apetito por el riesgo, anticiparse a las grandes trampas e incorporar las estructuras de gobernanza adecuadas en los programas de transformación. Para que esto tenga éxito, la aceptación y supervisión del ejecutivo es primordial para el éxito de la inteligencia artificial.
El autor agradece a Gina Francis, Innocent Ndoda, Shingi Muvenge, Kathleen Lo y Andrew Strong por su valiosa retroalimentación, lo que ayudó a mejorar este artículo.
1 Drucker. F. P.; “The Manager and the Moron,” McKinsey Quarterly, 1967, www.mckinsey.com/business-functions/organization/our-insights/the-manager-and-the-moron2 IBM Corporation, “Memorial Sloan-Kettering Cancer Center: IBM Watson Helps Fight Cancer With Evidence-Based Diagnosis and Treatment Suggestions,” January 2013, www-935.ibm.com/services/multimedia/MSK_Case_Study_IMC14794.pdf3 Alexander, D.; “Bank of Montreal Jumps Into Robo-Advising Ahead of Other Lenders,” Bloomberg Technology, 18 January 2016, www.bloomberg.com/news/articles/2016-01-18/bank-of-montreal-jumps-into-robo-advising-ahead-of-other-lenders4 Conner-Simons, A.; “System Predicts 85 Percent of Cyber Attacks Using Input From Human Experts,” Massachusetts Institute of Technology, USA, 18 April 2016, www.csail.mit.edu/System_predicts_85_percent_of_cyber_attacks_using_input_from_human_experts%205 Bank of America Merrill Lynch, “Thematic Investing: Robot Revolution—Global Robot and AI Primer,” press release, November 2015, www.bofaml.com/content/dam/boamlimages/documents/PDFs/robotics_and_ai_condensed_primer.pdf6 Wile, R; “Venture Capital Firm Just Named an Algorithm to Its Board of Directors—Here’s What It Actually Does,” Business Insider, 14 May 2014, www.businessinsider.com.au/vital-named-to-board-2014-57 Philips, M.; “Knight Shows How to Lose $440 Million in 30 Minutes,” Bloomberg, 2 August 2012, www.bloomberg.com/news/articles/2012-08-02/knight-shows-how-to-lose-440-million-in-30-minutes8 Sotala, K.; “Concept Learning for Safe Autonomous AI,” Machine Intelligence Research Institute, 2015, www.aaai.org/ocs/index.php/WS/AAAIW15/paper/download/10131/101379 Massachusetts Securities Division, “Robo-Advisers and State Investment Advisor Registration,” Policy Statement, 1 April 2016, www.sec.state.ma.us/sct/sctpdf/Policy-Statement--Robo-Advisers-and-State-Investment-Adviser-Registration.pdf10 Ibid.11 Mickle, P.; “1961: A Peep Into the Automated Future”, www.capitalcentury.com/1961.html12 Kelly, E.; “Computing, Cognition and the Future of Knowing How Humans and Machines are Forging a New Age of Understanding,” IBM, 2015, www.research.ibm.com/software/IBMResearch/multimedia/Computing_Cognition_WhitePaper.pdf13 Soares, N.; B. Fallenstein; ”Aligning Superintelligence With Human Interests: A Technical Research Agenda,” Machine Intelligence Research Institute, 2015, https://intelligence.org/files/TechnicalAgenda.pdf14 Ibid.15 Autor, H. A.; “Why Are There Still So Many Jobs? The History and Future of Workplace Automation,” Journal of Economic Perspectives, 2015, http://pubs.aeaweb.org/doi/pdfplus/10.1257/jep.29.3.316 Aiken, C.; D. Galper; S. Keller; “Winning Hearts and Minds: The Secrets of Sustaining Change,” McKinsey & Company, 2011, www.ru.is/media/opni/frettir/Winning-hearts-and-minds-McKinsey.pdf17 Manyika, J.; M. Chui; J. Bughin; R. Dobbs; P. Bisson; A. Marrs; “Disruptive Technologies: Advances That Will Transform Life, Business, and the Global Economy,” McKinsey Global Institute, 201318 Frey, C. B.; M. A. Osborne; The Future of Employment: How Susceptible Are Jobs to Computerisation?, 17 September 2013, www.oxfordmartin.ox.ac.uk/downloads/academic/The_Future_of_Employment.pdf19 Op cit, Bank of America Merrill Lynch20 Verizon, 2016 Data Breach Investigations Report, 2016, www.verizonenterprise.com/verizon-insights-lab/dbir/2016/?utm_source=pr&utm_medium=pr&utm_campaign=dbir201621 Bailey, T.; J. Kaplan; A. Marcus; D. O’Halloran; C. Rezek; Beyond Cybersecurity: Protecting Your Digital Business, Wiley, USA, 2015, www.wiley.com/WileyCDA/WileyTitle/productCd-1119026849.html22 The Open Web Application Security Project, “Category: OWASP Top Ten Project,” 2016, https://www.owasp.org/index.php/Category:OWASP_Top_Ten_Project23 National Institute of Standards and Technology, “Framework for Improving Critical Infrastructure Cybersecurity,” USA, 2014, https://www.nist.gov/sites/default/files/documents/cyberframework/cybersecurity-framework-021214.pdf24 ISACA, COBIT 5 for Information Security, USA, 2012, www.isaca.org/COBIT/Pages/Information-Security-Product-Page.aspx
Phillimon ZongoEs un consultor de ciberseguridad con sede en Sydney, Australia. Cuenta con más de 10 años de experiencia en consultoría y gestión de riesgos en tecnología, trabajando en empresas líderes en consultoría de gestión y grandes instituciones financieras. Posee experiencia práctica en el asesoramiento de los principales sectores empresariales y tecnológicos sobre cómo gestionar el riesgo crítico en los complejos programas de transformación tecnológica. También es autor de "Gestión de las consideraciones principales de riesgo de la nube para los líderes empresariales", publicado en el volumen 4, 2016, del ISACA Journal.
Opinions expressed in the ISACA Journal represent the views of the authors and advertisers. They may differ from policies and official statements of ISACA and from opinions endorsed by authors’ employers or the editors of the Journal. The ISACA Journal does not attest to the originality of authors’ content.