LA TICA DE LA INTELIGENCIA ARTIFICIAL (2011) Nick Bostrom eliezer Yudkowsky Proyecto de Cambridge Manual de la Inteligencia Artificial, eds.

William ramsey y Keith Chlodowich (Cambridge University Press, 2011): forthcoming Forthcoming (adj. prximo, de prxima aparicin, futuro, venidero; abierto, sincero) AI (ARTIFICIAL INTELLIGENCE)

La posibilidad de crear pensamiento mquinas plantea una serie de cuestiones ticas. Estas preguntas se refieren tanto a asegurar que tales mquinas no son perjudiciales para los seres humanos y otros seres moralmente relevantes, y a la condicin moral de las propias mquinas. La primera seccin describe problemas que puedan surgir en el futuro cercano de las AI. La segunda seccin presenta desafos para garantizar que las AI funciona con seguridad al acercarse los seres humanos en su inteligencia. La tercera seccin se describe cmo podramos evaluar si, y en qu circunstancias, las AI tienen estatus moral. En la cuarta seccin, consideramos cmo las AI pueden diferir de los seres humanos en ciertos aspectos fundamentales relacionados con la evaluacin tica de ellos. La parte final se abordan las cuestiones acerca de la creacin las AI ms inteligentes que humanos y asegurar que usen su inteligencia avanzados de buena manera en lugar de malos tratos. tica en Aprendizaje Automtico y otros Dominios Especificos de los algoritmos de las AI Imagine, en un futuro prximo, un banco usando una mquina algoritmo de aprendizaje para recomendar las solicitudes de hipotecas para su aprobacin. UN rechazado solicitado inicia una demanda contra el banco, alegando que el algoritmo est discriminando hipotecarios por motivos raciales contra los candidatos. El banco responde que eso es imposible, ya que el algoritmo es deliberadamente ciego a la raza de los solicitantes. De hecho, que formaba parte del razonamiento del banco para la aplicacin del sistema. Aun as, las estadsticas muestran que la tasa de aprobacin del banco para los solicitantes negros ha ido disminuyendo. Al parecer diez iguales y autnticos solicitantes calificados (determinado por un panel independiente de jueces

humanos) muestra que el algoritmo acepta solicitantes blancos y rechaza los solicitantes negros. Qu es lo que puede estar pasando? Encontrar una respuesta puede no ser fcil. Si el aprendizaje del algoritmo de la maquina se basa en una complicada red neural, o un algoritmo gentico producido por evolucin dirigida, por lo tanto puede resultar casi imposible entender por qu, o incluso cmo, el algoritmo est juzgando a los solicitantes basndose en su raza. Por otro lado, una maquina estudiante basado en rboles de decisin o redes Bayesianas es mucho ms transparente a la inspeccin del programador (hastie et al. 2001), que podra permitir que un auditor para descubrir que el algoritmo de la AI utiliza la informacin de la direccin de los solicitantes que hayan nacido o anteriormente resida principalmente en zonas afectadas por la pobreza. Los AI algoritmos juegan un papel cada vez ms grande en la sociedad moderna, aunque normalmente no etiquetados como "AI". El escenario antes descrito podra ir trascendiendo incluso en el momento de escribir. Ser cada vez ms importante para desarrollar algoritmos de AI que no slo es potente y escalable, sino que tambin sea transparente para inspeccin a nombre de uno de las muchas propiedades socialmente importantes. Algunos retos de la mquina tica son muchos al igual que muchos otros desafos que se plantean a la hora de disear mquinas. Disear un brazo de un robot para evitar aplastar a la gente callejera no es ms moralmente plagado que disear ignfugo sof. Ello conlleva nuevos retos de programacin, pero no nuevos desafos ticos. Pero cuandolos AI algoritmos toman el trabajo cognitivo con dimensiones sociales de tareas cognitivas realizados con anterioridad por los seres humanos y el algoritmo de juego hereda las exigencias sociales. Seguramente sera frustrante encontrar que ningn banco en el mundo va a aprobar su solicitud de prstamo aparentemente excelente, y nadie sabe por qu, y nadie puede averiguar incluso en principio. (Tal vez usted tiene un nombre fuertemente asociado con morosos? Quin sabe?) La transparencia no es la nica caracterstica deseable de las AI. Tambin es importante que los AI algoritmos asuman funciones sociales, ser predecible para aquellos que gobiernan. Para comprender la importancia de previsibilidad, considere una analoga. El principio jurdico de stare decisis enlaza a que los jueces se ajusten a los precedentes siempre que sean posibles.

Stare decisis es una locucin latina, que se traduce interpretativamente como "mantenerse con las cosas decididas" A un ingeniero, esta preferencia por precedente puede parecer incomprensible por qu enlazar el futuro con el pasado, cuando la tecnologa siempre est mejorando? Pero una de las funciones ms importantes del sistema jurdico es a ser predecible, de modo que, por ejemplo, los contratos pueden ser escritos sabeiendo cmo van a ser ejecutados. El trabajo del sistema legal no es necesariamente para optimizar la sociedad, sino para proporcionar un entorno previsible en el que los ciudadanos puedan optimizar sus propias vidas.. La tarea del sistema jurdico no es necesariamente para optimizar la sociedad, sino a crear un entorno previsible dentro de la cual los ciudadanos pueden optimizar sus propias vidas. Tambin les resulta cada vez ms importante que los AI algoritmos deben ser resistentes contra la manipulacin. Una visin de mquina sistema para escanear aerolnea equipaje para su uso en bombas debe ser lo suficientemente fuerte contra adversarios humanos deliberadamente buscando explotarles fallas en el algoritmo-por ejemplo, una forma que, junto con una pistola en el equipaje, neutralizan el reconocimiento de este. La fortaleza en contra de la manipulacin es un criterio corriente en la seguridad de informacin; casi el criterio. Pero no un criterio es el que aparece a menudo en revistas de aprendizaje de mquina, que estn actualmente ms interesado en, por ejemplo, cmo funciona un algoritmo de escalas hasta en grandes sistemas paralelos. Otros criterios importantes sociales para hacer frente a las organizaciones es ser capaz de encontrar a la persona responsable de conseguir que se haga algo. Cuando un sistema de inteligencia artificial falla en su tarea asignada, quien tiene la culpa? Los programadores? Los usuarios finales? Burcratas modernos a menudo se refugian en los procedimientos establecidos que distribuyen la responsabilidad tan ampliamente que ninguna persona puede identificar a los culpables de las catstrofes que

resultan (Howard, 1994). Probablemente la desinteresada sentencia de un sistema experto podra resultar incluso un mejor refugio. Incluso si un sistema de inteligencia artificial se ha diseado con una anulacin de usuario, se debe considerar el incentivo de la carrera de un burcrata que que personalmente ser culpado si

el personal auxiliar va mal, y que preferira mucho ms a culpar a la AI para cualquier decisin difcil, con un resultado negativo.

Responsabilidad, transparencia, auditabilidad, la incorruptibilidad, la previsibilidad, y una tendencia a no hacer gritar a las vctimas inocentes de la

frustracin impotente: todos los criterios que se aplican a los seres humanos que desempean funciones sociales, con todos los criterios que deben ser considerados en un algoritmo destinado a sustituir el juicio humano de las funciones sociales ; todos los criterios que pueden no aparecer en el diario de la mquina de aprendizaje teniendo en cuenta cmo funciona un algoritmo de escalas hasta ms ordenadores. Esta lista de criterios no es exhaustiva, pero sirve como una pequea muestra de lo

que una sociedad cada vez ms informatizado debera estar pensando. Inteligencia Artificial General Hay un acuerdo casi universal entre los modernos profesionales de las IA que la Inteligencia Artificial est a la altura de las capacidades humanas, en cierto sentido crtico, a pesar de que los algoritmos de AI han derrotado a los seres humanos en muchos mbitos especficos como el ajedrez. Se ha sugerido por

algunos que tan pronto como los investigadores de AI encontrar la manera de hacer algo, que la capacidad deja de ser considerado como inteligente, el ajedrez era considerado el eptome de la inteligencia hasta que el Deep Blue (supercomputadora de IBM) gan el campeonato del mundo de Kasparov, pero incluso estos investigadores coinciden en que algo importante falta en modernidad de las AI (por

ejemplo, Hofstadter 2006). Si bien este subcampo de la Inteligencia General" Artificial no (en ha hecho el

ms coalescente,"Inteligencia Artificial

adelante, AGI) es

trmino emergente del arte que se utiliza para denotar "real" de la IA (vase, por ejemplo, la edicin del volumen Goertzel y Pennachin 2006). Como su nombre lo indica, el consenso es que la caracterstica que falta es la generalidad. Los actuales algoritmos de IA con el equivalente humano o superior, el rendimiento se caracteriza por una competencia de forma deliberada, programada slo en un nico dominio, restringido. Deep Blue se convirti en el campen mundial de ajedrez, sino que ni siquiera se puede jugar a las damas, y mucho menos conducir un auto o hacer un descubrimiento cientfico. Estos modernos algoritmos de Inteligencia Artificial se asemejan a la vida biolgica, con la nica excepcin del Homo sapiens. Una abeja presenta competencia en las colmenas de construccin, una competencia de

castor como expositores en la construccin de represas, pero una abeja no construye represas, y un castor no puede aprender a construir una colmena. Un ser

humano, viendo, puede aprender a hacer las dos cosas, pero esto es una habilidad nica entre las formas de vida biolgicas. Es discutible si la inteligencia humana

es verdaderamente general, estamos sin duda mejor en algunas tareas cognitivas que otros (Hirschfeld y Gelman 1994), pero la inteligencia humana es sin duda mucho ms aplicable que la nonhominid( primate).

Es relativamente fcil imaginar el tipo de problemas de seguridad que puedan resultar de operar los AI slo dentro de un dominio especfico. Es una clase cualitativamente diferente del problema de manejar un operativo AGI a travs de

contextos novedosos muchos que no se pueden predecir por adelantado. Cuando los ingenieros humanos construyen un reactor nuclear, se imaginan los eventos especficos que pueden ir dentro de ella las vlvulas fallan, las computadoras no, cada vez es mayor la temperatura en los ncleos y el ingeniero del reactor para no hacer de esto un evento catastrfico o bien, en un nivel ms mundano, la construccin de un tostador de pan incluye la imaginacin e imaginar la reaccin del pan a la resistencia de las tostadoras. El propio tostador no sabe que su propsito es hacer las tostadas, el propsito de la tostadora est representada en la mente del diseador, pero no se representan explcitamente en los clculos dentro de la tostadora-y por lo tanto si se coloca un pao dentro de un tostador de pan, se puede coger fuego, como el diseo se ejecuta en un contexto no previsto con un efecto secundario imprevisto.

Incluso tareas especficas de los AI algoritmos nos echan fuera del paradigama de la tostadora, el dominio de nivel la local preprogramado, posibilidad de Deep Blue, el el

comportamiento especfico previsto. Considere

algoritmo de ajedrez , que venci a Garry Kasparov por el campeonato mundial de ajedrez. Si fuera el caso de que las mquinas slo pueden hacer exactamente lo que les dicen, los programadores han tenido que programar previamente manualmente una base de datos que contiene los movimientos para cada posicin de ajedrez que Deep Blue pudiera encontrar. Pero esto no era una opcin para los programadores de Deep Blue. En primer lugar, el espacio de las posiciones de

ajedrez posibles es inmanejable. En segundo lugar, si los programadores tenan que introducir manualmente lo que ellos consideraban un buen paso en cada situacin

posible, el sistema resultante no habra sido capaz de hacer movimientos de ajedrez ms fuertes que las de sus creadores. Dado que los programadores en s no eran campeones del mundo, este sistema no habra sido capaz de vencer a Garry

Kasparov. En la creacin de un jugador de ajedrez sobrehumano, los programadores humanos, est en la necesidad de sacrificar su capacidad de predecir el comportamiento de Deep Blue local, especfico del juego. En cambio, los programadores de Deep Blue tenan la confianza(justificable) que los movimientos de ajedrez de Deep Blue podra

satisfacer un criterio no-local de optimalidad: es decir, que los movimientos que tienden a dirigir el futuro del tablero de juego, resultando en el "ganador" como se define por las reglas del ajedrez. Esta prediccin acerca de las consecuencias lejanas, a pesar de que result ser cierta, no permiti a los programadores visualizar el comportamiento local de Deep Blue-su respuesta a un ataque especfico contra su rey, porque en el fondo azul calculado el mapa del juego no local, la relacin entre un movimiento y sus posibles consecuencias futuras con mayor precisin que los programadores podran (Yudkowsky 2006). Los seres humanos modernos hacen literalmente millones de cosas que ellos mismospara servir a la consecuencia final de ser alimentado. Pocas de estas actividades fueron "previstas por la Naturaleza" en el sentido de ser ancestrales retos a los que estn directamente adaptados. Sin adaptado creciendo suficientemente embargo, nuestro como para ser cerebro se mucho ms aplicable ha en

general; para hacernos prever las consecuencias de millones de acciones a travs de dominios diferentes, y ejercer nuestras preferencias sobre los resultados finales. Los seres humanos cruzaron el espacio y pusieron las huellas en la Luna, a pesar de que ninguno de nuestros antepasados encontraron un reto anlogo. En comparacin con un dominio especfico de las AI, que es un problema cualitativamente diferente de disear un sistema que opere en forma segura a travs de miles de contextos, incluyendo los contextos no previstos especficamente por cualquiera de los diseadores o los usuarios; incluso en contextos de que ningn ser

humano ha encontrado. Aqu puede de buena conducta, no se

haber ninguna a

especificacin local travs de los

especifica simplemente

propios comportamientos, al igual que existe una descripcin compacta local de todas las formas en que los seres humanos obtienen su pan de cada da.

Para crear una inteligencia artificial que acta de forma segura mientras se acta en muchos mbitos, con muchas consecuencias, incluidos los problemas de los ingenieros nunca explcitamente previstos, se debe especificar el buen

comportamiento en trminos tales como "X tales que la consecuencia de X no es daina para seres humanos". Esto no es local, sino que implica la extrapolacin de las consecuencias lejanas de las acciones. Por lo tanto, sta es slo una eficaz especificacin-uno que puede ser realizado consecuencias como un propio de diseo, si el

sistema explcitamente extrapola las

su comportamiento. Una

tostadora no puede tener esta propiedad, porque el diseo de una tostadora no puede prever las consecuencias de pan tostado.

Imagine un ingeniero que tiene que decir: "Bueno, no tengo ni idea de cmo este avin que constru va a volar de forma segura, de hecho no tengo idea de cmo va a volar del todo, si va a batir sus alas o inflar con helio o s algo ms que ni siquiera he imaginado, pero te aseguro que el diseo es muy, muy seguro. "Esto puede parecer una posicin poco envidiable desde la perspectiva de las relaciones pblicas, pero es difcil ver qu otra garanta de un comportamiento tico sera posible que hubiera un operativo de inteligencia general sobre los problemas imprevistos, a travs de los dominios, con preferencias sobre las consecuencias lejanas. Inspeccin del diseo cognitivo puede verificar soluciones que se clasifican que la mente era, pero no de hecho, la bsqueda es de la

como tica,

podemos

predecir cul

solucin especfica de la mente descubrira. El respeto de dicha verificacin requiere una cierta forma de distinguir garantas confiables (un procedimiento que no voy a decir que la IA es seguro a menos que la IA es realmente fuerte) de pura esperanza y el pensamiento mgico ("No tengo ni idea de cmo la piedra filosofal transmutara el plomo en oro, pero te aseguro que lo har!" ). Hay que tener en previamente cuenta que las en la expectativas puramente investigacin en IA

esperanzadoras han sido (McDermott,1976).

un problema

Construccin de una comprobable confianza de un ingreso bruto ajustado de confianza se requieren mtodos diferentes, y una manera diferente de pensar, desde el software de inspeccin de errores en la planta de energa -que se

requieren un ingreso bruto ajustado que piensa como un ingeniero humano preocupado por la tica, no slo un simple producto de la ingeniera de tica. Por lo tanto la disciplina tica de la AI , especialmente aplicada a AGI, es probablemente la diferencia fundamental de la disciplina tica de las tecnologas no cognitivas, en lo siguiente:

El comportamiento local, especfico de la IA puede no ser predecible aparte de ser seguro , incluso si los programadores hacen las cosas bien.

Verificacin de la seguridad del sistema se convierte en un desafo mayor porque debe verificar lo que el sistema est tratando de hacer, en lugar de ser capaz de verificar la comportamiento seguro del sistema en todos los contextos de explotacin.

Conocimiento tico en s mismo debe ser tomado como un tema de la ingeniera.

Las mquinas con estatus moral

Un conjunto diferente de cuestiones ticas surge cuando contemplamos la posibilidad de que algunos sistemas de IA en el futuro podran ser candidatos para tener estatus moral. Nuestras relaciones no son exclusivamente una con los cuestin seres que de la poseen la condicin moral

racionalidad

instrumental: tambin

tenemos razones morales para ser incluidos en ciertas maneras, y que se abstenga de tratar en algunos otros aspectos. Francisco Kamm ha propuesto la siguiente

definicin de estatus moral, que servir para nuestros propsitos:

X tiene estatus moral porque X = cuenta moralmente en su propio derecho, es admisibilidad / inadmisibilidad de hacer las cosas por su propio

bien. (Kamm2007: el captulo 7, parfrasis)