Porqué el futuro ya no nos necesita
por Bill Joy
Nuestras más poderosas tecnologías del siglo 21 – robótica, ingeniería genética, nanotecnología – están amenazando en trasformar la especie humana en una especie en peligro de extinción…
Desdé el momento en que me ví involucrado en la creación de nuevas tecnologías, sus dimensiones éticas me han preocupado, pero no fue hasta el otoño de 1998 que me volví ansiosamente consciente de cuan grandes son los peligros a que nos enfrentamos en el siglo XXI. Puedo fechar el comienzo de mi incomodidad al día en que me encontré con Ray Kurzweil, el merecidamente famoso inventor de la primera máquina lectora para ciegos y otros muchos objetos sorprendentes.
Ray y yo éramos, ambos, oradores en las conferencias Telecosm y me lo encontré por casualidad en el bar del hotel una vez terminadas nuestras sesiones. Yo estaba sentado con John Searle, un filósofo de Berkeley que estudia la consciencia. Ray se acercó e inicio una conversación cuyo contenido sigue dándome escalofríos hasta el día de hoy.
Yo me había perdido la conferencia de Ray, y el subsiguiente debate en el que Ray y John habían participado, y que ellos retomaban aquí en el punto en que lo habían dejado, con Ray diciendo que la tasa de crecimiento del desarrollo tecnológico se iba a acelerar, y nosotros nos convertiríamos en robots, o nos fusionaríamos con ellos, o algo parecido, y John sosteniendo que esto no podría pasar, ya que los robots nunca alcanzarían la consciencia.
Habiendo ya escuchado conversaciones como esta, e había pensado que los robots auto conscientes eran algo que pertenecía al dominio de la ciencia ficción. Pero ahora, viniendo de alquien al que respetaba, estaba oyendo un argumento convincente de que esto era una posibilidad más que factible en un futuro próximo. Me sentí dubitativo, dada la probada habilidad de Ray para imaginar y construir futuros. Yo sabía ya que nuevas tecnologías como la ingeniería genética y la nanotecnología nos estaban dando el poder para rehacer el mundo. Pero un escenario realista e inminente para robots inteligente me sorprendió.
Es fácil volverse escéptico ante tales avances. Casi todos los días escuchamos en los noticieros sobre algún avance tecnológico o científico. Pero esta no era una predicción usual. Ray me regaló una pre-impresión parcial de su próximo libro, “La era de las máquinas espirituales” que esbozaba una utopía que el preveía. Una en la que los humanos alcanzaban una quasi-inmortalidad al fusionarse con la ingeniería robótica. Al leerlo, mi sentido de incomodidad solo consiguió intensificarse: estaba seguro que él tenía que comprender los peligros, comprender la posibilidad de un mal resultado si se sigue este camino.
Me sentí aún más perturbado tras lctura de un pasaje describiendo un paisaje diatópico:
EL NUEVO DESAFÍO LUDDITA
Postulemos primero que los científicos en computación consiguen desarrollar máquinas inteligentes que pueden hacer las cosas mejor que los seres humanos. En ese caso todo el trabajo será realizado por sistemas enormes, altamente organizados, de máquinas y ningún esfuerzo humano será entonces necesario. Nos enfrentaríamos a dos casos: podría ocurrir que diéramos a las máquinas la posibilidad de tomar sus propias decisiones, o que retuviéramos el control sobre estas decisiones.
Si a las máquinas se les permite tomar sus propias decisiones, no podremos hacer ninguna conjetura sobre sus decisiones, porque es imposible adivinar como van a comportarse tales máquinas. Solo señalamos que el futuro de la raza humana estaría a merced de las máquinas. Podría argumentarse que la raza humana nunca sería tan tonta para traspasar todo el poder a las máquinas. Pero ni estamos sugiriendo que los humanos cederían el poder voluntariamente a las máquinas, ni que las máquinas voluntariamente tomarían el poder. Lo que estamos sugiriendo es que la raza humana podría fácilmente permitirse a sí misma deambular hacia una posición de tal dependencia de las máquinas que no habría otra opción práctica que aceptar las decisiones de las máquinas. Mientras la sociedad y los problemas a que se enfrenta se vuelven más y más complejos y las máquinas se vuelven más y más inteligentes, la gente dejará a las máquinas tomar más decisiones por ellos, simplemente porque esas decisiones serán cada vez más prácticas que las humanas.
Eventualmente, se llegará a un punto en el que las decisiones necesarias para mantener el sistema en funcionamiento serán tan complejas que los seres humanos serán incapaces de tomarlas de forma inteligente. En ese punto las máquinas tendrán el control efectivo. La gente simplemente no podrá “apagar las máquinas”, porque serán tan dependientes de ellas que apagarlas equivaldría al suicidio. Por otra parte, es posible que el control humano sobre las máquinas pueda ser retenido. En ese caso el hombre medio podría tener control sobre ciertas máquinas privadas, como su coche o su computador personal, pero el control sobre grandes sistemas de máquinas estará en las manos de una pequeña élite – igual que hoy, pero con dos diferencias. Debido a los avances técnicos, la élite tendrá un control más grande sobre las masas, y como el trabajo humano ya no será necesario, las masas serán superfluas, una carga inútil para el sistema. Si esta élite es despiadada, simplemente decidirá exterminar a las masas. Si se comporta de forma humanitaria, la élite podrá usar la propaganda u otras formas de control psicológico o biológico para reducir la tasa de nacimientos hasta que las masas se extingan, dejando el mundo a esta élite. O, si la élite si compone de liberales de corazón blando, podrían aceptar jugar el papel de buenos pastores hacia el resto de la humanidad. Cuidarían de que las necesidades de todos estén satisfechas, que los chicos sean criados bajo sanas condiciones psicológicas, que todos tuvieran algúna afición de tiempo completo y que cualquiera que estuviera insatisfecho con esta situación recibiera “tratamiento” para curarle su “problema”. Por supuesto, la vida tendría tan poco sentido que la gente tendría que ser modificada biológica y psicológicamente para remover de ellos todo intento de llegar al poder y transformarlo en una afición inofensiva. Estos seres humanos diseñados serían felices en una sociedad así, pero ciertamente no serían libres. Estarían reducidos al estado de animales domésticos.
En el libro, no descubres hasta que pasas la página que el autor de este texto es Theodore Kaczynski, el Unabomber. No soy ningún defensor de Kaczynski. Sus bombas mataron a tres personas durante los diecisiete años que duró su campaña de terror e hirió a muchos otros. Una de sus bombas hirió gravemente a mi amigo David Gelernter, uno de los científicos en computación más brillantes y visionarios de nuestro tiempo. Como muchos de mis colegas, sentí que yo podría muy bien haber sido el siguiente blanco de Unabomber.
Las acciones de Kaczynski fueron mortíferas y, desde mi punto de vista, criminalmente insanas. El es claramente un Luddita, pero el simplemente decir esto no descalifica su argumento: por muy difícil que me resulte reconocerlo, ví algún merito en el razonamiento de este pasaje. Me sentí compelido a confrontarlo.
La visión distópica de kaczynski describe consecuencias no intencionadas, un problema bien conocido en el diseño y el uso de tecnología, y que está claramente relacionado con la Ley de Murphy- “Si algo puede funcionar mal, lo hará”. (En realidad, esta es la ley de Finagle, que en sí misma muestra que Finagle tenía razón). Nuestro excesivo uso de antibióticos nos ha conducido a lo que puede ser el más grande de estos problemas: la aparición de bacterias resistentes a los antibióticos y mucho más peligrosas. Casos similares han ocurrido cuando se intenta eliminar los mosquitos transmisores de malaria usando DDT y provocando que estos adquieran resistencia al DDT; parásitos transmisores de malaria adquirieron asimismo genes resistentes a múltiples drogas.
La causa de muchas de estas sorpresas parece clara: los sistemas involucrados son complejos, presentando interacción y retro-alimentación entre múltiples partes. Cualquier cambio en un sistema de este tipo provocará un efecto de cascada en formas difíciles de predecir: esto es particularmente cierto cunado incluye acciones humanas.
Comencé a mostrar a algunos amigos la cita de Kaczynski que aparecía en “La era de las máquinas espirituales”; les pasé el libro de Kurzweil, y observé sus reacciones cuando descubrían quien había escrito el pasaje. Más o menos para la misma época, encontré el libro “ De mera máquina a Mente transcendente” de Hans Moravec. Moravec es uno de los líderes en investigación robótica, y fue el fundador del programa de investigación en robótica más grande del mundo, en la Universidad Carnegie Mellon. Su libro me dio más material que enseñar a mis amigos, material sorprendentemente en consonancia con el argumento de Kaczynski. Por ejemplo:
A corto plazo (comienzos del siglo XXI)
Las especies biológicas casi nunca sobreviven a encuentros con competidores superiores. Hace diez millones de años América del Sur y América del Norte estaban separadas por el hundido istmo de Panamá. América del Sur, como Australia actualmente, estaba poblada por mamíferos marsupiales incluyendo especies equivalentes a ratas, ciervos y tigres. Cuando el istmo se elevó, conectando a América del Sur y del Norte, sólo les llevó unos pocos miles de años a las especies placentarias del Norte, con metabolismos y sistemas reproductores y nerviosos ligeramente más efectivos, desplazar y eliminar a casi todos los marsupiales del sur.
En un mercado completamente libre, robots superiores afectarían seguramente tanto a los humanos, como los animales placentarios de Norteamérica afectaron a los marsupiales de Sudamérica (y tanto como los humanos afectaron a incontables especies). Las industrias robóticas competirían tan vigorosamente entre ellas por materia prima, energía y espacio, incidentalmente elevando su precio más allá del alcance humano. Incapaz de conseguir cubrir sus necesidades, los humanos biológicos serían barridos de la existencia.
Probablemente aún existe un margen de acción, porque no vivimos en un mercado completamente libre. Los gobiernos aún mantienen conductas coercitivas fuera del mercado, principalmente recaudando impuestos. Juiciosamente aplicadas, estas conductas coercitivas podrían sostener poblaciones humanas con alto nivel de vida con los frutos del trabajo de los robots, quizá por bastante tiempo.
Una distopía de libro de texto – y Moravec está apenas tocando el tema de refilón. Continúa diciendo que nuestro principal trabajo en el siglo 21 será “asegurar la cooperación continuada de las industrias robóticas” sancionando leyes intentando que sean “justas” y continúa describiendo cuan seriamente peligroso puede llegar a ser un humano “trasformado en un robot superinteligente y sin límites”. El punto de vista de Moravec es que los robots eventualmente nos superaran- lo que implica que los humanos se enfrentan claramente a la extinción.
Decidí que ya era tiempo para hablar con mi amigo Danny Hillis. Danny se hizo famoso por ser el co-fundador de “Thinkin Machines Corporation”, compañía que construyo un muy poderosos super-computador en paralelo. A pesar de mi trabajo como Jefe Científico de Sun Microysystems, soy más un especialista en la arquitectura de las computadoras que un científico, y respeto el conocimiento de Danny en teoría de la información y ciencias físicas más que el de cualquier otra persona. Danny es además un futurista altamente reconocido por pensar a largo plazo – hace cuatro años creó la “Long Now Foundation”, que está construyendo un reloj diseñado para durar diez mil años, en un intento por llamar la atención sobre el lamentablemente corto tiempo de concentración de nuestra sociedad.
Así que volé a Los Angeles con el propósito expreso de cenar con Danny y su esposa, Pati. Fui con mi ahora ya ensayada rutina, pasando por las ideas y los pasajes que yo encontraba tan perturbadores. La respuesta de Danny, dirigida directamente al escenario de humanos fundiéndose con los robots de Kurzweil, llegó rápidamente, y me sorprendió bastante. Dijo, simplemente, que los cambios llegarían gradualmente y nos iríamos habituando a ellos.
Pero creo que no estaba completamente sorprendido. Había visto una cita de Danny en el libro de Kurzweil, en la cual decía: “Le tengo tanto afecto a mi cuerpo como cualquiera, pero si puedo llegar a los doscientos años con un cuerpo de silicio, por mi, bien.”. No parecía preocupado por los procesos y los consecuentes riesgos, pero yo sí lo estaba.
Hablando y pensando sobre Kurzweil, Kaczynski y Moravec, recordé repentinamente una novela que había leído hace veinte años – “La plaga blanca”, de Frank Herbert – en la cual un biólogo molecular enloquece por el asesinato sin sentido de toda su familia. Para buscar venganza fabrica y disemina una plaga nueva y altamente contagiosa que mata a gran escala pero selectivamente. (somos afortunados de que Kaczynski fuera un matemático y no un biólogo molecular). También recordé a Borg, de Star Trek, una colmena de criaturas mitad robóticas, mitad humanas con una fuerte inclinación destructiva. Desastres del tipo de Borg son comunes en la ciencia ficción, así que ¿por qué no había estado más preocupado por las distopías robóticas anteriormente? ¿Por qué no había más personas preocupadas por estos escenarios pesadillescos?
Ciertamente,
parte de la respuesta está en nuestra actitud hacia lo nuevo – en nuestra inclinación hacia la familiaridad instantánea y nuestra aceptación sin cuestionar.
Acostumbrados a convivir con avances científicos casi rutinarios, aún tenemos que acostumbrarnos al hecho de que las más desafiantes tecnologías del siglo 21 – la robótica, la ingeniería genética y la nanotecnología – esconden una amenaza diferente a las tecnologías anteriores. Específicamente, los robots, los organismos diseñados y los nanobots comparten un peligroso factor amplificador: pueden auto-replicarse.
Una bomba sólo puede explotar una vez pero un mecanismo artificial puede multiplicarse – y estar rápidamente fuera de control. Gran parte de mi trabajo en los últimos 25 años ha sido en el área de la computación, donde el envío y la recepción de mensajes crea la oportunidad de una replicación fuera de control. Pero mientras la replicación en un computador o red de computadores puede ser una molestia, como mucho inhabilita una máquina o una red o servicios de red. La auto-replicación descontrolada en estas nuevas tecnologías presenta un riesgo mucho mayor: el riesgo de un daño sustancial al mundo físico.
Cada una de estas tecnologías ofrece también promesas tácitas: la visión de una quasi-inmortalidad que Kurzweil prevé en sus sueños robóticos nos empuja hacia delante; la ingeniería genética podría muy pronto aportarnos tratamientos , cuando no las curas absolutas, para la mayoría de las enfermedades; la nanotecnología y la nanomedicina podrían curar aún más enfermedades. Juntas podrían aumentar significativamente nuestra esperanza de vida y mejorar la calidad de nuestras vidas. Sin embargo, con cada una de estas tecnologías una secuencia de avances pequeños e individuales conduce a una acumulación de grandes poderes y, concomitantemente, de grandes peligros.
¿Qué era diferente en el siglo 20? Ciertamente, las tecnologías subyacentes en las armas de destrucción masivas – nuclear, biológica y química (NBQ) – eran poderosas, y estas armas una enorme amenaza. Pero construir armas nucleares requería (al menos durante un tiempo) tanto a materias primas casi inaccesibles como a información altamente secreta: también las armas biológicas y químicas tendían a requerir actividades a gran escala. Las tecnologías del siglo 21 – genética, nanotecnología, robótica (GNR) – son tan poderosas que pueden provocar nuevas clases de accidentes y abusos. Más peligrosamente, por primera vez, este tipo de accidentes y abusos están por primera vez al alcance de individuos o grupos pequeños. No requerirán de grandes instalaciones o materias primas raras. El conocimiento por sí solo permitirá su uso. Así que poseeremos no sólo la posibilidad de armas de destrucción masivas, sino de armas de destrucción masiva basadas en el conocimiento, con una capacidad destructiva amplificada por el poder de la auto-replicación. Creo que no es una exageración decir que estamos en una cúspide para la máxima perfección de la maldad extrema, una maldad cuyas posibilidades se extienden más allá de las que poseen las armas de destrucción masivas inherentes a las naciones – estado, a un sorprendente y terrible aumento del poder en individuos extremos.
Nada en la forma en la que me fui involucrando con las computadoras, me hizo pensar que iba a estar enfrentando este tipo de cuestiones. Mi vida siempre ha estado marcada por una profunda necesidad de plantearme preguntas y buscar respuestas. Cuando tenía tres años ya leía, así que mi padre me llevó a la escuela primaria, donde me senté sobre el regazo del director y le leí un cuento. Empecé la escuela muy temprano, más tarde me salté un año hasta un curso superior, y me refugié en los libros. Tenía una impresionante necesidad de aprender. Hacía un montón de preguntas, a menudo aburriendo a los adultos. En mi adolescencia, estaba muy interesado en la ciencia y la tecnología. Quería ser un radio aficionado, pero no tenía el dinero que costaba el equipo. Los radio aficionados eran como la Internet de esa época. La radio-afición era muy adictiva , y bastante solitaria. Aparte del tema del dinero, intervino mi madre. Ya era bastante antisocial como para convertirme en radio aficionado.
Quizá no tenía muchos amigos, pero estaba lleno de ideas. Ya en la secundaria, descubrí a los grandes escritores de ciencia-ficción. Recuerdo “Have Spacesuit Will Travel” de Heinlein y “Yo, Robot” de Asimov, con sus Tres Leyes de la Robótica. Yo estaba fascinado con las descripciones de los viajes espaciales, y quería tener un telescopio para mirar las estrellas. Como no tenía el dinero para comprar uno, consultaba en la biblioteca manuales para construirme uno. Estaba lleno de imaginación.
Los jueves por la noche mis padres iban a jugar a los bolos, y los chicos nos quedábamos en asa. Era la noche del Star Trek original de Gene Roddenberry y el programa me causó una gran impresión. Llegué a aceptar la noción de que los humanos tendrían un futuro en el espacio, al estilo del Oeste, con grandes héroes viviendo aventuras. La visión de los siglos venideros de Roddenberry era una con grandes valores morales, encarnados en códigos como la Primera Directiva, que obligaba a no intervenir en el desarrollo de civilizaciones menos avanzadas tecnológicamente. Esto tenía para mí un atractivo increíble; humanos éticos, no robots, dominaban el futuro, y el sueño de Roddenberry era parte de mi sueño.
Me gradué en matemáticas en la secundaria , y cuando fui a la Universidad de Michigan como estudiante de ingeniería, me dediqué a los estudios superiores de matemáticas. Resolver problemas matemáticas era un desafío excitante, pero cuando descubrí los computadores, encontré algo aún más interesante: una máquina en la que podías introducir un programa que intentaba resolver un problema, al que la máquina encontraba rápidamente una solución. La computadora tenía una clara noción de lo correcto y lo incorrecto, lo verdadero y lo falso. ¿Eran correctas mis ideas? La máquina me lo podía decir. Era algo muy seductor. Tuve mucha suerte en conseguir un trabajo como programador en los primeros super-computadores Y descubrí el sorprendente poder de las grandes máquinas para simular numéricamente diseños muy avanzados. Cuando proseguí mis estudios más avanzados en la Universidad de Berkeley, a mediados de los años Setenta, comencé a quedarme hasta tarde, a menudo toda la noche, inventando nuevos mundos dentro de las máquinas. Resolviendo problemas. Escribiendo código que luchaba fuertemente por ser escrito.
En “La agonía y el éxtasis”, la biografía de Michelangelo escrita por Irving Stone, este relata vívidamente como Michelangelo liberaba las estatuas de la piedra, “rompiendo el sortilegio del mármol”, esculpiendo las imágenes en su mente. En mis momentos más extáticos, el software en la computadora, emergía del mismo modo. Una vez que lo imaginaba en mi mente, sentía que estaba ya en la máquina esperando ser liberado. Quedarme despierto toda la noche era un pequeño precio a pagar para liberarlo – darle forma concreta a las ideas.
Después de unos pocos años en Berkeley, comencé a enviar algo del software que había escrito – un curso del sistema Pascal, utilidades para Unix, y un editor de texto llamado vi (que es, para mi asombro, ampliamente utilizado aunque ya tiene más de 20 años)- a otros que tenían pequeñas PDP – 11 y mini computadoras VAX. Estas incursiones en la programación desembocaron eventualmente en la versión de Berkeley del sistema operativo Unix, lo que fue un “desastre exitoso” personal – tanta gente los quería que nunca terminé mi doctorado. En su lugar, conseguí un trabajo en Darpa, poniendo el Unix de Berkeley en Internet y corrigiéndolo para que fuera más confiable y pudiera hacer funcionar grandes aplicaciones de investigación correctamente. Todo esto era muy divertido y muy fructífero. Y, francamente, no veía robots ni por aquí, ni por ningún lado. Sin embargo, a principios de los años Ochenta, me estaba ahogando. Las ediciones de Unix eran muy exitosas, y mi pequeño proyecto personal daba dinero y contaba con algo de personal, pero en Berkeley el problema era más el espacio para oficinas que el dinero.
No tenía espacio para la ayuda que el proyecto requería, así que cuando los otros fundadores de Sun Microsystems aparecieron en escena, no dejé pasar la oportunidad de unirme a ellos.
En Sun todo esto desembocó en los primeros desarrollos de workstations y computadores personales, y he disfrutado participando en la creación de tecnologías avanzadas de microprocesadores y tecnologías de Internet como Java y Jini. Con todo esto, confío en que quede claro que no soy un Luddita. Por el contrario, he tenido siempre una firme creencia en el valor de la búsqueda científica de la verdad y en la capacidad tecnológica para alcanzar el progreso material. La Revolución Industrial ha mejorado inconmensurablemente nuestra vida a lo largo de los últimos doscientos años, y siempre he tenido la esperanza de que mi trabajo tuviera que ver con la construcción de soluciones valiosas a problemas reales, cada problema a su tiempo. No me han desilusionado. Mi trabajo tuvo más impacto de lo que yo había esperado y ha sido más ampliamente utilizado de lo que yo jamás hubiese esperado.
Me he pasado los últimos 20 años intentando descubrir como hacer computadores aún más fiables, tan fiables como quiero que sean (todavía les falta bastante), e intentando como hacer su uso aún más sencillo (una meta que ha tenido menos éxito relativo todavía). A pesar de algunos progresos, existen aún problemas todavía más acuciantes. Pero aún siendo conciente de los dilemas morales implícitos en tecnologías como la investigación armamentística, no esperaba que tuviera que enfrentarme a tales temas en mi propio campo de investigación, o al menos no tan pronto. Es quizás siempre difícil apreciar el gran impacto mientras estás dentro de la espiral de un cambio.
Fallar en la comprensión de las consecuencias de nuestras invenciones mientras estamos en inmersos en el descubrimiento y la creación parece un error común en científicos y técnicos: hemos sido arrastrados por el doloroso deseo del conocimiento que esta en la naturaleza misma de la odisea científica, sin detenernos a pensar que el progreso hacia tecnologías más nuevas y más poderosas puede cobrar vida propia. Me he dado cuenta hace tiempo que los grandes avances en la tecnología de la información no provienen del trabajo de científicos en computación, desarrolladores de arquitectura de computadores o ingenieros eléctricos, sino de físicos.
Los físicos Stephen Wolfram y Brosi Hasslacher me introdujeron, a principios de los Ochenta, en la teoría del caos y de los sistemas no lineales. En los años Noventa descubrí los sistemas complejos conversando con Danny Hills, el biólogo Stuart Kauffman y el Nobel en Física Murria Gell-Mann, entre otros. Más recientemente, Hasslacher y el ingeniero eléctrico y físico Mark Reed me han instruido acerca de las increíbles posibilidades de la electrónica molecular. En mi propio trabajo, como co-diseñador de tres arquitecturas de microprocesador – SPARC, pico Java y MAJC, y como diseñador de otras varias implementaciones, he conseguido una profunda y directa comprensión de la ley de Moore. Durante décadas, la ley de Moore ha predicho correctamente la tasa exponencial de desarrollo de la tecnología de semiconductores. Hasta el año pasado, creía que la tasa de avances predicha por la ley de Moore podría continuar como mucho hasta el 2010, donde se alcanzarían ciertos límites físicos. No me resultó obvio que una nueva tecnología llegaría a tiempo para mantener invariable al ritmo de crecimiento del rendimiento. Pero a causa del rápido y radical progreso reciente en la electrónica molecular – donde átomos y moléculas individuales forman transistores dibujados litográficamente – y en tecnologías a nanoescala relacionadas, seríamos capaces de mantener o superar el ritmo de progreso de la ley de Moore por otros 30 años. Hacia 2030, seríamos capaces de construir máquinas, en grandes cantidades, un millón de veces más potentes que las computadoras personales de hoy en día – lo suficientemente potentes para hacer realidad los sueños de Kurzweil y Moravec. Combinando este enorme poder computacional con los avances en manipulación de las ciencias físicas y con los profundos y nuevos conocimientos en genética, un enorme poder transformador se verá desatado. Estas combinaciones abren la puerta a la oportunidad de re-diseñar completamente el mundo, pero mejor o para peor. Los procesos de replicación y evolución que estaban confinados al mundo natural se convertirán en campos abiertos a la actividad humana. Al diseñar software y micro procesadores, nunca he tenido la sensación de estar diseñando una máquina inteligente.
El software y el hardware son tan frágiles y las capacidades de la máquina para “pensar” están tan claramente ausentes que, aún como posibilidad, esto siempre ha parecido algo de un futuro muy lejano. Pero ahora, con la posibilidad de un poder computacional de nivel humano dentro de 30 años, una nueva idea surge por si misma: la de que podría estar trabajando en crear herramientas que permitirán la construcción de la tecnología que puede reemplazar nuestra especie. ¿Cómo me siento con respecto a esto? Muy incómodo. Habiendo luchado mi vida entera para construir sistemas de software confiables, me parece más que probable que este futuro no resultará tan bueno como alguna gente puede imaginar. Mi experiencia personal sugiere que tendemos a sobreestimar nuestras habilidades como diseñadores. Dado el increíble poder de estas nuevas tecnologías, ¿no deberíamos preguntarnos cual es la mejor manera de coexistir con ellas? Y si nuestra presunta extinción es, si esto es posible, un producto de nuestro desarrollo tecnológico, ¿no deberíamos proceder con suma cautela?
George Orwell http://es.wikipedia.org/wiki/George_Orwell
1984