República Bolivariana de Venezuela
Universidad de Carabobo
Fundación para la Capacitación, Innovación y Desarrollo
Centro Latinoamericano de Investigaciones Jurídicas
Diplomado de Consultor Técnico en Criminalística
Núcleo: Valencia
Introducción
La evolución de las tecnologías de información y comunicación (TIC’s), el gobierno electrónico o “e-government” de los países desarrollados como Estados Unidos o Japón y el continuado avance de las plataformas comunicacionales como el Internet, evidencian la evolución tecnológica de la humanidad posfactual, donde la posverdad alimenta a las redes sociales.
Aunque parezcan temas divagantes o dicotómicos, éstos, están interrelacionados y predicen el avance de la sociedad humana en el nuevo milenio. Los progresos tecnológicos se agrupan en la biotecnología, como una ciencia multidisciplinaria que básicamente se centra en el aprovechamiento de las formas de vida (unicelulares o pluricelulares) para la producción de bienes y servicios a la humanidad.
Esta producción de bienes y servicios ha permitido que la humanidad haya desconfigurado el Proyecto del Genoma Humano, descubierto posibles curas para enfermedades no comunes como síndrome de Gardner (pólipos adenomatosos en la superficie mucosa intestinal con potencial maligno) y crueles como el cáncer, vacunas contra anomalías congénitas y esperanzas médicas para diagnósticos crónicos como diabetes o el virus de inmunodeficiencia humana (VIH), la producción en masa de biocombustibles y alimentos genéticamente modificados, así como también, el progreso exponencial del desarrollo de la inteligencia artificial.
El desarrollo de inteligencia artificial es un campo en constante evolución para la humanidad que traerá consigo futuras regulaciones bio-éticas, la desmitificación de paradigmas sociales y la reconfiguración del marco jurídico mundial (procesal, penal, derecho internacional, etc).
La inteligencia artificial como formas o sistemas extracorpóreos, de naturaleza autómata-individual o dependiente, que integra no solo: circuitos electrónicos e informáticos, procesamiento de datos; traspolación de procesos cognitivos humanos; dualidad de robots, cyborgs y androides; combinaciones figurativas de elementos bióticos (tejidos vivos, células, nano-bio-tecnología, fluidos y sustancias hematológicas de origen animal o humano) con materiales actuales localizables en la “Tabla Periódica de los Elementos” o incluso de los muchos que aún faltan por descubrir, innovar e inventar; se encuentra actualmente en constante desarrollo experimental.
Cuando ya para el presente año 2017, se habla que en Dubái circulará el primer funcionario policial robot, que muchos sistemas operativos de la industria manufacturera a nivel mundial están robotizados y que se sabe que en el futuro cercano la desvinculación teológica permitirá la clonación en masa de formas de vida; nos debe encender las alarmas de lo que nos espera a la humanidad.
No resulta futurista, subjetivo ni imaginativo, presuponer que con el progreso tecnológico de este nuevo milenio habrá que redefinir los conceptos de “Individuo”, porque los humanos conviviríamos con seres de inteligencia artificial en el ámbito, laboral, social, cultural, político, y hasta sentimental, etc.
Esta convivencia es evidente que denota la necesidad de adelantarse en visualizar los posibles delitos en los que la inteligencia artificial pueda incurrir, y por ello, es una necesidad desde la actualidad, ir configurando esquemas regulatorios para evitar esas posibles amenazas y que las Organizaciones u Organismos multilaterales de carácter jurídico y los Estados mundiales, estén advertidos, porque esto, no es una fantasía.
Por todo lo anterior, el presente trabajo de investigación, pretende ahondar sobe una diversidad de posibles delitos que pueda cometer la inteligencia artificial en una Venezuela posthumanista, entendida como una nación del nuevo milenio, donde a la par del desarrollo tecnológico mundial, concebido como un salto evolutivo donde el ser humano ha trascendido en sus capacidades físicas y psíquicas, podría ser pionera en su geopolítica latinoamericana en dictar esquemas regulatorios en materia procesal-penal.
Si ya existe en Venezuela, una ley contra delitos informáticos, que suponemos es la evidencia más incipiente de todo el marco regulatorio a devenir en estos temas, no es inverosímil entender que la criminalística dará un salto en la implementación de técnicas y mecanismos para la investigación científica en un posible hecho delictivo que involucre a formas de inteligencia artificial.
Existe un largo camino por transitar, que estará de la mano, de los progresos tecnológicos de la evolución humana y centrarse a concebir las mejores estrategias para colaborar con el progreso de la criminalística como ciencia aplicada, es un tema de notable interés, que desde ya en países industrializados y desarrollados se está concibiendo.
Una Venezuela posthumanista significa una sociedad, que pese a su nivel de desarrollo, de la globalización y de los gobiernos de turno, está a la par del progreso tecnológico, lo quiera o no, porque indirectamente estará influenciada por el entorno latinoamericano y mundial y por su posición estratégica, le permitirá abrirse al progreso tecnológico, por lo que las alertas sobre posibles delitos relacionados con inteligencia artificial, permitirán al Estado encaminarse en la líneas de avance científico a la cual adentrarse.
1.- Planteamiento de la problemática
Con el advenimiento de la cibernética, para Chavarría G. (2013), la información se ha convertido en un principio de universalidad de organización y regulación que ha sustituido la idea de la vida dentro de la definición del ser, considerándose el único valor para determinar el lugar que ocupa un organismo en la jerarquía de los seres.
Según Wiener, citado por Echevarría G. (2013), “en una lógica posthumanista, el efecto no da estatus ontológico al ser humano, su dominio no se debe a un valor intrínseco en la naturaleza, sino más bien, a un valor diferencial asociado a su capacidad de procesar información compleja… al participar en la organización comunicativa del mundo ‘las máquinas inteligentes’ persiguen los mismos objetivos que los seres humanos y los seres vivos”.
La condición posthumana está directamente relacionada con la circunstancia postmoderna, porque surge a partir del derrumbe de los postulados del humano-renacentista y de la modernidad en un entorno ontológico.
El hombre postmoderno y posthumano se asume como desvinculado de la percepción de su tecno-centrismo como sujeto autónomo en la modernidad, acreedor de una voluntad y convencido de que la razón lo ha venido distinguiendo porque ha venido siendo una cualidad distintiva de la especie humana.
El hombre postmoderno y posthumano sabe que gracias a la cibernética y a la revolución tecnológica, que la razón no le es exclusiva, pues ésta razón puede ser copiada y reproducida fuera del cuerpo, por cualquier máquina inteligente (inteligencia artificial).
Para Watzlawick, toda conducta tiene una naturaleza comunicacional, el individuo se presenta como un ser enteramente determinado por los códigos que utiliza para comunicarse y por lo tanto, la posición del sujeto en el sistema social, se mide por su forma de enviar y recibir información.
Siguiendo las ideas filosóficas, éste autor, niega la objetividad de la realidad, argumentando, que ésta, es solo una “ilusión” que el sistema perceptivo ofrece a los individuos, pues la realidad es también producto de efectos comunicacionales.
Sin la concepción postmoderna, no sería posible que se llegase a la condición posthumana y así como las tecnologías de la información son claves para la condición postmoderna, las biotecnologías son el centro alrededor del cual se desplazan los postulados del Posthumanismo.
El desarrollo de biotecnología permitiría exponencialmente, la consecución de concepción de inteligencia artificial, por lo que dentro de este contexto, podría concebirse, según la definición de Sánchez M. y Rosario M. (2013), como “el fruto de los progresos contemporáneos de la biología molecular y la genética”.
También, la misma fuente ha de admitir a la biotecnología como el conjunto de los procesos industriales que implican el uso de sistemas bilógicos, aplicación de los principios de la ciencia y la ingeniería al tratamiento de materias primas por medio de agentes biológicos en la producción de bienes y servicios.
La condición posthumana se asume como la condición del humano, después que las biotecnologías han intervenido cada espacio del mundo que habita: la naturaleza animal, vegetal y del hombre. En la condición posthumana, el entorno ya no es prístino o natural, sino que se ha biomodificado y las fronteras entre lo natural y lo artificial ya no han de existir, conviven, comparten espacio, pues es un mundo por siempre intervenido.
Lo anteriormente citado conlleva a identificar las acepciones del transhumanismo, concibiéndose éste como una vía transitoria al posthumanismo, definido éste último por la Asociación Mundial Transhumanista como: “un acercamiento interdisciplinario para comprender las posibilidades de superar las limitaciones biológicas a través del progreso tecnológico”.
Según lo anterior, Dvorsky (2009), argumenta que los transhumanistas buscan extender las oportunidades tecnológicas para que la gente viva más tiempo, con vidas más saludables y puedan mejorar sus capacidades intelectuales, físicas, y emocionales.
Para diferenciar los conceptos, se asume que el transhumanismo, se enfoca exclusivamente en la transformación del cuerpo humano, en la búsqueda de trascender los límites biológicos de la naturaleza humana, y el posthumanismo por su parte, se circunscribe en una concepción más amplia para señalar a un mundo natural ya modificado (que ya trascendió) no solo del cuerpo humano (cyborgs, inteligencia artificial en cualquiera de sus formas, humanoides, robots y dispositivos tecnológicos-biológicos), sino los alimentos (transgénicos), lo animales (nuevas especies, experimentación).
En resumen, según González F. (2015), posthumanismo, es el término usado para designar las corrientes del pensamiento que aspiran a una superación del humanismoen el sentido de las ideas y las imágenes provenientes del renacimiento clásico, pretendiendo con ello, actualizar dichas concepciones al siglo XXI implicando frecuentemente una asunción de las limitaciones de la inteligencia humana.
Posthumano o post-humano es un concepto notablemente originado en los campos de la ciencia ficción, arte contemporáneo, futurología y filosofía, donde sus múltiples orígenes interactuantes han contribuido a la profunda confusión en torno a las similitudes y diferencias entre el posthumano del “posmodernismo” y el posthumano del “transhumanismo”.
El posthumanismo y la tecnología han ido avanzando de la mano ya que actualmente es una forma de poder acceder al conocimiento. Redes sociales, teléfonos inteligentes y demás son instrumentos que nos facilitan el acceso al conocimiento.
La forma biológica humana (especie humana) no debe sacralizarse y ello significa que no es inmutable, pero que también el valor, el respeto y la dignidad no se limitan a ella. Por lo tanto, pretender que nuevas formas de inteligencia artificial sean concebidas bajo regulaciones que definan al ser como un individuo (bien sea natural, artificial o una mezcla mutua); propende exigirles los mismos castigos punitivos por la comisión de un posible delito.
Dentro de este contexto, los autores de la presente investigación argumentan la necesidad de expandir la concepción del individuo por su naturaleza humana o artificial y asignarle deberes, derechos, responsabilidades y castigos en mismo orden de reciprocidad para socializarlos en una Venezuela posthumanista.
Una Venezuela posthumanista integra valores de respeto, solidaridad y dignidad, pero también asigna un castigo tanto para humanos como a organismos de inteligencia artificial, y obviamente se circunscribe en la necesidad de replantear el marco jurídico venezolano de una sociedad futura.
Una sociedad futura, que se desvincula de la ilusión y la pretensión sub-realista, dado que la postmodernidad que hay y que vendrá, define la concepción de la posthumanidad
Por lo anterior, no es inimaginable visualizar plantearse con el advenimiento de la aplicación tecnológica, incluso, el respeto de la autodeterminación del género y preferencias sexuales-emocionales-afectivas por iniciativas propias de la inteligencia artificial, todo esto, relacionado a su obligación y derecho de asumir los mismos castigos, sentencias, condenas y obligaciones de los humanos.
Para, Hottois G. (2013), en su trabajo titulado: “Humanismo, Transhumanismo, Posthumanismo”, las transformaciones con intenciones de mejoramiento proyectadas por los transhumanistas son radicales y con consecuencias imprevisibles a las que la futura sociedad está realmente limitada.
Una de las exigencia es la de vigilar y evaluar de manera continua. Una expresión fuerte de los límites de las prospectiva transhumanista es la idea “posthumanista”: la idea de una transformación repentina o progresiva tal que los productos del mejoramiento estarán en ese punto tan alejados de nuestra condición humana que no tendremos problemas de parentesco con ellos. Del transhumanismo, que puede verse como un estado intermedio, transitorio, al posthumanismo, la frontera es imprevisible.
Una de las preguntas espinosas que suscita el acercamiento fundamental liberal, individualista y pluralista que caracteriza al transhumanismo es aquel de la diversificación cada vez más profunda de la especie humana seguida de elecciones individuales o comunitarias. Pero dichas eventualidades no son para nada nuevas: la humanidad siempre se ha divido en razas, clanes, castas, bárbaros, etcétera. Y ella ha aprendido a denunciar y combatir esas injusticias.
Por ello, uno de los principios del transhumanismo es la extensión del respeto y la dignidad del bienestar más allá de la especie humana. En conclusión, si de la mano de la ciencia, de la técnica y de los valores humanos, no estamos completamente desprovistos de la luz, nos falta que esa luz sea limitada frente a los cambios que se anuncian.
Para los autores de la presente investigación, aunque por los momentos, no se conoce a ciencia cierta, si los organismos, entes o seres de inteligencia artificial, constituirán o no, minorías (como las ya existentes, homosexuales, transexuales, diversidad de género, diversidad funcional y motora, etc.), lo que si merece obligatoriedad de estudiarse a profundidad, es esa ya referida necesidad de visualizar regulaciones para éstos organismos de inteligencia artificial, ante su presunta incurrencia en la comisión de delitos.
Estos delitos, claro está, que pudiesen ser cometidos por la independencia de este organismo o ser de inteligencia artificial o como consecuencia de su manipulación (en caso de no ser autómatas), pero en todo caso, su vinculación en delitos bien sea directa o indirectamente de asignación de culpabilidad, deben ser tipificados en una postmoderna legislación venezolana.
Esta legislación que claramente tipifique los referidos delitos, en el mismo grado que los asociados a seres humanos, por temas de igualdad y justicia social (considerándose al hombre e inteligencia artificial como, ambos, individuos con la misma garantía de deberes y derechos) debe circunscribirse según la propia legislación internacional y amparada y refrendada en las “Instituciones Universales” (como para las actualmente conocidas, a saber: Organización de las Naciones Unidas, Human Rights Watch, Comisión de Derechos Humanos de la Organización de Estados Americanos, Amnistía Internacional, etc).
Las anteriormente descritas instituciones globales, que seguramente evolucionarán, aunado a otras incipientes que se formarán y que en síntesis permitirán contextualizar el marco jurídico venezolano dentro de una postmoderna civilización humana globalizada, donde las barreras geográficas sean solo limites invisibles de territorialidad que no eximan castigo para quienes cometan delitos; serán insuficientes ante el advenimiento en masa de posibles delitos cometidos por inteligencia artificial.
Es evidente que los temas de derechos humanos consagrados en la Constitución de la República Bolivariana de Venezuela de 1999 y alineados con diversas resoluciones de la Organización de Naciones Unidas (ONU), así como temas de delimitación y tipificación de delitos estipulados en el Código Orgánico Procesal Penal venezolano de 2012 y el más reciente Código Penal de Venezuela del año 2000, asignan protección al individuo sobre sus garantías, deberes y derechos, por lo que su vulneración, se respalda en un marco jurídico que evidentemente demandará modificaciones.
Aunque estas modificaciones a futuro, tendrán que involucrar la tipificación de delitos, sanciones variadas y demás figuras legales vinculadas a acciones cometidas por inteligencia artificial, actualmente la humanidad se respalda en organizaciones como la ONU, donde en un documento publicado en 2016 sobre “Promoción y protección de todos los derechos humanos, civiles, políticos, económicos, sociales y culturales, incluido el derecho al desarrollo”, del Consejo de Derechos Humanos, exhorta a todos los Estados a que luchen contra la impunidad.
Esa lucha, se enfoca en acciones de investigación y exige la rendición de cuentas de todos los ataques y amenazas perpetrados por agentes estatales y no estatales contra personas, grupos o instituciones que defienden los derechos humanos, incluidos familiares, asociados y representantes jurídicos, y condenando públicamente todos los casos de violencia, discriminación, intimidación y represalias contra ellos.
Considerado lo anterior, es importante expresar que asociaciones civiles como el Foro Penal Venezolano (nacida en 2005), también emergerán pero tocando estos temas profundos donde no sólo se centren en los derechos humanos, sino en los derechos de las formas de “inteligencia artificial”, en lo relativo a asistencia jurídica ante detenciones que se presumen arbitrarias o violatorias al debido proceso, torturas, tratos crueles o maltratos y agresiones.
Entonces, de acuerdo a todo lo anteriormente expuesto, se presentan las siguientes interrogantes: ¿Serían considerados los entes de inteligencia artificial como “individuos”?, ¿Tendrían estos entes de inteligencia artificial los mismos deberes, derechos y castigos circunscritos a un marco regulatorio configurado a los seres humanos?, ¿Estará configurado el marco regulatorio mundial para tipificar delitos cometidos por inteligencia artificial?, ¿Si un ser humano utiliza un ente de inteligencia artificial para la comisión de un delito, quien será juzgado, el humano o la propia inteligencia artificial?, ¿Si el ente de inteligencia artificial, presenta autonomía, debería ser juzgado, culpado o destruido como un método de castigo para el hecho punible cometido?.
Las anteriores y otras relacionadas, son las interrogantes que plantea la presente investigación y que busca acercarnos a respuestas basadas en la ética (y no en los juicios de moral) y en regulaciones que desde ya deben ser divisadas por la sociedad y en donde Venezuela, debe alinearse a los gobiernos desarrollados, quienes están apenas asomando ideas para éstos conflictos futuros que devienen por el progreso tecnológico de la humanidad.
2.- Diseño de la propuesta
2.1.- Justificación
En Venezuela es incipiente el tema de la visualización de la aplicación y aprovechamiento de los organismos de inteligencia artificial para el progreso de la humanidad y de la propia sociedad regional latinoamericana.
Desde la era de los Baby Boomers, pasando por la Generación “X”, “Y” o “Millenials”, hasta la generación actual o “Z”, han habido progresos tecnológicos importantes que ha permitido la socialización de las tecnologías de información y la aplicación de las biotecnologías para la evolución humanista.
Esta evolución humanista ha visto cómo el avance de los procesos tecnológicos han venido descubriendo nuevas enfermedades, surgimiento de nuevos elementos de la tabla periódica (naturales o artificiales), vacunas efectivas para enfermedades raras, socialización de robots para taras antes asignadas a humanos y progresión de la inteligencia artificial para la mejora de las condiciones de vida, mediante la unión necesaria de la ciencia y la tecnología.
Si en Europa y países anglosajones ya se han venido suscitando avances en la progresión de la inteligencia artificial, no sería futurista, sub-realista o incluso ilusionista, pensar que lo que nos viene, es un avance exponencial en la implementación de la inteligencia artificial como solución tecnología en la vida antropogénica.
Entonces, considerándose que la postmodernidad nos ha llevado a dar los primeros pasos hacia la posthumanidad, pasando por una transhumanidad, merece de un objetivo estudio, la visualización de posibles delitos que pudiesen ser cometidos por los entes u organismos de inteligencia artificial que van a andar por doquier en el contexto mundial.
Una comunidad internacional globalizada demandará que Venezuela se alinee a las necesidades de ajustes a sus regulaciones jurídicas actuales para la prevención, mitigación y penalización de posibles delitos futuros.
Pocas pero concretas, son las investigaciones que científicos a nivel mundial están ya advirtiendo de posibles delitos relacionados a inteligencia artificial, y por lo tanto, no resulta irreal ir concibiendo posibles mecanismos para atacar esas vendieras situaciones de conflicto, producto de la implementación en masa de organismos de inteligencia artificial.
Existe un vacío jurídico actual en el marco regulatorio venezolano sobre reglamentaciones vinculadas con inteligencia artificial; lo más cercano, es una ley que regula delitos informáticos, la cual, es evidente que con el devenir de los años requerirá reformas y/o adecuaciones a las realidades del momento. Necesitará replantear las necesidades de tipificación de sanciones en la medida que el progreso tecnológico trascienda de forma audaz y paulatina.
2.2.- Objetivo General
Alertar a la comunidad científica internacional de la necesidad de profundizar en la visualización temprana de la tipificación de posibles delitos cometidos por la inteligencia artificial en la Venezuela posthumanista, dentro de una concepción criminalística del nuevo milenio.
2.3.-Objetivos Específicos
- 2.3.1.-Definir la interdimensión entre las concepciones del posthumanismo y transhumanismo.
- 2.3.2.-Profundizar en la obligatoriedad futura de homologación de la concepción del “Individuo” como expresión de determinación social tanto para seres humanos como para organismos o entes de inteligencia artificial.
- 2.3.3.-Visualizar la necesidad inminente de la tipificación de posibles delitos cometidos por organismos de inteligencia artificial en una sociedad venezolana posthumanista.
- 2.3.4.-Concebir a la Venezuela posthumanista del nuevo milenio como referencia en la vanguardia del redimensionamiento del sistema de justicia, mediante su interacción con la criminalística.
2.4.- Antecedentes de la Investigación
Los avances tecnológicos están permitiendo desarrollar robots cada vez más autónomos y en la vida civil, esto está plagado de ventajas; en el plano militar, sin embargo, hay muchas dudas (Ansonera J, 2015). Esto se trae a colación dado que la mayoría de avances tecnológicos han provenido, retomando la historia, de proyectos militares y de inteligencia.
Los robots inteligentes con capacidad de matar de manera autónoma se denominan “Sistema de Armas Autónomas Letales (LAWs, Lethal Autonomous Weapons, por sus siglas en inglés) y aunque todavía no hay noticia de que se haya desarrollado ninguna, ya protagonizan un fuerte debate en la comunidad internacional.
De acuerdo con lo citado anteriormente, el profesor de robótica Noel Sharkey, explica que, según el Departamento de Defensa de EE.UU., un LAW es un arma militar que, una vez activada, se enfrenta a sus enemigos sin otro tipo de intervención. Eso quiere decir que rastrea y selecciona sus propios objetivos para matarlos o ejercer violencia contra ellos sin un control humano significativo. En esencia, es un robot asesino.
Las posiciones sobre los robots asesinos oscilan entre quienes los consideran una vulneración de las leyes humanitarias y los asimilan a las armas químicas o biológicas -exigiendo su prohibición preventiva-, y quienes los asimilan a las armas de alta precisión y defiendan que solo hay que regularlas.
Otros consideran que los robots serían mejores soldados, y más «humanos» que los de carne y hueso. Ron Arkin, del “Georgia Institute of Technology”, cree que las máquinas, desprovistas de reacciones de pánico, inseguridad o venganza, reducirían el número de víctimas en un conflicto.
Otro aspecto muy discutido es la responsabilidad de estos autómatas asesinos y en casos de crímenes cometidos por los robots, ¿a quién se podría culpabilizar?. Al respecto, un informe de Human Rights Watch y de la Universidad de Harvard advierte de las dificultades para asignar responsabilidad personal, tanto criminal como civil, en actos cometidos por armas completamente autónomas. La ausencia de responsabilidad significa que no habrá disuasión de crímenes futuros, ni compensación a las víctimas, ni condena social.
La mayoría de los países entienden que es necesario un cierto control humano, pero no se ha delimitado. Solo cinco países: Pakistán, Egipto, Cuba, Ecuador y el Vaticano se han mostrado favorables a una prohibición de robots asesinos. Mientras tanto, las grandes potencias avanzan en la automatización de sus aparatos militares.
Por lo anterior expuesto, los autores de la presente investigación argumentan que es sumamente necesario la delimitación de las barreras claves de distinción de etiologías en inteligencia artificial, bien sea para su aprovechamiento para fines útiles, combate del terrorismo, colección de evidencias de carácter criminalístico y muy lastimosamente, con fines armamentistas y de consecución de guerras.
En 2016, el Diario El Universal de México argumenta que los científicos predicen que la inteligencia artificial y el aprendizaje automático podrían permitir a los robots autoprogramarse para la actividad criminal. Los investigadores aseguran que los robots y ordenadores ejercerán más actividades delictivas que los seres humanos en 2040.
De acuerdo con lo anterior, Future Laboratory – compañía que ayuda a gestionar planes de negocios – aseguró que “una vez que los robots pueden ser pirateados para convertirse en máquinas de atentados suicidas, los ataques podrían llegar a ser una moneda de cambio”.
Las noticias de vehículos autónomos han provocado cierto temor entre las personas por la poca confianza que se les tiene, ya que, según la gente, representa una amenaza. El asesor de seguridad de Future Laboratory: Raj Samani, aseguró que “es cuestión de tiempo antes de que veamos casos de personas indefensas, incapaces de conducir sus coches a menos que paguen un rescate”.
En el área doméstica también existen peligros y los ingenieros de Google, han advertido sobre los peligros de la limpieza de los robots, ya que pueden llegar a asesinar a sus propietarios si ponen en su camino mientras se encuentran limpiado, informaron al diario británico “The Sun”.
Los representantes de todos los miembros de la Organización del Tratado del Atlántico Norte (OTAN) se reunieron en Bélgica para discutir cómo mejorar sus defensas contra los ataques cibernéticos y hackers que podrían causar tanto daño, como los ataques militares convencionales.
Según la Agencia Nacional del Crímen del Reino Unido, el delito cibernético está en aumento y representó el 53% de todos los delitos en 2015 en ese país.
Ahora bien, según González M. (2015), en una publicación en la web argumenta que el Random Darknet Shopper es un bot que, cada semana, visita la deep web y gasta aleatoriamente 100 dólares en algún objeto. Dicha compra es después enviada a los dueños del bot, dos artistas suizos que han creado una exposición con todas las adquisiciones de su software automatizado y entre sus compras se destacan unos vaqueros de imitación, un pasaporte y unas pastillas de presunta condición estupefaciente conocida como éxtasis.
Numerosos medios se hicieron eco de esta original iniciativa, y un día después de clausurar su exposición, la policía apareció para confiscar dichas drogas. ¿Pueden ser los responsables del bot acusados por comprar drogas? y yendo todavía más allá, y viendo cómo los vehículos autónomos están ya a un paso, ¿quién tiene la culpa si uno de estos vehículos tiene un accidente?, ¿quién puede ser llevado ante un juez?.
Volviendo al primer caso, ¿qué ocurre si alguien programa un bot para realizar acciones aleatorias y resulta que, con una de ellas, termina cometiendo un delito?. Al respecto, José Leandro Núñez, abogado de Audens y especialista en nuevas tecnologías, explica que “las cosas no tienen capacidad jurídica, y por tanto no pueden ser condenadas en caso de que cometan infracciones o delitos”, incluso aunque tengan inteligencia artificial.
Por lo anterior expuesto, “El bot no es sino un medio o herramienta para la realización del acto ilegal”, comenta también Sergio Carrasco, abogado y cofundador de Derecho en Red.
De acuerdo con lo citado en el párrafo previo, parece lógico ya que, a fin de cuentas, ¿cómo se juzga o condena a un bot?, ¿qué se hace entonces?. Al respecto, José Leandro Núnez expresa lo siguiente: “el sistema trata de tirar del hilo, de encontrar a la persona causante de ese comportamiento. Una vez encontrada, se trata de determinar hasta qué punto es responsable de lo ocurrido: ¿se ha programado el robot a sabiendas, para hacer cosas ilegales?, ¿se ha hecho de forma imprudente, sin prever las posibles consecuencias?, ¿fue un simple hecho fortuito?”
Ambos abogados coinciden en que la clave de cada caso concreto es ver si se ha producido dolo (intención de causar el daño) o negligencia por parte del programador. En caso de que esto llegue ante el juez, y según explica Sergio Carrasco, “se tendrá que demostrar que no ha habido voluntad de que realice dichas actuaciones, y habría que ver circunstancias como qué control se ejercía posteriormente sobre el bot.”
Según Sergio Carrasco, “la evolución de la misma herramienta no cambia ni las intenciones que tenía su desarrollador, ni la acción que va a realizarse (que ya se encuentra contemplada en el ordenamiento jurídico). Por lo tanto, no existe un sujeto diferenciado que sea el bot, ni hay laguna alguna al respecto”.
José Leandro va todavía más allá y expone otro ejemplo: “la posición de garante”. “Por ejemplo, se le aplica al propietario de un perro que se escapa y muerde a alguien… y se cree que también se podría aplicar en este caso”. De todas formas, y por lo que comentan ambos expertos, dependería de cada caso concreto, de cómo se ha programado el bot y de las explicaciones que se den ante el juez.
Si se pretende ceñir al caso del bot que compra cosas, otro apunte importante que hace José Leandro es el siguiente:
“Por lo demás, otro tema interesante es la validez de las compras realizadas por estas máquinas: la Ley nos dice que para que una compra (o cualquier otro contrato) sea válido, tiene que haber consentimiento de las dos partes. Ahora bien, si la compra la realiza aleatoriamente una máquina, que carece de capacidad jurídica, ¿existe realmente consentimiento? ¡Todo un dilema! Estoy seguro de que en el futuro nos encontraremos con sentencias de este tipo”.
Ahora bien, ¿dónde queda el peligro de la automatización de tareas?. Al respecto, pensando una situación hipotética: ¿qué ocurre si se utiliza algún servicio como IFTTT, que permite automatizar las tareas, para descargar todas las fotos de Instagram que publica una cuenta y, al final, resulta que una de estas imágenes era pornografía infantil?. No se ha descargado adrede, pero el programa la ha descargado y está en el disco duro de una persona. Entonces, si en el disco duro de alguien hay algo ilegal que se ha descargado de forma automática y sin su conocimiento, le tocará demostrarlo.
En este caso, la mera tenencia de un archivo de este tipo es un delito (se pena la posesión de pornografía infantil). Si su descarga ha sido efectivamente fortuita, le tocará a la persona, probar ante el juez que ha sido tal. “Lo mismo sucedía cuando se descargaban películas de pornografía infantil ocultas como grandes éxitos de Hollywood por ejemplo”, explica Sergio, ¿Cómo lo pruebas?. Pues, demostrando que no hay más contenidos de ese tipo en tu ordenador, falta de habitualidad, cómo funciona la herramienta que lo ha hecho, etc.
Lo mismo afirma José Leandro: “Podría tratar de defenderse, basándose en que no había intencionalidad, pero la persona en cuestión sería imputada con total seguridad”. Por mucho que haya sido una descarga automática, eso no cambia que el poseer la imagen, no sea un delito. En definitiva: se podría acabar frente a un juez y, a partir de ahí, se debería probar la inocencia.
Ahora bien, ¿y si un vehículo autónomo tiene un accidente?. Todo el asunto de la conducción autónoma presenta un dilema moral: si un vehículo va por una carretera y la única forma que tiene de esquivar un accidente es llevarse por delante a un peatón, ¿qué debe hacer el vehículo?, ¿qué vida vale más? ¿y si el vehículo lleva seis ocupantes?. Sobre este asunto profundizan en un interesante artículo del New York Times*, hablando de lo que se conoce como “matemáticas morales”.
Pero ¿quién carga con la culpa, si se produce un accidente de estas características por un error del vehículo autónomo? “Estamos hablando de una herramienta incorporada al vehículo (da igual que sea más o menos avanzada) con lo cual existirá responsabilidad al igual que sucede ahora”, explica Sergio, que además ejemplifica lo siguiente: si un error con el diseño hace que los frenos fallen, el culpable es claro. Con los vehículos autónomos ocurriría algo similar.
Igual que ahora se culpa a los fabricantes de fallos en el diseño, los fallos en un sistema autónomo de conducción también tienen responsables.
José Leandro coincide con esta opinión: “tendríamos que ver quién es el culpable del accidente: el fabricante, por un error de diseño; la empresa, por falta de mantenimiento; el conductor, por manipular los botones… o todos ellos”. Y, además, hace una lectura muy interesante del asunto: “será muy complicado que veamos vehículos autónomos circulando por las carreteras hasta que se aclare el tema de las responsabilidades en caso de accidente.”
En resumen, los bots, los sistemas de inteligencia artificial o los sistemas de conducción autónoma no dejan de ser herramientas que son programadas por alguien para tal fin y de esa forma deben ser consideradas en el caso de que exista algún problema con ellas.
2.5.- Plan de acción
Plan de Acción para la regularización de delitos cometidos por la Inteligencia Artificial (IA) en la Venezuela posthumanista.
| N° | Etapas | Estrategias | Acciones | Recursos |
| 1 | Reformulación del marco jurídico en materia procesal-penal | A.- Enmendar y revisar la Constitución Nacional, en materia de asignación de deberes y derechos a “Entes-individuos-entidades-seres-representaciones, etc”, o como quiera que se le considere mencionar a la IA. B.- Revisar el Código Orgánico Procesal Penal en lo concerniente a la inserción de IA y su relacionamiento en términos de deberes, derechos, sanciones, acciones punibles y diversas formas de delito. C.- Revisar el Manual Único de procedimientos en materia de Cadena de Custodia de Evidencias Físicas, donde se considere un apartado de cadena de custodia y colección de evidencias físicas relacionas a IA. D.- Promulgar una Ley Orgánica y Ley penal relacionada a IA, en término de su uso, fabricación, manipulación, desempeño, autonomía, funcionamiento, desenvolvimiento, deberes, derechos, delitos y sanciones administrativas y penales. | – Someter a consulta pública el marco jurídico venezolano referenciado, en conjunto con revisión de la Asamblea Nacional, Tribunal Supremo de Justicia, Ministerio Público, Ejecutivo Nacional y Poder Moral y Ciudadano. – Evitar la intervención de religiosa en cualquiera de sus manifestaciones y credos, a los fines de impedir juicios de moral (ajenos a cuestionamientos éticos) que impiden el progreso tecnológico y evolución humana. | -Participación ciudadana. -Participación del sistema Legislativo, Judicial, Moral, Ejecutivo Nacional y Fuerza Armada en general. -Consulta ante la organización relativa a comicios electorales. |
| 2 | Revisión del sistema de administración de justicia | -Acelerar los procesos administrativos, jurídicos, judiciales, para las condenas, tipificación de delitos imputaciones, sanciones, etc. -Evaluar la actuación policial y organismos de orden público y seguridad nacional. | – Intervenir los organismos policiales, de orden público y de seguridad nacional para la detección de acciones de corrupción, burocratización de los procesos, inobservancias y obstrucción del proceso de justicia. | -Participación del sistema Legislativo, Judicial, Moral, Ejecutivo Nacional y Fuerza Armada en general. |
| 3 | Redimensionamiento de los entes legislativos, policiales y de orden público | -Adecuar, parametrizar, seccionar y asignar responsabilidades en la actuación policial de funcionarios, de acuerdo a sus competencias, profesionalización, organismo al que pertenece y rango de acción. | -Detectar potencialidades, oportunidades de mejoras, carencias y limitaciones de los entes legislativos, policiales y de orden público a los fines de su redimensionamiento | -Participación del sistema Legislativo, Judicial, Moral, Ejecutivo Nacional y Fuerza Armada en general. |
| 4 | Profesionalización de los entes policiales y sistema de administración de justicia en materia de IA | – Implementar las acciones de formación y divulgación académicas relativas a motorizar y profundizar la instrucción académica, la experiencia y la experticia en las actuaciones relativas a IA. | Desarrollar programas educativos teórico-prácticos para una eficiente y eficaz respuesta policial y de todo el sistema de administración de justicia nacional. -Permitir el acceso oportuno de formación académica universitaria y de estudios de 4to y 5to nivel. -Participar con gobiernos latinoamericanos, europeos y del mundo globalizado, en el intercambio de acciones prácticas de profesionalización. | -Participación del sistema Legislativo, Judicial, Moral, Ejecutivo Nacional y Fuerza Armada en general. |
| 5 | Impulso de movimiento hemisférico regional para la discusión Inter-Estatal de gobiernos en temas de IA | -Promover encuentros, foros, agendas multilaterales y discusiones de Estados para tratar temas jurídicos y judiciales relacionados a IA en organizaciones como la OEA, ONU, OTAN, Human Rights Watch, etc. | -Emprender acciones nacionales en Venezuela con la participación de los países del mundo para tratar temas alusivos a IA. -Hacer el llamado a los países potencias del mundo para el encuentros masivos de Gobiernos tendientes a tratar temas alusivos a IA. | -Participación del sistema Legislativo, Judicial, Moral, Ejecutivo Nacional y Fuerza Armada en general. -Participación del Ministerio de Relaciones Exterioes.-Participación de los países interesados en tratar tema relativos IA. -Participación de organismos y organizaciones internacionales en materia jurídica y judicial. |
2.5.1.- La legislación penal en la Venezuela posthumanista.
En el contexto de un mundo globalizado, una Venezuela posthumanista no está exenta de la ocurrencia de diversas modalidades de delitos cometidos por entes de inteligencia artificial, con distintos niveles de gravedad o amenaza dentro de lo que se considera actualmente ético y moral.
Es por ello necesario anticiparse en una legislación, sin duda imperante, para resolver una serie de conflictos de tipo civil y penal. Ésta deberá hacerse de la forma más amplia posible pasando por las generalidades en cuanto al establecimiento de derechos humanos y el respeto y garantía de los mismos previstos en la Constitución de la República Bolivariana de Venezuela en su artículo 19, tipificando delitos y penas claramente establecidos en un nuevo Código Orgánico Procesal Penal y en un sentido más específico, enmarcados dentro de una especie de Ley contra los delitos informáticos y aquellos cometidos por entes de inteligencia artificial o mixta.
No es descabellado pensar que si con las leyes actuales “acordes” con los delitos más frecuentemente cometidos y castigados, Venezuela (y muchos otros países en vías de desarrollo) cuenta con cifras alarmantes acerca de la impunidad preponderante por el mal funcionamiento del sistema judicial; éstas se magnificarían si se sumaran novedosos actos criminales cometidos por “individuos” ni siquiera considerados dentro de las leyes vigentes.
Teniendo lo anterior en cuenta, la reformulación de definiciones en el ámbito legal venezolano se observa a mediano y largo plazo como una necesidad impostergable en la que se deben ir reuniendo criterios para salvaguardar la convivencia ciudadana en este escenario posthumanista.
Las diversas instituciones encargadas de legislar y vigilar la aplicación de estas leyes (Asamblea Nacional, Tribunal Supremo de Justicia, Ministerio Público, Defensoría del Pueblo, entre otras) están obligadas a trabajar en función de una nueva Era que está a la vuelta de la esquina y que en muchos casos (como en algunos países desarrollados y potencias tecnológicas), ya es una realidad.
Por el momento en Venezuela, en mera materia criminalística, se tiene un manual, el cual merecerá una revisión futura sujeta a modificaciones relacionadas con las implicaciones de Inteligencia Artificial y la colección de evidencias físicas o digitales.
El documento referido se conoce como el Manual Único de Procedimientos en Materia de Cadena de Custodia de Evidencias Físicas, promulgado en 2012, bajo la anuencia del Ministerio Público, el cual garantiza el manejo idóneo de las evidencias desde el momento de su ubicación en el sitio del suceso, su trayectoria por las distintas dependencias de investigaciones penales y la consignación de los resultados ante la autoridad competente hasta la culminación del proceso penal.
El manual indica que quienes manipulen, procesen o almacenen evidencias físicas, deben adaptarse a los parámetros allí establecidos, por lo que existirá uniforidad, además que los resultados de las experticias practicadas sobre evidencias sometidas, tendrán plena confianza de las partes, con plena legitimidad del sistema penal.
En el citado documento, la cadena de custodia se ha concebido como el mecanismo que contiene los procedimientos empleados en la inspección técnica del sitio del suceso y del cadáver, debiendo cumplirse progresivamente con los siguientes pasos: protección, fijación, colección, embalaje, rotulado, etiquetado, preservación y traslado de las evidencias digitales o físicas a las respectivas dependencias de investigaciones penales, criminalísticas o ciencias forenses u órganos jurisdiciconales.
También se considera la cadena de custodia como la garantía legal que permite el manejo idóneo de las evidencias digitales o físicas, con el objeto de evitar su modificación, alteración o contaminación, desde el momento de su ubicación en el sitio del suceso o lugar del hallazgo, su trayectoria por las distintas dependencias que cumplan funciones de investigaciones penales, criminalísticas o forenses, contribuyendo con la consignacion de los resutados a la autoridad competente, hasta la culminación del proceso, lo cual conlleva a vincular la evidencia digital o física con un hecho particular.
2.5.2.- La criminalística concebida en un contexto posthumanista donde prevalezcan los delitos cometidos por inteligencia artificial.
La criminalística tal como la conocemos en la actualidad, deberá renovarse y mantenerse en constante actualización conforme transcurran las próximas décadas. Desde sus criterios técnicos básicos, como la colección de evidencias en los sitios del suceso en el futuro inmediato y lejano, hasta en el procesamiento de éstas pruebas de interés criminal en laboratorios con tecnología de punta o incluso aún por desarrollar.
Considerando a los entes de inteligencia artificial como autores criminales, las evidencias en un escenario posthumanista no solamente corresponderán a materiales de tipo biológico, como la típica evidencia de sustancias de presunta naturaleza hemática muy frecuentemente considerada, sino a una diversa gama de “neo elementos” de interés criminalístico.
Además, esto permite indicar la necesidad de reformular, documentación jurídica actual y de relevancia, como lo es, el Manual Único de procedimientos en materia de Cadena de Custodia de Evidencias Físicas del Ministerio Público de Venezuela, promulgado en 2012.
Muchas posibles evidencias de interés criminalístico, en una sociedad venezolana posthumanista, llena de inteligencia artificial por doquier, estarían representadas en por ejemplo, combinaciones de sustancias orgánicas e inorgánicas, vivas o inertes, material informático, dispositivos electrónicos, etc. Incluso elementos por descubrir en nuestro planeta, dentro una cambiante Tabla Periódica, e incluso provenientes de planetas de ésta u otras galaxias, vendrán a constituir las evidencias que el personal técnico en criminalística deberá reunir para poder concluir investigaciones criminales y así poder castigar a los responsables de este nuevo orden de delitos.
3.- Bases teóricas
3.1.- Posthumanismo, transhumanismo y progreso tecnológico
Gabriela Echevarría (2013) en una publicación sobre “El posthumanismo y el Transhumanismo: transformaciones del concepto de ser humano en la era tecnológica”, expone que los orígenes de la condición post humana tienen que ver con la interrelación de la cibernética y la biotecnología.
Los alcances de la condición posthumana según Robert Pepperell no tratan sobre el fin del, sino, sobre el fin del universo centrado en lo humano, es decir, sobre el fin del humanismo y esa creencia perpetua en la infalibilidad del poder humano y su arrogante creencia de superioridad y singularidad.
Los orígenes de la condición posthumana nacen de la cibernética que empezó a desarrollarse luego de la Segunda Guerra Mundial y que es un hito en el surgimiento de la sociedad de la información.
La cibernética como espacio de convergencia de investigadores de la ingeniería, neurobiología, matemáticas, psicología, antropología, que entre otras se congregaban alrededor de conceptos como información, retroalimentación y entropía. La cibernética es entonces, una ciencia multidisciplinaria dedicada al descubrimiento de las leyes generales de tecnologías de la comunicación y sus aplicaciones (Lafontaine, p62).
Así pues, la condición posthumana está directamente relacionada con la condición postmoderna, surgiendo a partir del derrumbe de los postulados del humanismo-renacentista y de la Modernidad y de un futuro tecnológico.
El hombre postmoderno y posthumano, ya no es el sujeto autónomo de la modernidad, dueño de la voluntad y concebido de que la razón lo distinguía porque era una cualidad exclusiva de nuestra especie humana. El hombre postmoderno y posthumano ya sabe, gracias a la cibernética y a la revolución tecnológica, que la razón no le es exclusiva, pues esa razón puede ser copiada, y reproducida fuera de su cuerpo por cualquier máquina inteligente.
Sin la condición postmoderna no sería posible que se hubiese llegado a la condición posthumana y así como las tecnologías de la información son claves para la condición postmoderna, las biotecnologías son el centro alrededor el cual giran los postulados del posthumanismo.
La biotecnología es entonces el fruto de los progresos contemporáneos de la biología molecular y la genética que permita la manipulación de las formas de vida para la obtención de bienes y servicios. Todo parece indicar que la humanidad avanza inexorablemente hacia el Transhumanismo y que la culminación de éste resulta en posthumanismo, y que la culminación de éste otro nos lleva la post-biología,
El Transhumanismo ha sido definido como un movimiento cultural, intelectual y científico que afirma el deber moral de mejorar las capacidades físicas y cognitivas de la especie humana y de aplicar al hombre las nuevas tecnologías para que se puedan eliminar aspectos no deseados y no necesarios de la condición humana, como el sufrimiento, la enfermedad, el envejecimiento y la condición mortal. Influenciados por obras primarias de ciencia ficción la visón transhumanista de una futura humanidad tecnológica ha generado muchos partidarios y detractores.
Por ejemplo el transhumanismo ha sido descrito por Francis Fukuyama como “la idea más peligrosa del mundo”, mientras que Ronald Bailey considera que es un movimiento que personifica las más audaces, valientes e imaginativas e idealistas aspiraciones de la humanidad
El biólogo Julian Huxley es considerado el fundador del Transhumanismo y acuño el término en un artículo en 1957. El científico informático Malvin Minsky escribió sobre las relaciones entre el ser humano y la inteligencia artificial empezando los años sesenta del siglo pasado y en las décadas siguientes este movimiento siguió generando pensadores influyentes como Hans Moraveck y Raymond Kurzweil.
El Transhumanismo enfatiza la condición evolutiva, incluyendo la creación de una especie animal altamente inteligente por medio de mejoras cognitivas y busca ampliar la razón, la ciencia y a tecnología para reducir la pobreza, las enfermedad, las discapacidades y la malnutrición en todo el mundo
A menudo los transhumanistas ven el concepto de lo natural como algo meramente problemático que se convierte en un obstáculo para el progreso. El transhumano sería un ser humano en transformación con algunas de sus capacidades físicas y psíquicas superiores a las de un ser humano normal, pero todavía no sería posthumano, así que la culminación del proceso transhumanista de esa metamorfosis tecnológica inicia una nueva etapa o posthumanismo.
Un posthumano podría gozar de una prolongación de la vida sin deteriorarse y tendría mejores capacidades intelectuales, tendría un cuerpo conforme a sus deseos, podría engendrar copias de sí mismo y dispondría del control absoluto sobre sus emociones. El posthumanismo plantea la idea de un hombre generado in-vitro, mejorado géticamente, biónico e incluso clonado.
La humanidad está a las puertas de un nuevo salto evolutivo basado en las posibilidades de manipulación de sus genes y en el de las simbiosis hombre-máquina, lo que ha dado origen a diversos escenarios de evolución, que por un lado asustan y por el otro son motivo de esperanza . Todo dependerá del uso que le demos a la tecnología
Joze Luiz Cordeiro científico de origen brasilero y cofundador de la Universidad de Silicon Valley en San Francisco-EE.UU., como perfecto conocedor del avance que se está desarrollando allí, en la meca de la tecnología biológica y biónica, no tiene ningún reparo en ponerle fecha al fin de la muerte e incluso a la marcha atrás o rejuvenecimiento de los humanos en 2050, y asegura firmemente que “los robots no heredarán la tierra”, pues los robots, seremos los humanos,
Igual afirma que en 2029 un humano no sabrá si está hablando con su par o con una máquina. Esta afirmación nos evoca a aquellos sistemas operativos hablados que se ven en la película “Hertz”, por lo tanto por suponer que habrían llegado a un punto evolutivo que los dota de verdadera conciencia sino por su capacidad de simularla y producirla concluyentemente.
Los expertos transhumanistas apuntan a la línea de que el desarrollo tecnológico busca consolidar la integración entre el hombre y las máquinas. Muchos investigadores aseguran que en unas pocas décadas se conseguirá hasta digitalizar el “Yo”, es decir, trasladar nuestras funciones y capacidades mentales a una máquina o a otro cuerpo. Ante este incesante avance y metamorfosis humana el siguiente paso lógico, sería la post-biología, es decir, vivir sin cuerpos biológicos y llegará el momento en que hemos abandonado por completo la biología, desterrándola al olvido.
Tanto posthumanistas como transhumanistas debaten acerca de significará ser un “Humano” y si en el futuro es inevitable que nos desprendamos del cuerpo físico-biológico, para pasar a ser seres post-biológicos. Para algunos tal escenario representa el fin de la especie humana, por ejemplo, los sistemas teológicos de religiones, pero para otros el “recipiente biológico” no es lo que importa, sino el flujo de información que se procesa mentalmente.
¿La conciencia tiene su base inevitablemente en la biología?, ¿solo un ser orgánico puede tener consciencia?, para esto, Steven Dick, un experimentado astrofísico y astrobiólogo, concluye que la existencia de una raza de robots alienígenas sensitivos no solo podría ser posible, sino incluso, inevitable. Podríamos estar viviendo ya en un universo post-biológico, en el que los extraterrestres inteligentes han cambiado sus cerebros a máquinas artificiales.
No es difícil imaginar que otras civilizaciones más antiguas que la nuestras hayan transicionado todo este camino. Los extraterrestres pueden haber alcanzado ya un estado de su evolución, en el que una vez agotado el potencial de sus cerebros biológicos, han dado el siguiente paso lógico, y optaron por cerebros robotizados, equipados por inteligencia artificial superior.
Esta metamorfosis cerebral podría no estar lejos para los humanos, pues dentro de unas décadas se tendrá lugar al fenómeno de “singularidad tecnológica”, en el que las máquinas dotadas de cerebros informatizados se volverán sensitivos y sobrepasarán la inteligencia humana.
Ahora bien, si los seres post-biológicos existen, seguramente, no estén interesados en la especie humana, pues el abismo entre sus mentes y las nuestras podría ser tan grande que impediría la comunicación o podrían considerar que somos demasiado insignificantes como para merecer su atención.
Veremos qué pasa con la ciencia de la astronomía y los progresos de la “National Aeronautics and Space Administration”, conocida como la NASA, o la carrera espacial Ruso-China-Anglosajona para comunicarnos la existencia o no, de formas de vida en exo-planetas o sistema solares ajenos a la Vía Láctea, como el recién anunciado “TRAPPIST-One con posibles 3 planetas en zona habitable que pudiese albergar alguna forma de vida. Esperemos que el progreso de la humanidad, acorte los años-luz de distancia y nos permita acercarnos a civilizaciones que hayan alcanzad la post-biología.
Al juzgar el rumbo evolutivo que hemos tomado, ¿es la vida en la Tierra, solo una etapa? o ¿es un simple paso hacia nuestra inevitable existencia post-biológica?.
Esta singularidad que está por llegar nos propone entonces tres (3) aspectos a desarrollar: la super-inteligencia, la super-longevidad y el super-bienestar. Estas propuestas son retos de nuestra sociedad y suponen un gran desafío para las tradiciones y sistemas de creencias religiosas.
Algunos creen que dichos cambios dinamizaran las creencias religiosas, pero otros argumentan que mejorar la condición humana no debe ser entendido como una crítica a la obra del “Creador”, sino como el mero despliegue de nuestras capacidades; algo natural y lógico, teniendo en cuenta nuestra naturaleza y condición.
En definitiva “Dios-Allah-seres supremos…y etc.” ya lo tiene(n) previsto, y es algo muy consecuente, muchos piensan que alrededor de nuestras mejoras futuras biotecnológicas y cibernéticas, crearemos nuevos rituales religiosos, pero en la realidad, no se sabe verdaderamente cómo va a afectar a las prácticas religiosas el despliegue de la tecnología.
Si somos totalmente materia y logramos entender perfectamente cómo funciona el hombre, ¿qué dificultad encontraremos para hacer un hombre artificial?. ¿Llegará el momento de poder hacer réplicas humanas perfectas idénticas al hombre pero artificiales?. Este reduccionismo-materialista, sienta las bases para que bajo la suposición de que no hay condicionantes inmateriales –espirituales, podamos amasar y moldear nuestra existencia con el debido conocimiento a lo largo del tiempo.
Desde el punto de vista biótico, las implicaciones más graves que pueden verificarse si se llevan a cabo todas las teorías futuristas, son la eliminación eugenésica de seres humanos imperfectos o con malformaciones, así como la creación y diseño de embriones humanos perfeccionados.
Además, los problemas que pronto nos encontraremos antes de llegar a producir un hombre perfecto o posthumano, son: ¿qué hacer con todos los hombres no perfectos?, ¿mientras conviven humanos, posthumanos y robots, quien establecerá los relativos derechos? y ¿con arreglos a cuáles principios serán todos iguales?, o tal vez, ¿derechos y deberes no serán iguales?, ¿cuál será el fundamento de la igualdad o desigualdad? , y ¿quién establece los límites y las normas de la mejora biotecnológica?, ¿los límites y normas serán establecidos por el Estado, los tecnócratas o las organizaciones mundiales a reformarse?.
Para finalizar, habiendo alcanzado una posthumanidad y más allá, una post-biología, ¿tendrán cabida la Teología para argumentar sus religiones y creencias como válidas?, ¿dónde queda el concepto del Alma o de la reencarnación?… estos serán retos a descifrar, comprobar y socializar a las masas ávidas de Fe en creencias (más allá de su conexión espiritual con su ser), hasta ahora inentendibles a la razón humana.
3.2.- Ética en la Inteligencia artificial
En el campo de los avances tecnológicos, siempre ha existido algún temor por parte de la sociedad, no solamente por el avance tecnológico, sino también por el tratamiento responsable que se le puede dar a las aplicaciones y desarrollos (Castrillon O, 2015).
Según el citado autor, preocupa no tanto la tecnología en sí misma, sino más bien el empleo que se le pueda dar, por esto, la ética es un componente clave para el desarrollo actual y futuro de la Inteligencia Artificial (IA), pues es la base para mantener la integridad y la legitimidad de sus aplicaciones y para salvaguardar la misma vida.
Globalmente se acepta que las inteligencias artificiales no tienen un estatus moral y es posible modificar programas libremente sin que estos se percaten de lo que está haciendo, por lo que los dilemas morales no son ejercidos sobre el algoritmo sino sobre la gente que utiliza el sistema.
De acuerdo con William Ramsey y Keith Frankish (2011), hay dos criterios importantes que se toman en cuenta cuando se habla de un estatus moral: la sensibilidad y la sapiencia. La sensibilidad se refiere a la capacidad de sentir y la sapiencia es un conjunto de características que se asocian con un ente de inteligencia superior, como la autoconciencia y la respuesta racional.
Es posible la existencia de un estatus moral parcial como sucede en el caso de los animales, quienes sienten pero no tienen sapiencia; de ahí que los humanos, en comparativa, poseen un estatus moral superior.
Ahora bien, si se llega a crear una inteligencia artificial sensible y que, además, posea la misma capacidad de sapiencia de un adulto humano, la máquina y el humano tendrían el mismo estatus moral. Este concepto se basa en el “Principio No Discriminatorio Ontogénico”, que indica que si dos seres tienen la misma funcionalidad, la misma experiencia consciente y solo difieren en el sustrato de su implementación, tienen el mismo estatus moral ya que si se rechaza el sustrato, dicho rechazo es equivalente a un repudio por el color de piel o la raza, convirtiéndolo en racismo.
El sustrato no dice que una inteligencia artificial es consciente y que pueda tener la misma funcionalidad que un ser humano, por lo que el estatus moral no depende de cómo fueron concebidos los agentes. Esta idea es bastante aceptada por las sociedades en general.
Si estas dos instancias estatutarias son aceptadas, entonces se deben tomar en cuenta el planteamiento de nuevas preguntas éticas. Estos nuevos cuestionamientos pueden surgir dado que una mente artificial podría tener comportamientos diferentes a los de un humano o a los de un animal, por lo que se debe considerar cómo dichos comportamientos pueden afectar el estatus moral de las inteligencias artificiales.
3.3.- Delitos informáticos y generalidades
De acuerdo con Delpino S. (2015), los progresos mundiales de las computadoras, el creciente aumento de la capacidad de almacenamiento y procesamiento, la miniaturización de los chips de las computadoras instalados en productos industriales, la fusión del proceso de la información con las nuevas tecnologías de comunicación, así como la investigación en el campo de la inteligencia artificial, ejemplifican el desarrollo actual definido a menudo como la era de la información, a lo que con más propiedad, podríamos decir que más bien estamos frente a la era de la informática.
Por lo descrito anteriormente, abordar el estudio de las implicaciones de la informática en el fenómeno delictivo resulta una cuestión apasionante para quien observa el impacto de las nuevas tecnologías en el ámbito social.
Efectivamente, el desarrollo y masificación de las nuevas tecnologías de la información han dado lugar a cuestiones tales como el análisis de la suficiencia del sistema jurídico actual para regular las nuevas posiciones, los nuevos escenarios, en donde se debaten los problemas del uso y abuso de la actividad informática y su repercusión en el mundo contemporáneo.
Los autores de la presente investigación refieren que lógicamente la inteligencia artificial se servirá de la informática, por cuanto algunos, requerirán del lenguaje comunicacional cibernético para la consecución de comandos de programación que le permitan movilidad y capacidad de interacción o interpretación de las funciones de utilidades, para las cuales se les ha dado origen como “Individuo” o máquina, cualquiera que sea su concepción de existencia.
Todo lo anterior, presupone entender que entre los delitos cometidos por inteligencia artificial, tienen cabida, los delitos informáticos. Pero también, cualquier delito que pueda cometer un humano, lo podría cometer la inteligencia artificial.
Al respecto, algunos temas sobre informática forense, se destacan en la “Ley de Infogobierno” del 2013, donde se refiere que se constituye en análisis forense digital y se concibe como la aplicación de técnicas científicas y analíticas, especializadas a infraestructura tecnológica que permiten identificar, preservar, analizar y presentar datos que sean válidos dentro de un proceso legal.
La referida ley de infogobierno establece los principios y lineamientos que rigen el uso de las tecnologías de información en el sector público nacional, para mejorar la gestión y los servicios prestados a la colectividad y promover el desarrollo de tecnologías de información libres en el Estado, garantizar la independencia tecnológica, la apropiación social del conocimiento; así como la seguridad y defensa de la Nación.
Se tiene entonces, que esta ley de infogobierno junto con la ley sobre delitos informáticos, son regulaciones que actualmente se consideran a la par de la modernidad, vanguardistas, pero en resumidas cuentas, son más bien, leyes incipientes que sirven de guía básica para las futuras regulaciones en materia de derecho penal, de cibertecnologías e inteligencia artificial, que demandará la comunidad científica promulgar.
3.4.- Cyber-organismos y marco jurídico penal
La expresión ciber o cyber es un prefijo tomado de la palabra cibernética. El ciber es un establecimiento que posee una concentración de tecnología avanzada, como por ejemplo: computadores, internet, entre otros, por lo que la inteligencia artificial tiene cabida en este contexto.
Que un robot, al no ser persona humana, no pueda ser considerado (aún) sujeto activo del delito no implica que no interese al derecho penal y ésto lo expresa claramente Nieto J. en 2016, en un artículo sobre: “El derecho penal sobre los robots”, argumentando que lo constituye un reto en el ámbito de la ciencia penal y de la criminología y criminalística. Es una tentación permanente considerar sujeto activo del delito a entes distintos del ser humano. Estos serían un “instrumento” del delito, y también un “objeto” del delito, nunca un “sujeto activo” de la esfera penal.
Se dice por los expertos, que los robots pueden tener emociones, intuición, memoria e inteligencia. Que puede el robot aprender aun sin ayuda externa, de modo automático, que puede también incorporar la experiencia a sus algoritmos de aprendizaje, que incluso últimamente se beneficia de técnicas de “aprendizaje profundo”, se vale de redes neuronales complejas, al modo humano, que le permiten la elaboración de conceptos abstractos; sin embargo, no alcanza el valor ontológico de la persona física que le permita protagonizar la autoría del delito.
Que el robot pueda tener “emociones”, sea esto lo que fuere, no es relevante; podría decirse que el derecho –que se debe a la razón- desconfía de las emociones, un elemento distorsionador de la conducta humana en su relaciones de alteridad, para un penalista la emoción se residencia más bien en el ámbito de las circunstancias modificativas de la responsabilidad criminal. Difícilmente se puede pasar de ahí, otra cosa son los sentimientos que se protegen en determinados ámbitos.
En este sentido, ya sea en la forma dolosa o imprudente de la conducta, el robot está llamado a tener entidad, y esto vale tanto para la responsabilidad penal como civil. En la medida que un robot tiene autonomía y puede ocasionar daños de muy diversa índole hay que predeterminar la cadena de responsabilidad desde la fabricación hasta la venta, mantenimiento, utilización y depósito. Y en toda esta cadena habrá que buscar asimismo un garante penal.
La experiencia de los drones es interesante a estos efectos. Debe haber matrícula o registro, licencia de uso y seguro obligatorio. Por tanto la primera regulación legal va a ser la administrativa. Cuanta más autorregulación en los investigadores y fabricantes, menos incertidumbres y conflictos se darán en su desarrollo práctico.
Ahora bien, el robot como instrumento del delito está llamado a plantear temas interesantes. La literatura generada por los investigadores y divulgadores distingue “robots asesinos” (LAR, “Lethal Autonomous Robots”),“robots industriales” y robots domésticos”, tres perfiles distintos de la inteligencia artificial.
Claus Roxin – “uno de los más grandes penalistas de todos los tiempos”, como definen sus discípulos españoles al antiguo maestro de la Universidad de Munich, tan influyente aquí que Gimbernat lo considera “penalista hispanoamericano”- se esfuerza en deslindar la ciencia penal de “la política, la filosofía, la moral y la religión” señalando que la función del derecho penal consiste en asegurar “una vida común sin miedo”, esto afecta a la ciencia y las tecnologías digitales.
Por lo anterior se refiere que los robots piensan, sienten y toman decisiones autónomas, pero no son responsables por la sencilla razón de que nuestro sentir común, de momento, nos mantiene en el convencimiento de que deben ser las personas “que están detrás” quienes deben responder de los hechos generados por la actividad de los robots.
Lo cierto es que está previsto que en los próximos 20 años haya robots que cometan crímenes, así se expresan los científicos, y miran al jurista. Expertos en inteligencia artificial de la británica National Crime Agency y de Europol European Cybercrime Center, estiman que para el año 2040 los robots cometerán más crímenes que los humanos; esto aparte de las incidencias de los vehículos sin conductor (driveless cars) y los drones. La autoría mediata exige acreditar la conexión de quien tiene el dominio del hecho con los elementos objetivos y subjetivos del delito (el actus reus y la mens rea, a que se refiere el derecho penal anglosajón).
Lo menos urgente es hacer una ley penal. Estamos en fase de investigación y regulación, el ámbito del derecho administrativo y del derecho privado. Pero luego, cuando cristalice esta nueva realidad hay técnicas de responsabilidad del garante de las conductas criminales protagonizadas por robots, tanto a través de criterios de imputación objetiva como de autoría mediata, determinando, en base a la regulación y la experiencia, quien es el garante con dominio sobre el hecho ejecutado por robots: no vemos al robot como sujeto sino como instrumento del delito.
3.5 Glosario de términos
- Androide:Es un robot humanoide u organismo sintético antropomorfo que además de imitar la apariencia humana, emula algunos aspectos de su conducta de manera autónoma. Son usados actualmente son usados como herramienta en investigaciones científica.
- Baby Boomers:Segmento generacional de nacidos entre 1946 y 1964, y su nombre deriva el boom de nacimientos durante el segundo y tercer cuarto del siglo XX. (Perezbolde G., 2014).
- Ciborg o Cyborg: Es un ser o criatura formado por materia orgánica y dispositivos tecnológicos (cibernéticos) que tienen por objetivo mejorar las capacidades de la parte orgánica.
- Generación “X” o Baby Busters: Es la generación nacida entre mediados de 1960 a 1980.
- Generación “Y” o Millenials: La generación del milenio está formada por todos aquellos jóvenes que llegaron a su vida adulta con el cambio de siglo, es decir en el año 2000 (BBVA Research, 2015).
- Generación “Z”: Es el último salto generacional de nacidos entre 1994 y 2010. “Prácticamente han nacido y crecido con unsmartphoneo unatabletpegados al brazo”. (Jiménez N, 2016).
- Humanoide: Es un robot diseñado para asimilar el cuerpo y los movimientos de un ser humano. Un diseño humanoide puede tener fines funcionales, tales como la interacción con herramientas y entornos humanos, con fines experimentales, como el estudio de la locomoción bípeda, o para otros fines.
- Inteligencia artificial (IA): Es la inteligencia exhibida por máquinas y se desglosan en los siguientes tipos:
- -Sistemas que piensan como humanos: Tratan de emular el pensamiento humano; por ejemplo las redes neuronales artificiales. La automatización de actividades que vinculamos con procesos de pensamiento humano, actividades como la toma de decisiones, resolución de problemas y aprendizaje.
- -Sistemas que actúan como humanos: Tratan de actuar como humanos; es decir, imitan el comportamiento humano; por ejemplo la robótica, o el estudio de cómo lograr que los computadores realicen tareas que, por el momento, los humanos hacen mejor.
- -Sistemas que piensan racionalmente: Tratan de imitar o emular el pensamiento lógico racional del ser humano; por ejemplo los sistemas expertos. El estudio de los cálculos que hacen posible percibir, razonar y actuar.
- -Sistemas que actúan racionalmente (idealmente): Tratan de emular de forma racional el comportamiento humano; por ejemplo los agentes inteligentes. Está relacionado con conductas inteligentes en artefactos.
- Robot:Es una máquina controlada por ordenador y programada para moverse, manipular objetos y realizar trabajos a la vez que interacciona con su entorno.
Conclusiones
El posthumanismo traerá sin dudas, cambios significativos en la manera de concebir la vida tal como la conocemos en las sociedades de la civilización actual, por lo que atendiendo a los aspectos considerados en esta investigación se puede concluir que el enfoque criminalístico de los delitos del futuro cercano debe ser redefinido
Las leyes actuales que integran el marco jurídico venezolano, no se ajustan o no prevén la ocurrencia de delitos cometidos por inteligencia artificial, manteniendo una especie de limbo legal en el momento que se necesite resolver éstas situaciones delictivas y procesar y condenar a responsables.
Tampoco, la criminalística venezolana contemporánea, en su configuración jurídica, tiene normado o regulado, el mecanismo objetivo de para la colección de evidencias asociadas a entes de inteligencia artificial, y es lógico evidenciarlo, por cuanto apenas a nivel mundial, se están dando las alarmas de posibles delitos que puedan ser cometidos por estos “organismos-entes-formas-entidades”.
Los órganos legislativos venezolanos tienen la obligación y responsabilidad de generar nuevas y modernas leyes que se anticipen al inevitable escenario de comisión de delitos por entes de inteligencia artificial para así asegurar las garantías fundamentales tales como el derecho a la vida.
Es imperante la reformulación de la legislación futura para saber diferenciar, según casos particulares, cuándo un ente de inteligente artificial es “sujeto” del delito, y no un “objeto” del mismo.
La criminalística debe actualizarse a la par de la generación de nueva legislación para que el investigador criminal conozca cómo actuar ante la ocurrencia de estos nuevos delitos. Visto de otro modo, no solamente hacen falta nuevas leyes, sino la capacidad técnica científica que permita la pertinaz aplicación de las mismas en pro de la solución de un vasto problema social como lo es y seguirá siendo, la ocurrencia de delitos.
Por ende, la profesionalización de las autorizadas en estos temas de delitos cometidos por inteligencia artificial ,será inminente, y ello contribuirá al fortalecimiento de la criminalística como ciencia que se agrupa del conocimiento científico y diversas técnicas, para la colección de evidencias ante la ocurrencia de un delito o hecho punible.
En la Venezuela del nuevo milenio, surgirán entonces, las siguientes reflexiones: ¿Qué hacer con todos los hombres no perfectos?, ¿mientras conviven humanos, posthumanos y robots, quien establecerá los relativos derechos? y ¿con arreglos a cuáles principios serán todos iguales?, o tal vez, ¿derechos y deberes no serán iguales?, ¿cuál será el fundamento de la igualdad o desigualdad? , y ¿quién establece los límites y las normas de la mejora biotecnológica?, ¿los límites y normas serán establecidos por el Estado, los tecnócratas o las organizaciones mundiales a reformarse?. Por lo anterior, la presente investigación sugiere profundización para futuros investigadores.
Las acciones para la reformulación jurídica-procesal-penal; el redimensionamiento de los entes legislativos, policiales, de orden público y de seguridad nacional; así como su correspondiente profesionalización en materia de inteligencia artificial, debe contar con la participación ciudadana, y de los Poderes: Ejecutivo, Legislativo, Judicial y Moral, aunado de los correspondientes Ministerios de Relaciones Exteriores con apoyo hemisférico de países interesados en esta materia.
Recomendaciones
La criminalística como interjección de elementos técnicos de importancia en la resolución del problema delictivo-criminal debe ser una línea de investigación en constante dinamismo evolutivo en Venezuela y en otros países en vías de desarrollo, porque el desarrollo tecnológico, así, de forma indirecta, lo demandará.
El conocimiento de la investigación criminal futurista debe masificarse en los distintos niveles educativos nacionales para así empoderar a la población en saber y conocer que toda vulneración de los derechos de otros, puede ser investigada, procesada y condenada. La educación de la población en el aspecto criminalístico incidirá en la disminución de la impunidad.
Venezuela podría tomar el liderazgo en el futuro cercano, para el impulso de acciones multilaterales que se aborden en las diversas organizaciones mundiales que defienden la igualdad, soberanía, justicia y paz, en temas relacionados a: deberes, derechos, sanciones administrativas y penales, delitos, inobservancias, funcionamiento, maniobra, operatividad, uso, fabricación, manipulación, desempeño, autonomía y desenvolvimiento de entes-formas-individuos-organismos de inteligencia artificial.
Referencias bibliográficas
- ANSONERA J. (2015). Diario ABC España. Robots asesinos: la última tentación de los ejércitos más poderosos del mundo. Disponible en: http://www. abc.es/sociedad/20150512/abci-robots-asesinos-prohibicion-201505111747.html *
- BBVA RESEARCH.(2015). La paradoja de la generación del milenio. ¿Quiénes son los ‘millennials’ y por qué son una generación única?. Disponible en: http://www. centrodeinnovacionbbva. com/noticias/quienes-son-los-millennials-y-por-que-son-una-generacion-unica (el navegador presenta una alerta de riesgo al entrar a este enlace [N. del E.]
- BOSTROM, N. y YUDKOWSKY, E. (2011). The Ethics of Artificial Intelligence. Draft for Cambridge Handbook of Artificial Intelligence. Cambridge University Press. United States.
- CASGTRILLON O. (2015). Ética e Inteligencia Artificial ¿Necesidad o Urgencia? Disponible en: http://www.iiis.org/CDs2008/CD2008CSC/CISCI2008/PapersPdf/C054TM.pdf
- CHAVARRÍA GABRIELA (2013). El Posthumanismo y el Transhumanismo: Transformaciones del concepto del ser humano en la era tecnológica. Informe Final de Investigación. Universidad de Costa Rica. San José-Costa Rica.
- Código Orgánico Procesal Penal venezolano. (2012). Decreto N° 9.042. República Bolivariana de Venezuela.
- Constitución de la República Bolivariana de Venezuela. (1999). Gaceta Oficial N° 36.860. República Bolivariana de Venezuela.
- Código Penal (2000). Gaceta Oficial Nº 5.494 Extraordinario. República Bolivariana de Venezuela.
- Diario El Universal. (2016). Robots cometerán más delitos que seres humanos en 2040. México. Disponible en: http://www.eluniversal.com.mx/articulo/ciencia-y-salud/tecnologia/2016/09/13/robots-cometeran-mas-delitos-que-seres-humanos-en
- GABRIEL HALLEVY (2010). The Criminal Liability of Artificial Intelligence Entities. Disponible: http://www.futurecrimes.com/resources/artificial-intelligence/
- Gaceta Oficial de la República Bolivariana de Venezuela, Tribunal Supremo de Justicia. Constitución de la República Bolivariana de Venezuela. Disponible en: http://historico.tsj.gob.ve/gaceta_ext/febrero/190209/190209-5908-1.html
- GONZÁLEZ FERNANDO (2015). Posthumanismo y transhumanismo: definición y conexiones filosóficas. Disponible en: https://www.researchgate.net/publication/278031786_Posthumanismo_y_transhumanismo_definicion_y_conexiones_filosoficas
- GONZÁLEZ, M. (2015). Si un robot o un bot software comete un delito, ¿qué dice la ley sobre sus dueños?.Disponible en: https://www.xataka.com/aplicaciones/si-un-robot-o-un-bot-software-comete-un-delito-que-dice-la-ley-sobre-sus-duenos
- HOTTOIS GILBERT (2013). XIX Seminario Internacional de Bioética “Dimensiones Políticas de la Bioética”. Universidad del Bosque. Revista Colombiana de Bio-Ética. Colombia. Volumen 8, N°2.
- JIMÉNEZ NATALIA. EL MUNDO (2016). Generación Z. Más allá de los Millenials.Disponible en: http://www.elmundo.es/sociedad/2016/03/30/56fbe0d0e2704e66298b4642.html
- -La Generación X.Disponible en: http://www. administraciondenomina. mx/la-generaci-n-x/
- Ley de Infogobierno. (2013). Gaceta Oficial N°406.183. República Bolivariana de Venezuela.
- Ministerio Público (2012). Manual Único de procedimientos en materia de Cadena de Custodia de Evidencias Físicas.República Bolivariana de Venezuela.
- NIETO, JUAN. (2016). El derecho penal frente a los robots. Disponible en: http://replicantelegal. com/el-derecho-penal-frente-a-los-robots/ [404]
- PEREZBOLDE GUILLERMO. (2014). Conoce las diferencias entre Millenials, GenX y Baby Boomers. Revista Merca 2.0. Disponible en: http://www.merca20.com/conoce-las-diferencias-entre-millennials-genx-y-baby-boomers/
- PINO, S. (2015). Delitos Informáticos. Generalidades. Disponible en: http://www.oas.org/juridico/spanish/cyb_ecu_delitos_inform.pdf )
- SÁNCHEZ M. y ROSARIO M. (2013). Diccionario Crítico de Ciencias Sociales. Disponible en: ucm.es.info/heurotheo/diciconario/B/Biotecnología.htm. [404]
- UPEL. (2006). Manual de Trabajos de Grado de Especialización y Maestría y Tesis Doctorales. Universidad Pedagógica Experimental Libertador. Vicerrectorado de Investigación y Postgrado. Caracas, Venezuela.
- * No se incluye el enlace al artículo del NYT ni ABC porque esas publicaciones obligan al lector a registrarse para leer.
Deja un comentario