The Artificial Emotions Curator

Starting from a data-set of Western masterpieces, the API Emotions (developed by Microsoft) was used to analyse the faces that appear in these paintings. Here what you see is the result of the action of this algorithm, scoring on each recognized face the different categories that, according to the API, make our emotions: anger, contempt, disgust, fear, happiness, neutrality, sadness and surprise.

The Artificial Emotions Curator

Partiendo de un data-set compuesto por obras maestras de la pintura occidental, se utilizó el API Emotions (un desarrollo de Microsoft) para analizar los rostros que aparecen en dichas pinturas. Lo que puede verse aquí es el resultado del accionar de dicho algoritmo, puntuando, en cada rostro reconocido, las distintas categorías que según el API componen las emociones -enfado, desprecio, desagrado, miedo, felicidad, neutralidad, tristeza y sorpresa-.

Deep Learning (loosing control)
In the mid-twentieth century, following the appearance of the mass media, McLuhan elaborates his theory in which he interprets the media as extensions of the human body (+ in Hello World). But the arrival of the digital and the consequent radical jump in the evolutionary spiral of the media, makes us rethink some of the claims of the Canadian theorist. In the 21st century, in both control and production tasks, digital devices have begun to replace us. Artificial vision, facial or voice recognition devices, already exceed the human senses in precision, so that humans have taken a secondary role and only cover complementary tasks in these processes.

Moving the human being from the center of the scene and focusing directly on the devices, Fiedrich Kittler disagrees with McLuhan and his vision of the media as a prosthesis of the body. According to the German theorist, technology follows its own evolutionary path. The devices not only do not intend to improve the human senses but seek to replace them, due to their greater efficiency and their lower level of error. Artificial vision replaces the human eye in the assembly line, since they are provided with a greater range of perception within the light spectrum, a greater speed of recognition of malformations in the product, a greater resistance to forced labour and a lower cost of maintenance.

But the senses -organic or electronic- are just the superficial layer within the machinic labelling and data processing agencement (assemblage) in which, although a human part intervenes -as a "soft" sensor and as a voluntary slave in the data-entry of experiences to neural networks- it is fundamentally the algorithms the ones that channel their classification and control the flow of this incomprehensible and futile, Sisyphus like work: mass digitization, or, in the case of the human component, its "devenir code” (becoming code).

Backpropagation and curatorship
Search algorithms -such as Google RankBrain-, act as the first spectator, as the initial recipient of all our symbolic production -including artistic digital productions-. The search robot will be our audience and at the same time the “curator” who will decide how high or low the subsequent circulation of our message will be, the first one to lower or raise the "like" thumb. (Will it act, in the long run, as an art patron?).
In the case of the Microsoft Emotions API algorithm, it analyses the emotions through a facial recognition focused on the gestural and returns a result that transforms into cold numbers the different "potentia" (power) of each "affect" that, according to the API - that is, according to folksonomy and not to any kind of scientific taxonomy – compose the "emotional". An imprecise binary and incontestable result, but improved minute by minute thanks to the dynamics of backpropagation and to our daily unpaid work in social networks, feeding data to the system. All this within a "philosophical" framework that breathes a distant air of the theory of the affects of a cybernetic Spinoza.

What at first may seem banal to us - the game of a machine that clumsily tries to interpret the inscrutability of human gestures - should make us reflect, at least if we consider that this API, open for public use, is only a decaffeinated tool. Something more robust - but equally arbitrary - is the package of algorithms that are already being used in the intelligence agencies - to analyse the people attending the demonstrations or protests -, by the lobbies that surround the governments - to interpret the reactions during every political discourse-, or by the defence agencies -to identify potential terrorists-. Only by their faces, only by their gestures.

For this project I have submitted an arbitrary selection of masterpieces to the machinic vision and intelligence of this Microsoft algorithm. Thanks to this, for example, we can finally end the discussion about the enigmatic smile of the Mona Lisa, confirm the happiness of Velázquez when painting his Meninas or recognize the current inability of the machine to understand Cubism, among other things.

Forking paths
The Artificial Eyes project is a fork of The Artificial Emotions Curator, in which I have used another Microsoft algorithm -the facial recognition API- to analyze another data-set of masterpieces, slightly different from the previous set. With this algorithm you can see the results of an analysis that tries to determine, in the recognized faces, its gender, its age, its emotion, or whether it uses or not glasses.

Another fork of the initial project - still in experimental phase - contemplates the use of an own algorithm, based on a radical modification of the Microsoft API. The project will also allow its public and interactive use through an online platform. There is still no publication date or definitive name for this fork.

Deep Learning (perdiendo el control)
A mediados del siglo XX -cuando hacen su aparición los mass media-, McLuhan elabora su teoría en la que interpreta a los medios como extensiones del cuerpo humano (+ en Hello World). Pero la llegada de lo digital y el consecuente salto radical en la espiral evolutiva de los medios, nos hace replantear algunas de las afirmaciones del teórico canadiense. En el siglo XXI, tanto en las tareas de control como en las de producción, los dispositivos digitales han comenzado a reemplazarnos. La visión artificial, el reconocimiento facial o de voz de los dispositivos, ya superan en precisión a los sentidos humanos, por lo que el hombre ha pasado a ocupar un lugar secundario y a cubrir tareas complementarias en estos procesos.

Moviendo del centro de la escena al ser humano, y enfocándose directamente en los dispositivos, Fiedrich Kittler disiente con McLuhan y su visión de los medios como prótesis del cuerpo ya que, según él, la tecnología sigue su propio camino evolutivo y, en todo caso, en relación a los sentidos humanos, el teórico alemán considera que los dispositivos no sólo no pretenden mejorarlos, sino que buscan reemplazarlos, debido a su mayor eficiencia y su menor nivel de error.  La visión artificial reemplaza en la cadena de montaje al ojo humano, al estar provista de un mayor rango de percepción dentro del espectro lumínico, una mayor velocidad de reconocimiento de malformaciones en el producto, una mayor resistencia al trabajo forzado y un menor coste de mantenimiento.

Pero los sentidos -orgánicos o electrónicos- son apenas la capa superficial dentro del agenciamiento maquínico de etiquetación y procesamiento de datos en el que si bien interviene una parte humana -como sensor “blando” y como esclavo voluntario en el data-entry de experiencias a las redes neuronales- son fundamentalmente los algoritmos, quienes encauzan su clasificación y controlan el flujo de este trabajo inabarcable y fútil, propio de Sísifo: la digitalización masiva, o, en el caso de componente humano, su “devenir código”.

Retropropagacíon y curaduría
Algoritmos como los de búsqueda de Google, actúan como el primer espectador, como el destinatario inicial de toda nuestra producción simbólica -incluidas las producciones artísticas digitales-. El robot de búsqueda será nuestro público y al mismo tiempo el curator que decidirá cuán alta o baja será la circulación posterior de nuestro mensaje, será el primero en bajar o subir el pulgar del “me gusta”. (¿Actuará a la larga también de mecenas?).
En el caso del algoritmo del API Emotions de Microsoft, éste analiza las emociones a través de un reconocimiento facial enfocado en lo gestual y nos devuelve un resultado que transforma en fríos números, las diferentes “potencias” de cada “afecto” que, según el API -es decir, según la folksonomía y no algún tipo de taxonomía científica-, componen lo “emocional”. Un resultado impreciso, binario e incontrastable, mejorable minuto a minuto, eso sí, gracias a la dinámica de la retropropagación y a nuestro cotidiano trabajo no remunerado en las redes sociales alimentando con datos al sistema. Todo esto dentro de un framework “filosófico” que respira un aire lejano de la teoría de los afectos de un Spinoza cibernético.

Lo que en un principio nos puede parecer banal -el juego de una máquina que torpemente intenta interpretar lo inescrutable de la gestualidad humana- debería hacernos reflexionar, al menos si tenemos en cuenta que esta API de uso público es sólo una herramienta descafeinada. Algo bastante más robusto -pero igualmente arbitrario- es el paquete de algoritmos que ya están usándose en las agencias de inteligencia -para analizar a los concurrentes a las manifestaciones o protestas-, por los lobbies que rodean a los gobiernos -para interpretar las reacciones durante cada discurso político-, o por las agencias de defensa -para identificar potenciales terroristas-. Sólo por sus caras, sólo por sus gestos.

Para este proyecto he sometido a una selección arbitraria de obras maestras de la pintura, a la visión y a la inteligencia maquínica de este algoritmo de Microsoft. Gracias a ello podremos acabar finalmente con la discusión acerca de la enigmática sonrisa de la Mona Lisa, confirmar la felicidad de Velázquez al pintar sus Meninas o reconocer la incapacidad actual de la máquina para entender el cubismo, entre otras cosas.

Forking paths
El proyecto Artificial Eyes, es un fork de The Artificial Emotions Curator, en el que he utilizado otro algoritmo de Microsoft -el API de reconocimiento facial- para analizar otro data-set de obras maestras, levemente diferente al conjunto anterior. Con este algoritmo pueden verse los resultados de un análisis que intenta determinar, en el rostro reconocido, su género, su edad, su emoción, o si usa o no gafas.

Otro fork del proyecto inicial -aún en fase experimental- contempla el uso de un algoritmo propio, basado en una modificación radical del API de Microsoft. El proyecto además permitirá su uso público e interactivo a través de una plataforma online. Aún no hay fecha de publicación ni nombre definitivo para este fork.