Kurfuturelab представляет

Джин Коган
«Нейросинтез»

Биография художника и история работы

Джин Коган (США) — художник и программист, главным объектом интереса которого являются генеративные  системы, информатика и программное обеспечение для творчества и самовыражения. Он участвует в многочисленных проектах по разработке программного обеспечения с открытым исходным кодом и проводит семинары и лекции по темам на стыке кодирования и искусства. Джин создал ml4a, бесплатную книгу о машинном обучении для художников, активистов и ученых. Также он регулярно публикует видео-лекции, статьи и учебные пособия, чтобы дать возможность любому желающему глубже погрузиться в предмет.

Джин принимал участие в многочисленных выставках и фестивалях, в том числе в Ming Contemporary Art Museum, Shanghai, China (2019), ZKM, Karlsruhe, Germany (2019), Центр Науки Коперник в Варшаве, Польша (2018), Seoul Museum of Art, Seoul, South Korea (2018), Bengaluru Fantastic, Bangalore, India (2017), Spektrum, Berlin, Germany (2017), Арс Электроника, Линц, Австрия (2017)

https://genekogan.com/

 

«Нейросинтез» (видео, 2017)

В этой работе мы предлагаем зрителям погрузиться в визуальную эстетику, создаваемую искусственными нейросетями и погаллюцинировать вместе с ними. Область визуального воображаемого — это то место, где происходит рождение новых способов видения. Человек обучает машину видеть какие-то образы, но и машина учит человека увидеть эти образы по-новому. То, что происходит во внутренних слоях нейросетей, во многом остается “черным ящиком” даже для самих создателей алгоритмов. В работе «Нейросинтез» художник приоткрывает эти скрытые слои и дает нам возможность помечтать вместе с нейросетью о том, о чем мы, люди, мечтаем, по мнению нейросети.

Это видео раскрывает и расширяет метод, широко известный как DeepDream (один из самых интересных исследовательских проектов Google, связанных с нейронными сетями.С его помощью сегодня любой желающий может оценить, как именно сверточная нейронная сеть видит то или иное изображение. Эти же нейронные сети проекта Deep Dream могут улучшить изображения, сделав их более выразительными и пр.). 

В первую очередь он экспериментирует с динамикой генерируемых по обратной связи видеороликов о DeepDream, где каждый кадр инициализируется предыдущим. Стробируя (или «маскируя») пиксельные градиенты нескольких каналов и смешивая их с помощью заранее определенных шаблонов маскирования, одновременно искажая первоначальный холст, можно обнаружить новую эстетику.

Ряд стратегий напрямую связан с первоначальной работой по внедрению Google Deep Dream, в частности с работой Майка Тайка, который впервые экспериментировал с обратной связью, искажением холста (масштабированием) и смешиванием градиентов нескольких каналов. Используемая обученная сеть это сеть Google Inceptionism. Рабочий процесс их создания постоянно совершенствуется, и улучшения включают более обобщенную функцию искажения холста и улучшенную — маскировку исходных изображен

Gene Kogan (UK) is an artist and a programmer who is interested in generative systems, computer science, and software for creativity and self-expression. He is a collaborator within numerous open-source software projects, and gives workshops and lectures on topics at the intersection of code and art. Gene initiated ml4a, a free book about machine learning for artists, activists, and citizen scientists, and regularly publishes video lectures, writings, and tutorials to facilitate a greater public understanding of the subject.

Gene participated in numerous exhibitions and festivals, including the Ming Contemporary Art Museum, Shanghai, China (2019), ZKM, Karlsruhe, Germany (2019), the Copernicus Science Center in Warsaw, Poland (2018), Seoul Museum of Art, Seoul, South Korea (2018), Bengaluru Fantastic, Bangalore, India (2017), Spektrum, Berlin, Germany (2017), Ars Electronics, Linz, Austria (2017)

«Neural synthesis» (video, 2017)

Neural synthesis is the technique of synthesizing images using an iterative process which optimizes the pixels of the image to achieve some desired state of activations in a convolutional neural network.

This video explores and expands upon the technique popularly known as “deep dream,” an iterative process for optimizing the pixels of an image so as to obtain a desired activation state in a trained convolutional network. It primarily experiments with the dynamics of feedback-generated deep dream videos, wherein each frame is initialized by the previous one. By gating (or «masking») the pixel gradients of multiple channels and mixing them via pre-determined masking patterns, while simultaneously distorting the input canvas, one can achieve novel aesthetics.

A number of strategies are directly inspired by the initial work of Google’s Deep Dream implementation, particularly the work of Mike Tyka who first experimented with feedback, canvas distortion (zooming), and mixing gradients of multiple channels. The trained network used is Google’s Inceptionism network. The workflow for generating these is under continuous development, and future improvements include a more generalized canvas distortion function, and improved masking from source images.