sd+тачдиз

25 марта 2025

Наши постоянные читатели и просто неравнодушные к цифровому искусству люди уже могли заметить наши нейроперфомансы на Neuroshit Demo и 2046Hz. На этих мероприятиях мы активно использовали аудиореактивные нейрогенерации в режиме реального времени, создавая динамические и впечатляющие визуальные образы

Многие из вас задавались вопросом: как создать нечто подобное самостоятельно? В этой статье мы подробно расскажем, как настроить и запустить Stable Diffusion в связке с TouchDesigner, чтобы вы могли воплотить свои творческие идеи в жизнь

Инвентарь

Для создания аудиореактивных нейрогенераций вам потребуется следующее оборудование и программное обеспечение:

пример компьютера

Мощный компьютер с операционной системой Windows 10 или 11. Важно, чтобы устройство было оснащено видеокартой не ниже RTX 30-й серии. Мы работали на ПК с RTX 3060 (12 GB), и этого было достаточно для стабильной работы в реальном времени

touchdesigner non-commercial

TouchDesigner — программа для создания интерактивной графики и мультимедийных проектов. Подойдёт как бесплатная (Non-Commercial), так и полная версия. В наших проектах мы использовали именно бесплатную версию, и она отлично справляется с задачами аудиореактивной визуализации

SD-API (Stable Diffusion плагин для TouchDesigner) — необходим для интеграции Stable Diffusion с TouchDesigner. Его можно приобрести на Patreon у различных авторов или загрузить с нашего Яндекс.Диска (ссылку ищите в авторских заметках во второй строке)

Установка плагина

нода StreamDiffusiomTD

Загрузите файл StreamDiffusionTD и перетащите его прямо в рабочую область TouchDesigner. Внутри созданной ноды перейдите во вкладку Install и выберите View Installation Guide

инструкция по установке компонентов

Появится кликабельная инструкция на английском языке. В ней подробно описаны все этапы установки с интерактивными кнопками. Пройдите все шаги по порядку, нажимая на соответствующие кнопки

Начало работы

запуск плагина

После завершения установки компонентов откройте вкладку Settings и нажмите Start Stream -> Pulse. Если при запуске появляется ошибка — не паникуйте. Это стандартная проблема, с которой сталкиваются все пользователи. Дождитесь появления зелёной строки подтверждения, после чего можно начинать работу с генерацией изображений

аудиореактивная визуализация

Если у вас ограничено время или вы только начинаете разбираться с TouchDesigner, воспользуйтесь нашим готовым файлом с пресетом. Он упростит процесс и позволит быстрее приступить к созданию визуализаций. Ссылка на пресет доступна в авторских заметках в третьей строке

Что по итогу

После успешной установки и настройки всё ограничивается только вашей фантазией и навыками работы в TouchDesigner. Вы можете экспериментировать с различными звуковыми источниками, настраивать реакцию визуализаций на музыку и создавать уникальные нейроарт-инсталляции в реальном времени

интервью с Вадимом феденко

28 октября 2024

Каково это оказаться у истоков нейросетевого творчества в России? Встречайте Вадима Феденко (https://t.me/VadimFedenko) — нейро-артиста, экспериментатора и автора видеомонт