DALL-E

DALL-E
Тип	нейронная сеть
Автор	OpenAI
Разработчик	OpenAI[1]
Языки интерфейса	английский
Первый выпуск	5 января 2021 года
Сайт	openai.com/dall-e-2/
Медиафайлы на Викискладе

DALL-E — нейронная сеть НКО OpenAI, созданная при финансовой поддержке Microsoft^[2], способная генерировать высококачественные изображения, исходя из текстовых описаний на английском языке^[3][4]. По заявлениям ряда СМИ и экспертов в области анализа данных, данная нейронная сеть совершила значимый прорыв в области нейронных сетей^[5][6][7][8].

История

Нейронная сеть DALL-E начала разрабатываться в 2018 году. В 2019 году OpenAI получила грант в 1 млрд $ от компании Microsoft на разработку инновационных технологий в сфере искусственного интеллекта^[2]. Первая версия нейросети была представлена сообществу 5 января 2021 года^[5].

6 апреля 2022 года была анонсирована DALL-E 2^[4][9]. В новой версии программы были доработаны алгоритмы, позволяющие создавать фотореалистичные изображения, а также редактор, позволяющий вносить правки во время работы приложения^[10]. Пример работы нейронной сети продемонстрировал журнал Cosmopolitan, который использовал DALL-E 2 для создания обложки для одного из выпусков своего журнала^[11].

21 сентября 2023 года OpenAI представила DALL-E 3, которая будет интегрирована с ChatGPT и сможет лучше понимать запросы и генерировать более детальные изображения. Версия станет доступна в октябре в рамках платных подписок ChatGPT Plus и Enterprise через API^[12].

В апреле 2024 года OpenAI объявила об отключении DALL-E 2, хотя фактически сервис перестал работать ещё в конце зимы^[13].

Архитектура

DALL-E использует 12-миллиардную модель GPT-3 для интерпретации данных и генерации на их основании изображения^[6][14]. Сама модель GPT-3 была разработана OpenAI ещё в 2018 году на основе архитектуры глубоких нейронных сетей Трансформер^[15]. Таким образом, DALL-E представляет собой мультимодальную реализацию GPT-3 с 12 миллиардами параметров, обучаемая через интернет^[16].

Так, DALL-E сначала генерирует изображения в ответ на запрос, а CLIP (Contrastive Language-Image Pre-training), как отдельная модель, «осознаёт» и ранжирует полученные изображения^[5][6]. Сам CLIP был обучен на 400 миллионах пар изображений и текста, благодаря чему модель более-менее успешно определяет наиболее успешно подходящие изображения по запросу и публикует имеющиеся изображения по степени их схожести с текстовым описанием^[14].

Описание и характеристики

DALL-E способна генерировать изображения в самых разных визуализациях — от фотореализма до картин и эмодзи, передвигая и видоизменяя объекты на своих изображениях^[9]. Одна из способностей, отмеченная его создателями, заключалась в правильном размещении элементов дизайна в новых композициях без явных указаний: «Например, когда его попросили нарисовать Редис Дайкон, сморкающийся, потягивающий латте или катающийся на одноколёсном велосипеде, DALL·E часто рисует платок, руки и ноги в правдоподобных местах»^[17]. Факт реализма и прорыва в сфере ИИ отмечали различные авторитетные издания — Input^[18], NBC^[19], Nature^[20], Wired^[21], CNN^[22] и BBC^[23]. Особенно интересно для специалистов стал тот факт, что ИИ получил некоторые навыки визуального мышления, позволившие оному пройти тест Рейвена, созданный для оценки интеллекта людей^[24].

DALL-E характеризуется как устойчивая и крайне надёжная нейронная сеть для создания изображений различного плана^[6]. Сэм Шхед в репортаже для CNBC назвал изображения «интересными» и процитировал Нила Лоуренса, профессора машинного обучения Кембриджского университета, который назвал это «вдохновляющей демонстрацией способности этих моделей хранить информацию о нашем мире и обобщать его способами, которые для людей естественны». Шхед также процитировал Марка Ридла, доцента Технической школы интерактивных вычислений Джорджии, который сказал, что результаты демонстрации DALL-E показали, что он способен «согласованно сочетать концепции», и что «демоверсия DALL-E примечательна созданием иллюстраций, которые гораздо более связны, чем другие системы Text2Image, которые я видел за последние несколько лет»^[25]. BBC также цитирует Ридля, который сказал, что он был «впечатлён тем, что система могла сделать»^[23].

Примечания

Литература

• Jens Knappe: Genesis. A Creation Story in Cooperation with an Artificial Intelligence, Berlin 2022, ISBN 978-3-940948-45-8.