Flux Character LoRA на Civitai

Штош, вы хотите создать LoRA для генерации изображений определенного человека — вашей девушки, друга или самого себя. Всё, что вам нужно - это набор фото с описаниями, учетная запись на Civitai и немного "buzzов", местной валюты — минимум 2000 buzz (эквивалентно $2). Вы также можете заработать buzz бесплатно, примерно 200 в день, выполняя ежедневные задания на Civitai, такие как лайки, публикации, подписки и прочее.

Датасет

Лучше, если в вашем наборе данных будет 20-30 изображений — в основном крупные планы, несколько средних и одно изображение в полный рост. Также полезно включить не только фотографии анфас, но и в профиль.

Размер изображений должен быть 512x512, так эффективнее и быстрее.

Вот мой датасет:

Теперь вам нужно сформировать описание для каждого из ваших изображений. Описания должны работать как теги, причем первое слово должно быть уникальным, оно будет запускать модель на генерацию вашего персонажа.

Вы можете описывать все фотографии вручную или использовать инструменты:

• auto tag Civitai (выдает ошибку у меня).
• Capture helper (тут нужны ключи Groq и OpenAI GPT-4, которых у меня нет).
• Напрямую генерировать описания для каждого изображения с помощью ChatGPT 4o — это может быть проще, чем получение API ключа для некоторых людей (например, для меня).

Вы можете использовать мой prompt для генерации описаний в 4o:

Generate a description of an image with the following requirements:

Hair: Describe the color and length of the hair.
Face Orientation: The face must always be in a front-facing view.
Outfit and Setting: Provide detailed descriptions of the outfit, pose, and any objects being interacted with.
Environment: Describe the background and surroundings, including lighting, atmosphere, and any relevant objects or scenery.
Overall Scene: Capture the mood or atmosphere of the scene, whether it's peaceful, intense, magical, etc.
Format: The description should be in the form of a list of tags, separated by commas. The first tag must always be #TRIGGERWORD#.

Также можете подстроить этот шаблон под свои нужды.

Основные правила для создания описаний изображений:

• Первый тег — это уникальное слово-триггер.
• Все остальные теги должны описывать все, что вы не хотите привязывать к LoRA. Например, если вы хотите менять цвет и длину волос на сгенерированных изображениях, нужно описать их на каждом фото. Всё, что не описано и одинаково на всех фото в датасете, будет связано с триггером.

Вот примеры для некоторых изображений:

• 0 - triggerword, blonde hair, long hair, white cropped tank top, standing, medium shot, modern interior, light-colored wall, black shelving unit, flat-screen television, minimalist aesthetic;
• 1 - triggerword, blonde hair, long hair, black cropped long-sleeve top, white pants, standing, outdoor, scenic view, cityscape background, river, greenery, sunny day.

Если вы не используете авто теги Civitai - лучше сохранять изображения и описания в одной папке с одинаковыми именами файлов (txt файлы для описаний).

Для загрузки папки в датасет просто заархивируйте её в zip-файл.

Настройки

Конфигурация, которая работает для меня, показана на скриншотах. Хорошие результаты обычно начинаются с 2 эпохи, но я выбрал 18 из 20.

Также необходимо задать подсказки для генерируемых в каждой эпохе серии изображений, чтобы видеть прогресс по эпохам. Я установил 2 подсказки из датасета и оставил третью пустой — это сработало. Не экспериментируйте слишком много с не реалистичными описаниями — На полученном фото может вообще не быть человека и вы не поймёте, какую эпоху нужно выбрать.

Через примерно 2-3 часа у вас будут обучены все 20 эпох, и вы сможете посмотреть прогресс.

Выберите лучшую и нажмите "Next". Здесь вы можете сохранить некоторые настройки для модели, но большинство из них можно будет изменить позже.

Основные настройки, которые нужно установить, если вы хотите генерировать изображения на сайте, — это разрешить доступ к модели на Civitai и снять галочку, указывающую на то, что модель содержит изображение реального человека (например, знаменитости - но не нарушайте правила сервиса и не тренируйте LoRA знаменитостей с этой опцией). Без этих двух параметров генерация на сайте не будет работать.

Теперь просто подождите несколько минут пока модель будет верифицирована, и вы сможете генерировать изображения прямо на Civitai, как и с любой другой LoRA или моделью.

Вот примеры генераций с моей LoRA:

triggerword, long dark hair, devilish appearance, red horns, black leather outfit, red cape, dark red glowing eyes, sharp claws, standing pose, fiery background, flames, dark shadows, sinister expression, hellish atmosphere, intense glow, malevolent setting

triggerword, blonde hair, Pokemon trainer outfit, red and white cap, short-sleeved jacket, fingerless gloves, standing pose, holding a Pokeball, Pikachu beside her, outdoor setting, grassy field, blue sky, bright day, adventure atmosphere, energetic expression

triggerword, long blonde wavy hair, Hogwarts uniform, Ravenclaw tie, dark gray pleated skirt, white button-up shirt, dark gray cardigan, ghostly appearance, dimly lit bathroom, cracked tiles, broken stall door, dusty mirror, dripping faucets, gloomy atmosphere, blue tint, haunted, melancholic setting

Полезные статьи на Civitai

• Обучение LoRA на RunPod, также хорошая инструкция по сбору наборов данных (это следующий уровень сложности) - Training a Flux LoRA using SimpleTuner on RunPod

• Обучение LoRA локально, также хорошая инструкция по подготовке и описанию вашего набора данных (SD, не Flux) - This is how I create and train LoRAs

• Официальное руководство по обучению LoRA, включая обучение на сайте - Quickstart Guide to Flux.1