SillyTavern

Интерфейс для взаимодействия с почти любыми LLM- и ИИ-моделями (как локальные, так и удаленные). Направлена, главным образом, на обеспечение виртуального общения с персонажами из фильмов, книг, мультиков, комиксов, а также с просто придуманными на месте. Запускается как сервис в консоли, а доступ обеспечивается через браузер и подключение по localhost.

Это страница в основном направлена на описание функций и возможностей этой программы, которые могут быть использованы для обеспечения понимания обычных пользователей.

Функции

Скачивание персонажей из интернета для общения, созданные другими людьми
Создание своих собственных персонажей с возможностью точной настройки (описание персонажа, первичное сообщение, сценарий РП и пр.)
Создание персон, которые служат как лицо, от которого вы пишите (т.е. Вы)
Создание лор-буков (Lorebooks) для расширения Вашего виртуального мира дополнительной информацией, определяемой Вами
Задание тегов персонажам для упрощенного поиска
Настройка визуального интерфейса (анимации, форма иконок, цвет темы и т.п.)
Задание фона для каждого чата
Установка сторонних плагинов для получения больших функций
Подключение к различным удаленным API для взаимодействия с ИИ-моделями, предоставляемые онлайн (платные/бесплатные)
Мощные возможности кастомизации всей программы при наличии знаний
Точная настройка пресетов для редактирования параметров взаимодействия с ИИ (температура, размер контекста, утилитарные промпты и т.п.)
Возможность создавать промпты в пресетах для задания личных предпочтений посредством промптов, которые отсылаются каждый раз, как вы отправляете сообщение (но это тоже изменяемо)
И многое другое

Персонажи

Как можно догадаться – это те, с которыми Вы общаетесь. Они могут представлять из себя как обычных персонажей из какого-нибудь произведения, так и сценарием, который может представлять из себя вымышленный (или реальный) мир. Все они находятся на последней вкладке ST (самая правая), а выбор происходит обычным нажатием по карточке персонажа (так здесь именуются персонажи как объект внутри программы).

Скачивание

Персонажей можно найти и скачать онлайн, к примеру, на ChubAI. Ищите их через рекомендации, вручную поиском или тегами. Для добавления напрямую с ST – скопируйте ссылку на выбранного вами персонажа, найдите кнопку в виде облачка со стрелкой во вкладке с персонажами и вставьте ссылку. Если же возникла ошибка – можете нажать кнопку "Download" на странице персонажа и выбрать вариант с PNG (т.е. картинка), затем в той же вкладке ST – нажмите на значок в виде папки со стрелкой и выберите скачанный PNG файл.

Создание

Также персонажей можно создавать и вручную, для этого перейдите в последнюю вкладку ST и нажмите на кнопку в виде человечка с плюсиком. Здесь же можно редактировать и скачанных персонажей, если потребуется. Пройдемся по основным блокам:

"Name this character" – имя персонажа, используемое в общении.
Изображение – аватарка персонажа.
"Search / Create tags" – задание тегов для упрощенного поиска, больше ни на что не влияет.
"Description" – описание вашего персонажа, один из самых главных блоков. Именно здесь вы должны описать персонажа, его личность, его историю и т.п. (но как Вы это сделаете – решайте сами, оно может быть как маленьким, так и огромным)
"First message" – стартовое сообщение, которое появляется при создании чата. Здесь можно описать контекст текущей истории, где Вы и/или персонаж находитесь, что сейчас происходит и вообще всё что вам в голову придет. Можно также оставить этот блок пустым если вам лень или хотите, чтобы ИИ сама придумала вам ситуацию, исходя из остальных данных.
Значок в виде глобуса – закрепление лор-буков за персонажем для доп. информации о мире и РП.
Значок в виде человечка с плюсиком – создать персонажа.

При нажатии на значок в виде книги, открываются расширенные параметры. Основные блоки:

"Personality summary" – краткое описание персонажа. Почти не используется и можно оставить пустым.
"Scenario" – сценарий для текущего чата. Описывает, что и зачем происходит, а также возможно какая цель. Почти не используется и многие эту функцию выключают т.к. всё это можно описать и в "First message" (что, как раз таки, рекомендуется).
"Examples of dialogue" – примеры реальной речи персонажа, чтобы ИИ могла подстроить речевой паттерн. Многие рекомендуют не использовать эту функцию из-за снижения конечной креативности.

Персоны

Персонажи, от которых пишете уже Вы. Могут выступать как в роли протагониста, так и второстепенного персонажа. Вкладка с персонами находится на предпоследнем месте (справа).

Для создания персоны нужно нажать на кнопку "Create" во вкладке, задать имя и тайтл (опционально, он служит лишь как приписка для облегчения идентификации, к примеру если у вас несколько версий одного персонажа). Затем в "Persona Description" пишите описание своей персоны. Желательно не указывать информацию, которая должны быть известна только вам и вы не планируете, чтобы она была раскрыта другими – ИИ иногда может её использовать в ненужный вам момент (хотя это наоборот может привнести интересные развития сюжета). Обычно описание персон короче, чем у персонажей, но ничто на самом деле вас не ограничивает и вы можете писать сколько угодно. По кнопке в виде картины можете выбрать аватарку персоны, другие кнопки отвечают за редактирование имени, прикрепление лор-буков (как у персонажей), клонирование и удаление.

Лор-буки

Служат как расширение вашего общения с персонажами дополнительной информацией. В них вы можете, к примеру, написать о государстве в котором вы находитесь (и других тоже), о других персонажах которых вы можете встретить, об истории текущего мира, о городах и о всём, что позволяет фантазия.

В отличие от вставки информации о мире прямо в описание персонажа – лор-буки активируются по ключевым словам, а не каждый раз, когда отсылается сообщение (чтобы сэкономить токены и не забивать память когда не надо). Т.е. если ключевое слово оказывается в каком-либо сообщении – то отсылается вся информация, закрепленная за этим словом.

Вкладка лор-буков находится на 4-м месте слева. Основные блоки:

"Active World(s) for all chats" – активация лор-буков для всех чатов. Не рекомендуется для использования из-за того, что можно забыть их отключить при переключении на другого персонажа, лучше прикреплять лор-буки к конкретным карточкам персонажей.
"New" – создать новый лор-бук.
"Pick to edit" – выбрать уже существующий лор-бук для ручного редактирования.

После выбора (или создания) лор-бука, становятся доступны кнопки чуть ниже, но самая главная из них – New Entry (плюсик). После нажатия будет создана новая пустая запись, которая и будет в себе хранить информацию о какой-либо вещи в вашем мире, закрепленной за ключевым словом. Информацию нужно вводить в следующие основные поля:

"Entry Title/Memo" – название для записи. Не играет никакой роли, оно служит просто как имя для идентификации. Можно назвать, к примеру, как название вашей вымышленной страны.
"Primary Keywords" – ключевые слова, которые, при появлении в сообщении, активируют отправку информации об этой записи. Можно, к примеру, сюда вписать то же название вашей страны, а также любые другие слова, которые могут ассоциироваться с ней, или вписать более обобщенные слова, например "государство", чтобы шанс активации был выше (но главное не переборщить, а то информация будет отсылаться вообще каждый раз, а такое не всегда надо).
"Content" – содержит всю информацию об объекте в текущей записи. Сюда пишите описание вашей той же страны, какое у нее устройство, какие есть города (но описание самих городов можно вывести в другие записи), ее краткая история и т.д.
Тумблер включения/выключения возле записи – выключает или включает запись. Полезно, если в конкретном сценарии вам не нужна какая-то конкретная информация и чтобы она отбирала лишнюю память с контекстом.

Лор-буки можно как создать самому, так и скачать с того же ChubAI, выбрав вкладку Lorebooks. Они не настолько популярны, как карточки персонажей, поэтому найти их может быть сложнее (и тем более – качественных).

В некоторых случаях, лор-буки могут быть уже встроены в карточку персонажа. Зачастую с ними ничего не надо делать, но можете, по желанию, их открепить от персонажа в настройках карточки. Откреплённые лор-буки никуда не исчезают, они остаются в списке существующих и можете их редактировать как угодно.

Пресеты

Самая вкусная и важная, но сложная, часть. Именно здесь пишутся инструкции вашей модели ИИ и настраиваются её параметры. Пройдёмся по наиболее важным частям:

Кнопки справа от заголовка "Chat Completion Presets":
1. Стрелка, входящую в папку – импортировать готовый пресет.
2. Стрелка, исходящая из папки – экспортировать пресет.
3. Корзина – удалить пресет.
Список пресетов и текущий пресет – просто список с пресетами в вашем профиле ST, среди которых вы должны выбрать один. Здесь можно переключаться между ними по надобности. Справа находятся доп. кнопки:
1. Дискета – сохраняет ваш пресет со всеми параметрами, которые вы выставили.
2. Карандаш – переименование пресета.
3. Файл с плюсиком – сохранить текущий пресет в другой файл, к примеру для создания дубликата, или другой версии пресета.
"Context Size (tokens)" – максимальный размер памяти. Желательно ставить максимальный, т.к. о лимите вам скажет либо сам ИИ, либо вы заметите, как он начнёт писать бред.
"Max Response Length (tokens)" – максимальная длина сообщения в токенах. Также желательно ставить максимум, ибо этот параметр просто резко останавливает ИИ, когда кончится лимит на сообщение, что оборвет его на полуслове. Желаемый размер сообщения лучше сообщать самому ИИ напрямую.
"Streaming" – ИИ начинает печатать текст во время генерации сообщения, не заставляя вас ждать когда он напишет вообще всё. В некоторых случаях может приносить ошибки в виде отказа из-за NSFW контента, тогда можно попробовать отключить этот параметр (но это не гарантия обойти фильтры).
"Temperature" – чем выше значение – тем более креативными становятся ответы ИИ, но при слишком больших значения может начать генерироваться несвязанный бред. Каждая модель имеет свои рекомендации по значениям температуры (к примеру, Gemini может генерировать нормально при двойке, а остальные – ломаются), но единица – сбалансированный стандарт.
"Request model reasoning" – включить визуализацию размышления ИИ. Параметр визуальный и ни на что не влияет.
"Reasoning Effort" – то, насколько сильно ИИ должен раздумывать при написании конечного сообщения. Иногда ни на что не влияет, а иногда может помочь, если модель думает слишком долго и упирается в лимит (такое случается у GLM).

Промпты

Здесь пишутся все текстовые указания для ИИ. Здесь, к примеру, можно указать в каком жанре писать, какая стилистика, желаемый размер ответа, с какого лица писать, какая структура предложений, какие запреты должны быть и т.п.

Для создания нового промпта нужно нажать на кнопку в виде плюсика в квадрате. После этого откроется окно со следующими блоками и полями:

"Name" – имя вашего промпта (к примеру "Стиль", "Жанр", "PoV"). Визуальное, ни на что не влияет.
"Role" – от какого лица присылать этот промпт. Есть три варианта на выбор:
- User – прислать промпт от вашего лица. Работает лучше всего, но иногда разницы может и не быть.
- System – от лица системы, т.е. нейтрально. Выбирается по умолчанию.
- AI Assistant – от лица вашей модели ИИ. Используется только в специфичных ситуациях.
"Prompt" – здесь хранятся описание и инструкции промпта, которым должен следовать ИИ. Можете писать таким же человеческим языком, как в описании персонажей/персон и в лор-буках, к примеру "Пиши от третьего лица, жанр – реализм" и т.п. Промпты могут быть как маленькими, описывающими одну часть вашей инструкции, так и большими с огромными наборами параметров.
Кнопка дискеты – сохраняет ваш текущий промпт и помещает в список к другим.

Расположение промптов здесь важно. Самые высокие отсылаются первыми, самые низкие – последними. Обычно в самых высоких промптах описываются ключевые инструкции, нижние – дополнительные, а в самом конце часто пишут промпт, который обобщает все предыдущие, чтобы ИИ лучше сконцентрировалась на ваших правилах.

В списке присутствуют встроенные промпты, которые содержат важную информацию по типу описания персонажа, вашей персоны, предыдущие сообщения, сценарий и другие. Некоторые из этих промптов очень важны по очевидным причинам, а некоторые – можно отключить по желанию, к примеру "Scenario" или "Enhance Definitions".

Промпты можно отключать по кнопке тумблера слева. Это полезно, если вы создали несколько промптов, говорящих об одной вещи, но с некоторыми различиями, к примеру один промпт говорит писать от третьего лица, а второй – от первого, и вы можете переключать их по надобности (можно даже после начала общения, но это может сконфузить ИИ).

Публичные пресеты

К сожалению, писать свои собственные пресеты очень тяжело, особенно новичкам в сфере ИИ, которые просто хотят пообщаться с виртуальными персонажами. Полностью готовые пресеты можно найти в интернете по соответствующим запросам, но все они – очень сильно отличаются между собой. Некоторые бывают маленькими с малым кол-вом правил и инструкций чтобы сэкономить на токенах, а также если вы не сильно требовательны. Бывают и огромные пресеты с большим набором разных промптов, которые вы можете переключать в зависимости от нужд, получая наиболее точный результат. У каждого такого вариант свои плюсы и минусы – выбор только за вами.

Единственный онлайн-список пресетов я нашел только на этом сайте (под заголовком "Presets for Chat Completion Models"):
https://rentry.org/Sukino-Findings#presets-prompts-and-jailbreaks
Список довольно большой, и каждый настроек под конкретные модели ИИ. Единственный вариант проверить на 100%, что они из себя представляют – скачать пресет, импортировать его и глазами пройтись по промптам. Ну или прочитать описание на странице скачивания, если оно вообще есть (и понятно ли).