🎥 Локальный AI-стример Velpur

---

🎯 О проекте

Vel4Twi — это революционный проект с открытым исходным кодом, позволяющий запустить полнофункциональную AI-стримершу по имени Velpur прямо на вашем компьютере.

🚀 Velpur — это не просто чат-бот. Это виртуальная личность с собственным характером, памятью и способностью взаимодействовать со зрителями.

---

✨ Ключевые возможности

🤖 Продвинутый AI Локальная LLM через LM Studio Характер Velpur через детальный промпт

🗣️ Обработка речи STT: Whisper для распознавания TTS: Coqui TTS + XTTS v2

🎭 VTube Studio Автоматические анимации Lip Sync и Idle-анимации

💬 Мультиплатформенность • Discord (текст + голос) • Twitch Chat • Командная строка

🧠 Долгосрочная память • SQLite база данных • Автоизвлечение фактов • История диалогов

---

🔧 Технологический стек

🚀 Основа Python + PyTorch

🤖 AI/ML

🎮 Интеграции

💾 Данные SQLite + JSON

🔊 Аудио VB-CABLE

---

🛠️ Архитектура

graph TB
    A[💬 Discord/Twitch Input] --> B[🧠 Orchestrator]
    C[🎤 Voice Input] --> D[🗣️ STT Module]
    D --> B
    B --> E[💾 Memory Module]
    E --> F[🤖 LLM Module]
    F --> G[🔊 TTS Module]
    G --> H[🎭 VTube Studio]
    G --> I[🔈 Audio Output]
    B --> H

📋 Принцип работы

1. 📲 Ввод: Получение сообщений из Discord, Twitch или голосовых сообщений
2. 🔍 Обработка: Whisper преобразует голос в текст
3. 🧠 Мышление: Локальная LLM генерирует ответ с учетом контекста
4. 🗣️ Ответ: Coqui TTS синтезирует голос Velpur
5. 🎭 Анимация: VTube Studio оживляет аватар

---

🚀 Быстрый старт

⚙️ Требования

• 🐍 Python 3.9+
• 🔥 PyTorch (с поддержкой CUDA для GPU)
• 🎨 LM Studio
• 🎭 VTube Studio
• 🔊 Виртуальный аудиокабель (VB-CABLE)

💻 Установка

# Клонирование репозитория
git clone https://github.com/BBQQYT/Vel4Twi.git
cd Vel4Twi

# Установка зависимостей
pip install -r requirements.txt

# Установка FFmpeg (необходим для аудио)
# Windows: скачать с официального сайта
# Linux: sudo apt install ffmpeg

⚙️ Настройка

🔧 Подробная настройка

1. LM Studio

• Скачайте и запустите LM Studio
• Загрузите совместимую модель (Mistral, Llama и т.д.)
• Запустите Local Server

2. VTube Studio

• Запустите VTube Studio и загрузите аватар
• Включите API (Start API)
• Создайте хоткеи для анимаций

3. config.json

При первом запуске файл создастся автоматически. Отредактируйте:

• discord_token: Токен вашего Discord-бота
• twitch_token, twitch_nickname, twitch_channel: Данные Twitch
• llm_model_name_lmstudio: Имя модели из LM Studio
• speaker_wav_path_tts: Путь к .wav файлу для клонирования голоса

🚀 Запуск

python main.py

При первом запуске VTube Studio запросит разрешение на подключение. Разрешите его!

---

📈 Дорожная карта

• 🕰️ v1.1 - Компьютерное зрение (OCR)
• 🌍 v1.2 - Веб-интерфейс для настроек
• 🎥 v1.3 - Поддержка YouTube Live
• 🤖 v2.0 - Мультимодальные модели (Vision + Audio)

---

🤝 Вклад в развитие

Мы приветствуем любой вклад! 🎉

1. Fork репозитория
2. Создайте feature ветку
3. Отправьте Pull Request

Идеи для вклада:

• 🔧 Оптимизация производительности
• 🌍 Новые платформы интеграции
• 🎨 Улучшение анимаций
• 📝 Документация и переводы

---

📜 Лицензия

Этот проект распространяется под лицензией GPL-3.0. Подробности см. в файле LICENSE.

---

🙏 Благодарности

Спасибо командам за создание невероятных технологий:

• OpenAI за Whisper
• Coqui за открытое TTS-решение
• LM Studio за удобный интерфейс для локальных LLM
• VTube Studio за поддержку API
• Vedal за Neuro-sama и вдохновение

---

💖 Поддержать проект

Если Vel4Twi помог вам создать что-то удивительное: