George-Droid
ИИ-компаньон для стримов
Описание
George-Droid — многофункциональный стриминговый ИИ-ассистент на Python. Он слушает ваш голос, отвечает с юмором и взаимодействует с чатом Twitch как настоящий со-ведущий.
Работает через Together AI (с моделями типа Meta Llama 4 Scout Instruct или любой совместимой моделью Together AI), STT через Faster-Whisper, озвучка через Piper, и система контекстной памяти (RAG). Интеллект бота зависит от выбранной модели (по умолчанию llama-4-scout-17b для LLM, faster-whisper medium с compute type int8 для STT). Голос можно поменять, заменив файлы .onnx и .onnx.json в voices/ и обновив VOICE_MODEL_PATH и VOICE_CONFIG_PATH.
Вдохновлён Neuro-Sama от Vedal987.
Возможности
- Ответы от Together AI LLM (например, Llama 4 Scout Instruct)
- Распознавание речи Faster-Whisper + VAD
- Голосовая озвучка Piper TTS
- Бот в чате Twitch (активация по имени/выделению)
- Монологи во время тишины, управление горячими клавишами
- Контекстная память (RAG) на базе Sentence Transformers и FAISS
- Визуальный контекст со скриншотами для анализа LLM
Технологии
Использованный стек технологий:
- LLM API:
- Together AI
- STT:
- faster-whisper
- TTS:
- Piper TTS
- Chat:
- twitchio
- Память:
- Sentence Transformers
- FAISS
- Инструменты и Другое:
- Python 3.10+
- Git & GitHub
- NVidia CUDNN v9.8 & CUDA v12.8
Ссылки
Финальная открытая версия готова! Дальнейшие обновления в закрытом режиме.