Оценка качества генерации русскоязычной модели

Трансформеры
Оценка качества генерации русскоязычной модели

Цель проекта — проверить, насколько хорошо русскоязычная языковая модель способна давать точные и осмысленные ответы на вопросы из тестового набора.

📌 Что сделано:
🔹 Протестирована генерация ответов моделью на наборе русскоязычных запросов
🔹 Сравнены ответы модели с эталонными с помощью автоматических метрик качества
🔹 Проанализированы результаты и определены сильные и слабые стороны модели

📊 Итоги:
✅ Модель в большинстве случаев формулирует ответы, близкие к правильным по смыслу
✅ Высокий уровень смыслового совпадения показывает, что система хорошо справляется с генерацией текстов