Демо проект

Сравнение llm моделей в различных условиях

Моделей: 3 Критериев: 10 Лидер: DeepSeek

Сценарии (промпты)

Выберите отдельный сценарий или общую сводку по всем сценариям.

Общая сводка Научный сценарий Безумный сценарий Творческий сценарий Логический сценарий Редактирование изображений Редактирование изображений
Сколько гигачиккенов нужно отправить на луну, чтобы она стала черной дырой?

Общая сводка по всем сценариям

Сценариев: 6 Моделей: 3 Критериев: 51 Лидер: DeepSeek

Рекомендована DeepSeek (K=0.691). Моделей: 3 · Критериев: 51.

Рейтинг моделей по всем сценариям

Место Модель K Взвешенная сумма Интерпретация Пропуски
1 DeepSeek 0.691 19.350 Приемлемая модель, требуется доработка. 1
2 Алиса AI 0.602 16.850 Приемлемая модель, требуется доработка. 1
3 ChatGPT 0.564 15.800 Слабая модель, нужна настройка или замена. 1

Метрики LLM по всем сценариям

Модель Accuracy Precision Recall F1-score BLEU ROUGE-L BERTScore Perplexity
ChatGPT 0.576 0.608 0.544 0.574 0.558 0.567 0.574 38.9
DeepSeek 0.676 0.720 0.632 0.673 0.648 0.662 0.672 30.9
Алиса AI 0.584 0.592 0.576 0.584 0.566 0.575 0.582 38.3

Общая аналитика

Рейтинг по K
Весовая структура критериев
Профили лидеров
Вклад критериев лидера
Тепловая карта оценок
ComparatorAI Модель: meta/Meta-Llama-3.1-8B-Instruct · Обновлено: 2026-05-29 07:59:16 
В ходе сравнения моделей LLM в различных условиях выявлены следующие результаты. 

Лидером в данном проекте является модель DeepSeek, которая показала наилучшие результаты по критериям точности ответа, логичности и структуры, глубины и полноты ответа. 

Модель DeepSeek также показала наилучшие результаты по метрикам точности, предсказательной силы, воспринимаемой полезности и F1-меры. 

Модель Алиса AI заняла второе место, показав хорошие результаты по критериям точности ответа, логичности и структуры, глубины и полноты ответа. 

Модель ChatGPT заняла третье место, показав средние результаты по критериям точности ответа, логичности и структуры, глубины и полноты ответа. 

Однако, стоит отметить, что модель DeepSeek показала наибольший разрыв в лидерстве по критериям точности ответа и логичности и структуры. 

В целом, результаты показывают, что модель DeepSeek является наилучшим выбором для данного проекта, но также необходимо учитывать сильные и слабые стороны каждой модели, а также риски и условия смены лидера. 

Рекомендуемая модель: DeepSeek.

Причина выбора: Наилучшие результаты по критериям точности ответа, логичности и структуры, глубины и полноты ответа.

Сильные стороны: Наилучшие результаты по метрикам точности, предсказательной силы, воспринимаемой полезности и F1-меры.

Слабые стороны: Низкие результаты по критериям контекстной согласованности, скорости ответа и эффективности исправления ошибок.

Риски: Низкие результаты по критериям контекстной согласованности, скорости ответа и эффективности исправления ошибок.

Условия смены лидера: Если модель Алиса AI или ChatGPT покажут наилучшие результаты по критериям точности ответа, логичности и структуры, глубины и полноты ответа.

Практические выводы для LLM: Нужно учитывать сильные и слабые стороны каждой модели, а также риски и условия смены лидера.

Краткое резюме

Моделей: 3 Критериев: 10 Лидер: DeepSeek

Рекомендована DeepSeek (K=0.750) · Ключевые критерии: Глубина и полнота ответа, Точность ответа · Отрыв от Алиса AI: 0.200


Рейтинг моделей

Место Модель K
1 DeepSeek 0.750
2 Алиса AI 0.550
3 ChatGPT 0.467

Критерии сценария

Безумный сценарий

Группа Критерий Описание Вес

Добавить критерии

Список моделей

Название Описание
ChatGPT Модель от openai
DeepSeek Модель от одноименной DeepSeek
Алиса AI Модель от Яндекса

Добавить модель

Библиотека моделей

Название Описание
DeepSeek Модель от одноименной DeepSeek
Гигачат Модель от Сбера
Алиса AI Модель от Яндекса
Claude Opus Модель от Anthropic
ChatGPT Модель от openai

Ввод оценок

Критерий ChatGPT DeepSeek Алиса AI
Точность ответа
Логичность и структура
Глубина и полнота ответа
Гибкость в интерпретации
Адекватность формата
Чувствительность к контексту
Креативность
Обработка сложных запросов
Понимание технической специфики
Контекстная согласованность

Импорт оценок из CSV

Формат: model, criterion, score

Рейтинг моделей

Место Модель K Взвешенная сумма Интерпретация Пропуски
1 DeepSeek 0.750 4.500 Хорошая модель, подходит для большинства задач. 0
2 Алиса AI 0.550 3.300 Слабая модель, нужна настройка или замена. 0
3 ChatGPT 0.467 2.800 Слабая модель, нужна настройка или замена. 0

Метрики оценки LLM

Модель Accuracy Precision Recall F1-score BLEU ROUGE-L BERTScore Perplexity
ChatGPT 0.460 0.533 0.350 0.423 0.454 0.457 0.461 48.2
DeepSeek 0.700 0.800 0.550 0.652 0.670 0.685 0.696 29.0
Алиса AI 0.580 0.533 0.650 0.586 0.562 0.571 0.578 38.6

Оценка по методике TOPSIS

Место Модель TOPSIS C
1 DeepSeek 0.861
2 Алиса AI 0.424
3 ChatGPT 0.294

C ближе к 1 означает, что модель ближе к идеальному решению и дальше от анти-идеального.

Вклад критериев

Критерий Вес Оценка Вклад
Точность ответа 0.30 3 0.900
Логичность и структура 0.20 4 0.800
Глубина и полнота ответа 0.20 5 1.000
Гибкость в интерпретации 0.10 4 0.400
Адекватность формата 0.05 3 0.150
Чувствительность к контексту 0.05 2 0.100
Креативность 0.05 4 0.200
Обработка сложных запросов 0.10 4 0.400
Понимание технической специфики 0.10 5 0.500
Контекстная согласованность 0.05 1 0.050

Сильные и слабые стороны

Модель Сильные стороны Слабые стороны Пропуски
DeepSeek Глубина и полнота ответа (оценка 5, вклад 1.00); Точность ответа (оценка 3, вклад 0.90); Логичность и структура (оценка 4, вклад 0.80) Контекстная согласованность (оценка 1, вклад 0.05); Чувствительность к контексту (оценка 2, вклад 0.10); Адекватность формата (оценка 3, вклад 0.15) 0
Алиса AI Глубина и полнота ответа (оценка 3, вклад 0.60); Точность ответа (оценка 2, вклад 0.60); Логичность и структура (оценка 2, вклад 0.40) Адекватность формата (оценка 1, вклад 0.05); Креативность (оценка 2, вклад 0.10); Контекстная согласованность (оценка 2, вклад 0.10) 0
ChatGPT Логичность и структура (оценка 4, вклад 0.80); Точность ответа (оценка 2, вклад 0.60); Гибкость в интерпретации (оценка 4, вклад 0.40) Креативность (оценка 1, вклад 0.05); Адекватность формата (оценка 2, вклад 0.10); Обработка сложных запросов (оценка 1, вклад 0.10) 0

Почему победила модель

Победила DeepSeek с K=0.750.
Ближайший конкурент: Алиса AI (отрыв 0.200).
Критерий Лидер Конкурент Разрыв (вес)
Точность ответа 3 2 0.300
Логичность и структура 4 2 0.400
Глубина и полнота ответа 5 3 0.400
Гибкость в интерпретации 4 4 0.000
Адекватность формата 3 1 0.100
Чувствительность к контексту 2 5 -0.150

Визуализация

Рейтинг по K
Весовая структура критериев
Профили лидеров
Вклад критериев лидера
Тепловая карта оценок

Анализ чувствительности

Пересчёт происходит автоматически при изменении ползунков.

Новый рейтинг при изменённых весах

Место Модель K
1 DeepSeek 0.750
2 Алиса AI 0.550
3 ChatGPT 0.467

Финальная сводка

Итоговый отчёт
Проект: Демо проект
Сценарий: Безумный сценарий

Рекомендуемая модель: DeepSeek
Интегральная оценка (K): 0.750
Интерпретация: Хорошая модель, подходит для большинства задач.

Почему именно эта модель:
- Ключевые критерии вклада: Глубина и полнота ответа, Точность ответа, Логичность и структура
- Отрыв от второго места: 0.200
- Выбор выглядит стабильным.
- Ближайший конкурент: Алиса AI
- Наибольшее преимущество по критериям: Логичность и структура, Глубина и полнота ответа, Точность ответа
- Где лидер уступает: Чувствительность к контексту, Контекстная согласованность
- Сильные стороны лидера: Глубина и полнота ответа (оценка 5, вклад 1.00), Точность ответа (оценка 3, вклад 0.90), Логичность и структура (оценка 4, вклад 0.80)
- Слабые стороны лидера: Контекстная согласованность (оценка 1, вклад 0.05), Чувствительность к контексту (оценка 2, вклад 0.10), Адекватность формата (оценка 3, вклад 0.15)

Условия, при которых выбор может измениться:
- Если повысить веса критериев, где сильнее Алиса AI (Чувствительность к контексту, Контекстная согласованность), лидер может измениться.

Примечание: расчёт основан на включённых критериях и текущих весах.
Экспортировать отчёт в PDF