RAGAS

Реализация в Python:

1. Сначала идет подготовка данных для дальнейшей обработки. Ниже в примере представлен пример данных со всеми возможными параметрами.

2. Далее идет конвертация данных в форму для обработки.

3. Наконец, происходит подсчет и выдача результатов метрики.

В полнном виде код выглядит так:

from datasets import Dataset
from ragas import evaluate
from ragas.metrics import ResponseRelevancy

# Подготовка данных для RAGAS
data = {
    "question": questions, # Вопрос пользователя
    "answer": answers, # Ответ модели
}

# Конвертация данных
dataset = Dataset.from_dict(data)

# Вычисление метрики
def response_relevancy(dataset):
    result = evaluate(
        dataset=dataset,
        metrics=[
            ResponseRelevancy()
        ],
    )
    return result

DeepEval

Реализация в Python:

1. Сначала идет подготовка данных для дальнейшей обработки. Ниже в примере представлен пример данных со всеми возможными параметрами.

2. Далее идет конвертация данных в форму для обработки.

3. Наконец, происходит подсчет и выдача результатов метрики.

# Импорт библиотек
import pytest
from deepeval.test_case import LLMTestCase
from deepeval import assert_test
from deepeval.metrics import AnswerRelevancyMetric
from deepeval.dataset import EvaluationDataset
from deepeval.test_case import LLMTestCase

# Подготовка формы для обработки данных
dataset = EvaluationDataset()

# Данные для тестирования
question = question # Вопрос пользователя
answers = answer # Ответ модели

# Формирование тест кейса
test_case = LLMTestCase(input=question, actual_output=answers)

# Добавление тест кейса в набор данных
dataset.add_test_case(test_case)

# Формирование метрики для оценки 
metric = AnswerRelevancyMetric(
    threshold=threshold, # Пороговое значение
    model=model, # Модель для оценки по метрике
    include_reason=True) # Формирование причины присвоения того или иного значения

@pytest.mark.asyncio
# Передача параметров для теста
@pytest.mark.parametrize(
    "test_case",
    dataset.test_cases,
)
# Вычисление результата
async def test_answer_relevancy(test_case: LLMTestCase):
    assert_test(test_case, [metric])

Таким образом, главные различия метрик состоят в:

1. Предметах сравнения. У метрики от RAGAS сравниваются изначальный вопрос со сгенерированными вопросами.
   У метрики от deepeval сравниваются изначальный вопрос и утверждения из полученного ответа модели.

2. Методиках сравнения.
   У метрики от RAGAS сравнение происходит посредством вычисления косинусного сходства.
   У метрики от deepeval сравнение происходит посредством использования LLM.

3. Объяснение вердикта по сравнениям.
   В метрике от RAGAS объяснения не предусмотрены, поскольку сравнение происходит посредством вычисления косинусного сходства.
   В метрике от deepeval присутствуют вердикты по каждому утверждению

4. Обработка уклончивости и галлюцинаций в ответах:
   В метрике от RAGAS уклончивость и галлюцинации в ответе могут привести к автоматическому обнулению результата расчета.
   В метрике от deepeval наличие галлюцинаций и уклончивости фиксируется и приводит к снижению итогового результата оценки.

RAGAS

Реализация в Python:

1. Сначала идет подготовка данных для дальнейшей обработки. Ниже в примере представлен пример данных со всеми возможными параметрами.

2. Происходит подсчет и выдача результатов метрики.

Код для метрики с использованием LLM и без использования переданного контекста.

import asyncio
from ragas import SingleTurnSample
from ragas.metrics import LLMContextPrecisionWithoutReference

# Определение метрики с уточнением LLM для вычисления результата
context_precision = LLMContextPrecisionWithoutReference(llm=evaluator_llm)

# Подготовка данных для RAGAS
sample = SingleTurnSample(
            user_input = question # Вопрос пользователя
            retrieved_contexts = contexts # Возвращаемый контекст
            response = answer # Ответ модели  
            )

# Вычисление метрики
async def context_precision_without_reference(sample):

        result = await context_precision.single_turn_ascore(sample)
        return result


asyncio.run(run_context_precision_without_reference(sample))

Код для метрики с использованием LLM и переданным контекстом

import asyncio
from ragas import SingleTurnSample
from ragas.metrics import LLMContextPrecisionWithReference

# Определение метрики с уточнением LLM для вычисления результата
context_precision = LLMContextPrecisionWithReference(llm=evaluator_llm)

# Подготовка данных для RAGAS
sample = SingleTurnSample(
            user_input = question # Вопрос пользователя
            retrieved_contexts = contexts # Возвращаемый контекст
            reference = reference # Переданный контекст  
            )

# Вычисление метрики
async def context_precision_with_reference(sample):

        result = await context_precision.single_turn_ascore(sample)
        return result


asyncio.run(run_context_precision_with_reference(sample))

Код для метрики без использования LLM

import asyncio
from ragas import SingleTurnSample
from ragas.metrics import NonLLMContextPrecisionWithReference

# Определение метрики
context_precision = NonLLMContextPrecisionWithReference()

# Подготовка данных для RAGAS
sample = SingleTurnSample(
            retrieved_contexts = contexts # Возвращаемый контекст
            reference_contexts = reference # Переданный контекст  
            )

# Вычисление метрики
async def context_precision_without_LLM(sample):

        result = await context_precision.single_turn_ascore(sample)
        return result


asyncio.run(context_precision_without_LLM(sample))

DeepEval

Реализация в Python:

1. Сначала идет подготовка данных для дальнейшей обработки. Ниже в примере представлен пример данных со всеми возможными параметрами.

2. Далее идет конвертация данных в форму для обработки.

3. Наконец, происходит подсчет и выдача результатов метрики.

# Импорт библиотек
import pytest
from deepeval.test_case import LLMTestCase
from deepeval import assert_test
from deepeval.metrics import ContextualPrecisionMetric
from deepeval.dataset import EvaluationDataset
from deepeval.test_case import LLMTestCase

# Подготовка формы для обработки данных
dataset = EvaluationDataset()

# Данные для тестирования
question = question # Вопрос пользователя
ground_truths = expected_answer # Ожидаемый ответ
contexts = contexts # Возвращаемый контекст

# Формирование тест кейса
test_case = LLMTestCase(input=question, expected_output=ground_truths,
                        retrieval_context=contexts)

# Добавление тест кейса в набор данных
dataset.add_test_case(test_case)

# Формирование метрики для оценки 
metric = ContextualPrecisionMetric(
    threshold=threshold, # Пороговое значение
    model=model, # Модель для оценки по метрике
    include_reason=True) # Формирование причины присвоения того или иного значения

@pytest.mark.asyncio
# Передача параметров для теста
@pytest.mark.parametrize(
    "test_case",
    dataset.test_cases,
)
# Вычисление результата
async def test_contextual_precision(test_case: LLMTestCase):
    assert_test(test_case, [metric])

Таким образом, главные различия метрик состоят в:

1. В количестве возможных модификаций. Три варианта метрики у RAGAS и одна у DeeepEval.

2. Различии методик сравнения у разных модификаций. Если в основной реализации у RAGAS схожая методика с DeepEval, то другие модификации уже используют эталонный контекст, а также расстояние Левенштейна (есть и другие опции сравнения) для варианта без использования LLM.

3. Объяснение вердикта по сравнениям.
   В метрике от RAGAS объяснения не предусмотрены, поскольку сравнение происходит посредством вычисления расстояния Левенштейна (есть и другие опции сравнения) для варианта без использования LLM. При использовании LLM в RAGAS также предусмотрено объяснение вердикта.
   В метрике от deepeval присутствуют вердикты по каждому утверждению.

RAGAS

LLM-Based Context Recall

Реализация в Python:

1. Сначала идет подготовка данных для дальнейшей обработки. Ниже в примере представлен пример данных со всеми возможными параметрами.

2. Происходит подсчет и выдача результатов метрики.

import asyncio
from ragas import SingleTurnSample
from ragas.metrics import LLMContextRecall

# Определение метрики с уточнением LLM для вычисления результата
context_precision = LLMContextRecall(llm=evaluator_llm)

# Подготовка данных для RAGAS
sample = SingleTurnSample(
            user_input = question # Вопрос пользователя
            retrieved_contexts = contexts # Возвращаемый контекст
            reference = reference # Переданный контекст  
            )

# Вычисление метрики
async def context_recall_with_LLM(sample):
        result = await context_recall.single_turn_ascore(sample)
        return result


asyncio.run(context_recall_with_LLM(sample))

Non LLM Based Context Recall

Реализация в Python:

1. Сначала идет подготовка данных для дальнейшей обработки. Ниже в примере представлен пример данных со всеми возможными параметрами.

2. Происходит подсчет и выдача результатов метрики.

import asyncio
from ragas import SingleTurnSample
from ragas.metrics import NonLLMContextRecall

# Определение метрики
context_recall = NonLLMContextRecall()

# Подготовка данных для RAGAS
sample = SingleTurnSample(
            retrieved_contexts = contexts # Возвращаемый контекст
            reference_contexts = reference # Переданный контекст  
            )

# Вычисление метрики
async def context_recall_without_LLM(sample):

        result = await context_recall.single_turn_ascore(sample)
        return result


asyncio.run(context_recall_without_LLM(sample))

DeepEval

Реализация в Python:

1. Сначала идет подготовка данных для дальнейшей обработки. Ниже в примере представлен пример данных со всеми возможными параметрами.

2. Далее идет конвертация данных в форму для обработки.

3. Наконец, происходит подсчет и выдача результатов метрики.

# Импорт библиотек
import pytest
from deepeval.test_case import LLMTestCase
from deepeval import assert_test
from deepeval.metrics import ContextualRecallMetric
from deepeval.dataset import EvaluationDataset
from deepeval.test_case import LLMTestCase

# Подготовка формы для обработки данных
dataset = EvaluationDataset()

# Данные для тестирования
question = question # Вопрос пользователя
ground_truths = expected_answer # Ожидаемый ответ
contexts = contexts # Возвращаемый контекст

# Формирование тест кейса
test_case = LLMTestCase(input=question, expected_output=ground_truths,
                        retrieval_context=contexts)

# Добавление тест кейса в набор данных
dataset.add_test_case(test_case)

# Формирование метрики для оценки 
metric = ContextualRecallMetric(
    threshold=threshold, # Пороговое значение
    model=model, # Модель для оценки по метрике
    include_reason=True) # Формирование причины присвоения того или иного значения

@pytest.mark.asyncio
# Передача параметров для теста
@pytest.mark.parametrize(
    "test_case",
    dataset.test_cases,
)
# Вычисление результата
async def test_contextual_recall(test_case: LLMTestCase):
    assert_test(test_case, [metric])

Таким образом, главные различия метрик состоят в:

1. В количестве возможных модификаций. Три варианта метрики у RAGAS и одна у DeeepEval.

2. Различии методик сравнения у разных модификаций. Если в основной реализации у RAGAS схожая методика с DeepEval, то другие модификации уже используют эталонный контекст, а также расстояние Левенштейна (есть и другие опции сравнения) для варианта без использования LLM.

3. Объяснение вердикта по сравнениям.
   В метрике от RAGAS объяснения не предусмотрены, поскольку сравнение происходит посредством вычисления расстояния Левенштейна (есть и другие опции сравнения) для варианта без использования LLM. При использовании LLM в RAGAS также предусмотрено объяснение вердикта.
   В метрике от deepeval присутствуют вердикты по каждому утверждению.

RAGAS

Реализация в Python:

1. Сначала идет подготовка данных для дальнейшей обработки. Ниже в примере представлен пример данных со всеми возможными параметрами.

2. Далее идет конвертация данных в форму для обработки.

3. Наконец, происходит подсчет и выдача результатов метрики.

from datasets import Dataset
from ragas import evaluate
from ragas.metrics import faithfulness

# Подготовка данных для RAGAS
data = {
    "question": questions, # Вопрос пользователя
    "contexts": contexts, # Возвращаемый контекст
    "reference": references # Переданный контекст
}

# Конвертация данных
dataset = Dataset.from_dict(data)

# Вычисление метрики
def check_faithfulness(dataset):
    result = evaluate(
        dataset=dataset,
        metrics=[
            faithfulness
        ],
    )
    return result

DeepEval

Реализация в Python:

1. Сначала идет подготовка данных для дальнейшей обработки. Ниже в примере представлен пример данных со всеми возможными параметрами.

2. Далее идет конвертация данных в форму для обработки.

3. Наконец, происходит подсчет и выдача результатов метрики.

# Импорт библиотек
import pytest
from deepeval.test_case import LLMTestCase
from deepeval import assert_test
from deepeval.metrics import FaithfulnessMetric
from deepeval.dataset import EvaluationDataset
from deepeval.test_case import LLMTestCase

# Подготовка формы для обработки данных
dataset = EvaluationDataset()

# Данные для тестирования
question = question # Вопрос пользователя
contexts = contexts # Возвращаемый контекст
answers = answer # Ответ модели

# Формирование тест кейса
test_case = LLMTestCase(input=question, actual_output=answers,  
                        retrieval_context=contexts)

# Добавление тест кейса в набор данных
dataset.add_test_case(test_case)

# Формирование метрики для оценки 
metric = FaithfulnessMetric(
    threshold=threshold, # Пороговое значение
    model=model, # Модель для оценки по метрике
    include_reason=True) # Формирование причины присвоения того или иного значения

@pytest.mark.asyncio
# Передача параметров для теста
@pytest.mark.parametrize(
    "test_case",
    dataset.test_cases,
)
# Вычисление результата
async def test_faithfulness(test_case: LLMTestCase):
    assert_test(test_case, [metric])

Таким образом, главные различия метрик состоят в:

1. В количестве опций для оценки утверждений. У RAGAS только два возможных значения, в то время как у DeeepEval таких значений три.

2. Объяснение вердикта по сравнениям.
   В метрике от RAGAS объяснения не предусмотрены, поскольку сравнение происходит посредством вычисления расстояния Левенштейна (есть и другие опции сравнения) для варианта без использования LLM. При использовании LLM в RAGAS также предусмотрено объяснение вердикта.
   В метрике от deepeval присутствуют вердикты по каждому утверждению.

Метрика показывает, какой процент сущностей из переданного контекста присутствует в возвращенном контексте. Рассчитывается как отношение количества сущностей в приведенном контексте к общему числу сущностей в переданном контексте.

где

RE - набор сущностей в переданном контексте
RCE - набор сущностей в возвращенном контексте

Реализация

1. Происходит разбивка текста на независимые неповторяющиеся сущности.
2. Сравниваются множества сущностей в переданном и возвращенном контекстах
3. Вычисляется итоговое значение метрики.

from datasets import Dataset
from ragas import evaluate
from ragas.metrics import ContextEntityRecall

# Подготовка данных для RAGAS
data = {
    "contexts": contexts, # Возвращаемый контекст
    "reference": references # Переданный контекст
}

# Конвертация данных
dataset = Dataset.from_dict(data)

# Вычисление метрики
def check_context_entity_recall(dataset):
    result = evaluate(
        dataset=dataset,
        metrics=[
            ContextEntityRecall()
        ],
    )
    return result

Метрика показывает процент нерелевантных утверждений относительно общего количества утверждений в ответе.

Реализация

1. Происходит разбивка ответа на утверждения

2. Каждое утверждение оценивается на предмет релевантности вопросу.

3. Вычисляется итоговое значение метрики.

from datasets import Dataset
from ragas import evaluate
from ragas.metrics import NoiseSensitivity

# Подготовка данных для RAGAS
data = {
    "question": questions, # Вопрос пользователя
    "answer": answers, # Ответ модели
    "contexts": contexts, # Возвращаемый контекст
    "reference": references # Переданный контекст
}

# Конвертация данных
dataset = Dataset.from_dict(data)

# Вычисление метрики
def check_noise_sensitivity(dataset):
    result = evaluate(
        dataset=dataset,
        metrics=[
            NoiseSensitivity()
        ],
    )
    return result

Метрика показывает фактическое соответствие ответа модели и возвращенного контекста.
Ответ считается правдивым, если все его утверждения могут быть получены из возвращенного контекста (текста или картинок).

Реализация

1. Ответ модели сравнивается с возвращенным контекстом (текстом и картинками) на предмет фактического соответствия.

2. Если ответ фактически соответствует контексту, ему присваивается значение 1, в противном случае 0.

3. Происходит подсчет итогового результата.

import asyncio
from ragas.dataset_schema import SingleTurnSample
from ragas.metrics import MultiModalFaithfulness
from datasets import Dataset
from ragas import evaluate

# Подготовка данных для RAGAS
data = {
        "user_input": question, # Вопрос пользователя
        "response": answer, # Ответ модели
        "retrieved_contexts": contexts # Возвращенный контекст 
                                       # (текст или картинки)
    }

# Конвертация данных
dataset = Dataset.from_dict(data)

# Вычисление метрики
def check_multimodal_faithfulness(dataset):
    result = evaluate(
        dataset=dataset,
        metrics=[
            MultiModalFaithfulness()
        ],
    )
    return result

Метрика показывает, насколько ответ модели соответствует возвращенному контексту.

Реализация

1. Ответ модели сравнивается с возвращенным контекстом (текстом и картинками) на предмет соответствия.

2. Если ответ соответствует контексту, ему присваивается значение 1, в противном случае 0.

3. Происходит подсчет итогового результата.

import asyncio
from ragas.dataset_schema import SingleTurnSample
from ragas.metrics import MultiModalRelevance
from datasets import Dataset
from ragas import evaluate

# Подготовка данных для RAGAS
data = {
        "user_input": question, # Вопрос пользователя
        "response": answer, # Ответ модели
        "retrieved_contexts": contexts # Возвращенный контекст 
                                       # (текст или картинки)
    }

# Конвертация данных
dataset = Dataset.from_dict(data)

# Вычисление метрики
def check_multimodal_relevancy(dataset):
    result = evaluate(
        dataset=dataset,
        metrics=[
            MultiModalRelevance()
        ],
    )
    return result

Метрика показывает, насколько контекст релевантен изначальному запросу.

Реализация

1. Происходит разбиение контекста на утверждения.

2. Каждое утверждение оценивается на предмет релевантности вопросу. Если утверждение релевантно, ему присваивается значение 'yes', в противном случае присваивается значение 'no'

3. Происходит итоговый подсчет метрики.

# Импорт библиотек
import pytest
from deepeval.test_case import LLMTestCase
from deepeval import assert_test
from deepeval.metrics import ContextualRelevancyMetric
from deepeval.dataset import EvaluationDataset
from deepeval.test_case import LLMTestCase

# Подготовка формы для обработки данных
dataset = EvaluationDataset()

# Данные для тестирования
question = question # Вопрос пользователя
contexts = contexts # Возвращаемый контекст

# Формирование тест кейса
test_case = LLMTestCase(input=question, retrieval_context=contexts)

# Добавление тест кейса в набор данных
dataset.add_test_case(test_case)

# Формирование метрики для оценки 
metric = ContextualRelevancyMetric(
    threshold=threshold, # Пороговое значение
    model=model, # Модель для оценки по метрике
    include_reason=True) # Формирование причины присвоения того или иного значения

@pytest.mark.asyncio
# Передача параметров для теста
@pytest.mark.parametrize(
    "test_case",
    dataset.test_cases,
)
# Вычисление результата
async def test_contextual_relevancy(test_case: LLMTestCase):
    assert_test(test_case, [metric])