Введение

На данный момент PyMorphy2 - самая популярная библиотека для обработки слов в русском языке. Благодаря ей (как раньше, так и сейчас) строились и продолжают строиться различные NLP решения. Однако последний коммит  в репозиторий этой библиотеки был сделан более 5 лет назад, а установка этой библиотеки на Python версии 3.11+ вызывает трудности, что делает использование данной библиотеки в нынешнее время максимально затруднительным.

Мы в Mind Simulation решили начать свой путь в Open Source, и решили начать его именно с того, чтобы представить миру разработчиков NLP свой аналог PyMorphy под названием SteosMorphy.

SteosMorphy - это высокопроизводительный морфологический анализатор и генератор словоформ, написанный на Go. Он представляет собой прямой аналог PyMorphy2, но с упором на максимальную скорость и эффективность, сохраняя при этом функционал и удобный API.

О проекте

Для начала хотелось бы показать некоторые сильные стороны проекта:

1. Язык разработки. Ядро проекта написано на языке Golang. Это позволяет достичь огромной скорости и по максимуму использовать преимущества компилируемых языков;

2. Качественный и обширный словарь. В основе SteosMorphy заложен огромный словарь, содержащий более 120000 лексем и ~5300000 словоформ. Все данные в словаре были проверены и выверены командой Mind Simulation, что гарантирует высокую точность разбора;

3. Полный морфологический разбор и генерация словоформ. SteosMorphy не просто находит нормальную форму слова (лемму), но и предоставляет исчерпывающую информацию о его грамматических характеристиках: часть речи, падеж, род, число и многое другое (всего 198 тегов). Кроме того, библиотека умеет генерировать все возможные словоформы для заданного слова, корректно обрабатывая даже сложные случаи супплетивизма (например, для лексемы "хороший" будут сгенерированы формы "лучше", "лучший");

4. Предсказание для несловарных слов (OOV). Современный язык постоянно пополняется неологизмами. SteosMorphy умеет работать со словами, которых нет в словаре, предсказывая их грамматические формы на основе наиболее длинных совпадающих суффиксов. Это позволяет успешно анализировать такие слова, как "нейросеть" или "программистка";

5. Гибридное использование: мощь Go в Python. Одна из главных фишек проекта - наличие CGo-обёртки, которая позволяет использовать всю мощь Go-библиотеки прямо в Python. Установка через pip и привычный API делают переход максимально простым для Python-разработчиков, которые хотят кардинально ускорить свои NLP-пайплайны;

6. Эффективная пакетная обработка. Для анализа больших текстовых массивов предусмотрены методы ParseList и InflectList. Они работают в конкурентном режиме, задействуя все доступные ядра процессора для достижения максимальной производительности (это стало доступно благодаря использованию Golang под капотом).

Кому подойдёт SteosMorphy?

• Создателям высоконагруженных сервисов (поисковых систем, чат-ботов, аналитических платформ), где задержки на обработку текста критичны;

• Go-разработчикам, которым нужен нативный, быстрый и надёжный инструмент для работы с русской морфологией;

• Python-разработчикам и Data Scientist'ам, которые уперлись в потолок производительности PyMorphy2 и ищут способ ускорить обработку текстов без смены основного языка.

Как начать пользоваться (Golang)?

Начать работу с SteosMorphy очень просто. Для начала необходимо установить библиотеку

go get github.com/steosofficial/steosmorphy

Далее вызываем SteosMorphy внутри кода

package main

import (
	"fmt"
	SteosMorphy "github.com/steosofficial/steosmorphy"
)

func main() {
	analyzer, err := SteosMorphy.LoadMorphAnalyzer()
	if err != nil {
		panic(err)
	}

	parses, _ := analyzer.Analyze("стали")
	p := parses[0]
	fmt.Printf("Лемма: %s, Часть речи: %s\n", p.Lemma, p.PartOfSpeech)
}

Как начать пользоваться (Python)?

Устанавливаем библиотеку привычным способом через pip

pip install steosmorphy

Далее вызываем в коде

from steosmorphy import MorphAnalyzer

analyzer = MorphAnalyzer()
result = analyzer.analyze("программистка")

p = result.first
print(f"Лемма: {p.lemma}, Падеж: {p.case}")

package main

import (
	"fmt"
	SteosMorphy "github.com/steosofficial/steosmorphy/analyzer"
)

func main() {
	// Инициализируем анализатор. Метод LoadMorphAnalyzer() автоматически найдет
	// скомпилированный словарь в папке data/.
	analyzer, err := SteosMorphy.LoadMorphAnalyzer()
	if err != nil {
		panic(err)
	}

	// 1. Анализируем слово
	word := "стали"
	parses, forms := analyzer.Analyze(word)

	// 2. Печатаем варианты разбора
	fmt.Printf("Варианты разбора для слова '%s':\n", word)
	for _, p := range parses {
		fmt.Printf("  - Лемма: %s Часть речи: %s Падеж: %s\n", p.Lemma, p.PartOfSpeech, p.Case)
	}

	// 3. Печатаем несколько словоформ
	fmt.Printf("\nСловоформы для '%s':\n", word)
	for i, p := range forms {
		if i >= 5 { // Ограничим вывод для краткости
			fmt.Println("  ...")
			break
		}
		fmt.Printf("%s\n", p.Word)
	}
}

parses, _ := analyzer.Analyze("стали")

// parses будет содержать 2 объекта *Parsed:
// 1. {Lemma: "стать", PartOfSpeech: "Глагол", ...}
// 2. {Lemma: "сталь", PartOfSpeech: "Существительное", Case: "Родительный", ...}

for _, p := range parses {
    if p.PartOfSpeech == "Глагол" {
        // ...
    }
}

// Анализируем слово "хорошая"
_, forms := analyzer.Analyze("хорошая")

// `forms` будет содержать *полную* лексему, включая формы от корня "лучш-":
// - хороший
// - хорошая
// - лучше
// - лучший
// - лучшая
// ... и т.д.

texts := []string{"мама", "мыла", "раму", "стали", "программистка", "хороший"}

// Вызываем пакетную обработку
allParses := analyzer.ParseList(texts)

// Результат - один большой срез со всеми разборами
for _, p := range allParses {
    fmt.Printf("Слово: %-15s Лемма: %-15s ЧР: %s\n", p.Word, p.Lemma, p.PartOfSpeech)
}

// "Нейросеть" - неологизм, его нет в словаре.
parses, forms := analyzer.Analyze("нейросети")

p := parses[0]
// p.Lemma -> "нейросеть"
// p.PartOfSpeech -> "Существительное"
// p.Gender -> "Женский"

// Будут также сгенерированы все предсказанные словоформы:
// "нейросетей", "нейросетью", "нейросетями" и т.д.

Сравнение производительности

Самым важным показателем для данного проекта является тестирование скорости выполнения. Важно отметить, что тестирование будет производиться отдельно Python версии библиотеки (как в режиме последовательной обработки, так и в режиме пакетной обработки данных), отдельно Golang версии (как в режиме последовательной обработки, так и в режиме пакетной обработки данных). Это разделение необходимо для того, чтобы вы могли выбрать для себя наилучший вариант и использовать именно его.

Производительность:

Память (ОЗУ):

Задачи на развитие

Как и любой проект, SteosMorphy требует оптимизации и дальнейшего развития. Вот цели, которые мы ставим перед собой для дальнейшего развития

• Ускорение реализации на Python

• Оптимизация памяти (RAM)

  • Оптимизация RAM при загрузке SteosMorphy

  • Оптимизация RAM при выполнении генерации батчем

• Улучшение словарям

  • Добавление новых слов в базовый словарь

  • Расширение уже существующего словаря новыми словоформами в недостающих тегах

• Уменьшение веса проекта (сейчас проект на Python весит около 100МБ)

Заключение

SteosMorphy - новая библиотека для генерации словоформ и анализа слов, которая способна полноценно заменить PyMorphy2, и имеет поддержку команды Mind Simulation. Благодаря тому, что под капотом находится Golang, достигается огромная скорость обработки большого количества данных. Проект распространяется под свободной лицензией Apache 2.0 и активно приветствует вклад сообщества.

Поддержать проект звездочкой, внести изменения или просто ознакомиться с проектом можно на официальном гитхабе проекта SteosMorphy.