Привет, Хабр!

Меня зовут Андрей Счастливый. Я увлеченный энтузиаст, который очень любит программирование и аналитику. У меня есть достаточный опыт работы на бирже MOEX и иностранных биржах, есть опыт работы на разном ПО для торговли, в том числе Volfix (сильный объёмный анализ), Timing Solution (работа с циклами), Tradingview и другие. Большинство подходов, которые реализованы в ПО предоставляют огромное кол-во инструментов, что является плюсом и в то же время имеет такую обратную сторону как сложность в настройке и сосредоточении на главном для среднестатистического трейдера. Разом использовать 100 инструментов мы не можем, да это и не нужно. Выбрав несколько инструментов из множества всегда в голове, живёт мысль, что мы что-то упускаем. Мозг трейдера поэтому постоянно находится в блуждании в поисках ответа на вопрос: а что же ещё стоит учесть. Я через это прошёл многократно.

Моя любовь анализировать, вычислять, создавать привела меня к тому, что в своё время я получил красный диплом по экономике только за счёт своих усилий, а именно сильных аналитических проектов, с расчётами, выводами. Позже через время я понял, что хочу программировать и таким образом проявлять желание анализировать и создавать. Я изучил язык Python, работу с нейросетями и понял, что хочу начать создавать аналитическую систему, которая силой вычислений мощных компьютеров и языков Python и C++ будет выполнять аналитику.

Так как я уже получил опыт работы на финансовых биржах и биржи являются просторным полем для анализа, то я выбрал это направление и сначала решил для себя написать не сложный скрипт, который собирает данные, обрабатывает, выдаёт аналитическую раскладку и прогноз будущего развития цены инструмента. Меня данный проект всё больше увлекал, и я понял, что могу и создам большее. Ориентируясь на биржу MOEX я сначала взял 3 инструмента и позже расширил список до 20 и приступил.

Я назвал проект Athenix в честь богини Афины в древнегреческой мифологии, которая символизирует мудрость, стратегию и интеллект + сочетание современных технологий и новаторства. Кстати, первая версия проекта Athenix уже реализована и полностью функционирует с получением данных, обработкой и созданием графиков. Пока получение данных не в реалтайме и графики генерируются только в html файлы с интерактивными подсказками. Аналитическая часть сделана и изучив график уже можно быстро получить понимание, что происходит сейчас с рынком и отдельными тикерами. Главная страница проекта — это группа во Вконтакте. Скачать и изучить графики, создаваемые системой, вы уже можете с яндекс диска. Среди графиков есть 20 графиков для каждого из 20 добавленных в проект тикеров + 1 сводный MULTI график для общего мониторинга биржи. Далее я рекомендую скачать и открыть графики интересующих инструментов и продолжить чтение с рассказом о проекте.

Описание проблемы и целей проекта

Цель проекта: использовать самые передовые технологии и написать адаптируемую систему для мониторинга котировок, которая показывает в понятной форме трейдеру главное для среднесрочной и долгосрочной работы на бирже.

Как я уже затронул ранее, подходы в большинстве современных ПО порой слишком сложные + добавьте к этому динамику изменения ситуации на бирже. Необходимо определить подход, в котором акцент в концентрации на главном. Я определил для себя, что необходимо определить свой подход к анализу объёмов торгов и сконцентрироваться на наличии закономерностей в циклах изменения цены во времени. В каждом из двух направлений оставить для показа трейдеру только самое главное, а остальное поручить силе вычислений и языка программирования. Важно также добавить, что система сконцентрирована на аналитике для среднесрочной и долгосрочной торговли на бирже, хотя в некоторых случаях и для интрадей будет полезна.

В совокупности имея опыт работы на биржах, работы с разным другим ПО, разработки своей системы и уже мониторингом бирже через Athenix я пришёл к следующим выводам:

1. Крупным игрокам на бирже иногда становится известно, куда дальше пойдёт цена и иногда они правы.

2. Крупные игроки тоже ошибаются и в последнее время просматривается стратегия импульсного ввода средств в актив незадолго до возможного начала движения рынка в какую-либо сторону.

3. Глубокое обучение (нейросети) генерирует прогноз на основе выявленных закономерностей во временном ряду. Далеко не всегда в последних значениях во временном ряду есть закономерность, достаточная нейросети для создания прогноза. Иногда рынок без закономерности блуждает в ожидании и это не прогнозируется.

Техническая реализация

В технической реализации проекта Athenix заложена комплексная архитектура на Python, сочетающая современные подходы к обработке временных рядов, статистическому анализу и глубокому обучению. Основной код сгруппирован в несколько классов, которые отвечают за загрузку данных, анализ, вычисления, прогнозы и визуализацию результатов. Для работы проекта я собрал собственную авторскую сборку docker образа TensorFlow 2.20 с GPU.

Для работы с данными используются библиотеки pandas и numpy, обеспечивающие эффективную обработку временных рядов и массивов. Загрузка данных реализована на прямую с биржи для дневных и минутных баров (в перспективе реалтайм и тики) по выбранным на данный момент 20 инструментам биржи MOEX.

В анализе топ минутных объёмов выделяются наиболее значимые свечные бары с максимальными объёмами и оценивается сопротивление рынка данным объёмам. Параллельно формируются горизонтальные профили объёмов по ценовым уровням с отбором топовых зон и анализом направленности торгов (рост, падение, нейтрально). Такой подход обеспечивает лучшее понимание структуры ликвидности и важных уровней цены.

Прогнозирование цен осуществляется двумя основными методами: на основе временных циклов и бинарным. Для бинарного прогноза применяется шумоподавление с помощью вейвлет-преобразований, после чего временной ряд переводится в бинарную последовательность и для прогноза используются модели машинного обучения, включая деревья решений и многослойные перцептроны. Прогноз будущих колебаний цен строится с использованием рекуррентных нейронных сетей LSTM на основе сезонной компоненты, выделенной с помощью STL-декомпозиции временного ряда.

В проекте реализован анализ доминирующего направления рынка, который включает вычисление процентного соотношения акций, показавших рост или падение за торговую сессию, а также медиану изменения цены для каждой из этих групп. Этот статистический разбор дает глубокое понимание текущих рыночных тенденций и позволяет оценить силу и устойчивость доминирующего тренда, что является важным инструментом.

Для улучшения качества анализа реализованы методы очистки, нормализации данных и оптимизация объёмных вычислений, включая кэширование промежуточных результатов. Кроме того, реализован подробный статистический разбор рыночной активности: распределение появления объёмов по дням недели и часам.

В целом архитектура проекта продумана с учётом масштабируемости и адаптивности — модульная загрузка данных, настраиваемые параметры анализа и возможность лёгкой адаптации под другие биржи благодаря абстрагированию от источников данных.

Обзор аналитики от Athenix

На сегодня фреймворк выдаёт два вида графиков:

График анализа котировок 1 акции

Панель управления графиком

Справа сверху на графике есть панель управления графиком с помощью которой график можно всячески зуммировать, перемещать, делать выделения рамкой, рисовать на нём разные объекты и самое главное - если вы, например сдвинули график и хотите вернуть его быстро в первозданный вид, то есть значок домика справа, который возвращает график в исходное состояние.

Статистика активности ТОП минутных баров

Уверен, что многие, кто работает на бирже, задумывались о том в какие дни недели и часы в рамках торговой сессии стоит ожидать движения больших объёмов в рынке. Для этого в Athenix реализован подсчёт статистики по дням недели и часам. Данная статистика приводится слева сверху в заголовке графика после кода инструмента и диапазона отображаемых на первом графике дат. Например, на картинке с примером ниже видно, что на тикере SBER за данный период 70% импульсных объёмов проходит в пятницу, а по часам в интервале с 13 до 14ч, а точнее в 13:30). Это я уже делюсь наблюдениями, которые легко увидеть через Athenix.

Структура окна анализа котировок 1 акции

Моя цель в одном окне в легко читаемой форме и без нагромождения показать анализ котировки 1 тикера под разными углами. Поэтому на данный момент я разработал окно с 4 графиками, расположенными один над другим. Далее расскажу о каждом графике:

График 1-1. Стратегическая раскладка дневных баров

Первый график стратегический, на котором показывается любой заданный интервал дат. Данный график — это линии закрытия дневных баров, а также линии High и Low дневных баров. На данном графике также представлен объём за торговые сессии в виде вертикальных баров. Реализован подсчёт и вычисление ТОП 1% горизонтальных объёмов цены (до внедрения тиков пока считается по полю 'close' минутных баров), также вычисляется % баров в каждое направление и если, например более 65% баров в рост, то данный уровень показывается зеленым. Это значит, что от данного уровня откупают. Наведя курсор, получите информацию о точном объёме и уровне цены. Я реализовал профили цены так, что их можно наложить независимо в любом кол-ве на разные периоды. Например, если на графике 3 локальных тренда, то можно наложить три независимых профиля цены на каждый тренд, чтобы, например видеть, как происходит торговля на разных уровнях в разных локальных трендах.

Анализ ТОП минутных баров

Важная вещь, которую я реализовал в Athenix — это анализ импульсных проходов объёмов в рынке, который проявляется хорошо в объёмах минутных баров. Система сканирует все минутные бары и за заданный период отбирает ТОП-30 минутных баров с самым большим объёмом. Данные 30 баров для наглядности показываются на соответствующих уровнях цены.

В рамках анализа ТОП-30 минутных баров я реализовал два рейтинга:

1. Рейтинг баров по сопротивлению рынка данным объёмам. Каждому бару присваивается ранг в данном рейтинге. Смысл в том, что в два разных момента времени за минуту может пройти объём равный, например 1 млн акций, но в одном случае цена сдвинулась на 2 рубля, а во втором случае всего на 1 рубль. Это значит, что во втором случае цена встретила в 2 раза более сильное сопротивление рынка. Кстати, анализ показаний сопротивления минутных баров в одной области показывает какую сторону рынка держат сильнее и это важная информация. Для удобства аналогично реализованы всплывающие подсказки, в которых я сделал вывод важных показателей.

2. Рейтинг баров непосредственно по проведенному объёму. Здесь всё понятно - по рангу бара в рейтинге мы можем быстро понять в каких барах прошёл наибольший объём за весь анализируемый период.

На первом и втором графиках показывается по две горизонтальных линии закрытия баров — это закрытие последнего полного дневного бара и последнего минутного бара, полученного системой. Слева дневной, справа минутный. На втором графике слева на линии по мимо цены подписана дата бара, а справа по мимо цены дата и время последнего минутного бара.

График 1-2. Оперативная раскладка дневных баров

На втором графике изображены в целом те же данные, что и на первом графике, но за меньший период — это сделано для детального анализа последних торговых сессий. Второй график по оси x синхронизирован с 2 и 3 графиками, для удобства масштабирования и детального изучения показаний одновременно трёх графиков. На втором графике также реализовано с помощью STL декомпозиции временного ряда автоматическое вычисление наиболее подходящей линии тренда.

График 1-3. Сезонность (извлечено, sin основа, прогноз)

На третьем графике я реализовал работу с такой компонентой временного ряда как "сезонность", которая вычисляется с помощью STL декомпозиции. Простым языком "сезонность" — это периодически повторяющиеся колебания цены относительно тренда.

Извлечение сезонности. Система автоматически подбирает параметры STL декомпозиции так, чтобы в компоненте сезонности было как можно больше колебаний, которые наиболее подходят для прогнозирования по ним будущего изменения цены с помощью глубокого обучения. Так как тренд не прогнозируется, то я извлекаю и прогнозирую сезонность. Сразу скажу, что не всегда компонент сезонности даёт полезный и информативный участок временного ряда. Иногда, когда рынок блуждает в ожидании драйверов, в сезонности слабо прослеживаются закономерности полезные для прогнозирования.

Определение sin основы сезонности. Было такое, что, смотря на участок котировки вы заметили, что цена движется словно по синусоиде? Данное средство как раз помогает в этом и для компонента сезонности подбирает значение формулы, задающее график наиболее близкой синусоиды, которая может лежать в основе имеющегося движения цены.

Далее я привожу пример участка котировки для тикера AFKS, у которого компонент сезонности даёт высокое совпадение с определенной sin основой. Смотреть картинку ниже: голубая постоянная линия — это сезонность и серая постоянная это вычисленная sin основа. Вычисленная sin основа для сезонности транслируется дальше далее вправо по графику.

Важно: на графике показана вертикальная красная пунктирная линия — это показ даты, после которой система вычисления и прогнозирования не видит данные. После данной грани показывается прогноз, который мы можем оценить и визуально сравнить с реальным движением цены.

Кстати, для тикера AFKS за последнее время извлеченная sin снова сезонности хорошо предсказывает будущие колебания цены котировки. Смотрим изображение далее:

Прогноз сезонности. На данном третьем графике также реализован показ голубой прерывистой линией прогноза компоненты сезонности с помощью глубокого обучения, а именно с помощью модели LSTM и пакета TensorFlow 2.20. Особенности работы с данным прогнозом, которые надо понимать и помнить:

• Для прогноза автоматически из последних значений временного ряда сезонности определяется последний участок, в котором по оценке метрики есть хоть какая-то более-менее ценная закономерность, которая может быть использоваться для прогнозирования колебаний будущих значений цены. Простыми словами - в последних колебаниях цены далеко не всегда есть закономерность потому, что влияние факторов на движение цены постоянно меняется и рынок постоянно меняет своё состояние.

• Линия прогноза сезонности иногда словно перевернута по отношению к sin основе (смотрите последнюю картинку выше) — это происходит потому, что движение цены часто переворачивает цикл, которого иногда придерживается. Прогноз показывает верхний разворот, а происходит нижний — так бывает часто.

• В некоторых случаях в сезонности закономерностей нет и линия прогноза близкая к прямой.

Бинарный прогноз локальных трендов. На данном графике также реализован показ данных от ещё одной системы прогнозирования. Это цветные точки, желтого и голубого цвета, которые показывают периоды возможной смены тренда. Как читать? Три ряда точек — это три независимых бинарных прогноза, если в каком-либо из рядов сменяется цвет точек, то первая дата с новым цветом может стать началом локального тренда в обратную сторону. Прогнозируется также с помощью глубокого обучения и если в рынке есть закономерность, то прогноз возможно её выявит и покажет. На последней картинке, которая изображена выше кстати показан случай, когда бинарный прогноз более-менее точно предсказывает смену локального тренда в цене.

График 1-4. Доминирующее направление рынка

Было такое, что, работая с одной котировкой думаете о том, а что же происходит в целом с рынком на бирже MOEX? куда в основном идут котировки и есть ли сейчас глобальный драйвер, рынок идёт в одну сторону или тикеры каждый дрейфуют по-своему? А это очень важно! Если есть глобальный драйвер, то часто тикеры собираются и толпой идут в одну сторону. Доминирующее направление важно отслеживать и по старинке для этого что надо? обложится кучей графиков или, например смотреть тепловую карту биржи с красными и зелеными цветами. А как оперативно определить развесовку акций, идущих в каждую сторону и как далеко они ушли за торговую сессию?

Для этого в Athenix я реализовал анализ и вычисление показаний доминирующего направления рынка. Сейчас пока анализируется только 20 выбранных акций, а это 20 самых наиболее капиталоемких в 5 секторах экономики (пока достаточно). Для каждого тикера за каждую дату анализируется: дневной бар закрылся выше или ниже предыдущего дневного бара. Определяется для каждой даты сколько % тикеров закрылись выше и сколько ниже относительно предыдущих закрытий дневных баров. Определяется дельта рынка как показатель перекоса, например все 100% тикеров закрылись в данную дату выше предыдущей. также вычисляется для каждой из двух групп медианное изменение котировок за каждую дату. По медианному изменению цены можно понять на сколько сильные на рынок воздействуют драйверы роста и снижения рынка.

Четвёртым графиком реализован показ изменения доминирующего направления и его стат. данных. Закрашенные области это значение дельты, то есть значение перевеса % компаний, которые в данные сутки закрылись выше или ниже рынка. Аналогично для удобства есть всплывающая подсказка, в которой за каждую дату показываются стат. данные. Яркие линии зеленым и красным цветом — это показ уровней медианы изменения цены для тикеров, закрывшихся в рост и в падение на данную дату.

Очень удобно, когда, работая с одной акцией можно быстро посмотреть, что происходит с глобальным рынком биржи в эти дни.

График сводного анализа всех котировок

В Athenix я также реализовал данный график для удобного сводного мониторинга за последними 15 торговыми сессиями всех 20 тикеров. В верхней части расположен график с показом наборов данных по доминирующему направлению рынка. Практически тоже самое, что на графике анализа 1 тикера, только там показывается дельта рынка и все данные во всплывающей подсказке, а здесь показываются сразу 4 набора данных: вертикальными барами показываются % акций в росте и падении и линиями с точками медиана изменения цены в % для акций в росте и падении. Один взгляд и сразу всё понятно. Также в графике доминирующего движения для 1 акции показываются данные не включая текущую торговую сессию, а здесь включая текущую сессию и вычисление выполняется до последнего минутного бара в базе.

Наблюдение за 20 тикерами сразу

Далее в Athenix я реализовал сетку для удобного наблюдения сразу за 20 тикерами. Графики тикеров расположены в 4 строках по 5 тикеров и каждая строка это тикеры акций одного сектора. Представлены сектора: Энергетика и минеральные ресурсы, финансы, техника и авиа, несырьевые полезные ископаемые. Слева на графике у самой границы графика вертикальными подписями обозначены сектора. Рассмотрим график одного тикера:

Выше на картинке рассматривается график тикера GAZP. Слева сверху дублируется информация о ТОП 2 днях и часах, когда наиболее активные минутные бары с наибольшими объёмами. Далее идёт показатель "D: 93%" - данный показатель обозначает % торговых сессий, когда направление закрытий дневных баров тикера совпадает с доминирующим движением рынка. Прощу говоря - если у тикера показатель D: 100%, то это значит, что за последние 15 торговых сессии данный тикер закрывался всегда так же, как и доминирующее движение рынка и это значит, что тикер всегда ведётся глобальными драйверами движения рынка. В конце линии цены последний пунктирный участок это закрытие идущей торговой сессии.

Обратите внимание, что на картинке выше для тикера GAZP показано как 7 числа крупный игрок сделал закуп чуть выше 130 рублей на большую сумму и ориентировочно он же 11 числа на уровне выше 140 рублей закрыл свою позицию.

Создавая в Athenix данный график для мониторинга сразу всех тикеров я стремился сделать удобный и понятный инструмент, который будет сразу для 20 тикеров показывать появление больших объёмов как демонстрацию намерений крупных игроков рынка.

Возможности для расширения

Сотрудничество

Мне интересно сотрудничество в разработке для мониторинга биржи платформы нового уровня. Готов к диалогу. Мой логин в телеграмме: athenix_pro или писать в группе во вконтакте в личные сообщения.

Заключение

В этой статье я ставил перед собой цель рассказать миру о своём проекте Athenix. Данный проект я буду обязательно развивать и скоро будут новые функции и следующие статьи. Пока же я приглашаю всех, кто серьезно интересуется биржей MOEX посещать мою группу Вконтакте, скачивать и изучать интерактивные графики с яндекс диска. Я сам параллельно с разработкой Athenix активно слежу за биржей MOEX, генерирую графики со свежими данными и минимум 2-3 раза в неделю обновляю их в яндекс диске.