Здравствуйте! Меня зовут Максим — я Senior Data Engineer, и мне нравится максимально автоматизировать все в своей работе. Последние несколько лет я активно перевожу проекты с устаревшей системы SAS на Databricks. Мне часто приходится сравнивать разные таблицы, и у меня уже есть многочисленные наработки для этого.

Однако недавно возникла необходимость сравнить данные в двух файлах Excel или файле Excel и CSV. Поскольку результатом работы скрипта в SAS был Excel, а по умолчанию таблица из Databricks может быть выгружена в CSV. Прототип был на Databricks, с помощью Python можно загружать Excel в таблицы и также сравнивать.

Из минусов — получаем таблицу, в которой невозможно выделить отличающиеся ячейки. Поэтому возникла идея: а что если создать простой сайт сравнения, который будет более удобен для этой задачи и может использоваться также бизнес пользователями.

Меня вдохновил продукт с открытым исходным кодом PondPilot, который может легко открывать различные файлы таблиц в браузере, но мне не хватало функциональности, и к тому же нужно было понимать синтаксис Duck SQL.

Так родился мой довольно простой, но удобный проект MaksPilot, который на данный момент решает следующие задачи:

Можно сравнивать Excel и Excel или Excel и CSV. Есть поддержка Excel с вкладками.

• Обработка файлов полностью в браузере (ни один байт не уходит на сервер).

• Распознает разные разделители (;, ,, \t) и кодировки

• Распознает разные форматы дат (01-May-2025, 01.01.25, 01/01/25, 2025–01–01 и т. д.) и приводит их к единому формату.

• Приводит числа 17 и 17.0 к единому формату.

• Округляет десятичные числа до двух знаков после запятой для сравнения.

• Переводит все столбцы в верхний регистр перед сравнением.

• Возможно исключить столбцы из сравнения.

Как сравнить два файла Excel или CSV с помощью MaksPilot

1 - Откройте сайт MaksPilot в любом современном браузере на вашем компьютере.

2 - Выберите два файла Excel или CSV; если в Excel несколько вкладок, выберите нужную. В настоящее время существует ограничение на количество строк и столбцов, так как ресурсы браузера ограничены, но если проект востребован, то можно увеличить размеры файлов для сравнения.

3 - Под файлом отображаются несколько строк из файла, чтобы убедиться, что вы выбрали нужный файл.

4 - Нажмите на кнопку - Compare.

5 - Вверху находится итоговая сводная таблица, в которой отображается количество строк в каждом файле, количество строк, которые совпадают и не совпадают, а также столбцы, которые есть в одном файле, но отсутствуют в другом.

6 - Ниже находится поле, в которое можно ввести список столбцов и исключить их из сравнения.

7 - Ниже мы видим таблицу с подробными результатами. Строки сгруппированы, а различия выделены, что позволяет быстро находить несоответствия.

Оранжевые линии — это те, которые есть только в одной таблице. Красные — те, которые имеют различия; они сгруппированы, а зеленые показывают то, что похоже. Белые — те, которые присутствуют в двух таблицах.

8 - Под заголовком каждого столбца есть фильтр.

9 - Также есть фильтр для строк, которые можно скрыть в нижней таблице:

Я сделал простой инструмент с понятным интерфейсом, который помогает экономить время при сравнении файлов Excel и CSV. Буду рад, если он также будет полезен для вас.

Оставляйте свои пожелания и комментарии под этим постом.