Сравнение библиотек полезно, когда задача, входные данные и ожидаемый результат одинаковы. Иначе можно незаметно сравнить загрузку файла с уже готовой таблицей или обработку разных типов. Начнём с правильности маленького отчёта, затем обсудим, что действительно стоит измерять на своём объёме.
Три инструмента сравниваются на одном контракте и одинаковом результате, без выдуманного бенчмарка.
Все данные ниже учебные. Нужно посчитать сумму оплаченных заказов по клиентам и отсортировать её по убыванию. Денежные величины целые, в минимальных единицах. Строки со статусом cancelled исключаются. В статье нет собственного сравнительного замера скорости: примеры проверяют одинаковый результат.
Зафиксируйте данные и ожидаемый ответ
Сохраните один orders.csv, которым будут пользоваться все три варианта. Каждая строка означает заказ, а не отдельную позицию. Дополнительные комиссии, возвраты и несколько валют в этот набор не включены.
order_id,customer,status,amount_cents
o1,alice,paid,1200
o2,bob,paid,1800
o3,alice,cancelled,900
o4,alice,paid,800
o5,bob,paid,400
o6,caro,paid,500
Проверенный вручную ответ: Bob 2200, Alice 2000, Caro 500. Общая сумма оплаченных заказов 4700. Если библиотека вернула другое, сначала исследуйте фильтр, типы и состав строк. Переход к другой библиотеке не исправляет неверный смысл показателя.
Сделайте отдельное окружение для учебного сравнения и зафиксируйте версии. Ниже используются обычные публичные операции библиотек, но поведение и возможности конкретной версии всё равно нужно сверять с её документацией.
Вариант на Pandas
import pandas as pd
df = pd.read_csv("orders.csv", dtype={"amount_cents": "int64"})
result = (
df.loc[df["status"].eq("paid")]
.groupby("customer", as_index=False)["amount_cents"].sum()
.sort_values(["amount_cents", "customer"], ascending=[False, True])
)
assert list(result.itertuples(index=False, name=None)) == [
("bob", 2200), ("alice", 2000), ("caro", 500)
]
Выражение читается как последовательная работа с DataFrame: выбор строк, группировка, сумма, сортировка. Pandas часто удобен рядом с исследовательским Python-кодом и привычной экосистемой анализа. Это описание сценария использования, а не обещание лучшей скорости для любого файла.
Разберитесь, какие промежуточные объекты создаются и какие типы имеют столбцы. Удобный интерактивный стиль не отменяет проверки памяти и копирований на настоящем объёме. Пустые значения и строковые числа нужно обрабатывать по выбранному контракту, одинаковому во всех вариантах.
Вариант на Polars
import polars as pl
result = (
pl.scan_csv("orders.csv", schema_overrides={"amount_cents": pl.Int64})
.filter(pl.col("status") == "paid")
.group_by("customer")
.agg(pl.col("amount_cents").sum())
.sort(["amount_cents", "customer"], descending=[True, False])
.collect()
)
assert result.rows() == [
("bob", 2200), ("alice", 2000), ("caro", 500)
]
Здесь scan_csv строит ленивый план, а collect запускает вычисление. Это различие существенно для сравнения: измерять только построение плана и объявлять результат временем всего расчёта некорректно. Планирование и оптимизации полезны, но сравнивать нужно завершённый одинаковый результат.
Порядок групп без сортировки не следует считать бизнес-контрактом. Поэтому в примере сортировка указана явно, включая дополнительный ключ при равных суммах. Это позволяет проверять таблицы по содержимому и порядку без случайных различий.
Вариант на DuckDB
import duckdb
result = duckdb.sql("""
SELECT customer, SUM(amount_cents)::BIGINT AS amount_cents
FROM read_csv('orders.csv', header=true)
WHERE status='paid'
GROUP BY customer
ORDER BY amount_cents DESC, customer
""").fetchall()
assert result == [("bob", 2200), ("alice", 2000), ("caro", 500)]
Этот вариант близок тем, кому удобнее SQL и прямые запросы к файлам. В учебном наборе тип суммы распознаётся корректно; для менее однородных данных задайте схему явно. Движок работает в процессе, отдельный сервер для такого запроса не требуется.
Все варианты выполнили одно смысловое действие. Отличается язык выражения и организация выполнения. Если задача включается в уже работающий проект, стоимость перехода и совместимость окружения могут быть важнее небольшого выигрыша одного запроса.
Как сравнить производительность честно
Определите, измеряется ли чтение с диска, преобразование уже загруженных данных или вся цепочка с экспортом. Укажите объём, типы, число потоков, версии и оборудование. Выполните несколько запусков и сохраните результаты, отдельно различая первый и последующие. Не переносите цифру с чужого компьютера на свой проект как гарантию.
Проверяйте одинаковый ответ после каждого варианта. Ускорение, полученное из-за потерянных строк или другой обработки пропусков, не является улучшением. Для памяти тоже нужен понятный способ измерения, а не сравнение произвольных показаний разных процессов.
На шести строках накладные расходы легко доминируют над полезной работой. Этот набор нужен для правильности. Производительность исследуйте на репрезентативной разрешённой выборке, сохранив контрольные суммы и ограничения данных.
Как выбрать для следующей задачи
Если работа уже построена вокруг DataFrame и библиотек Python, начните с проверки существующего решения Pandas. Если нужен ленивый выраженный план табличных преобразований, изучите Polars. Если основная мысль удобнее формулируется SQL-запросом к файлам и соединениям, попробуйте DuckDB.
Эти направления не запрещают сочетание. Однако перенос между представлениями тоже требует времени и памяти. Не стройте цепочку конвертаций ради модных названий. Выберите границы, где каждый инструмент решает понятную задачу.
Самопроверка
- Polars построил план, но
collectне вызван. Измерен полный расчёт? Нет, вычисление результата ещё не подтверждено. - Один вариант включил отменённый заказ. Можно ли сравнивать его скорость с остальными? Сначала исправьте смысловую эквивалентность.
- Почему нужна явная сортировка? Она делает порядок результата частью проверяемого контракта, включая равные суммы.
Частые вопросы
Какой инструмент самый быстрый? Без задачи, объёма и условий измерения такой ответ не обоснован.
Нужно ли переписывать всё на новый инструмент? Сначала найдите реальное ограничение и проверьте небольшой участок с одинаковым ответом.
SQL и DataFrame дают разные данные? Они могут выражать один расчёт, но типы, пропуски и соединения нужно согласовать явно.
Откройте Кодик, чтобы посмотреть доступные учебные направления и выбрать подходящий маршрут. Повторите три решения на одном наборе, затем измените одно правило и проверьте, что все варианты меняются одинаково.
