Pandas, Polars или DuckDB: одна задача, три решения и честная проверка

Одинаковые шесть заказов и правила подсчёта. Сравниваем способы записи и выполнения, не выдумывая универсального победителя по скорости.

Кодик

Автор

5 мин чтения

Сравнение библиотек полезно, когда задача, входные данные и ожидаемый результат одинаковы. Иначе можно незаметно сравнить загрузку файла с уже готовой таблицей или обработку разных типов. Начнём с правильности маленького отчёта, затем обсудим, что действительно стоит измерять на своём объёме.

Три инструмента сравниваются на одном контракте и одинаковом результате, без выдуманного бенчмарка.

Три инструмента сравниваются на одном контракте и одинаковом результате, без выдуманного бенчмарка.

Все данные ниже учебные. Нужно посчитать сумму оплаченных заказов по клиентам и отсортировать её по убыванию. Денежные величины целые, в минимальных единицах. Строки со статусом cancelled исключаются. В статье нет собственного сравнительного замера скорости: примеры проверяют одинаковый результат.

Зафиксируйте данные и ожидаемый ответ

Сохраните один orders.csv, которым будут пользоваться все три варианта. Каждая строка означает заказ, а не отдельную позицию. Дополнительные комиссии, возвраты и несколько валют в этот набор не включены.

order_id,customer,status,amount_cents
o1,alice,paid,1200
o2,bob,paid,1800
o3,alice,cancelled,900
o4,alice,paid,800
o5,bob,paid,400
o6,caro,paid,500

Проверенный вручную ответ: Bob 2200, Alice 2000, Caro 500. Общая сумма оплаченных заказов 4700. Если библиотека вернула другое, сначала исследуйте фильтр, типы и состав строк. Переход к другой библиотеке не исправляет неверный смысл показателя.

Сделайте отдельное окружение для учебного сравнения и зафиксируйте версии. Ниже используются обычные публичные операции библиотек, но поведение и возможности конкретной версии всё равно нужно сверять с её документацией.

Вариант на Pandas

import pandas as pd

df = pd.read_csv("orders.csv", dtype={"amount_cents": "int64"})
result = (
    df.loc[df["status"].eq("paid")]
      .groupby("customer", as_index=False)["amount_cents"].sum()
      .sort_values(["amount_cents", "customer"], ascending=[False, True])
)
assert list(result.itertuples(index=False, name=None)) == [
    ("bob", 2200), ("alice", 2000), ("caro", 500)
]

Выражение читается как последовательная работа с DataFrame: выбор строк, группировка, сумма, сортировка. Pandas часто удобен рядом с исследовательским Python-кодом и привычной экосистемой анализа. Это описание сценария использования, а не обещание лучшей скорости для любого файла.

Разберитесь, какие промежуточные объекты создаются и какие типы имеют столбцы. Удобный интерактивный стиль не отменяет проверки памяти и копирований на настоящем объёме. Пустые значения и строковые числа нужно обрабатывать по выбранному контракту, одинаковому во всех вариантах.

Вариант на Polars

import polars as pl

result = (
    pl.scan_csv("orders.csv", schema_overrides={"amount_cents": pl.Int64})
      .filter(pl.col("status") == "paid")
      .group_by("customer")
      .agg(pl.col("amount_cents").sum())
      .sort(["amount_cents", "customer"], descending=[True, False])
      .collect()
)
assert result.rows() == [
    ("bob", 2200), ("alice", 2000), ("caro", 500)
]

Здесь scan_csv строит ленивый план, а collect запускает вычисление. Это различие существенно для сравнения: измерять только построение плана и объявлять результат временем всего расчёта некорректно. Планирование и оптимизации полезны, но сравнивать нужно завершённый одинаковый результат.

Порядок групп без сортировки не следует считать бизнес-контрактом. Поэтому в примере сортировка указана явно, включая дополнительный ключ при равных суммах. Это позволяет проверять таблицы по содержимому и порядку без случайных различий.

Вариант на DuckDB

import duckdb

result = duckdb.sql("""
    SELECT customer, SUM(amount_cents)::BIGINT AS amount_cents
    FROM read_csv('orders.csv', header=true)
    WHERE status='paid'
    GROUP BY customer
    ORDER BY amount_cents DESC, customer
""").fetchall()
assert result == [("bob", 2200), ("alice", 2000), ("caro", 500)]

Этот вариант близок тем, кому удобнее SQL и прямые запросы к файлам. В учебном наборе тип суммы распознаётся корректно; для менее однородных данных задайте схему явно. Движок работает в процессе, отдельный сервер для такого запроса не требуется.

Все варианты выполнили одно смысловое действие. Отличается язык выражения и организация выполнения. Если задача включается в уже работающий проект, стоимость перехода и совместимость окружения могут быть важнее небольшого выигрыша одного запроса.

Как сравнить производительность честно

Определите, измеряется ли чтение с диска, преобразование уже загруженных данных или вся цепочка с экспортом. Укажите объём, типы, число потоков, версии и оборудование. Выполните несколько запусков и сохраните результаты, отдельно различая первый и последующие. Не переносите цифру с чужого компьютера на свой проект как гарантию.

Проверяйте одинаковый ответ после каждого варианта. Ускорение, полученное из-за потерянных строк или другой обработки пропусков, не является улучшением. Для памяти тоже нужен понятный способ измерения, а не сравнение произвольных показаний разных процессов.

На шести строках накладные расходы легко доминируют над полезной работой. Этот набор нужен для правильности. Производительность исследуйте на репрезентативной разрешённой выборке, сохранив контрольные суммы и ограничения данных.

Как выбрать для следующей задачи

Если работа уже построена вокруг DataFrame и библиотек Python, начните с проверки существующего решения Pandas. Если нужен ленивый выраженный план табличных преобразований, изучите Polars. Если основная мысль удобнее формулируется SQL-запросом к файлам и соединениям, попробуйте DuckDB.

Эти направления не запрещают сочетание. Однако перенос между представлениями тоже требует времени и памяти. Не стройте цепочку конвертаций ради модных названий. Выберите границы, где каждый инструмент решает понятную задачу.

Самопроверка

  1. Polars построил план, но collect не вызван. Измерен полный расчёт? Нет, вычисление результата ещё не подтверждено.
  2. Один вариант включил отменённый заказ. Можно ли сравнивать его скорость с остальными? Сначала исправьте смысловую эквивалентность.
  3. Почему нужна явная сортировка? Она делает порядок результата частью проверяемого контракта, включая равные суммы.

Частые вопросы

Какой инструмент самый быстрый? Без задачи, объёма и условий измерения такой ответ не обоснован.

Нужно ли переписывать всё на новый инструмент? Сначала найдите реальное ограничение и проверьте небольшой участок с одинаковым ответом.

SQL и DataFrame дают разные данные? Они могут выражать один расчёт, но типы, пропуски и соединения нужно согласовать явно.

Откройте Кодик, чтобы посмотреть доступные учебные направления и выбрать подходящий маршрут. Повторите три решения на одном наборе, затем измените одно правило и проверьте, что все варианты меняются одинаково.

Проверенные источники