DuckDB позволяет выполнять аналитические SQL-запросы внутри процесса и читать файлы без отдельного постоянно работающего сервера базы. Для первого знакомства удобно взять маленький набор, результат которого проверяется вручную. Так вы отделите изучение запроса от проблем доступа к большой рабочей системе.
Аналитический запрос к шести заказам проверяется вручную до соединения со справочником.
Ниже все имена, заказы и суммы вымышлены. Денежные величины записаны целыми минимальными единицами. Пример показывает чтение и анализ, не заменяет операционную систему учёта и не доказывает превосходство по скорости над другими инструментами.
Подготовьте CSV с понятной строкой
Сохраните файл orders.csv в отдельном учебном каталоге. Каждая строка означает один заказ; order_id должен быть уникален. Если вместо заказов у вас позиции заказа, такая же сумма строк может означать другой показатель. Сначала определите смысл строки, затем пишите агрегирование.
order_id,customer,status,amount_cents
o1,alice,paid,1200
o2,bob,paid,1800
o3,alice,cancelled,900
o4,alice,paid,800
o5,bob,paid,400
o6,caro,paid,500
В нашем учебном контракте amount_cents содержит сумму заказа, paid обозначает оплаченные, cancelled исключаются из расчёта. Это правила примера. В реальном наборе нужно выяснить смысл возвратов, частичных оплат и валют, а не считать все положительные числа выручкой.
Создайте отдельное Python-окружение и установите официальный пакет DuckDB по текущей инструкции проекта. Запишите используемую версию. Не устанавливайте зависимости поверх рабочего приложения только ради эксперимента и не подставляйте production-файл с личными данными в публичный учебный разбор.
Прочитайте файл с явными типами
import duckdb
con = duckdb.connect()
rows = con.execute("""
SELECT customer, SUM(amount_cents) AS total_cents
FROM read_csv(?, header=true, columns={
'order_id': 'VARCHAR', 'customer': 'VARCHAR',
'status': 'VARCHAR', 'amount_cents': 'BIGINT'
})
WHERE status = 'paid'
GROUP BY customer
ORDER BY total_cents DESC, customer
""", ["orders.csv"]).fetchall()
assert rows == [("bob", 2200), ("alice", 2000), ("caro", 500)]
Подключение без имени файла создаёт базу в памяти для этого процесса. Данные CSV читаются запросом; мы не создаём сетевой сервер. Параметр пути передаётся отдельно, а не вставляется в SQL строковой конкатенацией. Это полезная привычка при работе с входными значениями.
Явная схема предотвращает часть неверных догадок об идентификаторах и суммах. Например, код клиента с ведущими нулями обычно должен оставаться строкой. Автоматическое распознавание удобно, но его результат нужно проверять, особенно когда первые строки не отражают весь файл.
Проверьте ответ без программы
У Bob два оплаченных заказа: 1800+400=2200. У Alice оплачены 1200 и 800, вместе 2000; отменённые 900 не включаются. У Caro один оплаченный заказ на 500. Общая сумма оплаченных заказов равна 4700 минимальных единиц.
Если получили 5600, вероятно, забыли фильтр и включили отменённый заказ. Если Alice неожиданно получила 4000, исследуйте дубли или соединение с неуникальным справочником. Понимание маленького ответа помогает искать ошибку в логике, а не только в синтаксисе.
Добавьте JSON-справочник
Создайте customers.json:
[
{"customer":"alice","region":"north"},
{"customer":"bob","region":"south"},
{"customer":"caro","region":"north"}
]
Теперь можно соединить заказы со справочником через JOIN read_json(?) AS c ON o.customer=c.customer. Полный запрос сохраняет фильтр o.status='paid', группирует по c.region и суммирует o.amount_cents. В учебном результате north получает 2500, south - 2200.
До соединения проверьте уникальность customer в справочнике. Если для Bob случайно есть две строки, его заказы размножатся. SQL выполнится успешно и даст неверный бизнес-результат. Не используйте DISTINCT как случайное лекарство, не разобрав, где и почему появился дубль.
Различайте пустоту и неизвестное значение
Пустая сумма, отсутствующий клиент и неизвестный статус требуют явного правила. Нужно ли отклонить строку, вынести её в отдельный отчёт или заполнить по подтверждённому источнику? Решение должно соответствовать смыслу данных. Безусловно заменить неизвестную сумму нулём значит изменить показатель.
Проверьте число прочитанных строк, число уникальных заказов, набор статусов и сумму до фильтра и после него. Такие простые сверки часто обнаруживают ошибку раньше красивой диаграммы. Сохраните SQL рядом с описанием источника и выбранных правил.
Если файл большой, исследуйте план запроса и подходящий формат хранения. Но сначала получите правильный ответ на контролируемом наборе. Быстрый запрос к неверно понятым данным не становится полезной аналитикой.
Сохраните воспроизводимый результат
Запишите версию библиотеки, схему файла, дату получения и точный запрос. Экспортируйте результат в отдельный файл, не перезаписывая исходник. Укажите единицы в названии столбца, например total_cents, чтобы дальнейший читатель не принял 2200 за рубли, если это копейки или иные минимальные единицы.
Для повторяющегося отчёта добавьте проверку ожидаемых полей и понятную ошибку при изменении схемы. Не проглатывайте сбой чтения и не показывайте старый результат как свежий. Дата формирования и источник должны оставаться видимыми.
Упражнения и ответы
- Сколько оплаченных заказов в файле? Пять. Общая сумма 4700.
- Какова оплаченная сумма региона north? Alice 2000+Caro 500=2500 при уникальном справочнике.
- Что произойдёт, если строку Bob продублировать в справочнике? При обычном соединении каждая его запись встретится дважды, и сумма по нему удвоится.
Частые вопросы
Нужен ли сервер DuckDB? Для показанного сценария нет, движок работает внутри Python-процесса.
Нужно ли импортировать CSV в постоянную таблицу? Не обязательно: можно читать файл непосредственно в запросе. Постоянное хранение выбирают по задаче.
DuckDB заменяет PostgreSQL в любом приложении? Нет. Аналитика локальных файлов и многопользовательский сервер транзакций имеют разные требования.
Откройте Кодик, чтобы посмотреть доступные учебные направления и выбрать подходящий маршрут. Начните с ручной сверки маленькой таблицы, затем переходите к настоящим разрешённым источникам.
