Как выбрать DuckDB: практическое руководство с примерами кода для аналитиков и разработчиков

В мире обработки данных, где доминируют тяжеловесные клиент-серверные СУБД, DuckDB появляется как свежий ветер. Это встраиваемая аналитическая СУБД, созданная для скорости выполнения сложных запросов прямо на месте, без необходимости развертывания отдельного сервера. Ее сравнивают с SQLite для аналитики. Но как понять, что она подходит именно для вашего проекта? Давайте разберемся, оценив ключевые сценарии использования и протестировав ее на практике с помощью кода.

Первый и главный вопрос: когда DuckDB — это правильный выбор? Идеальные кандидаты — это приложения для аналитики данных, интерактивного исследования (например, в Jupyter Notebook), ETL-пайплайны и встроенная аналитика в десктопных или серверных приложениях. Если ваша задача — быстро выполнить агрегацию по CSV-файлу весом в несколько гигабайт, соединить десяток паркет-файлов или предоставить мощный SQL-движок внутри вашего Python-скрипта, DuckDB блестяще справится. Однако, для многопользовательских OLTP-систем с высокой конкурентной записью или для распределенных кластерных вычислений на петабайтах данных стоит посмотреть в сторону традиционных серверных или облачных решений.

Одним из ключевых преимуществ DuckDB является ее невероятная простота начала работы. Установка сводится к установке пакета. Давайте рассмотрим базовый пример на Python.

import duckdb
Подключение может быть создано к файлу (как у SQLite) или прямо в памяти.
conn = duckdb.connect('my_database.duckdb')
Теперь мы можем выполнять запросы. Создадим таблицу и вставим данные.
conn.execute("CREATE TABLE users (id INTEGER, name VARCHAR, score FLOAT)")
conn.execute("INSERT INTO users VALUES (1, 'Alice', 95.5), (2, 'Bob', 87.3)")
А теперь выполним аналитический запрос.
result = conn.execute("SELECT name, AVG(score) as avg_score FROM users GROUP BY name").fetchall()
print(result)
Но настоящая сила DuckDB раскрывается при работе с внешними данными. Она может читать данные напрямую из CSV, Parquet и JSON-файлов, без необходимости их предварительной загрузки в базу.
Считаем агрегацию прямо из CSV.
csv_result = conn.execute("""
 SELECT region, SUM(sales) as total_sales
 FROM 'sales_data.csv'
 WHERE year = 2023
 GROUP BY region
""").fetchdf()  Используем fetchdf для получения результата как DataFrame Pandas
print(csv_result.head())

DuckDB отлично интегрируется в экосистему Python для анализа данных. Она может напрямую работать с Pandas DataFrame, Arrow таблицами и даже выступать как замена pd.read_csv для больших файлов. Рассмотрим более сложный пример ETL-пайплайна.

Предположим, у нас есть несколько паркет-файлов с логами, и мы хотим создать ежедневный отчет.
Создаем материализованное представление, которое будет виртуально объединять данные из всех файлов.
conn.execute("""
 CREATE VIEW daily_logs AS
 SELECT *,
 date_trunc('day', event_timestamp) as event_date
 FROM read_parquet('logs/day=*/part-*.parquet')
""")
Теперь мы можем запрашивать это представление, как обычную таблицу. DuckDB оптимизирует запрос и будет читать только те файлы и столбцы, которые нужны.
daily_summary = conn.execute("""
 SELECT event_date,
 COUNT(*) as total_events,
 COUNT(DISTINCT user_id) as unique_users,
 SUM(CASE WHEN severity = 'ERROR' THEN 1 ELSE 0 END) as errors
 FROM daily_logs
 WHERE event_date >= CURRENT_DATE - INTERVAL '7 days'
 GROUP BY event_date
 ORDER BY event_date
""").fetchdf()
Этот код выполняется невероятно быстро, даже если исходные данные разбросаны по сотням файлов.

Для продвинутых пользователей DuckDB предлагает мощные возможности, такие как оконные функции, поддержка географических данных, расширения (например, для работы с http-запросами или Excel) и векторные операции. Важно понимать ее ограничения: управление правами доступа минимально, механизмы репликации «из коробки» отсутствуют, а конкурентная запись может стать узким местом при высокой нагрузке.

Итак, выбирайте DuckDB, если вам нужен легковесный, невероятно быстрый SQL-движок для аналитики на одном узле, который бесшовно интегрируется в ваше приложение или скрипт. Начните с простого запроса к CSV-файлу, и вы, вероятно, будете приятно удивлены ее элегантностью и мощью. Для долгосрочных, критически важных проектов всегда проводите нагрузочное тестирование на своих данных, чтобы убедиться, что производительность соответствует ожиданиям.