파이썬 Polars 기초: 대용량 데이터 초고속 처리와 pandas 비교

대용량 CSV나 여러 파일을 빠르게 집계해야 한다면 파이썬 Polars는 pandas를 대체하거나 보완할 수 있는 좋은 선택입니다. 핵심은 모든 코드를 pandas처럼 옮기는 것이 아니라, 표현식 기반 문법과 지연 실행을 활용해 필요한 열과 행만 읽고 연산하도록 설계하는 것입니다.

Polars 공식 사용자 가이드 확인하기

Polars를 선택하는 이유

Polars는 구조화된 데이터를 다루는 DataFrame 라이브러리이며 핵심 엔진이 Rust로 작성되어 있습니다. 공식 문서는 여러 CPU 코어를 자동으로 활용하고, 쿼리 최적화와 스트리밍을 통해 메모리보다 큰 데이터도 처리하는 방향을 주요 특징으로 설명합니다. 다만 실제 속도 차이는 파일 형식, 자료형, 연산 종류와 하드웨어에 따라 달라지므로 특정 배수를 일반화하면 안 됩니다.

이미 pandas로 안정적으로 처리되는 작은 파일이라면 바꿀 이유가 크지 않습니다. 반대로 수백 MB 이상 파일을 반복해서 읽거나, 조인·집계·필터가 길게 이어지고 메모리 부족이 자주 발생한다면 Polars를 검토할 가치가 있습니다.

설치와 기본 문법

pip install polars

import polars as pl

df = pl.DataFrame({
    "department": ["A", "A", "B"],
    "sales": [120, 180, 250]
})

result = (
    df.filter(pl.col("sales") >= 150)
      .with_columns((pl.col("sales") * 1.1).alias("adjusted"))
      .select("department", "sales", "adjusted")
)
print(result)

pl.col()은 특정 열을 가리키는 표현식입니다. 즉시 값을 꺼내 순회하는 방식이 아니라, 어떤 연산을 할지 선언하면 Polars가 실행 계획을 구성합니다. 새 열은 with_columns(), 행 조건은 filter(), 출력 열은 select()로 분리하면 흐름을 읽기 쉽습니다.

그룹 집계와 조인

summary = (
    df.group_by("department")
      .agg([
          pl.col("sales").sum().alias("total_sales"),
          pl.col("sales").mean().alias("avg_sales")
      ])
      .sort("total_sales", descending=True)
)

여러 집계는 리스트로 한 번에 선언할 수 있습니다. 조인은 left.join(right, on="key", how="left")처럼 작성하지만, 양쪽 키의 자료형이 다르면 오류나 예상 밖의 결과가 생길 수 있으므로 조인 전에 schema를 확인하세요.

대용량 처리의 핵심은 scan과 지연 실행입니다

query = (
    pl.scan_csv("sales_*.csv")
      .filter(pl.col("status") == "paid")
      .select("customer_id", "amount")
      .group_by("customer_id")
      .agg(pl.col("amount").sum().alias("total"))
)

result = query.collect()

read_csv()는 파일을 즉시 읽지만 scan_csv()는 지연 실행 계획을 만듭니다. 마지막 collect() 시점에 실제 연산이 수행되며, 엔진은 사용하지 않는 열을 읽지 않거나 필터를 앞당기는 최적화를 적용할 수 있습니다. 중간 결과를 확인하려고 매 단계마다 collect()하면 장점을 줄일 수 있습니다.

스트리밍을 사용할 때

전체 결과를 메모리에 올리기 어려울 때 스트리밍 실행을 검토할 수 있습니다. 다만 모든 연산이 동일하게 스트리밍되는 것은 아니고 정렬이나 일부 조인은 전체 데이터 상태가 필요할 수 있습니다. 처리 전 explain()으로 실행 계획을 확인하고, 작은 표본으로 결과가 맞는지 검증한 뒤 전체 파일에 적용하세요.

Polars와 pandas 판단표

실무에서는 입력·전처리·집계를 Polars로 처리하고, 최종 소량 결과만 pandas나 시각화 도구로 넘기는 혼합 방식도 효율적입니다. 변환 비용이 있으므로 대용량 원본 전체를 반복 변환하지 말고 경계 지점에서 한 번만 바꾸는 것이 좋습니다.

실수 방지 체크리스트

• 설치한 Polars 버전과 공식 문서 버전이 맞는지 확인합니다.
• 조인 키, 날짜, 범주형 열의 자료형을 먼저 확인합니다.
• 대용량 파일은 read_*보다 scan_* 가능 여부를 봅니다.
• 파이썬 반복문과 map_elements보다 내장 표현식을 우선합니다.
• null과 NaN을 같은 값으로 가정하지 않습니다.
• 처리 속도만 보지 말고 결과 행 수와 합계를 원본과 대조합니다.
• 운영 전 작은 표본 데이터로 단위 테스트를 만듭니다.

공식 출처

• Polars 사용자 가이드
• Polars Python API Reference

공식 문서 확인일: 2026년 9월 5일. 라이브러리 API는 업데이트될 수 있으므로 실행 환경의 버전 문서를 함께 확인하세요.