Polars이번 글에선 Python의 라이브러리인 Polars에 대해 알아보려고 한다.Polars란?Polars란 Rust 기반으로 작성된 고성능 DataFrame 라이브러리로 Python에서는 binding을 통해 사용한다.일반적으로 사용하는 Pandas보다 적은 메모리로 더 빠른 연산을 수행할 수 있고, 지연평가(Lazy Evaluation)를 사용할 수 있어 대규모 데이터 작업에 유리하다.Python Binding은 다른 프로그래밍 언어로 작성된 코드를 파이썬에서 호출할 수 있도록 연결해 주는 Interface, Polars에선 PyO3 패키지를 사용DataFrame이란 데이터를 행과 열로 구성된 2차원 표(스프레드시트와 비슷)로 정리하는 데이터 구조로 데이터 분석 및 처리에서 보편적으로 쓰이는 데..

문제 발생기존에 airflow에서 사용하던 Plugin Package(Python3.8)에서 인코딩 detect을 위한 cchardet 사용했다.하지만 airflow의 Python Version을 3.11로 올리면서 poetry update를 하던 중 에러가 발생했다.Installing cchardet (2.1.7): Failed ChefBuildError Backend subprocess exited when trying to invoke build_wheel running bdist_wheel running build running build_py creating build/lib.linux-x86_64-cpython-311/cchardet copying src/cchardet/__i..

pyenv란? GitHub - pyenv/pyenv: Simple Python version managementSimple Python version management. Contribute to pyenv/pyenv development by creating an account on GitHub.github.com pyenv은 여러 Python version들을 쉽게 교체할 수 있게 해준다. pyenv는 rbenv(ruby 버전관리)와 ruby-build를 fork해서 Python에 맞게 수정했다고 한다. pyenv는 사용자별로 Global Python version을 변경할 수 있으며 프로젝트 별 Python version을 설정할 수 있다. 또 환경변수와 함께 Python version을 재정의 할..

[Python] Poetry 설치 :: 지식이 홀쑥 [Python] Poetry 설치Poetry란?https://python-poetry.org/ Poetry - Python dependency management and packaging made easyDependency resolver Poetry comes with an exhaustive dependency resolver, which will always find a solution if it exists. And get a detailed explanation if nothinmug.tistory.com 이번 글은 poetry Usage( Basic usage | Documentation | Poetry - Python dependency m..