Polars에서 Data Type과 Structure데이터 타입Polars는 다양한 데이터 타입을 지원하며 모든 결측값을 NaN이 아닌 null로 표현한다.숫자 데이터 타입Signed Integers(부호가 있는 정수)Int8, -128~127Int16, -32768 ~ 32767Int32, -2147483648 ~ 2147483647Int64, -9223372036854775808 ~ 9223372036854775807Unsigned Integers(부호가 없는 정수)UInt8, 0 ~ 255UInt16, 0 ~ 65535UInt32, 0 ~ 4264967295UInt64, 0 ~ 18446744073709551615Floating point numbers(부동소수점)Float32, 단정밀도Float6..

Polars이번 글에선 Python의 라이브러리인 Polars에 대해 알아보려고 한다.Polars란?Polars란 Rust 기반으로 작성된 고성능 DataFrame 라이브러리로 Python에서는 binding을 통해 사용한다.일반적으로 사용하는 Pandas보다 적은 메모리로 더 빠른 연산을 수행할 수 있고, 지연평가(Lazy Evaluation)를 사용할 수 있어 대규모 데이터 작업에 유리하다.Python Binding은 다른 프로그래밍 언어로 작성된 코드를 파이썬에서 호출할 수 있도록 연결해 주는 Interface, Polars에선 PyO3 패키지를 사용DataFrame이란 데이터를 행과 열로 구성된 2차원 표(스프레드시트와 비슷)로 정리하는 데이터 구조로 데이터 분석 및 처리에서 보편적으로 쓰이는 데..

이번 게시글은 Python에서 JSON을 직렬화, 역직렬화 하는 패키지들을 비교해보려고 한다.TL;DR일반적인 사용 -> json속도와 성능 -> orjsonMessagePack을 사용하거나 타입 검증이 필요 -> msgspecujson -> 비추천(신규개발 중단)JSON이란?JSON(JavaScript Object Notation)은 Javascript 객체 문법으로 구조화된 데이터를 표현하기 위한 문자 기반의 표준 포맷이다.비록 Javascript 객체 문법이지만, 문자 기반이기에 다양한 플랫폼 및 프로그래밍 언어에서 사용할 수 있다.# JSON 예시{ "key1" : "value1", "key2" : "value2", "key3" : { "child_key_1" : "value3..

문제 발생기존에 airflow에서 사용하던 Plugin Package(Python3.8)에서 인코딩 detect을 위한 cchardet 사용했다.하지만 airflow의 Python Version을 3.11로 올리면서 poetry update를 하던 중 에러가 발생했다.Installing cchardet (2.1.7): Failed ChefBuildError Backend subprocess exited when trying to invoke build_wheel running bdist_wheel running build running build_py creating build/lib.linux-x86_64-cpython-311/cchardet copying src/cchardet/__i..

pyenv란? GitHub - pyenv/pyenv: Simple Python version managementSimple Python version management. Contribute to pyenv/pyenv development by creating an account on GitHub.github.com pyenv은 여러 Python version들을 쉽게 교체할 수 있게 해준다. pyenv는 rbenv(ruby 버전관리)와 ruby-build를 fork해서 Python에 맞게 수정했다고 한다. pyenv는 사용자별로 Global Python version을 변경할 수 있으며 프로젝트 별 Python version을 설정할 수 있다. 또 환경변수와 함께 Python version을 재정의 할..

Rocky9을 WSL에 설치하고, 사용하려고 하니 터미널이 너무 이쁘지가 않아 쉘 프롬프트를 고민하던 중 이전에 소개받은 Starship이 생각나 설치하여 사용해보려고 한다.Starship이란? Starship: Cross-Shell PromptStarship is the minimal, blazing fast, and extremely customizable prompt for any shell! Shows the information you need, while staying sleek and minimal. Quick installation available for Bash, Fish, ZSH, Ion, Tcsh, Elvish, Nu, Xonsh, Cmd, and Powershell.starship..

Rocky Linux란?Rocky Linux란 Red Hat Enterprise Linux(RHEL) 기반의 무료 오픈소스 OS이다.Red Hat이 CentOS의 지원을 중단하고 배포버전같은 CentOS Stream으로의 전환을 발표하자 CentOS의 창립자인 Gregory Kurtzer가 RHEL의 rebuild 버전을 만들 것이라고 발표했고, 초기 CentOS 공동 설립자 Rocky McGaugh의 이름을 기리기 위해 Rocky Linux로 명명되었다.Rocky Linux는 RHEL과 1:1 대응되며, 안정성과 보안성에 중점을 두어 커뮤니티가 지원하는 운영 환경 등급의 기업 운영 체제를 제공하는 것이 목표이며 CentOS의 후속작으로 여겨진다. 현재 Rocky9, 코드네임 Blue Onyx이 나와 있..

[Python] Poetry 설치 :: 지식이 홀쑥 [Python] Poetry 설치Poetry란?https://python-poetry.org/ Poetry - Python dependency management and packaging made easyDependency resolver Poetry comes with an exhaustive dependency resolver, which will always find a solution if it exists. And get a detailed explanation if nothinmug.tistory.com 이번 글은 poetry Usage( Basic usage | Documentation | Poetry - Python dependency m..