여분의 해마

pandas와 다르게, index가 포함되지 않고 저장됨 # 기본 코드 df.write_csv("파일명.csv") 판다스는 인코딩을 특정해서 저장할 수 있지만, polars는 현재(2023-11-21) 지원하지 않음 대신, 계속 업데이트 중이라서 최근 `include_bom` 변수로 윈도우의 인코딩을 지원할 수 있게 되었음 (polars 0.19.15 버전 기준) https://github.com/pola-rs/polars/pull/12253 df.write_csv("파일명.csv", include_bom=True) 이외의 파라미터는 공식홈페이지를 참고 아래는 단순 번역한 내용임 (최신 라이브러리라서, 계속 변경될 가능성이 높음) parameter: - file (파일): 결과가 기록될 파일 경로 또는 ..

모두 null값이 없는 컬럼이라면 아래와 같이 사용할 수 있음 df = df.with_columns(새컬럼 = pl.col('참조컬럼1') + pl.col('참조컬럼2')) null값이 존재하는 행을 처리하려면 when, then, otherwise 사용 df = df.with_columns(새컬럼 = pl.when(pl.col('참조컬럼2') != None).then(pl.col('참조컬럼1') + pl.col('참조컬럼2')).otherwise(None)) 참조컬럼2에 null(None)이 아니면 (when) 참조컬럼1+참조컬럼2의 값을 기입(then) 참조컬럼2에 null(None)이면 (when) 참조컬럼1+참조컬럼2의 값이 아니라(otherwise) None을 기입 apply(=map_eleme..

csv 파일을 읽어올 때, 특정 문자열을 None으로 바꾸기 df = pl.read_csv("data.csv", dtype=str, na_values=["", " "]) 참고: stackoverflow df = pl.read_csv("test.csv", infer_schema_length=0).with_columns(pl.all().cast(pl.Utf8, strict=False)) 데이터프레임이 이미 생성된 경우, 특정 문자열을 None으로 바꾸기 df = df.with_columns( pl.when(pl.col(pl.Utf8) == "") .then(None) .otherwise(pl.col(pl.Utf8)) # keep original value .name.keep() ) 여러 문자열 중 하나라도 ..

넣으려는 데이터베이스에 접속하고 익스텐션 꼭 설치 1. CREATE EXTENSION postgis; shp2pgsql 사용해서 shp 파일 업로드 2. shp2pgsql -c -D -s 5179 -W cp949 {file_path} {table_name} | psql -U {user_name} -d {db_name} -c: 테이블 생성 -a: 이미 테이블이 있는 경우면 -c대신 -a사용 결과 geom 컬럼이 내가 보던 geometry 형식이랑 달라서 당황했는데, 관련 블로그 글을 보니 다른 표준 형식이라고 함 보통 polygon((0 0, 1 0, 1 1, 01, 0 0)) 이런 형태는 WKT라고 부름 애초에 shp2pgsql로 업로드 할때 WKT로 할 수 없나? "-w"를 넣으면 된다고 하는데 똑같이..

조회 전 통계 테이블의 업데이트를 위해 VACUUM 또는 ANALYZE 실행 VACUUM ANALYZE; ANALYZE VERBOSE; DB의 크기에 따라 시간이 소모됨. SELECT schemaname, relname, n_live_tup AS row_count, (SELECT count(*) FROM pg_attribute WHERE attrelid = pg_stat_user_tables.relid) AS column_count FROM pg_stat_user_tables ORDER BY n_live_tup DESC; n_live_tup는 행 수를 나타냄 attrelid는 테이블과 연결된 카탈로그 엔트리를 가리키는데, 이를 이용하여 해당 테이블의 열 수를 세어 출력함 참고) [Postgresql] 전..

root계정에서 실행 useradd user1 #사용자 추가 passwd user1 #비밀번호 변경 usermod -d /home/test user1 #홈디렉터리 변경 참고) https://velog.io/@markyang92/userconfigure [명령] adduser, usermod, 유저정보, deluser, /etc/passwd, /etc/shadow, chpasswd adduser, usermod, 유저정보, sudo 추가, /etc/passwd, /etc/shadow velog.io

Ubuntu 20.04의 터미널 환경에서 직접 실행하는 경우 DB서버 내 경로를 인식할 수 있음 postgres@ubuntu:~$ export PGCLIENTENCODING='uhc' postgres@ubuntu:~$ psql test_db test_db=> set client_encoding='UHC'; #일회용 세션 # 우분투 서버 내의 파일경로 입력 test_db=> \copy test FROM '/home/data/test.txt' CSV DELIMITER '|'; # 헤더 없는 경우, 헤더 있을 시에는 `HEADER` 추가 >> COPY 193765 # 결과 set client_encoding 영구 설정 postgreSQL의 configration 수정해야함 우분투에서 apt로 설치한 경우, /..

서버환경 우분투 20.04 postgreSQL 12 postgreSQL 설치 (원격) sudo apt-get update sudo apt-get install postgresql 관련 설정 경로) /etc/postgresql/12/main shp 파일을 다루려면 postGIS과 shp2pgsql을 사용함 참고) - 한글이 들어간 데이터를 업로드할 예정이라 우분투의 locale을 ko_KR.UTF-8로 변경함 DB 생성 postgres(superuser)로 접속 sudo -u postgres psql DB 생성 시 인코딩 설정함 CREATE DATABASE address WITH ENCODING 'UTF-8' LC_COLLATE='ko_KR.UTF-8' LC_CTYPE='ko_KR.UTF-8' TEMPLA..

원격 서버에 postgreSQL이 설치만 되어있는 상황 서버환경 우분투 20.04 postgreSQL 12 로컬환경 window 10 postgreSQL 설치 (원격) sudo apt-get update sudo apt-get install postgresql 관련 설정 경로) /etc/postgresql/12/main 방화벽 & 외부접근 허용 설정 우분투) sudo ufw allow 5432 # 방화벽 열기 sudo systemctl enable postgresql #재시작 postgreSQL) - postgresql.conf # vim으로 편집할 경우 vim /etc/postgresql/12/main/postgresql.conf listen_addresses = '*' # 모든 접근 허용 - pg_h..

type이 여러개인 개체를 출력할 때, 한 행으로 합쳤더니 prefix없이 URI가 모두 들어가서 읽기 어려운 상태가 되었다. 원래 계획은 prefix를 붙여서 출력하고 싶었지만, 그러려면 prefix를 모두 알고 있는 상태에서 변환하는 작업이기때문에 포기하고 다른 방법을 찾았다. http://www.w3.org/2000/01/rdf-schema#Class 이러한 URI가 있을 때, 마지막 '/'를 기준으로 가장 뒤에 있는 문자열만 출력하게 하고 싶어서 찾아본 결과 정규식을 사용한 예시를 참고하였다. - BIND (REPLACE(STR(?type), "^.*/([^/]*)$", "$1") as ?typeName) PREFIX skos: PREFIX rdfs: PREFIX owl: SELECT ?URI (..