안녕하세요
PostgreSQL에서 실시간으로 삭제 및 적재할 테이블의 설계 팁을 조언 받고 싶습니다.
AWS Glue에서 실시간 데이터를 읽어(실시간이지만 대략 5~10분 사이로 작업 진행) PostgreSQL 테이블에 데이터를 적재할 예정입니다.
데이터 읽는 기준은 일별이고 적재할 테이블에는 일별로 삭제 후 다시 적재하는 식으로 진행할 예정인데요. 테이블을 어떻게 설계하면 성능이 나올지 조언 좀 부탁드립니다~
Comment 2
-
지영아빠
2023.07.18 16:44
-
오... PostgreSQL에서 이런 방법도 있군요. PostgreSQL은 첨이라 ㅎㅎㅎ
근데 DB까지 하시다니... 대단하십니다!!
partitioning table을 써보세요.
우선 datetime을 기준으로 partition이 되어 있다고 하면
alter table __원본테이블 detach partition partiton_name;
==> 이렇게 하면 partition_name으로 된 별도 테이블이 생김.
truncate table partiton_name; # 데이터 다 지움
# 다시 원본에 붙이고 난 다음
alter table _원본테이블_ atach partition _partition_name
for values from (start_) to (end);
insert into 원본table ...
--> 가져온 데이터
아니면 ...
create view part as (part_1 union all part_2.... )
이런 식으로 구성해서
part_1에 truncate / insert하는 ?