데이터베이스 개발자 질문과 답변 게시판

데이터베이스 개발/운영 관련 질문과 답변을 올리는 게시판입니다. 궁금하신 내용을 이곳에서 문의하시면 SQLER 분들의 답변을 받으실 수 있습니다. 문의를 하실때에는 최근 작업하신 특이 사항이나, 장애 발생 전 상황을 상세히 올려 주시면 답글을 적어주시는 SQLER분들의 답변이 더 정확할 수 있으니 도움 되시길 바랍니다. 쿼리 문의일 경우, 실제 문제가 재현되는 테이블생성, 샘플데이터 생성 쿼리를 함께 올려 주시면 더 빠르고 정확한 쿼리 문의 응답이 가능합니다.

테이블 대용량 insert 관련

후알유? 2017.09.04 16:43 Views : 3993

안녕하세요


대용량 데이터 INSERT 관련하여 질문드립니다.


질문에 앞서 Process Flow 를 설명드리겠습니다.


2개의 DB 서버

------------------------------

DB1 - 16개의 테이블

DB2 - TB1(테이블), TB2



1. DB1  ->  LINK DB  ->  DB2.TB1  에 INSERT 배치

(배치1 - DB1에는 16개의 테이블을 가공하여 링크드 디비를 이용하여 DB2 의 TB1 에 데이터를 INSERT 를 시켜줍니다.)


2. DB2.TB1 -> DB2.TB2 에 INSERT 배치

(배치2 - DB2 의 TB1에 들어온 데이터를 가공하여 DB2 의 TB2 에 INSERT 합니다.)


요약하자면 데이터를 아래와 같이 넣어줍니다.

1. DB1 -> DB2.TB1

2. DB2.TB1 -> DB2.TB2

----------------------------------


질문)

현재 데이터의 수가 너무많습니다.


1번작업의 경우 30분마다 배치가 돌아서 문제가없습니다.

( 30분에 5000건 )


문제는 2번작업인데, 하루에 한번 새벽시간에 배치를 돌립니다.

TB1 에서 TB2

(하루에 대략 10만건)


그런데, 이전데이터를 넣어줘야해서 2번작업을 배치로 1년치를 해야합니다.

(약 10년치.. 즉, 1년치씩 10번 돌려야함..)


그러면 대략 8000만건을 조회하여, 대략 4000만건을 INSERT 해야합니다.

이것을 1번이 동작하면서 1년치씩 배치작업이 가능할까요?


처음하는 작업이라 걱정이 많이됩니다..

고수분들의 많은 답변부탁드립니다! ㅠㅠ

No. Subject Author Date Views
9990 ms-sql2000에서 문자열 대체 안될 때 대처방법 문의드립니다. 레니 2017.09.20 4703
9989 테이블 변수를 커서에 사용하면 안되나요? [3] 당근28호 2017.09.20 4608
9988 함수사용시 메모리에 올려놓고 쓸수 없나요? 인풋같으면 아웃풋이 같게 나오도록,,, [2] 하태민 2017.09.19 6066
9987 프로시져 생성시 에러 질문드립니다. [2] 아이와이 2017.09.19 7027
9986 sys.Objects 테이블 목록과 SSMS 에서 DB 테이블 목록 차이 [3] Tuban 2017.09.19 6921
9985 float형데이터를 cast시 소숫점이 잘려요 [2] 니카 2017.09.18 6221
9984 DB 소유한 스키마 권한 수정 [1] 기타치는퐝동 2017.09.16 4235
9983 GETDATE() 날짜 조건 쿼리.. 질문드립니다.(기초) [2] 암무거나 2017.09.15 5191
9982 WHERE절 조건문 검색.. (기초) [2] 암무거나 2017.09.15 6850
9981 select count(distinct XX ) [1] 공유맨 2017.09.14 4464
9980 Linked Server를 이용하여 A -> B 서버로의 Insert 방법 모스 2017.09.14 3740
9979 sql 중복 칼럼 합치기 질문드려요~ [1] Ten 2017.09.12 4178
9978 데이타베이스 다이어그램 항목이 없어서 질문합니다. LJstyleS 2017.09.12 3589
9977 각각의 테이블에서 원하는 레코드 추려내기 [2] 희망나라 2017.09.11 4293
9976 새로운 테이블 내 insert 시 PK 중복문제 [1] 옷사마빚나데 2017.09.06 5371
9975 안녕하세요 쿼리 해킹 문제입니다. [5] saveus 2017.09.06 3353
» 테이블 대용량 insert 관련 [1] 후알유? 2017.09.04 3993
9973 SQL 메모리 용량 [1] 홍훈아 2017.09.04 4727
9972 SSIS 데이터 입력오류 ( decimal to DT_NUMERIC ) HoyaSoft 2017.09.01 3352
9971 sql 질문드립니다 호정 2017.08.31 3370





XE Login