데이터베이스 개발자 질문과 답변 게시판

데이터베이스 개발/운영 관련 질문과 답변을 올리는 게시판입니다. 궁금하신 내용을 이곳에서 문의하시면 SQLER 분들의 답변을 받으실 수 있습니다. 문의를 하실때에는 최근 작업하신 특이 사항이나, 장애 발생 전 상황을 상세히 올려 주시면 답글을 적어주시는 SQLER분들의 답변이 더 정확할 수 있으니 도움 되시길 바랍니다. 쿼리 문의일 경우, 실제 문제가 재현되는 테이블생성, 샘플데이터 생성 쿼리를 함께 올려 주시면 더 빠르고 정확한 쿼리 문의 응답이 가능합니다.

테이블 대용량 insert 관련

후알유? 2017.09.04 16:43 Views : 3996

안녕하세요


대용량 데이터 INSERT 관련하여 질문드립니다.


질문에 앞서 Process Flow 를 설명드리겠습니다.


2개의 DB 서버

------------------------------

DB1 - 16개의 테이블

DB2 - TB1(테이블), TB2



1. DB1  ->  LINK DB  ->  DB2.TB1  에 INSERT 배치

(배치1 - DB1에는 16개의 테이블을 가공하여 링크드 디비를 이용하여 DB2 의 TB1 에 데이터를 INSERT 를 시켜줍니다.)


2. DB2.TB1 -> DB2.TB2 에 INSERT 배치

(배치2 - DB2 의 TB1에 들어온 데이터를 가공하여 DB2 의 TB2 에 INSERT 합니다.)


요약하자면 데이터를 아래와 같이 넣어줍니다.

1. DB1 -> DB2.TB1

2. DB2.TB1 -> DB2.TB2

----------------------------------


질문)

현재 데이터의 수가 너무많습니다.


1번작업의 경우 30분마다 배치가 돌아서 문제가없습니다.

( 30분에 5000건 )


문제는 2번작업인데, 하루에 한번 새벽시간에 배치를 돌립니다.

TB1 에서 TB2

(하루에 대략 10만건)


그런데, 이전데이터를 넣어줘야해서 2번작업을 배치로 1년치를 해야합니다.

(약 10년치.. 즉, 1년치씩 10번 돌려야함..)


그러면 대략 8000만건을 조회하여, 대략 4000만건을 INSERT 해야합니다.

이것을 1번이 동작하면서 1년치씩 배치작업이 가능할까요?


처음하는 작업이라 걱정이 많이됩니다..

고수분들의 많은 답변부탁드립니다! ㅠㅠ

No. Subject Author Date Views
9977 각각의 테이블에서 원하는 레코드 추려내기 [2] 희망나라 2017.09.11 4293
9976 새로운 테이블 내 insert 시 PK 중복문제 [1] 옷사마빚나데 2017.09.06 5372
9975 안녕하세요 쿼리 해킹 문제입니다. [5] saveus 2017.09.06 3353
» 테이블 대용량 insert 관련 [1] 후알유? 2017.09.04 3996
9973 SQL 메모리 용량 [1] 홍훈아 2017.09.04 4727
9972 SSIS 데이터 입력오류 ( decimal to DT_NUMERIC ) HoyaSoft 2017.09.01 3355
9971 sql 질문드립니다 호정 2017.08.31 3371
9970 프로시저 관련 문의 드립니다. [2] newsoft 2017.08.30 3562
9969 MSSQL 2014 PARTITION 질문드립니다. sin 2017.08.30 3198
9968 SQL Server Data Tools에 대해 알고싶습니다 Coronesa 2017.08.29 3269
9967 EXECUTE후 트랜잭션 개수는 BEGIN및 COMMIT문 수가 일치하지 않음을 나타냅니다 [3] 능능능 2017.08.29 4585
9966 procedure 사용시 쿼리를 변수로 전달받아 사용하기 [3] 김이이 2017.08.28 4949
9965 특정행부터 특정행까지의 합을 구하고 싶습니다.ㅠ [2] umtaeng 2017.08.28 6459
9964 시간을 계산하는 함수 문의드립니다. [1] 스타서베이 2017.08.26 5549
9963 대용량 테이블 insert, update 오태식 2017.08.25 5029
9962 SQL 에서 '파일을 액섹스할 수 없거나 디스크공간 부족으로 인하여 msdb를 ' 오류가 나옵니다. 겨울은 2017.08.25 5566
9961 SQL 개체 탐색기에 확장이 없이 나오는데, 어떻게 해야하나요? [레벨:4]겨울은 겨울은 2017.08.25 5565
9960 SQL Server 와 SQL Server Agent 계정 비번을 몰라서..ㅠ 겨울은 2017.08.25 5564
9959 다른 3개의 테이블 합치는 쿼리 [1] 신입입니다 2017.08.25 6130
9958 MSSQL Express에서 SSIS 이용이 가능한가요? 양털목도리 2017.08.24 6288





XE Login