데이터베이스 개발자 질문과 답변 게시판

데이터베이스 개발/운영 관련 질문과 답변을 올리는 게시판입니다. 궁금하신 내용을 이곳에서 문의하시면 SQLER 분들의 답변을 받으실 수 있습니다. 문의를 하실때에는 최근 작업하신 특이 사항이나, 장애 발생 전 상황을 상세히 올려 주시면 답글을 적어주시는 SQLER분들의 답변이 더 정확할 수 있으니 도움 되시길 바랍니다. 쿼리 문의일 경우, 실제 문제가 재현되는 테이블생성, 샘플데이터 생성 쿼리를 함께 올려 주시면 더 빠르고 정확한 쿼리 문의 응답이 가능합니다.

안녕하세요


대용량 데이터 처리 관련해서 질문이 있어서 이렇게 글 남깁니다.


현재 현장에서 1초에 약 9만건 정도의 대용량 데이터가 발생하고 있습니다.


MSSQL 2012 서버로 DB를 구축 예정이고


데이터가 저장되는 테이블의 구조는


측정시간  datetime2(4) PK

측정항목ID tinyint PK

측정값 float Null 허용


이렇게 3개의 column 으로 되어 있습니다.


C# SqlBulkCopy 클래스를 활용해서 약 400ms 정도의 속도로 데이터를 처리하고 있고 기능에는 문제가 없습니다만..


이 데이터들이 쌓이면서 1일 190 G 정도의 데이터가 샇입니다.


양이 너무 많아지다보니 해당 데이터를 어떻게 관리하는 것이 좋은 것일지 고민이 됩니다.


1시간 정도만 테이블에 저장하고 (그래도 8기가 정도 됩니다.)


1시간이 지난 데이터는 HISTORY 테이블을 따로 만들어서 그쪽으로 보관을 할지...


7일 기준으로 이전 데이터는 삭제를 하는 식으로 운용을 생각중입니다만..


삭제시 발생하는 부하도 만만치 않을거 같아서.. 그것도 고민이네요..


현장의 PC는 하드가 SSD 2TB 하나라서 


물리적인 데이터 드라이브 분리도 안되는 상황이고...


장기적인 운용을 위한 좋은 방법이 없을까요?


현재까지 조사한 대로 라면.. Patitioning Table 이라는 것이 그나마 가능성이 보이는데..


데이터가 쌓이는 양과 속도가 장난이 아니라서 년단위가 아닌 일 단위 관리가 될거 같습니다..


그렇게 되면 또 Patitioning Table 관리를 위해 1주일 마다 현장에 들어가야하는 것도 문제가 될거 같네요..


한번 설치하면 그 뒤로는 가급적 유지보수가 발생하지 않도록 설계하고 싶습니다만..


알고 있는 지식이 일천하다보니.. 이렇게 조언을 구합니다.


일단 오늘 현장에 가서 샘플 시연하고 데이터를 얼마나 보관할 것인지 논의가 이루어질 예정입니다만..


현장 데이터의 경우 장비 보관은 불가능할 것을 못박아야할것 같네요.. 1.4 테라 라니.. 후덜덜..


1주일도 못가는 DB 데이터 양은 처음 봅니다..


많은 조언 부탁드립니다..



PS. 현장 PC 사양 입니다.


Intel i7 - 8세대 2.6Ghz

16 GB

SSD 2TB (삼성)


Windows 7 64bit

SQL Server 2012 (설치 예정)


No. Subject Author Date Views
10347 디비서버 램 사용량에 대한 조언 [1] 인디 2018.10.26 699
10346 MSSQL DB 지연 현상 문의 (트랜잭션 관련) [1] mj124356 2018.10.24 1130
10345 사진상의 ShopDB가 필드인가요 데이터베이스인가요? [4] 구십평 2018.10.23 719
10344 SHA2_512 사용 질문입니다. [3] 비폭력무저항 2018.10.18 653
10343 ms sql 오류 관련 질문 gloysong 2018.10.17 742
10342 회원정보 수정 쿼리 질문드립니다. [1] 키모 2018.10.17 752
10341 인사연동 쿼리 질문 드립니다. [4] SQL공부 2018.10.16 904
10340 오라클과 openquery로 insert 시간이 너무 걸리네요.. 오픈쿼리.. [1] 공유맨 2018.10.16 825
» DB 설계 조언 좀 부탁드립니다. (1초에 약 9만건) [3] 코난이얌 2018.10.15 744
10338 group by 성능 관련 질문 있습니다. [1] 아잉옹 2018.10.14 695
10337 dbcc checkdb에서 내용 분석해주실 능력자분 찾습니다. 유노 2018.10.12 636
10336 SQL server 입문으로 2012, 2016 상관없나요? [3] 구십평 2018.10.11 683
10335 연속한 데이터 개수 [1] 디비디비 2018.10.10 759
10334 쿼리 문의드려요 [1] 화팅 2018.10.10 648
10333 거래내역 관련 쿼리 문의입니다. [1] 마마마일 2018.10.10 668
10332 DB LOCK 관련 이슈. 뛰어 2018.10.10 614
10331 제약조건 수정 질문드립니다. 베로 2018.10.10 462
10330 sql 질의문 문제 질문 sql러 2018.10.10 781
10329 지수형을 int형으로 변환하는 방 yoni 2018.10.09 590
10328 spid 와 spid의 ip에 관하여 freighter 2018.10.08 585





XE Login