파이썬 & 오픈소스 개발 질문과 답변 게시판
파이썬과 여러 오픈소스 기반 프레임워크 관련 질문 답변 게시판 입니다. 궁금하신 사항을 올려 주시면 빠른 시일내에 답변 드리도록 하겠습니다. 아울러, 개발 과정의 경우 간소화 시킨 문제 재현 코드나 운영일 경우 최근의 특이사항을 올려 주시면 답변 드리는 프런티어 분들이 더욱 상세한 답변을 드릴 수 있으니 많은 도움 되시길 바랍니다.
C#에서 최초 MS-SQL에 있는 데이터를 로딩해서 빠르게 연산을 합니다.
데이터가 여러테이블에 조금조금씩 분산되어 있는 데이터를 연산한 후 결과를 다시
데이터베이스에 반영을 해줘야 되는데 ,
연산은 정말 빠르게 되는데 연산된 결과로 나온 많은 데이터를
부분 흩어져 있는 여러 테이블에 다 입력하고 나면 시간이 너무 오래 걸리네요.
SqlBulkCopy를 이용해서 Insert를 하고 있는데 , SqlCommend를 썻을 때보다는 확실히 속도가
빨라지긴 했습니다.
그런데 한테이블이 아니라 여러 테이블에 자잘하게 흩어져 있어서 그런지 큰 효과는 없네요.
그리고 데이터가 너무 많아서 그런지 데이터베이스에 데이터를 입력할 때 디스크 읽기 쓰기가 100%가 되면서
너무 느려집니다.
마치 주식 그래프나 , 비트코인 시세가 빠르게 변하는 것처럼 실시간으로 많은 분산되어 있는 데이터를 빠르게
데이터베이스에 입력하고 싶습니다.
이럴 땐 어떤 식으로 C# 과 MSSQL을 구성해야 될 지 조언을 좀 부탁드리겠습니다.
