BigQuery, Dataproc, Cloud Run 등 을 적용하여 ETL 파이프라인, 데이터 마트, 데이터 레이크 를 구성할 수 있습니다. BigQuery는 OLAP 분석 서버의 인프라 관리 비용은 0원으로 만들어 줄 수 있는 서비스입니다.
네, 그렇군요, 답변 감사 드립니다.
통계정보는 보통 OLTP에서 일부 데이터에 엑세스하는 플랜을 작성하기 위한 정보이고, DW나 OLAP에서의 대상 데이터는 전체 데이터일 경우가 많으므로 통계정보에 대한 고민은 맞지 않는것 같습니다.
그렇군요. 그러면 DW나 OLAP에서는 성능향상 튜닝은 어떤 개념으로 이해할 수 잇나요 ?
DW에서의 성능향상은 전체 데이터를 빠르게 스캔할 수 있는 디스크서브시스템 이 솔루션이 되는 경우가 많고, 인덱스의 경우도 각 범용의 인덱스보다는 각 쿼리에 맞는 인덱스를 전용으로 설계하는 경우가 많았던것 같습니다.
아직 답변이 없습니다
서로 다른 부서의 요청을 처리 하기 위해 최고의 성능을 내기 위한 적절한 모델링을 고민해야 했다면 빅쿼리는 막강한 컴퓨팅으로 대용량의 데이터 처리에 부담을 줄여줄 수 있습니다.
네, 답변 감사합니다.
네. 이형준 선생님 말씀이 맞습니다. 제가 컨디션이 좀 안좋았던 것 같습니다. 너그러운 양해의 말씀 드립니다.
네 정확하십니다^^
오 빅쿼리의 성능이 좀 더 향상되는 효과도 볼수 있고 비용도 절감할 수 있는 효과가 있겠네요...답변 감사합니다.
가장 큰 차이점은 모델링에 대해서 인프라 관점의 고민이 필요없다는 점이 될 수 있겠습니다. 지정호 님의 질문 내용을 보고 지그시 눈을 감아보았으나, 몇시간 동안의 디스커션이 필요한 내용일 것 같습니다. [email protected] 로 문의 주시면 친절히 상담드리겠습니다.
Sqlite 는 애플리케이션 내장형 로컬 DB이고, BigQuery 는 Google Cloud에서 제공하는 완전관리형 서비스 입니다.
예 그렇죠..빅쿼리의 lite형은 없는지 궁금해서 문의드린겁니다.
BigQuery Edition 기능이 GA 되어 있습니다. https://cloud.google.com/bigquery/docs/editions-intro?hl=ko 위 링크를 참고 부탁드립니다.
아직 답변이 없습니다
아직 답변이 없습니다
아직 답변이 없습니다
Google Cloud Storage로 데이터를 복제하고 (업로드), 해당 데이터를 BigQuery에서 쿼리할 수 있으며, 해당 쿼리의 result cache 기능을 지원합니다.
빅쿼리는 완전 관리형 서비스라 몇 개 노드를 실행한다는 개념이 없어요... 그러다 보니 장애가 났다 안났다는 것을 사용자가 인지하지 못합니다. 만약 내부적으로 그런 일이 있다고 해도 분산환경에서 노드 failover 입니다.
아 이제 좀 빅쿼리를 선호하는 이유를 알수 있을것 같네요 그럼 빅쿼리의 단점은 무엇인가요?
손댈것이 없다고 하는 부분은 인프라관리 영역이 그렇다는 것이구요. 보통의 RDP들은 ACID를 지원하지만 빅쿼리는 그렇치는 않습니다.
안녕하세요. 해당 내용은 실제로 구축하시려는 서비스의 시나리오, 그리고 전체 인프라를 우리 클라우드메이트에서 구축, 컨설팅, 기술지원 해드릴 수 있습니다. [email protected]로 문의주시면 친절히 상담해드리겠습니다.
아직 답변이 없습니다
네. 가능합니다.
BigQuery 서비스는 고객의 인프란 관리 포인트를 0에 가깝게 만들어놓은 서비스라고 말씀드릴 수 있습니다. BigQuery의 BORG (하이퍼바이저) 내에서 컴퓨팅 노드를 자동으로 구성합니다. BigQuery의 성능 테스트는 웨비나 후반부를 봐주시면 좋을 것 같습니다.
아 그럼 일단 인프라차 크게 충분히 산정해 놓고 그 인프라를 조금씩 조금씩 사용하는 것이군요..답변 감사합니다. 그런데 초기 인프라 비용이 많이 나오지 않을까요?
용량과 무관하게 BigQuery의 Storage 비용은 저렴하며, Google Cloud의 "콜로서스"라는 따른 분산 스토리지를 이용하게 됩니다.
그렇군요 답변 감사합니다. 기존 데이터 마이그레이션을 할 필요성은 없는거죠?
BigQuery 모델링에서는 파티션 컬럼을 특정하여 모델링할 수 있는 부분만 있으며, 일반적으로 OLAP 환경에서는 특정 컬럼들에 대한 Clustered Index, Nonclustered Index 를 생성하지 않습니다.
아 인덱스 생성이 필요없는 아주 큰 장점이 있군요...답변 감사합니다.
[email protected]로 연락 주세요.