네 BigQuery는 성능 개선을 위한 튜닝 작업을 거의 대부분 자동으로 합니다. 손댈 필요가 거의 없고, 대용량에서도 좋은 성능이 나옵니다. 다만, 데이터 특성을 알고 있다면, 복합 쿼리에서 어떤 서브 쿼리가 먼저 실행되면 좋을지, 파티션/클러스터링 정책 등은 고민하시면 좋습니다
예 그렇더라구요...오토머스 db도 관리가 많이 필요한것 같습니다. 빅쿼리도 관리포인트는 적지만 신경써야 할 부분이 있네요...답변 감사합니다.
BigQuery는 성능 개선을 위한 튜닝 작업을 거의 대부분 자동으로 합니다. -> [질문] 튜닝을 위해서는 데이터 통계정보가 필요할텐데 이런 통계정보는 어떻게 구축하며 실시간으로 변하는 데이터에 대한 통계정보도 실시간으로 구축하는지요 ?
통계정보는 보통 OLTP에서 일부 데이터에 엑세스하는 플랜을 작성하기 위한 정보이고, DW나 OLAP에서의 대상 데이터는 전체 데이터일 경우가 많으므로 통계정보에 대한 고민은 맞지 않는것 같습니다.
안녕하세요. 해결하시려는 비즈니스 환경에 따라 다양한 기술지원이 가능할 수 있습니다. 따라서, paint point 또는 원하시는 솔루션을 [email protected] 로 문의 주시면 친절히 상담해드리겠습니다.
아직 답변이 없습니다
OLTP 성격의 검색 서비스를 구현한다는 전제 하의 시나리오였다는 점 참고 부탁드립니다^^
BigQuery 의 Result cache를 활용할 수 도 있으며, 별도의 캐시 서버를 구축하려는 경우 HTTPS 전문을 그대로 프록시 하는 형태로 구축할 수 있으며, 그것이 클라우드메이트에서 개발한 CacheCat [캐시캣] 솔루션이라고 말씀드릴 수 있습니다.
skew라 함은 ML 관련 내용일 듯 한데, BQML보다는 Vertex AI를 사용하셔서 데이터를 explore 하시고 BQML로 학습을 하시면 좋을 듯 합니다
아 그런 방법도 gcp를 사용하면 가능하겠군요...답변 감사합니다.
컴퓨팅 자원을 미리 reservation 개념으로 확보할 수 있습니다
아 미리 리저브 시키면 가능하겠군요...답변 감사합니다.
일반적인 DB modeling 툴을 사용하는 경우도 있지만, DW/OLAP 성 테이블이기 때문에 데이터를 가능하면 분산보다는 하나의 테이블에 담는 것이 유리합니다. 그래서 DDL이나 api, UI 등을 통해 작성하시면 될 것 같습니다.
우리가 사용하는 오렌지 같은 ddl 툴을 사용해서도 가능하지 궁금합니다.
BigQuery driver를 addon 할 수 있는 모든 응용 프로그램에서 사용 가능합니다. EX) DBeaver 등
ansi sql로 export 해서 apply 하면 가능합니다. 다만, oltp 성 DB와는 다르다 보니 거기서 ERD 처럼 만드는 것은 의미가 크지 않습니다.
예 그렇군요...export해서 사용하면 가능하겠네요...답변 감사합니다.
해당 내용에 대해서 국내/해외 사례에 대해서는 클라우드메이트 [email protected] 로 문의 주시면 상세한 내용 상담드릴 수 있을 것 같습니다.
네. 결론부터 말씀드리면 가능합니다. BigQuery 내에서도 ANSI SQL 과 거의 유사한 형태의 모든 DDL 및 DML을 지원합니다. 따라서 BigQuery 내에서 데이터 분석의 주제 영역에 맞게 모델링 할 수 있습니다.
Google Cloud 내에서는 ML 모델 개발을 할 수 있는 별도의 서비스가 존재합니다. BigQuery 내에서는 ML 모델에 필요한 기초 학습 데이터로서의 빠른 분석이 가능한 형태라고 봐주시면 좋을 것 같습니다.
BigQuery에서도 BigqueryML로 직접 Standard SQL로 머신 러닝 학습 가능하고... 해당 모델을 ML 모델을 개발할 수 있는 Vertex AI 서비스에 올려 REST API로 서빙 가능합니다. BQ 내에서 SQL 사용한 batch serving도 가능합니다.
안녕하세요, 최종경님 키보드 내의 일반 슬래시를 입력하시면, 자동으로 [질문] 말머리가 입력됩니다.
감사합니다
Google Cloud 상에서의 GPT-3 또는 GPT-4 에 대한 구축, 튜닝, 운영은 구체적인 요구사항을 기반으로 제안드릴 수 있을 것 같습니다. 클라우드메이트 [email protected] 로 문의주시면 친절하게 상담해드리겠습니다.
BigQuery 의 장점을 살리기 위해서는 컴퓨팅을 BigQuery BORG 내에서 이루어져야 합니다. 다만, 온프레미스 영역의 다양한 데이터 원본으로부터 BigQuery 으로 ETL 파이프라인을 개발하여 BigQuery에서 데이터 분석을 효과적으로 할 수 있다고 설명드릴 수 있겠습니다.
기성의 ETL 파이프라인에서 ELT 방법론이 화두가 된 것은 저렴한 컴퓨팅 비용으로 인해 가능해진 측면이 있습니다. BigQuery에서는 ETL 또는 ELT 의 2가지 방법론 모두 구현이 가능하다고 말씀드릴 수 있겠습니다. 개념적으로 로딩만 일단 해놓은 방식은 Data Lake가 맞습니다.
아직 답변이 없습니다
ETL, 내지는 ELT 모두 가능한 시나리오가 될 수 있습니다. 일단 BigQuery에서도 timestamp 형식의 컬럼을 지원하고 있으니, 모두 가능합니다.
오늘 발표자료 부탁드립니다. 컨설팅 서비스도 지원하시나요?
발표자료 전달드릴 예정입니다~ 설문조사 항목에서 컨설팅 서비스 신청하시면, 연락 드리도록 하겠습니다 :)
아직 답변이 없습니다
해당 질문은 Dell Technologies의 DPS 팀이 답변드릴 수 있을 것 같습니다 담당 영업으로 문의 부탁드립니다!
RP4VM으로 실시간 복제 지원됩니다.
vSAN은 이미 분산 배치되어 있기에 로드밸런싱이 필요 없게 됩니다. Host를 추가하거나 제거할 때에만 로드밸런싱이 발생할 수 있습니다.