웨비나속 Q&A
최근 웨비나 진행 중 발생한 질문과 답변을 조회할 수 있습니다
[질문] 빅쿼리는 sql_lite 같이 모바일용으로는 사용하는 것은 어려울 수 있다고 봐야 하나요? 이름이 빅이어서..
Sqlite 는 애플리케이션 내장형 로컬 DB이고, BigQuery 는 Google Cloud에서 제공하는 완전관리형 서비스 입니다.
클라우드메이트
2023-04-26 14:45
예 그렇죠..빅쿼리의 lite형은 없는지 궁금해서 문의드린겁니다.
윤성원
2023-04-26 14:46
BigQuery Edition 기능이 GA 되어 있습니다. https://cloud.google.com/bigquery/docs/editions-intro?hl=ko 위 링크를 참고 부탁드립니다.
클라우드메이트
2023-04-26 14:48
아 이제 좀 빅쿼리를 선호하는 이유를 알수 있을것 같네요 그럼 빅쿼리의 단점은 무엇인가요?
아직 답변이 없습니다
그렇군요 답변 감사합니다. 기존 데이터 마이그레이션을 할 필요성은 없는거죠?
아직 답변이 없습니다
아 그럼 일단 인프라차 크게 충분히 산정해 놓고 그 인프라를 조금씩 조금씩 사용하는 것이군요..답변 감사합니다. 그런데 초기 인프라 비용이 많이 나오지 않을까요?
아직 답변이 없습니다
[질문] 타사 클라우드에서 data에 대한 query의 경우, GCP 내에 복제 없이 사용하는 방법인가요? 그래서 그 가운데 자주 query 되는 항목은 cache 저장도 가능하구요?
Google Cloud Storage로 데이터를 복제하고 (업로드), 해당 데이터를 BigQuery에서 쿼리할 수 있으며, 해당 쿼리의 result cache 기능을 지원합니다.
클라우드메이트
2023-04-26 14:44
[질문] 빅쿼리가 거의 손될것이 없다고 하셨는데 그럼 장애시에도 자동 치유가 가능한것이지 장애대응은 어떻게 해결할 수 있는지 궁금합니다. 기존 rdb와 비교해서 어떤점이 다를수 있는지요?
빅쿼리는 완전 관리형 서비스라 몇 개 노드를 실행한다는 개념이 없어요... 그러다 보니 장애가 났다 안났다는 것을 사용자가 인지하지 못합니다. 만약 내부적으로 그런 일이 있다고 해도 분산환경에서 노드 failover 입니다.
정명훈
2023-04-26 14:42
아 이제 좀 빅쿼리를 선호하는 이유를 알수 있을것 같네요 그럼 빅쿼리의 단점은 무엇인가요?
윤성원
2023-04-26 14:43
손댈것이 없다고 하는 부분은 인프라관리 영역이 그렇다는 것이구요. 보통의 RDP들은 ACID를 지원하지만 빅쿼리는 그렇치는 않습니다.
양철민
2023-04-26 14:42
[질문] ChatGPT를 연계하여 캐시엔진을 활용한 빅쿼리를 활용하는 방안이 제공되나요?
안녕하세요. 해당 내용은 실제로 구축하시려는 서비스의 시나리오, 그리고 전체 인프라를 우리 클라우드메이트에서 구축, 컨설팅, 기술지원 해드릴 수 있습니다. [email protected]로 문의주시면 친절히 상담해드리겠습니다.
클라우드메이트
2023-04-26 14:42
아직 답변이 없습니다
[질문] BigQuery에서 Google Cloud Storage로 테이블 내보내기가 가능한지 궁금합니다. 권한에 따른 오류 등의 사전 체크해봐야 할 부분은 무엇인지도 궁금합니다.
네. 가능합니다.
양철민
2023-04-26 14:39
[질문] 빅쿼리가 클라우드기반이라 scale-out으로도 해결할 수 있는데 scale-up을 실행하거나 그 반대로 쿼리를 실행해서 cost-effective 효과에 저해될 수도 있을 것 같은데 이런 빅쿼리의 스케일업과 아웃 메카리즘은 어느정도 신뢰할 수 있는지요?
BigQuery 서비스는 고객의 인프란 관리 포인트를 0에 가깝게 만들어놓은 서비스라고 말씀드릴 수 있습니다. BigQuery의 BORG (하이퍼바이저) 내에서 컴퓨팅 노드를 자동으로 구성합니다. BigQuery의 성능 테스트는 웨비나 후반부를 봐주시면 좋을 것 같습니다.
클라우드메이트
2023-04-26 14:39
아 그럼 일단 인프라차 크게 충분히 산정해 놓고 그 인프라를 조금씩 조금씩 사용하는 것이군요..답변 감사합니다. 그런데 초기 인프라 비용이 많이 나오지 않을까요?
윤성원
2023-04-26 14:42
[질문] 구글 빅쿼리 적용위한 최소 용량대비 도입비용 효울성을 위한 권장용량은 몇 TB 정도가 시작점인지요? 200TB 정도면 3가지 중 빅쿼리가 효율적일까요?
용량과 무관하게 BigQuery의 Storage 비용은 저렴하며, Google Cloud의 "콜로서스"라는 따른 분산 스토리지를 이용하게 됩니다.
클라우드메이트
2023-04-26 14:37
그렇군요 답변 감사합니다. 기존 데이터 마이그레이션을 할 필요성은 없는거죠?
문태진
2023-04-26 14:42
[질문] 빅쿼리같은 고성능 db에서는 index의 설계를 어떻게 하는지 궁금하고 firest index의 속도 문제를 해결하기 위한 second index 설정도 가능하지 궁금합니다. 이를 통해 어느정도 속도개선 효과가 가져올 수 있는지요?
BigQuery 모델링에서는 파티션 컬럼을 특정하여 모델링할 수 있는 부분만 있으며, 일반적으로 OLAP 환경에서는 특정 컬럼들에 대한 Clustered Index, Nonclustered Index 를 생성하지 않습니다.
클라우드메이트
2023-04-26 14:35
아 인덱스 생성이 필요없는 아주 큰 장점이 있군요...답변 감사합니다.
윤성원
2023-04-26 14:37
[질문] POC신청방법은 추가 공유해주시는건가요?
[email protected]로 연락 주세요.
양철민
2023-04-26 14:32
[질문] 빅쿼리도 오라클과 같이 오토노머스 옵티마이져를 사용해서 사용자가 관리하는 포인트를 많이 줄여줄수 있는지요?
네 BigQuery는 성능 개선을 위한 튜닝 작업을 거의 대부분 자동으로 합니다. 손댈 필요가 거의 없고, 대용량에서도 좋은 성능이 나옵니다. 다만, 데이터 특성을 알고 있다면, 복합 쿼리에서 어떤 서브 쿼리가 먼저 실행되면 좋을지, 파티션/클러스터링 정책 등은 고민하시면 좋습니다
정명훈
2023-04-26 14:32
예 그렇더라구요...오토머스 db도 관리가 많이 필요한것 같습니다. 빅쿼리도 관리포인트는 적지만 신경써야 할 부분이 있네요...답변 감사합니다.
윤성원
2023-04-26 14:34
BigQuery는 성능 개선을 위한 튜닝 작업을 거의 대부분 자동으로 합니다. -> [질문] 튜닝을 위해서는 데이터 통계정보가 필요할텐데 이런 통계정보는 어떻게 구축하며 실시간으로 변하는 데이터에 대한 통계정보도 실시간으로 구축하는지요 ?
조형범
2023-04-26 15:07
통계정보는 보통 OLTP에서 일부 데이터에 엑세스하는 플랜을 작성하기 위한 정보이고, DW나 OLAP에서의 대상 데이터는 전체 데이터일 경우가 많으므로 통계정보에 대한 고민은 맞지 않는것 같습니다.
양철민
2023-04-26 15:09
[질문] 빅데이터를 실시간으로 분석하여 인사이트를 빠르고 정확하게 도출할 수 있는 방법에 대해서 질문드립니다
안녕하세요. 해결하시려는 비즈니스 환경에 따라 다양한 기술지원이 가능할 수 있습니다. 따라서, paint point 또는 원하시는 솔루션을 [email protected] 로 문의 주시면 친절히 상담해드리겠습니다.
클라우드메이트
2023-04-26 14:31
우리가 사용하는 오렌지 같은 ddl 툴을 사용해서도 가능하지 궁금합니다.
아직 답변이 없습니다
OLTP 성격의 검색 서비스를 구현한다는 전제 하의 시나리오였다는 점 참고 부탁드립니다^^
클라우드메이트
2023-04-26 14:29
[질문] 빅쿼리(BigQuery)를 효율적으로 활용하려는 경우 캐시엔진을 어떻게 적용하고 사용하는 것이 유익한가요?
BigQuery 의 Result cache를 활용할 수 도 있으며, 별도의 캐시 서버를 구축하려는 경우 HTTPS 전문을 그대로 프록시 하는 형태로 구축할 수 있으며, 그것이 클라우드메이트에서 개발한 CacheCat [캐시캣] 솔루션이라고 말씀드릴 수 있습니다.
클라우드메이트
2023-04-26 14:30
[질문] big query는 data skew 현상을 방지하거나 예방할 수 있는 기능을 가지고 있는지요?
skew라 함은 ML 관련 내용일 듯 한데, BQML보다는 Vertex AI를 사용하셔서 데이터를 explore 하시고 BQML로 학습을 하시면 좋을 듯 합니다
정명훈
2023-04-26 14:27
아 그런 방법도 gcp를 사용하면 가능하겠군요...답변 감사합니다.
윤성원
2023-04-26 14:28