웨비나속 Q&A
최근 웨비나 진행 중 발생한 질문과 답변을 조회할 수 있습니다
[질문] 빅쿼리가 거의 손될것이 없다고 하셨는데 그럼 장애시에도 자동 치유가 가능한것이지 장애대응은 어떻게 해결할 수 있는지 궁금합니다. 기존 rdb와 비교해서 어떤점이 다를수 있는지요?
빅쿼리는 완전 관리형 서비스라 몇 개 노드를 실행한다는 개념이 없어요... 그러다 보니 장애가 났다 안났다는 것을 사용자가 인지하지 못합니다. 만약 내부적으로 그런 일이 있다고 해도 분산환경에서 노드 failover 입니다.
정명훈
2023-04-26 14:42
아 이제 좀 빅쿼리를 선호하는 이유를 알수 있을것 같네요 그럼 빅쿼리의 단점은 무엇인가요?
윤성원
2023-04-26 14:43
손댈것이 없다고 하는 부분은 인프라관리 영역이 그렇다는 것이구요. 보통의 RDP들은 ACID를 지원하지만 빅쿼리는 그렇치는 않습니다.
양철민
2023-04-26 14:42
[질문] ChatGPT를 연계하여 캐시엔진을 활용한 빅쿼리를 활용하는 방안이 제공되나요?
안녕하세요. 해당 내용은 실제로 구축하시려는 서비스의 시나리오, 그리고 전체 인프라를 우리 클라우드메이트에서 구축, 컨설팅, 기술지원 해드릴 수 있습니다. [email protected]로 문의주시면 친절히 상담해드리겠습니다.
클라우드메이트
2023-04-26 14:42
아직 답변이 없습니다
[질문] BigQuery에서 Google Cloud Storage로 테이블 내보내기가 가능한지 궁금합니다. 권한에 따른 오류 등의 사전 체크해봐야 할 부분은 무엇인지도 궁금합니다.
네. 가능합니다.
양철민
2023-04-26 14:39
[질문] 빅쿼리가 클라우드기반이라 scale-out으로도 해결할 수 있는데 scale-up을 실행하거나 그 반대로 쿼리를 실행해서 cost-effective 효과에 저해될 수도 있을 것 같은데 이런 빅쿼리의 스케일업과 아웃 메카리즘은 어느정도 신뢰할 수 있는지요?
BigQuery 서비스는 고객의 인프란 관리 포인트를 0에 가깝게 만들어놓은 서비스라고 말씀드릴 수 있습니다. BigQuery의 BORG (하이퍼바이저) 내에서 컴퓨팅 노드를 자동으로 구성합니다. BigQuery의 성능 테스트는 웨비나 후반부를 봐주시면 좋을 것 같습니다.
클라우드메이트
2023-04-26 14:39
아 그럼 일단 인프라차 크게 충분히 산정해 놓고 그 인프라를 조금씩 조금씩 사용하는 것이군요..답변 감사합니다. 그런데 초기 인프라 비용이 많이 나오지 않을까요?
윤성원
2023-04-26 14:42
[질문] 구글 빅쿼리 적용위한 최소 용량대비 도입비용 효울성을 위한 권장용량은 몇 TB 정도가 시작점인지요? 200TB 정도면 3가지 중 빅쿼리가 효율적일까요?
용량과 무관하게 BigQuery의 Storage 비용은 저렴하며, Google Cloud의 "콜로서스"라는 따른 분산 스토리지를 이용하게 됩니다.
클라우드메이트
2023-04-26 14:37
그렇군요 답변 감사합니다. 기존 데이터 마이그레이션을 할 필요성은 없는거죠?
문태진
2023-04-26 14:42
[질문] 빅쿼리같은 고성능 db에서는 index의 설계를 어떻게 하는지 궁금하고 firest index의 속도 문제를 해결하기 위한 second index 설정도 가능하지 궁금합니다. 이를 통해 어느정도 속도개선 효과가 가져올 수 있는지요?
BigQuery 모델링에서는 파티션 컬럼을 특정하여 모델링할 수 있는 부분만 있으며, 일반적으로 OLAP 환경에서는 특정 컬럼들에 대한 Clustered Index, Nonclustered Index 를 생성하지 않습니다.
클라우드메이트
2023-04-26 14:35
아 인덱스 생성이 필요없는 아주 큰 장점이 있군요...답변 감사합니다.
윤성원
2023-04-26 14:37
[질문] POC신청방법은 추가 공유해주시는건가요?
[email protected]로 연락 주세요.
양철민
2023-04-26 14:32
[질문] 빅쿼리도 오라클과 같이 오토노머스 옵티마이져를 사용해서 사용자가 관리하는 포인트를 많이 줄여줄수 있는지요?
네 BigQuery는 성능 개선을 위한 튜닝 작업을 거의 대부분 자동으로 합니다. 손댈 필요가 거의 없고, 대용량에서도 좋은 성능이 나옵니다. 다만, 데이터 특성을 알고 있다면, 복합 쿼리에서 어떤 서브 쿼리가 먼저 실행되면 좋을지, 파티션/클러스터링 정책 등은 고민하시면 좋습니다
정명훈
2023-04-26 14:32
예 그렇더라구요...오토머스 db도 관리가 많이 필요한것 같습니다. 빅쿼리도 관리포인트는 적지만 신경써야 할 부분이 있네요...답변 감사합니다.
윤성원
2023-04-26 14:34
BigQuery는 성능 개선을 위한 튜닝 작업을 거의 대부분 자동으로 합니다. -> [질문] 튜닝을 위해서는 데이터 통계정보가 필요할텐데 이런 통계정보는 어떻게 구축하며 실시간으로 변하는 데이터에 대한 통계정보도 실시간으로 구축하는지요 ?
조형범
2023-04-26 15:07
통계정보는 보통 OLTP에서 일부 데이터에 엑세스하는 플랜을 작성하기 위한 정보이고, DW나 OLAP에서의 대상 데이터는 전체 데이터일 경우가 많으므로 통계정보에 대한 고민은 맞지 않는것 같습니다.
양철민
2023-04-26 15:09
[질문] 빅데이터를 실시간으로 분석하여 인사이트를 빠르고 정확하게 도출할 수 있는 방법에 대해서 질문드립니다
안녕하세요. 해결하시려는 비즈니스 환경에 따라 다양한 기술지원이 가능할 수 있습니다. 따라서, paint point 또는 원하시는 솔루션을 [email protected] 로 문의 주시면 친절히 상담해드리겠습니다.
클라우드메이트
2023-04-26 14:31
우리가 사용하는 오렌지 같은 ddl 툴을 사용해서도 가능하지 궁금합니다.
아직 답변이 없습니다
OLTP 성격의 검색 서비스를 구현한다는 전제 하의 시나리오였다는 점 참고 부탁드립니다^^
클라우드메이트
2023-04-26 14:29
[질문] 빅쿼리(BigQuery)를 효율적으로 활용하려는 경우 캐시엔진을 어떻게 적용하고 사용하는 것이 유익한가요?
BigQuery 의 Result cache를 활용할 수 도 있으며, 별도의 캐시 서버를 구축하려는 경우 HTTPS 전문을 그대로 프록시 하는 형태로 구축할 수 있으며, 그것이 클라우드메이트에서 개발한 CacheCat [캐시캣] 솔루션이라고 말씀드릴 수 있습니다.
클라우드메이트
2023-04-26 14:30
[질문] big query는 data skew 현상을 방지하거나 예방할 수 있는 기능을 가지고 있는지요?
skew라 함은 ML 관련 내용일 듯 한데, BQML보다는 Vertex AI를 사용하셔서 데이터를 explore 하시고 BQML로 학습을 하시면 좋을 듯 합니다
정명훈
2023-04-26 14:27
아 그런 방법도 gcp를 사용하면 가능하겠군요...답변 감사합니다.
윤성원
2023-04-26 14:28
[질문] BigQuery가 특정시간대에 집중된다고 했을때 검색지연이나 오류등이 발생할수있는 가능성은 없는지와 방지책은 어떻게 되는지요?
컴퓨팅 자원을 미리 reservation 개념으로 확보할 수 있습니다
정명훈
2023-04-26 14:26
아 미리 리저브 시키면 가능하겠군요...답변 감사합니다.
윤성원
2023-04-26 14:27
[질문] BigQuery는 RDBMS 처럼 일정한 스키마를 가진 테이블을 생성하고, 정형화 된 데이터(structured data)를 저장되니, 데이터 웨어하우스로 보는것이 적합할 것 같은데..... 빅 쿼리에 데이터를 적재할 테이블의 스키마는 어떻게 짜는게 바람직한지 궁금합니다.
일반적인 DB modeling 툴을 사용하는 경우도 있지만, DW/OLAP 성 테이블이기 때문에 데이터를 가능하면 분산보다는 하나의 테이블에 담는 것이 유리합니다. 그래서 DDL이나 api, UI 등을 통해 작성하시면 될 것 같습니다.
정명훈
2023-04-26 14:25
우리가 사용하는 오렌지 같은 ddl 툴을 사용해서도 가능하지 궁금합니다.
윤성원
2023-04-26 14:26
BigQuery driver를 addon 할 수 있는 모든 응용 프로그램에서 사용 가능합니다. EX) DBeaver 등
클라우드메이트
2023-04-26 14:28
ansi sql로 export 해서 apply 하면 가능합니다. 다만, oltp 성 DB와는 다르다 보니 거기서 ERD 처럼 만드는 것은 의미가 크지 않습니다.
정명훈
2023-04-26 14:29
예 그렇군요...export해서 사용하면 가능하겠네요...답변 감사합니다.
윤성원
2023-04-26 14:29
[질문] 한국 및 중국, 홍콩 등의 아시아권 이커머스 및 물류 시스템에 적용할 때 사용할 수 있을 것 같은데 해당 규모에서의 적용사례 있으면 말씀해 주세요. 다른 시스템 과의 비교도 부탁드립니다
해당 내용에 대해서 국내/해외 사례에 대해서는 클라우드메이트 [email protected] 로 문의 주시면 상세한 내용 상담드릴 수 있을 것 같습니다.
클라우드메이트
2023-04-26 14:26
[질문] 빅쿼리에서는 데이터웨어 하우스에서 데이터를 Export하지 않고 모델링이 가능한지 궁금하며, 만약 가능하다면 속도면에서 어느정도 성능향상이 되는지 궁금합니다.
네. 결론부터 말씀드리면 가능합니다. BigQuery 내에서도 ANSI SQL 과 거의 유사한 형태의 모든 DDL 및 DML을 지원합니다. 따라서 BigQuery 내에서 데이터 분석의 주제 영역에 맞게 모델링 할 수 있습니다.
클라우드메이트
2023-04-26 14:22
[질문] BigQuery의 standard SQL 쿼리로 머신러닝 모델을 생성하고 실행할 수 있는지 궁금하며, 예측 테이블을 생성한 후, REST API 처럼 사용할 수도 있는지 궁금합니다.
Google Cloud 내에서는 ML 모델 개발을 할 수 있는 별도의 서비스가 존재합니다. BigQuery 내에서는 ML 모델에 필요한 기초 학습 데이터로서의 빠른 분석이 가능한 형태라고 봐주시면 좋을 것 같습니다.
클라우드메이트
2023-04-26 14:20
BigQuery에서도 BigqueryML로 직접 Standard SQL로 머신 러닝 학습 가능하고... 해당 모델을 ML 모델을 개발할 수 있는 Vertex AI 서비스에 올려 REST API로 서빙 가능합니다. BQ 내에서 SQL 사용한 batch serving도 가능합니다.
정명훈
2023-04-26 14:22
" ／‘’ 빅커리와 최신추세 확장적인 ChatGPT 결합하여 운용은 가능한가요?
안녕하세요, 최종경님 키보드 내의 일반 슬래시를 입력하시면, 자동으로 [질문] 말머리가 입력됩니다.
잇츠맨 IT's MAN
2023-04-26 14:16
감사합니다
최종경
2023-04-26 14:16
Google Cloud 상에서의 GPT-3 또는 GPT-4 에 대한 구축, 튜닝, 운영은 구체적인 요구사항을 기반으로 제안드릴 수 있을 것 같습니다. 클라우드메이트 [email protected] 로 문의주시면 친절하게 상담해드리겠습니다.
클라우드메이트
2023-04-26 14:19