BigQuery

BigQuery — RESTful веб-сервис для интерактивного широкомасштабного анализа больших наборов данных, расположенных в Google Storage. Есть инфраструктура как услуга (IaaS), которую можно использовать вместе с MapReduce.

История

После ограниченного периода тестирования в 2010 году BigQuery стал доступен широкой публике в ноябре 2011 года на конференции Google Atmosphere.[1] В 2014 году MapR представила проект Apache Drill для решения подобных задач.[2] В апреле 2016 года случился 12-часовой сбой в работе службы для европейских пользователей[3]. В мае 2016 года была объявлена поддержка Google Sheets.[4]

В августе 2024 года Google объявил об отключении сервиса в России с 9 сентября 2024 года[5].

Архитектура

BigQuery предоставляет внешний доступ к технологии Dremel^[англ.][6][7] — масштабируемой, интерактивной специальной системе запросов ad hoc для анализа данных, доступных только для чтения. Для использования данных в BigQuery сначала их необходимо загрузить в Google Storage, а затем импортировать с помощью BigQuery API HTTP. BigQuery требует аутентификации для всех запросов с использованием ряда механизмов аутентификации, подобных OAuth.

Особенности

• Управление данными — создание и удаление таблиц на основе JSON-схемы, импорт данных в формате CSV или JSON с Google Storage.
• Запросы — для запросов используется стандартный диалект SQL[8], а результат возвращается в формате JSON с максимальным размером ответа примерно 128 MB или неограниченного размера в зависимости от настроек.[9]
• Интеграция — BigQuery можно использовать в Google Apps Script[10] (например, как скрипт для Google Docs) или на любом языке, который работает с REST API или клиентскими библиотеками[11].
• Контроль доступа — это возможность предоставлять доступ к данным произвольным лицам, группам или любому.

Примечания

1. Iain Thomson. Google opens BigQuery for cloud analytics: Dangles free trial to lure doubters  (неопр.) (14 ноября 2011). Дата обращения: 26 августа 2016. Архивировано 15 сентября 2016 года.
2. Neil McAllister. Is your data boring? MapR wants you to bore it back with Apache Drill: New release adds support for Google-y SQL-on-Hadoop tech  (неопр.) (16 сентября 2014). Дата обращения: 26 августа 2016. Архивировано 15 сентября 2016 года.
3. Simon Sharwood. Google Euro -cloud glitch  (неопр.) (7 апреля 2016). Дата обращения: 26 августа 2016. Архивировано 15 сентября 2016 года.
4. Jordan Novet. Google BigQuery now lets you analyze data from Google Sheets  (неопр.) (6 мая 2016). Дата обращения: 26 августа 2016. Архивировано 8 сентября 2016 года.
5. Google отключит в России облачный сервис для big data  (неопр.). РБК (13 августа 2024). Дата обращения: 13 августа 2024. Архивировано 13 августа 2024 года.
6. Theo Vassilakis; Geoffrey Romer; Matt Tolton; Andrey Gubarev; Shiva Shivakumar; Jing Jing Long. Dremel: Interactive Analysis of Web-Scale Datasets  (неопр.). Proc. of the 36th International Conference on Very Large Data Bases (VLDB). Дата обращения: 24 ноября 2018. Архивировано 28 октября 2010 года.
7. Kazunori Sato. An Inside Look at Google BigQuery  (неопр.). Google (2012). Дата обращения: 26 августа 2016. Архивировано 3 сентября 2016 года.
8. SQL Reference  (неопр.). Дата обращения: 26 июня 2017. Архивировано 7 апреля 2017 года.
9. Quota Policy  (неопр.). Дата обращения: 26 июня 2017. Архивировано 15 июля 2017 года.
10. BigQuery Service. Apps Script. Google Developers  (неопр.) (15 марта 2018). Дата обращения: 23 апреля 2018. Архивировано 3 апреля 2019 года.
11. BigQuery Client Libraries  (неопр.). Дата обращения: 26 июня 2017. Архивировано 11 февраля 2017 года.