Netezza

Netezza
Тип	Публичная компания
Листинг на бирже	NZ
Основание	2000
Упразднена	2011
Причина упразднения	Поглощена IBM
Преемник	IBM
Основатели	Джитиндра Саксена Фостер Хиншоу
Расположение	США: Мальборо, Массачусетс
Отрасль	вычислительная техника (МСОК: 2620)
Продукция	Аппаратно-программные комплексы обработки данных
Оборот	$190 млн (2010)
Число сотрудников	469 (2010)
Сайт	netezza.com
Медиафайлы на Викискладе

Netezza (урду نتیجہ‎, «натиджа» — «результат») — американская компания, разработчик аппаратно-программных комплексов хранилищ данных — кластеров серверов реляционных баз данных, обеспечивающих массово-параллельную обработку. Отличительной чертой всех комплексов Netezza является использование программируемых вентильных матриц на узлах обработки данных, обеспечивающих сжатие и фильтрацию данных и тем самым позволяющих снизить издержки на хранение и операции ввода-вывода при выполнении запросов на выборку данных[1].

Компания основана в 2000 году, в 2010 году поглощена корпорацией IBM, с 2011 года полностью интегрирована в корпорацию, аппаратно-программные комплексы в период 2012—2014 годов выпускались под маркой «IBM PureData for Analytics».

История

Логотип Netezza в начале 2000-х годов

Основана в 2000-м году (в период краха доткомов) предпринимателем индийского происхождения Джитиндрой Саксеной (Jitendra Saxena) и Фостером Хиншоу (Foster Hinshaw) при поддержке венчурного инвестора Пола Фери (Paul Feri), позднее основавшего инвестиционную компанию Matrix partners). Зарегистрирована в августе 2000 года в Делавэре под названием Intelligent data engines, а в октябре того же года сменила наименование на Netezza. В 1990-е годы Саксена был сооснователем компании Applix^[англ.] и длительное время возглавлял её (основной продукт Applix — многомерная система управлениями базами данных в оперативной памяти TM1, с 2008 года принадлежащая корпорации IBM), Хиншоу — ИТ-консультантом в системном интеграторе Keane^[англ.]. Саксена занял пост президента компании, а Хиншоу — технического директора. Штаб-квартира и разработческие подразделения компании на протяжении истории находились в городах Массачусетса: Фрэминхэме^[англ.], Мальборо^[англ.]^*, Кембридже, представительские офисы располагались в 12 странах.

Компания изначально сориентировалась на выпуск аппаратно-программных комплексов для хранилищ данных, реализующих массово-параллельную обработку больших объёмов информации. В 2002 году представлены аппаратно-программные комплексы Performance Server, позволяющие обрабатывать хранилища объёмом 4,5 — 18 ТБ[2]. Комплексы собирались в виде готовых к использованию телекоммуникационных шкафов, наполненных необходимым серверным и коммутационным оборудованием с предустановленным программным обеспечением. Главной особенностью решения была комбинация стандартного оборудования на базе серверов ProLiant с блоками на базе программируемых вентильных матриц, обеспечивающих эффективное хранение и высокопроизводительную обработку данных, сжатых и сегментированных по узлам хранения. Компания обещала за счёт эффективного хранения существенно снизить для заказчика стоимость обработки больших реляционных хранилищ и предлагала комплексы по ценам от $622 тыс. до $2,5 млн в зависимости от объёма хранилища[2].

В 2002—2003 годы компания поставила первые комплексы заказчикам, в качестве одного из них указывается администрация штата Массачусетс[3]. В 2003 году Хиншоу отмечен наградой журнала Infroworld в номинации «инноватор года» за разработку и внедрение комплексов Performance Server 8000[3].

За 2003 год компания заработала $13,5 млн, в 2004 — $40 млн[4], в течение последующих лет существования ежегодный прирост выручки составлял около 50 %[5][6] (хотя в 2005 году Саксена ожидал роста 150 %[7]). Среди заказчиков 2004 года фигурируют AT&T Wireless и британское отделение корпорации Orange[8], притом Orange указывается как один из инвесторов Netezza[9].

В 2006 году компании удалось продать 200 комплексов, выручив за год около $80 млн, а среди заказчиков появились такие крупные компании и организации, как Amazon.com, Американский Красный Крест, AOL[5], год компания закончила с чистым убытком в размере $14 млн[6]. В июле 2007 года Netezza осуществила первичное размещение акций на Нью-Йоркской фондовой бирже, оценённое как успешное (стоимость акций выросла в период размещения на 45 %)[6], вплоть до упразднения акции компании торговались под тикером NZ.

В начале 2009 года Саксена покинул компанию, возглавил Netezza Джим Бом (Jim Baum), ранее руководивший бостонской компанией Endeca (поглощённой Oracle в 2011 году). По состоянию на 2010 год сообщалось о более 500 организациях, использующих комплексы Netezza[10].

В сентябре 2010 года объявлено о поглощении компании корпорацией IBM за $1,7 млрд[11]. В течение 2011 осуществлена интеграция в корпорацию, начиная с этого времени все аппаратно-программные комплексы Netezza распространяются по каналам сбыта программного обеспечения IBM, слово «Netezza» первые два года использовалось в наименовании комплексов, с конца 2012 года — только как имя собственное технологии обработки данных. С 2014 года выпуск новых комплексов на базе технологий Netezza прекращён, а с середины 2019 года прекращена техническая поддержка проданного оборудования[12]. В 2020 году под маркой «Netezza» от IBM появилась совместимая со снятыми с производства аппаратно-программными комплексами облачная СУБД, предоставляемая по подписке из облаков IBM Cloud или Amazon Web Services[13].

Положение на рынке

Специализированные аппаратно-программные комплексы распределённой обработки данных в 1980-е год выпускали компании Britton Lee^[англ.] и Teradata (в 1990 году Teradata поглотила Britton Lee)[14], и именно им отдаётся приоритет в подходе к такой реализации обработки больших объёмов данных. Однако именно появление в начале 2000-х годов комплексов Netezza отмечается как идентификация рынка таких систем[15]. Кроме того, само понятие о специализированных аппаратно-программных комплексах для хранилищ данных (англ. data warehouse appliances) связывают с техническим директором Netezza Фостером Хиншоу[16].

По состоянию на 2004 год, когда компания выпускала комплексы, способные обрабатывать хранилища объёмом до 27 ТБ, решение Netezza сравнивалось как с комплексами Teradata, так и с неспециализированными системами на основе программного обеспечения Oracle и IBM; в то время комплексы Teradata могли обрабатывать сотни терабайт и критика со стороны конкурента базировалась на сложности модернизации системы от Netezza в случае быстрого прироста объёмов хранилища[17].

В 2006—2007 годы Gartner относил Netezza к группе «провидцев» рынка решений для хранилищ данных в рамках ежегодно составляемого по данному сегменту «магического квадранта»[18], c 2008 года Netezza перемещена в квадрант лидеров рынка. В магическом квадранте 2010 года особо отмечается, что комплексы Netezza являются прямым конкурентом Oracle Exadata[10].

Performance Server

Комплекс Performance Server выпускался 2002 года и комплектовался серией из управляющих узлов, узлов обработки на базе серверов Hewlett-Packard ProLiant, оснащённых вычислительными блоками на программируемых вентильных матрицах, отвечающих за взаимодействие с узлами хранения. Узлы обработки функционировали под управлением операционной системы Red Hat Enterprise Linux и системы управления базами данных PostgreSQL[2]. Решение реализовано в архитектуре без разделяемых ресурсов (англ. shared-nothing architecture), таким образом, от проектировщика хранилища данных требовалось определить ключи сегментирования, позволяющие относительно равномерно распределить обрабатываемую базу данных по узлам.

Первые комплексы обрабатывали до 18 Тбайт при цене $2,5 млн (ок. $140 тыс. за терабайт). Старшая модель 2004 года обрабатывала хранилища размером до 27 Тбайт и комплектовалась 650 дисками и 676 процессорами, при стоимости комплекса $10 млн[19] терабайт обходился ок. $370 тыс. Младший комплекс 2004 года обрабатывал 400 ГБ, содержал 60 процессоров и стоил $300 тыс.[20] (ок. $770 тыс. в пересчёте на терабайт).

TwinFin

Комплекс TwinFin-1000

Первые комплексы TwinFin использовали узлы обработки данных на базе процессоров архитектуры Power, которые поставлялись одним из OEM-партнёров IBM[21], и, также как и в Performance Server, комплектовались специализированными обрабатывающими узлами на основе программируемых вентильных матриц. В августе 2009 года узлы обработки заменены на двухсокетные блейд-серверы IBM с процессорами Intel Xeon, программируемые вентильные матрицы устанавливались по одной на каждое ядро Xeon[22], эти узлы размещались в стандартной блейд-корзине IBM BladeCenter. Благодаря переходу на архитектуру x86-64 удалось существенно снизить стоимость одного терабайта данных для хранилища — до суммы ниже $20 тыс.[23] PostgreSQL, используемый в TwinFin, охарактеризован как «сильно модифицированный»[24].

Корпорация IBM в первые годы после поглощения продолжала развитие комплексов. Основные модификации коснулись внедрения различных программных технологий «больших данных»: добавлена возможность MapReduce-обработки в базе данных посредством интеграции Hadoop, реализована статистическая обработка средствами SPSS и R непосредственно на узлах кластера. По следам сообщений об интеграции статистического пакета Revolution R в решение, изначально применявшиеся для практической аналитики над реляционными хранилищами данных, комплекс охарактеризован в одной из публикаций как «Франкенштейн для больших данных»[25]. В 2011 году TwinFin переименован в IBM Netezza 1000, выпускалось несколько конфигураций комплекса с количеством сниппетов (пар из узла обработки и программируемой вентильной матрицы) от 3 до 12 на шкаф и объёмом хранения 8 до 32 ТБ на шкаф, поддерживается объединение до 10 шкафов. Вес полного шкафа около 900 кг, энергопотребление — ок. 7,5 КВатт. Стоимость полного шкафа у партнёров в США составляла ок. $320 тыс.[26] (ок. $10 тыс. на терабайт). Для целей разработки и тестирования поставлялись комплексы IBM Netezza 100, ранее Skimmer (1 управляющий узел и 1 сниппет на 2,8 ТБ). Кроме того, IBM добавила в линейку комплекс IBM Netezza High Capacity Appliance (два или четыре шкафа с 8 или 16 сниппетами на 288 и 576 ТБ соответственно).

В октябре 2012 года IBM провела ребрендинг и с этого момента и до прекращения выпуска в середине 2010-х годов комплексы поставлялись под маркой «PureData for Analytics» в рамках линейки PureSystems^[англ.][27], в материалах о комплексах используется подзаголовок «на основе технологии Netezza»[28], существенно изменён внешний вид шкафов. Под индексом N1001 поставлялись комплексы с 4, 7 и 14 сниппетами на шкаф и 32, 64, 128 ТБ ёмкости хранилища соответственно, продолжающие логику линейки Netezza 1000, стоимость полного шкафа у партнёров в США на начало 2013 года составляла около $360 тыс.[29] Под индексом N2001 выходили комплексы повышенной ёмкости с 4—7 сниппетами и 96—192 ТБ на шкаф, в 2014 году в продолжение этой линейки выпущены комплексы N3001 с 2—7 сниппетами и до 192 ТБ на шкаф, в сравнении с предыдущей версией увеличено число ядер на сниппете (20 ядер на узле обработки и 16 ядер на программируемой вентильной матрице в противовес восьми ядрам на каждом из компонентов сниппета ранее).

Критика

Netezza была обвинена в нелегальном использовании геопространственного пакета массачусетской компании IISi (Intelligent Integration Systems) при выполнении заказа ЦРУ по созданию аппаратно-программного обеспечения беспилотника MQ-1 Predator. Суть проблемы была в том, что Netezza, получив отказ от IISi в требовании по ускоренному портированию пакета под TwinFin, взломала тестовую версию пакета и самостоятельно осуществила его интеграцию в своё аппаратно-программное окружение. Особо отмечалось, ЦРУ было в курсе взлома, а также заказчику было известно, что отклонения в оценках местоположения в тестовой версии доходили до 13 метров (в сравнении со стабильной версией, где таких отклонений не было), и это могло привести к неоправданным жертвам при боевом применении техники[30]. Однако, в ноябре 2010 года претензии удалось урегулировать в досудебном порядке[31].

Примечания

1. Прикетт-Морган, 2010, The special sauce in the Netezza gear is a field programmable gate array (FPGA) that handles data compression and decompression as it goes on and off the disk, thereby speeding up throughput, as well as providing sophisticated data filtering so that only the relevant portions of a giant data set are passed on up to the X64 engines to run the SQL query.
2. Whiting, Rick. Startup Netezza Pushes Discount Data Warehouse Products. The company is promising appliances that it says can tackle terabyte-scale business-intelligence apps 10 to 20 times faster than traditional systems at half the cost (англ.). Information Week. UBM TechWeb (23 сентября 2002). Дата обращения: 11 июля 2012. Архивировано 12 января 2013 года.
3. Rash, Wayne. 2003 InfoWorld Innovator: Foster D. Hinshaw. Netezza CTO used aerodynamics to invent a large-scale database appliance that handles data in a whole new way (англ.). Inforworld (23 марта 2003). — «Some of the biggest organizations, including the Commonwealth of Massachusetts, were finding that BI (business intelligence) wasn't so useful if it couldn't handle all of their data». Дата обращения: 8 июля 2012. Архивировано 25 сентября 2012 года.
4. Лайонс, 2004, Jitendra Saxena's tiny computer company, Netezza, will do all of $40 million in sales this year.
5. Netezza Corporation. Initial Public Offering (англ.). Edgar, Form S-1. United States Securities and Exchange Commision (22 марта 2007). Дата обращения: 8 июля 2012. Архивировано 25 сентября 2012 года.
6. Vance, Ashley. Netezza nets plenty of cash in IPO (англ.). The Register (21 июля 2007). Дата обращения: 8 июля 2012. Архивировано 25 сентября 2012 года.
7. Лайонс, 2004, Saxena expects his sales to grow 150% in 2005, to $100 million.
8. Лайонс, 2004, AT&T Wireless and Orange UK chose Netezza boxes to analyze customer call records.
9. Лайонс, 2004, Orange is also an investor in Netezza.
10. Feinberg, Donald; Beyer, Mark A. Magic Quadrant for Data Warehouse Database Management Systems (англ.). Magic quadrant. Gartner (28 января 2011). — «The acquisition of Netezza in late 2010 gives IBM a ready-made Linux-capable data warehouse appliance, which competes directly with Oracle’s Exadata. Further, conversations with Gartner clients indicate that Netezza continues to compete well on both price and performance against Oracle’s Exadata.» Дата обращения: 11 июля 2012. Архивировано 25 сентября 2012 года.
11. Nutall, Chris (20 сентября 2010). "IBM to buy Netezza for $1.7bn in cash" (HTML). Financial Times (англ.). London. a568b96c-c4df-11df-9134-00144feab49a. Архивировано 25 ноября 2010. Дата обращения: 8 июля 2012.
12. Max Smolaks. RIP Netezza, IBM’s FPGA-powered data warehousing dream. Once mighty business killed by cloud computing  (неопр.). The Register (3 июля 2019). Дата обращения: 3 июля 2019. Архивировано 3 июля 2019 года.
13. Lindsay Clark. IBM resurrects Netezza data warehousing kit in the cloud, which will delight clients midway through migrating  (неопр.). The Register (27 мая 2020).
14. Черняк, Леонид. Большие Данные — новая теория и практика (рус.) // Открытые системы. СУБД. — 2011. — № 10. — ISSN 1028-7493. Архивировано 24 октября 2016 года.
15. Понья, 2010, Generally, Terradata's core product line cosidered as mother of all data warehouse appliances, allthough the term was not associated with product offering. Greater interest in data warehouse appliances surged with emerging of Netezza in early 2000s.
16. Понья, 2010, The term data warehouse appliance was coined by Foster Hinshow.
17. Лайонс, 2004, Executives at Teradata dismiss Netezza, saying its boxes are hard to upgrade and too puny to handle enormous data warehouses like the ones it has built for Wal-Mart, FedEx and Dell. Teradata systems can handle hundreds of terabytes.
18. Beasty, Colin. Teradata Tops Gartner Magic Quadrant for Database Management (англ.). Destination CRM. CRM Magazine (26 октября 2007). — «Netezza, which was virtually unchanged from its previous rating; this year, the company is just slightly lagging Sybase in ability to execute, but squeaking past in terms of the completeness of its vision». Дата обращения: 11 июля 2012. Архивировано 25 сентября 2012 года.
19. Лайонс, 2004, Netezza's top-end model boasts 650 hard disk drives and 676 microprocessors. It holds 27 terabytes of data and costs $10 million.
20. Лайонс, 2004, The low-end model, at $300,000, uses 60 microprocessors and holds 400 gigabytes.
21. Прикетт-Морган, 2011, The original Netezza appliances were based on Power architecture (and did not come from IBM, but one of its OEMs).
22. Прикетт-Морган, 2010, IBM's BladeCenter chassis and two-socket HS22 Xeon blade servers and plunking the FPGAs (one per Xeon core) onto a companion blade.
23. Monash, Kurt. Netezza is changing its hardware architecture and slashing prices accordingly (англ.). Monash Research (30 июля 2009). Дата обращения: 13 июля 2012. Архивировано 7 ноября 2012 года.
24. Прикетт-Морган, 2010, …heavily customized PostgreSQL database.
25. Harris, Derrick (2011-03-141). "IBM Creates Big Data Frankenstein With Netezza-R Fusion" (англ.). The New York Times. Дата обращения: 2011-11-19.
26. Netezza 1000-12 (англ.). Gemini (13 июля 2012). Дата обращения: 13 июля 2012. Архивировано 25 сентября 2012 года.
27. Pricket Morgan, Timothy. IBM takes on Oracle with PureData appliances. Rebadging Netezza warehouses and Smartie boxes (англ.). Th Register (10 октября 2012). Дата обращения: 16 февраля 2013. Архивировано 14 марта 2013 года.
28. Powered by Netezza technology
29. PureData System Analytics N1001-015 (англ.). Gemini (16 февраля 2013). Дата обращения: 16 февраля 2013. Архивировано 14 марта 2013 года.
30. Williams, Christopher. CIA used “illegal, inaccurate code to target kill drones”. “They want to kill people with software that doesn’t work” (англ.). The Register (24 октября 2010). Дата обращения: 11 июля 2012. Архивировано 25 сентября 2012 года.
31. Williams, Christopher. Netezza pays to shut down CIA killer drone lawsuit. Faulty targeting row hushed (англ.). The Register (11 ноября 2010). Дата обращения: 11 июля 2012. Архивировано 25 сентября 2012 года.

Литература

• Prickett Morgan, Timothy. Netezza to bake analytics into appliances (англ.). The Register (24 февраля 2010). Дата обращения: 8 июля 2012. Архивировано 25 сентября 2012 года.
• Prickett Morgan, Timothy. Oracle and IBM fight for the heavy workload (англ.). The Register (12 декабря 2011). Дата обращения: 11 июля 2012. Архивировано 25 сентября 2012 года.
• Lyons, Daniel. Speed Demon. Netezza’s computers can do only one thing-but they do it very, very fast (англ.). Companies, People, Ideas. Forbes (13 декабря 2004). Дата обращения: 11 июля 2012. Архивировано 25 сентября 2012 года.
• Ponniah, Paulraj. Data Warehousing Fundamentals for It Professionals. — Hoboken, N. J.: John Wiley and Sons, 2010. — P. 189—200. — 571 p. — (Fundamentals for IT professionals). — ISBN 9780470462072.