WebCrawler — це пошукова система та одна з найстаріших пошукових систем, що збереглися сьогодні в Інтернеті. Багато років він працював як метапошукова система. WebCrawler була першою веб-пошуковою системою, яка забезпечувала повнотекстовий пошук.[2]
Історія
Брайан Пінкертон вперше почав працювати над WebCrawler, який спочатку був настільним додатком, 27 січня 1994 року в Університеті Вашингтона. [3] 15 березня 1994 року він склав список 25 найкращих веб-сайтів. [4]
WebCrawler було запущено 21 квітня 1994 року з більш ніж 4000 різними веб-сайтами в базі даних [5], а 14 листопада 1994 року WebCrawler виконав свій 1-мільйонний пошуковий запит [5] на тему «розробка та дослідження ядерної зброї». [6]
1 грудня 1994 року WebCrawler придбала двох спонсорів, DealerNet і Starwave, які надали гроші для підтримки роботи WebCrawler. [7] Починаючи з 3 жовтня 1995 року, WebCrawler повністю підтримувався рекламою, але відокремив рекламу від результатів пошуку. [7]
1 червня 1995 року America Online (AOL) придбала WebCrawler. [8] Після придбання AOL веб-сайт представив свій талісман «Спайді» 1 вересня 1995 року [8]
Починаючи з квітня 1996 року, [9] WebCrawler також включав редагований людьми інтернет-довідник GNN Select, який також належав AOL. [10][11]
1 квітня 1997 року Excite придбала WebCrawler у AOL за 12,3 мільйона доларів. [12][13]
WebCrawler отримав оновлений дизайн 16 червня 1997 року, додавши ярлики WebCrawler, які пропонували альтернативні посилання на матеріал, пов’язаний з темою пошуку. [14]
WebCrawler підтримувався Excite як окрема пошукова система з власною базою даних до 2001 року, коли вона почала використовувати власну базу даних Excite, фактично поклавши край WebCrawler як незалежній пошуковій системі. [15] Пізніше того ж року Excite (тоді називалася Excite@Home ) збанкрутувала, а WebCrawler був куплений InfoSpace у 2001 році [16]
Пінкертон, творець WebCrawler, очолював пошуковий підрозділ Amazon A9.com у 2012 році [17][18]
У липні 2016 року материнська компанія Blucora продала InfoSpace компанії OpenMail за 45 мільйонів доларів, у результаті чого WebCrawler перейшов у власність OpenMail. [19] Пізніше OpenMail було перейменовано на System1. [20]
У 2018 році WebCrawler було перероблено з нуля та змінено його логотип. [21][22]
Трафік
WebCrawler був дуже успішним на початку. [23] Одного разу він був непридатний для використання в години пік через перевантаження сервера. [24] У лютому 1996 року він був другим за відвідуваністю веб-сайтом в Інтернеті, але швидко опустився нижче конкуруючих пошукових систем і каталогів, таких як Yahoo!, Infoseek, Lycos і Excite у 1997 році [25]