Отключение Интернета, которое во вторник вывело из строя несколько крупнейших веб-сайтов мира, в конечном итоге было вызвано обновлением настроек одним клиентом, сообщил провайдер инфраструктуры Fastly.

По словам Ника Рокуэлла, главы отдела инжиниринга и инфраструктуры компании, ошибка в коде Fastly, введенная в середине мая, бездействовала до утра вторника. Когда неназванный клиент обновил свои настройки, это вызвало ошибку, которая в конечном итоге вывела из строя 85% сети компании.

“12 мая мы начали развертывание программного обеспечения, в котором была обнаружена ошибка, которая могла быть вызвана конкретной конфигурацией клиента при определенных обстоятельствах”, - сказал Рокуэлл. “В начале 8 июня клиент подтолкнул допустимое изменение конфигурации, которое включало конкретные обстоятельства, вызвавшие ошибку, которая привела к тому, что 85% нашей сети вернули ошибки.

“Мы обнаружили нарушение в течение одной минуты, затем определили и изолировали причину и отключили конфигурацию. В течение 49 минут 95% нашей сети работали в обычном режиме.”

Рокуэлл добавил: “Несмотря на то, что были определенные условия, которые вызвали это отключение, мы должны были предвидеть это. Мы предоставляем критически важные услуги и относимся к любым действиям, которые могут вызвать проблемы с обслуживанием, с максимальной деликатностью и приоритетом. Мы приносим извинения нашим клиентам и тем, кто полагается на них в связи с отключением, и искренне благодарим сообщество за поддержку”. Сеть доставки контента (CDN), управляемая Fastly, является одной из крупнейших в Интернете, наряду с аналогичными сетями, управляемыми Akamai, Cloudflare и CloudFront Amazon. Все они работают по одному и тому же принципу: интернет быстрее и стабильнее, если пользователи могут подключаться к физически близким серверам, оптимизированным для обработки большого количества трафика.

В обычное время это не только сокращает время загрузки, но и позволяет операторам CDN, обладающим опытом в управлении инфраструктурой Интернета, взять на себя бремя обработки угроз безопасности, неожиданных всплесков трафика и высоких счетов за пропускную способность. Но отключение высветило риски, связанные с концентрацией критической инфраструктуры Интернета в руках всего нескольких компаний.

Вопреки здравому смыслу, отключение и восстановление привели к росту цены акций Fastly, которая выросла на 12% в течение вторника. Увеличение может быть связано с тем, что компания продемонстрировала эффективный план реагирования на инциденты, или просто потому, что отключение помогло инвесторам лучше понять масштабы бизнеса Fastly и размер его клиентской базы. Последствия для клиентов Fastly будут не такими радужными. Например, только в Amazon отключение могло привести к потере компанией 32 миллионов долларов продаж, согласно расчетам SEO-агентства Reboot.

“Хотя кажется, что они не были отключены надолго, влияние, которое это оказало бы, будет огромным, особенно на сайтах электронной коммерции”,-сказала Наоми Аарони, управляющий директор агентства. “С учетом того, что наше исследование показало, что Amazon потенциально могла потерять 6 803 доллара каждую секунду, ясно, что необходимо будет провести расследование, чтобы выяснить, что произошло.”

Немногие клиенты Fastly смогли переключиться на резервную систему вовремя, чтобы восстановиться после сбоя, отчасти потому, что это обычно считается более рискованным, чем просто

ожидание, пока поставщик исправит проблемы. Например, согласно публичным документам, gov.uk имеет контракт на резервное копирование с Amazon для предоставления услуг CDN, но для внесения изменений требуется ручное вмешательство.

Перевод: Баймухамбетов Мадияр