GFS — очень быстрая файловая система от Google

Гжегож Цажковски, системный инженер Google в официальном блоге Google сегодня сообщил, что в экспериментах с файловой системой Google File System был поставлен новый рекорд по скорости передачи данных. 1 Петабайт данных (10 трлн 100-байтных текстовых файлов) был передан 4000 клиентских компьютеров за 6 часов и 2 минуты.

1 петабайт данных позволяет 12 раз скопировать все содержимое Библиотеки Конгресса США - крупнейшей библиотеки в мире.

"Мы постоянно экспериментируем с различными вариантами организации данных в цифровом варианте. Большинство опытов касается MapReduce - ключевого компонента нашей программной инфраструктуры, позволяющей нам запускать множество процессов одновременно. Сейчас при создании тестовых условий для MapReduce базовой единицей уже стал терабайт", пишет он.

Недавно в Google достигли и еще одного впечатляющего результата по трансферу данных - 1 терабайт данных при помощи инфраструктуры компании был передан 1000 клиентских компьютеров всего за 68 секунд. Сортировка 1 терабайта данных и их передача 910 компьютерам заняла 209 секунд.

Цажковски также отметил, что с учетом архитектуры поисковой системы Google для хранения 1 петабайта данных требуется около 48 000 жестких дисков, причем в стандартных условиях система функционирует с трехкратной избыточностью, то есть каждый блок данных продублирован трижды.