Увеличьте производительность дата-центров с помощью нового ПО

Для повышения эффективности дата-центров часто объединяют несколько накопителей в сеть, чтобы многие приложения могли делить их. Однако даже при объединении значительная емкость устройств остается неиспользованной из-за вариабельности производительности. Исследователи MIT разработали систему, которая увеличивает производительность накопителей, одновременно устраняя три основных источника вариабельности. Их подход обеспечивает значительное увеличение скорости по сравнению с традиционными методами, которые решают только одну проблему вариабельности за раз.

Система использует двухуровневую архитектуру, где центральный контроллер принимает глобальные решения о том, какие задачи выполняет каждое устройство, а локальные контроллеры для каждой машины быстро перенаправляют данные, если устройство испытывает трудности. Метод, который может адаптироваться в реальном времени к изменяющимся нагрузкам, не требует специализированного оборудования. При тестировании системы на реалистичных задачах, таких как обучение моделей ИИ и сжатие изображений, производительность почти удвоилась по сравнению с традиционными подходами. Умное распределение нагрузок между несколькими накопителями позволяет повысить общую эффективность дата-центра.

Гохар Чаудри, аспирант факультета электротехники и компьютерных наук MIT и ведущий автор статьи о данной технике, отметил: «Существует стремление решать проблему, увеличивая ресурсы, но это неустойчивая стратегия. Мы хотим максимизировать срок службы этих дорогих и углеродоемких ресурсов». С помощью нашего адаптивного программного решения можно извлечь максимальную производительность из существующих устройств, прежде чем придется их утилизировать и приобретать новые.

Чаудри сотрудничал с Анкитом Бхардвиджем, ассистентом профессора в Университете Тафтса; Чжэнъюанем Руаном, аспирантом; и старшим автором Адамом Белэем, ассоциированным профессором EECS и членом Лаборатории компьютерных наук и искусственного интеллекта MIT. Исследование будет представлено на симпозиуме USENIX по проектированию и реализации сетевых систем.

Для использования неиспользуемой производительности твердотельных накопителей (SSD) исследователи разработали программную систему Sandook, которая одновременно устраняет три основных источника снижения производительности. Название «Sandook» происходит от урду и означает «коробка», что символизирует «хранение». Один из источников вариабельности связан с различиями в возрасте, износе и емкости SSD, которые могли быть приобретены в разное время от разных поставщиков. Второй источник вариабельности возникает из-за несоответствия между операциями чтения и записи на одном и том же SSD. Третий источник — это сбор мусора, который замедляет работу SSD и запускается в случайные моменты времени, которые оператор дата-центра не может контролировать.

Чтобы справиться со всеми тремя источниками вариабельности, Sandook использует двухуровневую структуру. Глобальный планировщик оптимизирует распределение задач для всего пула, в то время как более быстрые планировщики на каждом SSD реагируют на неотложные события и переключают операции с перегруженных устройств. Система преодолевает задержки от конфликтов чтения и записи, чередуя, какие SSD может использовать приложение для чтения и записи. Это уменьшает вероятность одновременного выполнения операций на одном устройстве. Sandook также профилирует типичную производительность каждого SSD, используя эту информацию для определения, когда сбор мусора замедляет операции.

В ходе тестирования Sandook на пуле из 10 SSD система увеличила производительность каждого приложения от 12 до 94 процентов по сравнению со статическими методами и улучшила общую загрузку емкости SSD на 23 процента. Система позволила SSD достичь 95 процентов их теоретически максимальной производительности без необходимости в специализированном оборудовании или обновлениях, специфичных для приложений.