Данные, полученные Большим адронным коллайдером, являются бесценным научным сокровищем, но также и логистическим кошмаром. The ЦЕРН открытая лаборатория решает эту сложную задачу, полностью переосмысливая архитектуру хранения научных данных. Это не мелкие изменения, а настоящая революция: отказ от традиционных жестких дисков в пользу флэш-технологии. Это изменение (которое нелегко заставить понять «массовую общественность») может открыть ранее немыслимые аналитические возможности, экспоненциально увеличив скорость, с которой исследователи смогут интерпретировать столкновения частиц и, возможно, раскрыть новые тайны Вселенной. Вопрос уже не в том, можно ли управлять петабайтами данных, а в том, как сделать это наиболее эффективным и экологически безопасным способом.
CERN openlab, проблема узкого места
Вы не представляете, сколько данных это генерирует. Большой адронный коллайдер (LHC) каждую секунду. Это лавина информации, по сравнению с которой любой корпоративный центр обработки данных померкнет. Традиционные решения для хранения данных на основе механических жестких дисков стали слабым местом всей системы: они больше не способны удовлетворить скорость сбора данных и, прежде всего, аналитические потребности научного сообщества. Я часто задаюсь вопросом, как физикам удается сохранять терпение (особенно в важных экспериментах) как этот) когда каждый запрос данных занимает библейское время; Однако именно это терпение вскоре будет вознаграждено впечатляющим технологическим скачком.
Технология Прямая вспышка обещает устранить эти узкие места, представив совершенно новую парадигму в управлении научными данными. Речь идет не только о чистой скорости (которая также увеличивается экспоненциально), но и о переосмыслении всей архитектуры хранения данных с целью ее оптимизации специально для рабочих нагрузокВысокопроизводительные вычислительные системы (HPC).
Устойчивость и производительность
Необходимо подчеркнуть один аспект этой проблемы: прямая взаимосвязь между производительностью и устойчивостью. Обычно мы думаем, что чем больше мощность, тем больше потребление энергии: в данном случае все наоборот. Флэш-технология не только быстрее, но и потребляет значительно меньше энергии и занимает меньше места в центрах обработки данных. Это один из тех редких случаев, когда нам не приходится выбирать между эффективностью и устойчивостью; мы можем иметь и то, и другое.
Мы ожидаем, что это партнерство принесет важные результаты в понимании будущего сохранения научных данных. В первую очередь мы планируем интегрировать эту технологию в нашу крупномасштабную распределенную систему хранения данных и получить возможность доставлять данные гораздо эффективнее.
Слова Лука Маскетти, технический директор по системам хранения данных CERN openlab, комментируя недавнее соглашение с Чистое хранилище. Они подчеркивают, что это не просто технологический вопрос, а видение будущего научных исследований. Мне нравится представлять, как изменится повседневная работа исследователей, когда время доступа к данным сократится с часов до минут или с минут до секунд.
Будущее записано на флэш-памяти
Как же я рад думать о возможностях, которые откроются, когда ЦЕРН наконец сможет работать на полную мощность, не сдерживаемая ограничениями по хранению. ЭпохаБольшой адронный коллайдер с высокой светимостью (HL-LHC) повлечет за собой экспоненциальный рост объема генерируемых данных, и только инфраструктура, перепроектированная с нуля, сможет адекватно с ними справиться, с очень высокой производительностью.
Однако настоящий поворотный момент выходит за рамки ЦЕРНа. Разработанные здесь технологии, скорее всего, станут стандартом для всех научно-исследовательских институтов, сталкивающихся с аналогичными проблемами. В этом и заключается прелесть передовых исследований: они не только раздвигают границы человеческих знаний, но и создают инструменты, которые позволят нам раздвинуть их еще дальше в будущем.
Мы находимся в начале новой главы в физике элементарных частиц, где скорость анализа может стать столь же важной, как и точность измерительных приборов. И все это благодаря, казалось бы, незначительному изменению: переходу от жестких дисков к флэш-памяти.
