Trino в этой схеме отвечает за обработку данных — как стек технологий позволяет разделить хранилище и вычисления?

Trino — это распределённый SQL-движок для анализа данных, который позволяет выполнять запросы к разным источникам данных без необходимости перемещать сами данные. В такой архитектуре разделение хранилища и вычислений достигается следующим образом:

• Хранилище данных (например, HDFS, S3, базы данных) отвечает за долговременное хранение данных.
• Trino выступает как слой вычислений, который обрабатывает запросы, выполняет агрегации, фильтрацию и объединения, обращаясь к данным в хранилище по месту.

Это позволяет масштабировать вычислительные ресурсы независимо от хранилища, оптимизировать затраты и повысить гибкость. Например, можно увеличить количество узлов Trino для ускорения обработки, не меняя хранилище.

Пример: данные лежат в S3, Trino подключается к ним через коннектор, выполняет SQL-запросы и возвращает результаты, не копируя данные локально.