[имя] спросил: Как реализовать хранение данных только за 2 года в ClickHouse?
Задайте TTL по времени события: event_time + INTERVAL 2 YEAR DELETE. Удаление происходит фоново, поэтому это не мгновенная граница доступа.
Читать ответПодготовка к интервью
Разбирайте реальные вопросы, сверяйтесь с подробными ответами и готовьтесь по технологиям и компаниям.
Проверьте, насколько резюме подходит выбранной позиции, и получите рекомендации по улучшению.
Каталог
Задайте TTL по времени события: event_time + INTERVAL 2 YEAR DELETE. Удаление происходит фоново, поэтому это не мгновенная граница доступа.
Читать ответОпишите путь данных, фактические объёмы и распределение по шардам и репликам, затем разберите конкретную проблему и результат решения.
Читать ответОпишите нагрузку и свою работу с распределением, репликацией, запросами и эксплуатацией. Greenplum и ClickHouse имеют разные модели исполнения и хранения.
Читать ответToo many parts означает, что части создаются быстрее, чем объединяются, либо достигнут их лимит. Обычно начинают с укрупнения вставок и проверки партиционирования.
Читать ответIntN — знаковое целое, UIntN — беззнаковое. При одинаковой разрядности UInt хранит больший максимум, но не представляет отрицательные значения.
Читать ответJoin engine в ClickHouse хранит заранее подготовленную структуру для соединений. Она подходит для подходящих по размеру справочников, но требует учёта памяти и семантики JOIN.
Читать ответОбычная incremental MV обрабатывает новые вставленные блоки. Она не пересчитывает старую историю автоматически и может повторно учесть данные при неидемпотентной загрузке.
Читать ответРазделите исходную историю, актуальные версии карточек и отзывов, затем отчётный слой. Не стройте каждый отчёт полным join всех 600 млн карточек.
Читать ответUDF — пользовательская функция. В ClickHouse SQL UDF задаётся через CREATE FUNCTION с лямбда-выражением; это способ переиспользовать вычисление.
Читать ответВ ClickHouse важны ENGINE, ORDER BY, PARTITION BY, PRIMARY KEY, TTL, CODEC и настройки индексации. Они определяют хранение, чтение, обслуживание и стоимость записи.
Читать ответClickHouse подходит для аналитических запросов по большому объёму логов: фильтрации, агрегаций и анализа временных интервалов, если под это спроектирована таблица.
Читать ответClickHouse — это колоночная СУБД, оптимизированная для аналитических запросов и обработки больших объёмов данных в реальном времени.
Читать ответ