Сводка журналов и трассировок
Тепловая карта Event Deltas в конструкторе диаграмм
Бенчмаркинг улучшений схемы
timestamp_time (32-битной Unix-временной метки с точностью до секунды) в пользу использования только timestamp, который обеспечивает наносекундную точность и убирает один столбец из схемы. В широком наборе бенчмарков запросов обновлённая схема почти во всех случаях показывает результаты не хуже или лучше старой.
Итоговая схема также включает оптимизации порядка чтения, которые дают заметный прирост на выборочных запросах. Поиск относительно редкого значения в Map выполнялся примерно вдвое быстрее по сравнению с базовым вариантом, а поиск часто встречающихся значений показал ещё более существенное улучшение. Нагрузка при вставке немного выше (нужно поддерживать больше столбцов), но производительность запросов в целом осталась на том же уровне или улучшилась, что делает это обновление простым и очевидным.
Связанные PR: #2125 feat: optimized default otel-logs schema
Улучшения автодополнения
AggregatingMergeTrees, которые предварительно агрегируют пары ключ-значение в 15-минутных временных бакетах), поэтому вместо запросов к сырым данным при каждом вводе символа система читает гораздо меньший, предварительно вычисленный набор данных. В ходе живого демо на staging-экземпляре с 230 миллионами строк автодополнение быстро загружало значения для полей с высокой мощностью, таких как hostname, без заметных задержек.
Система поддерживает как rollup только по ключам (возвращает все ключи, но без значений, что снижает накладные расходы при высокой мощности), так и полный rollup ключ-значение. Если доступен только rollup по ключам, на этапе поиска значений система переключается на существующую стратегию fetch-values. Если rollup-таблица вообще не обнаружена, система корректно возвращается к текущему поведению. Aaron также отмечает, что в будущем полезным дополнением мог бы стать интерфейс allow-list для управления тем, для каких ключей создавать rollup значений, особенно для клиентов с данными очень высокой мощности.
Связанные PR: #2128 feat: fast and full autocomplete, #2127 feat: better autocomplete