doc/LD2

best

• pl/sparql https://github.com/bpmbpm/doc/blob/main/LD2/faq1.md
• Nevod1212 https://cognito.one/ ; переход на платформу - app.cognito.one

confuse

Spark SQL — модуль Apache Spark, который интегрирует реляционную обработку с функциональным программированием Spark. Он позволяет выполнять распределённые запросы стандарта ANSI SQL, работать с данными в формате DataFrames и использовать оптимизатор Catalyst для построения эффективных планов выполнения.

особенности Spark SQL:

• поддерживает различные источники данных (Parquet, JSON, таблицы Hive и др.);
• позволяет смешивать SQL-запросы с кодом на Scala, Java, Python;
• имеет совместимость с Hive, что позволяет запускать неизменные запросы к существующим хранилищам данных;
• поддерживает подключение через JDBC или ODBC; yandex.cloud
• использует в памяти обработку данных, что ускоряет выполнение задач;
• включает технику адаптивного выполнения запросов (Adaptive Query Execution, AQE), которая на основе статистики во время выполнения подбирает наиболее эффективный план.
• часто используется для интерактивной аналитики, построения дашбордов и обработки больших объёмов данных.

LLM-knowledge

• Месяц с LLM Wiki Андрея Карпатого: главная сила LLM — не в пересказе, а в умении «связывать» знания