VK Cloud Spark реализован на базе Cloud Containers — сервиса VK Cloud для запуска готовых кластеров Kubernetes в облаке — и открытого фреймворка Apache Spark для распределенной обработки неструктурированных и слабоструктурированных данных. Сервис обеспечивает распределенную пакетную и потоковую обработку данных из разных источников, в частности, S3 (Simple Storage Service), ClickHouse и Kafka.

В VK Cloud Spark встроена библиотека машинного обучения MLlib.

VK Cloud представила сервис в январе 2024 года. По состоянию на декабрь того же года VK Cloud Spark находится в стадии бета-тестирования.

Документация

#искусственный_интеллект#нейросети#машинное_обучение#облачный_сервис#облачные_технологии

#VK