https://spark-school.ru/blog/spark-udf-creating/
Что такое пользовательские функции в Spark