V2EX POST
639 subscribers
138 photos
31 videos
99 files
102K links
v2ex新贴定时推送,可按需置顶本频道然后关闭通知
Download Telegram
pyspark 的 Python 代码中如何调用 jar 包里面的方法

各位彦祖,请问如何写?
已知
- 不是在 pyspark 的 shell 中加载
- 是在 python 文件中,config 设置了某个 jar 包
- 在 github 的 scala 版本中 发现需要调用某个方法 https://github.com/vesoft-inc/nebula-spark-connector/blob/6b80a2ff9d481abb89307f8f18ca5580256d5f2d/example/src/main/scala/com/vesoft/nebula/examples/connector/NebulaSparkWriterExample.scala#L52
python 中写着发现不知道该如何调用这个对应的方法了。

#scala #python #github #com #vesoft #nebula #connector #调用 #某个 #pyspark
m1/m2 macbook data engineer 能用吗

python,java,scala...
hadoop,spark,flink...
airflow/prefect,terraform...
SQL server ,mongo db...
docker ,k8s...
其他跑在 AWS ,snowflake,或者 databricks 上
有时候需要本地架一下环境 docker compose 跑跑就行,有试过这些能能开箱即用不怎么需要折腾的吗?

#... #docker #python #java #scala #hadoop #spark #flink #airflow #prefect