不想看废话的可以直接拉到最底看总结

废话开始：

master：

master 主机存在文件，却报

执行 spark-shell 语句：  ./spark-shell  --master spark://master:7077 --executor-memory 1G --total-executor-cores 2

报错：WARN TaskSetManager: Lost task 1.0 in stage 0.0 (TID 1, slave02): java.io.FileNotFoundException: File file:/home/dummy/spark_log/file1.txt does not exist

明明指定了 master 主机，为什么会报错slave02 找不到文件呢

把文件改为 file.txt  file2.txt 还是同样的错误，所以你就会觉得他是从 slave02 读取文件的吧？

那就在 slave02 创建个 aa.txt:

返回 master 执行

然后报错

导入路径找到不？这是很多新手就懵逼了

其实原因在于最初的执行 spark-shell 语句：  ./spark-shell  --master spark://master:7077 --executor-memory 1G --total-executor-cores 2

每个主机的 executor 默认是一个 core ! 这里设置为 2 个，就会从其他主机拉取一个 core

用 jps 查看 3 台主机的进程：

master：

slave01：

slave02:

CoarseGrainedExecutorBackend 是什么？

我们知道Executor负责计算任务，即执行 task，而 Executor 对象的创建及维护是由 CoarseGrainedExecutorBackend 负责的

总结：

在 spark-shell 里执行 textFile 方法时，如果 total-executor-cores 设置为 N，哪 N 台机有 CoarseGrainedExecutorBackend 进程的，读取的文件需要在这 N 台机都存在

如果设置为 1，就读取指定的 master spark 的文件

如果只执行   ./spark-shell  就读取启动命令的主机的文件，即在哪台机启动就读取哪台机

以上仅为个人小白的观点，如有错误，欢迎纠正！