Wrong endpoints to cancel a job

classic Classic list List threaded Threaded
2 messages Options
Reply | Threaded
Open this post in threaded view
|

Wrong endpoints to cancel a job

eastcirclek
Hi,

1.5.0 needs to update its web page for rest APIs.
I'm testing YARN dispatcher and had difficulty canceling jobs today.
I've been sending DELETE requests to dispatcher according to https://ci.apache.org/projects/flink/flink-docs-master/monitoring/rest_api.html#cancel-job but I've got only 404 errors for all day long.
I finally print all end points with their handlers by setting log level to DEBUG and it turns out that I have to GET /jobs/:jobid/yarn-cancel to cancel a job.

Below is what I summarize based on DEBUG messages of dispatcher.

Method   Endpoint                                                                                 Handler
GET      /blobserver/port                                                                         o.a.f.runtime.rest.handler.job.BlobServerPortHandler
GET      /config                                                                                  o.a.f.runtime.rest.handler.cluster.DashboardConfigHandler
GET      /jars                                                                                    o.a.f.runtime.webmonitor.handlers.JarListHandler
POST     /jars/upload                                                                             o.a.f.runtime.webmonitor.handlers.JarUploadHandler
DELETE   /jars/:jarid                                                                             o.a.f.runtime.webmonitor.handlers.JarDeleteHandler
GET      /jars/:jarid/plan                                                                        o.a.f.runtime.webmonitor.handlers.JarPlanHandler
POST     /jars/:jarid/run                                                                         o.a.f.runtime.webmonitor.handlers.JarRunHandler
GET      /jobmanager/config                                                                       o.a.f.runtime.rest.handler.cluster.ClusterConfigHandler
GET      /jobmanager/log                                                                          o.a.f.runtime.rest.handler.legacy.files.StaticFileServerHandler
GET      /jobmanager/metrics                                                                      o.a.f.runtime.rest.handler.job.metrics.JobManagerMetricsHandler
GET      /jobmanager/stdout                                                                       o.a.f.runtime.rest.handler.legacy.files.StaticFileServerHandler
GET      /jobs                                                                                    o.a.f.runtime.rest.handler.job.JobIdsHandler
POST     /jobs                                                                                    o.a.f.runtime.rest.handler.job.JobSubmitHandler
GET      /jobs/metrics                                                                            o.a.f.runtime.rest.handler.job.metrics.AggregatingJobsMetricsHandler
GET      /jobs/overview                                                                           o.a.f.runtime.rest.handler.job.JobsOverviewHandler
GET      /jobs/:jobid                                                                             o.a.f.runtime.rest.handler.job.JobDetailsHandler
PATCH    /jobs/:jobid                                                                             o.a.f.runtime.rest.handler.job.JobTerminationHandler
GET      /jobs/:jobid/accumulators                                                                o.a.f.runtime.rest.handler.job.JobAccumulatorsHandler
GET      /jobs/:jobid/checkpoints                                                                 o.a.f.runtime.rest.handler.job.checkpoints.CheckpointingStatisticsHandler
GET      /jobs/:jobid/checkpoints/config                                                          o.a.f.runtime.rest.handler.job.checkpoints.CheckpointConfigHandler
GET      /jobs/:jobid/checkpoints/details/:checkpointid/subtasks/:vertexid                        o.a.f.runtime.rest.handler.job.checkpoints.TaskCheckpointStatisticDetailsHandler
GET      /jobs/:jobid/checkpoints/:checkpointid                                                   o.a.f.runtime.rest.handler.job.checkpoints.CheckpointStatisticDetailsHandler
GET      /jobs/:jobid/config                                                                      o.a.f.runtime.rest.handler.job.JobConfigHandler
GET      /jobs/:jobid/exceptions                                                                  o.a.f.runtime.rest.handler.job.JobExceptionsHandler
GET      /jobs/:jobid/execution-result                                                            o.a.f.runtime.rest.handler.job.JobExecutionResultHandler
GET      /jobs/:jobid/metrics                                                                     o.a.f.runtime.rest.handler.job.metrics.JobMetricsHandler
GET      /jobs/:jobid/plan                                                                        o.a.f.runtime.rest.handler.job.JobPlanHandler
PATCH    /jobs/:jobid/rescaling                                                                   o.a.f.runtime.rest.handler.job.rescaling.RescalingHandlers$RescalingTriggerHandler
GET      /jobs/:jobid/rescaling/:triggerid                                                        o.a.f.runtime.rest.handler.job.rescaling.RescalingHandlers$RescalingStatusHandler
POST     /jobs/:jobid/savepoints                                                                  o.a.f.runtime.rest.handler.job.savepoints.SavepointHandlers$SavepointTriggerHandler
GET      /jobs/:jobid/savepoints/:triggerid                                                       o.a.f.runtime.rest.handler.job.savepoints.SavepointHandlers$SavepointStatusHandler
GET      /jobs/:jobid/vertices/:vertexid                                                          o.a.f.runtime.rest.handler.job.JobVertexDetailsHandler
GET      /jobs/:jobid/vertices/:vertexid/accumulators                                             o.a.f.runtime.rest.handler.job.JobVertexAccumulatorsHandler
GET      /jobs/:jobid/vertices/:vertexid/backpressure                                             o.a.f.runtime.rest.handler.job.JobVertexBackPressureHandler
GET      /jobs/:jobid/vertices/:vertexid/metrics                                                  o.a.f.runtime.rest.handler.job.metrics.JobVertexMetricsHandler
GET      /jobs/:jobid/vertices/:vertexid/subtasks/metrics                                         o.a.f.runtime.rest.handler.job.metrics.AggregatingSubtasksMetricsHandler
GET      /jobs/:jobid/vertices/:vertexid/subtasks/:subtaskindex                                   o.a.f.runtime.rest.handler.job.SubtaskCurrentAttemptDetailsHandler
GET      /jobs/:jobid/vertices/:vertexid/subtasks/:subtaskindex/attempts/:attempt                 o.a.f.runtime.rest.handler.job.SubtaskExecutionAttemptDetailsHandler
GET      /jobs/:jobid/vertices/:vertexid/subtasks/:subtaskindex/attempts/:attempt/accumulators    o.a.f.runtime.rest.handler.job.SubtaskExecutionAttemptAccumulatorsHandler
GET      /jobs/:jobid/vertices/:vertexid/subtasks/:subtaskindex/metrics                           o.a.f.runtime.rest.handler.job.metrics.SubtaskMetricsHandler
GET      /jobs/:jobid/vertices/:vertexid/subtasktimes                                             o.a.f.runtime.rest.handler.job.SubtasksTimesHandler
GET      /jobs/:jobid/vertices/:vertexid/taskmanagers                                             o.a.f.runtime.rest.handler.job.JobVertexTaskManagersHandler
GET      /jobs/:jobid/yarn-cancel                                                                 o.a.f.runtime.rest.handler.job.JobTerminationHandler
GET      /jobs/:jobid/yarn-stop                                                                   o.a.f.runtime.rest.handler.job.JobTerminationHandler
GET      /overview                                                                                o.a.f.runtime.rest.handler.cluster.ClusterOverviewHandler
POST     /savepoint-disposal                                                                      o.a.f.runtime.rest.handler.job.savepoints.SavepointDisposalHandlers$SavepointDisposalTriggerHandler
GET      /savepoint-disposal/:triggerid                                                           o.a.f.runtime.rest.handler.job.savepoints.SavepointDisposalHandlers$SavepointDisposalStatusHandler
GET      /taskmanagers                                                                            o.a.f.runtime.rest.handler.taskmanager.TaskManagersHandler
GET      /taskmanagers/metrics                                                                    o.a.f.runtime.rest.handler.job.metrics.AggregatingTaskManagersMetricsHandler
GET      /taskmanagers/:taskmanagerid                                                             o.a.f.runtime.rest.handler.taskmanager.TaskManagerDetailsHandler
GET      /taskmanagers/:taskmanagerid/log                                                         o.a.f.runtime.rest.handler.taskmanager.TaskManagerLogFileHandler
GET      /taskmanagers/:taskmanagerid/metrics                                                     o.a.f.runtime.rest.handler.job.metrics.TaskManagerMetricsHandler
GET      /taskmanagers/:taskmanagerid/stdout                                                      o.a.f.runtime.rest.handler.taskmanager.TaskManagerStdoutFileHandler
GET      /:*                                                                                      o.a.f.runtime.rest.handler.legacy.files.StaticFileServerHandler

Best,

- Dongwon
Reply | Threaded
Open this post in threaded view
|

Re: Wrong endpoints to cancel a job

Timo Walther
Hi Dongwon,

please send such mails to the dev@ instead of the user@ as Flink 1.5.0 is not released yet. As far as I know the documentation around deployment and FLIP-6 has not been updated yet.

But thank you for letting us know!

Regards,
Timo

Am 25.04.18 um 11:03 schrieb Dongwon Kim:
Hi,

1.5.0 needs to update its web page for rest APIs.
I'm testing YARN dispatcher and had difficulty canceling jobs today.
I've been sending DELETE requests to dispatcher according to https://ci.apache.org/projects/flink/flink-docs-master/monitoring/rest_api.html#cancel-job but I've got only 404 errors for all day long.
I finally print all end points with their handlers by setting log level to DEBUG and it turns out that I have to GET /jobs/:jobid/yarn-cancel to cancel a job.

Below is what I summarize based on DEBUG messages of dispatcher.

Method   Endpoint                                                                                 Handler
GET      /blobserver/port                                                                         o.a.f.runtime.rest.handler.job.BlobServerPortHandler
GET      /config                                                                                  o.a.f.runtime.rest.handler.cluster.DashboardConfigHandler
GET      /jars                                                                                    o.a.f.runtime.webmonitor.handlers.JarListHandler
POST     /jars/upload                                                                             o.a.f.runtime.webmonitor.handlers.JarUploadHandler
DELETE   /jars/:jarid                                                                             o.a.f.runtime.webmonitor.handlers.JarDeleteHandler
GET      /jars/:jarid/plan                                                                        o.a.f.runtime.webmonitor.handlers.JarPlanHandler
POST     /jars/:jarid/run                                                                         o.a.f.runtime.webmonitor.handlers.JarRunHandler
GET      /jobmanager/config                                                                       o.a.f.runtime.rest.handler.cluster.ClusterConfigHandler
GET      /jobmanager/log                                                                          o.a.f.runtime.rest.handler.legacy.files.StaticFileServerHandler
GET      /jobmanager/metrics                                                                      o.a.f.runtime.rest.handler.job.metrics.JobManagerMetricsHandler
GET      /jobmanager/stdout                                                                       o.a.f.runtime.rest.handler.legacy.files.StaticFileServerHandler
GET      /jobs                                                                                    o.a.f.runtime.rest.handler.job.JobIdsHandler
POST     /jobs                                                                                    o.a.f.runtime.rest.handler.job.JobSubmitHandler
GET      /jobs/metrics                                                                            o.a.f.runtime.rest.handler.job.metrics.AggregatingJobsMetricsHandler
GET      /jobs/overview                                                                           o.a.f.runtime.rest.handler.job.JobsOverviewHandler
GET      /jobs/:jobid                                                                             o.a.f.runtime.rest.handler.job.JobDetailsHandler
PATCH    /jobs/:jobid                                                                             o.a.f.runtime.rest.handler.job.JobTerminationHandler
GET      /jobs/:jobid/accumulators                                                                o.a.f.runtime.rest.handler.job.JobAccumulatorsHandler
GET      /jobs/:jobid/checkpoints                                                                 o.a.f.runtime.rest.handler.job.checkpoints.CheckpointingStatisticsHandler
GET      /jobs/:jobid/checkpoints/config                                                          o.a.f.runtime.rest.handler.job.checkpoints.CheckpointConfigHandler
GET      /jobs/:jobid/checkpoints/details/:checkpointid/subtasks/:vertexid                        o.a.f.runtime.rest.handler.job.checkpoints.TaskCheckpointStatisticDetailsHandler
GET      /jobs/:jobid/checkpoints/:checkpointid                                                   o.a.f.runtime.rest.handler.job.checkpoints.CheckpointStatisticDetailsHandler
GET      /jobs/:jobid/config                                                                      o.a.f.runtime.rest.handler.job.JobConfigHandler
GET      /jobs/:jobid/exceptions                                                                  o.a.f.runtime.rest.handler.job.JobExceptionsHandler
GET      /jobs/:jobid/execution-result                                                            o.a.f.runtime.rest.handler.job.JobExecutionResultHandler
GET      /jobs/:jobid/metrics                                                                     o.a.f.runtime.rest.handler.job.metrics.JobMetricsHandler
GET      /jobs/:jobid/plan                                                                        o.a.f.runtime.rest.handler.job.JobPlanHandler
PATCH    /jobs/:jobid/rescaling                                                                   o.a.f.runtime.rest.handler.job.rescaling.RescalingHandlers$RescalingTriggerHandler
GET      /jobs/:jobid/rescaling/:triggerid                                                        o.a.f.runtime.rest.handler.job.rescaling.RescalingHandlers$RescalingStatusHandler
POST     /jobs/:jobid/savepoints                                                                  o.a.f.runtime.rest.handler.job.savepoints.SavepointHandlers$SavepointTriggerHandler
GET      /jobs/:jobid/savepoints/:triggerid                                                       o.a.f.runtime.rest.handler.job.savepoints.SavepointHandlers$SavepointStatusHandler
GET      /jobs/:jobid/vertices/:vertexid                                                          o.a.f.runtime.rest.handler.job.JobVertexDetailsHandler
GET      /jobs/:jobid/vertices/:vertexid/accumulators                                             o.a.f.runtime.rest.handler.job.JobVertexAccumulatorsHandler
GET      /jobs/:jobid/vertices/:vertexid/backpressure                                             o.a.f.runtime.rest.handler.job.JobVertexBackPressureHandler
GET      /jobs/:jobid/vertices/:vertexid/metrics                                                  o.a.f.runtime.rest.handler.job.metrics.JobVertexMetricsHandler
GET      /jobs/:jobid/vertices/:vertexid/subtasks/metrics                                         o.a.f.runtime.rest.handler.job.metrics.AggregatingSubtasksMetricsHandler
GET      /jobs/:jobid/vertices/:vertexid/subtasks/:subtaskindex                                   o.a.f.runtime.rest.handler.job.SubtaskCurrentAttemptDetailsHandler
GET      /jobs/:jobid/vertices/:vertexid/subtasks/:subtaskindex/attempts/:attempt                 o.a.f.runtime.rest.handler.job.SubtaskExecutionAttemptDetailsHandler
GET      /jobs/:jobid/vertices/:vertexid/subtasks/:subtaskindex/attempts/:attempt/accumulators    o.a.f.runtime.rest.handler.job.SubtaskExecutionAttemptAccumulatorsHandler
GET      /jobs/:jobid/vertices/:vertexid/subtasks/:subtaskindex/metrics                           o.a.f.runtime.rest.handler.job.metrics.SubtaskMetricsHandler
GET      /jobs/:jobid/vertices/:vertexid/subtasktimes                                             o.a.f.runtime.rest.handler.job.SubtasksTimesHandler
GET      /jobs/:jobid/vertices/:vertexid/taskmanagers                                             o.a.f.runtime.rest.handler.job.JobVertexTaskManagersHandler
GET      /jobs/:jobid/yarn-cancel                                                                 o.a.f.runtime.rest.handler.job.JobTerminationHandler
GET      /jobs/:jobid/yarn-stop                                                                   o.a.f.runtime.rest.handler.job.JobTerminationHandler
GET      /overview                                                                                o.a.f.runtime.rest.handler.cluster.ClusterOverviewHandler
POST     /savepoint-disposal                                                                      o.a.f.runtime.rest.handler.job.savepoints.SavepointDisposalHandlers$SavepointDisposalTriggerHandler
GET      /savepoint-disposal/:triggerid                                                           o.a.f.runtime.rest.handler.job.savepoints.SavepointDisposalHandlers$SavepointDisposalStatusHandler
GET      /taskmanagers                                                                            o.a.f.runtime.rest.handler.taskmanager.TaskManagersHandler
GET      /taskmanagers/metrics                                                                    o.a.f.runtime.rest.handler.job.metrics.AggregatingTaskManagersMetricsHandler
GET      /taskmanagers/:taskmanagerid                                                             o.a.f.runtime.rest.handler.taskmanager.TaskManagerDetailsHandler
GET      /taskmanagers/:taskmanagerid/log                                                         o.a.f.runtime.rest.handler.taskmanager.TaskManagerLogFileHandler
GET      /taskmanagers/:taskmanagerid/metrics                                                     o.a.f.runtime.rest.handler.job.metrics.TaskManagerMetricsHandler
GET      /taskmanagers/:taskmanagerid/stdout                                                      o.a.f.runtime.rest.handler.taskmanager.TaskManagerStdoutFileHandler
GET      /:*                                                                                      o.a.f.runtime.rest.handler.legacy.files.StaticFileServerHandler

Best,

- Dongwon