Gstreamer Basic tutorial 3: Dynamic pipelines

Gstreamer Basic tutorial 3: Dynamic pipelines

 

개요

• element를 연결할 때 더 세밀한 제어를 얻는 방법
• 제 시간에 반응 할 수 있도록 흥미로운 이벤트를 알리는 방법
• element가 될 수 있는 다양한 STATE

Demux from container

• Gstreamer Element가 서로 통신하는 포트를 GstPad 라고 합니다.
• 데이터가 element로 들어가는 sink pad와, 데이터가 element를 나가는 src pad가 있습니다.
• source element 에는 src pad만 포함되고, sink element 에는 sink pad만 포함. (filter element는 두 개의 pad가 포함)

Dynamic Hello world

#include 

/* Structure to contain all our information, so we can pass it to callbacks */
typedef struct _CustomData {
  GstElement *pipeline;
  GstElement *source;
  GstElement *convert;
  GstElement *resample;
  GstElement *sink;
} CustomData;

/* Handler for the pad-added signal */
static void pad_added_handler (GstElement *src, GstPad *pad, CustomData *data);

int main(int argc, char *argv[]) {
  CustomData data;
  GstBus *bus;
  GstMessage *msg;
  GstStateChangeReturn ret;
  gboolean terminate = FALSE;

  /* Initialize GStreamer */
  gst_init (&argc, &argv);

  /* Create the elements */
  data.source = gst_element_factory_make ("uridecodebin", "source");
  data.convert = gst_element_factory_make ("audioconvert", "convert");
  data.resample = gst_element_factory_make ("audioresample", "resample");
  data.sink = gst_element_factory_make ("autoaudiosink", "sink");

  /* Create the empty pipeline */
  data.pipeline = gst_pipeline_new ("test-pipeline");

  if (!data.pipeline || !data.source || !data.convert || !data.resample || !data.sink) {
    g_printerr ("Not all elements could be created.\\n");
    return -1;
  }

  /* Build the pipeline. Note that we are NOT linking the source at this
   * point. We will do it later. */
  gst_bin_add_many (GST_BIN (data.pipeline), data.source, data.convert, data.resample, data.sink, NULL);
  if (!gst_element_link_many (data.convert, data.resample, data.sink, NULL)) {
    g_printerr ("Elements could not be linked.\\n");
    gst_object_unref (data.pipeline);
    return -1;
  }

  /* Set the URI to play */
  g_object_set (data.source, "uri", "<https://www.freedesktop.org/software/gstreamer-sdk/data/media/sintel_trailer-480p.webm>", NULL);

  /* Connect to the pad-added signal */
  g_signal_connect (data.source, "pad-added", G_CALLBACK (pad_added_handler), &data);

  /* Start playing */
  ret = gst_element_set_state (data.pipeline, GST_STATE_PLAYING);
  if (ret == GST_STATE_CHANGE_FAILURE) {
    g_printerr ("Unable to set the pipeline to the playing state.\\n");
    gst_object_unref (data.pipeline);
    return -1;
  }

  /* Listen to the bus */
  bus = gst_element_get_bus (data.pipeline);
  do {
    msg = gst_bus_timed_pop_filtered (bus, GST_CLOCK_TIME_NONE,
        GST_MESSAGE_STATE_CHANGED | GST_MESSAGE_ERROR | GST_MESSAGE_EOS);

    /* Parse message */
    if (msg != NULL) {
      GError *err;
      gchar *debug_info;

      switch (GST_MESSAGE_TYPE (msg)) {
        case GST_MESSAGE_ERROR:
          gst_message_parse_error (msg, &err, &debug_info);
          g_printerr ("Error received from element %s: %s\\n", GST_OBJECT_NAME (msg->src), err->message);
          g_printerr ("Debugging information: %s\\n", debug_info ? debug_info : "none");
          g_clear_error (&err);
          g_free (debug_info);
          terminate = TRUE;
          break;
        case GST_MESSAGE_EOS:
          g_print ("End-Of-Stream reached.\\n");
          terminate = TRUE;
          break;
        case GST_MESSAGE_STATE_CHANGED:
          /* We are only interested in state-changed messages from the pipeline */
          if (GST_MESSAGE_SRC (msg) == GST_OBJECT (data.pipeline)) {
            GstState old_state, new_state, pending_state;
            gst_message_parse_state_changed (msg, &old_state, &new_state, &pending_state);
            g_print ("Pipeline state changed from %s to %s:\\n",
                gst_element_state_get_name (old_state), gst_element_state_get_name (new_state));
          }
          break;
        default:
          /* We should not reach here */
          g_printerr ("Unexpected message received.\\n");
          break;
      }
      gst_message_unref (msg);
    }
  } while (!terminate);

  /* Free resources */
  gst_object_unref (bus);
  gst_element_set_state (data.pipeline, GST_STATE_NULL);
  gst_object_unref (data.pipeline);
  return 0;
}

/* This function will be called by the pad-added signal */
static void pad_added_handler (GstElement *src, GstPad *new_pad, CustomData *data) {
  GstPad *sink_pad = gst_element_get_static_pad (data->convert, "sink");
  GstPadLinkReturn ret;
  GstCaps *new_pad_caps = NULL;
  GstStructure *new_pad_struct = NULL;
  const gchar *new_pad_type = NULL;

  g_print ("Received new pad '%s' from '%s':\\n", GST_PAD_NAME (new_pad), GST_ELEMENT_NAME (src));

  /* If our converter is already linked, we have nothing to do here */
  if (gst_pad_is_linked (sink_pad)) {
    g_print ("We are already linked. Ignoring.\\n");
    goto exit;
  }

  /* Check the new pad's type */
  new_pad_caps = gst_pad_get_current_caps (new_pad);
  new_pad_struct = gst_caps_get_structure (new_pad_caps, 0);
  new_pad_type = gst_structure_get_name (new_pad_struct);
  if (!g_str_has_prefix (new_pad_type, "audio/x-raw")) {
    g_print ("It has type '%s' which is not raw audio. Ignoring.\\n", new_pad_type);
    goto exit;
  }

  /* Attempt the link */
  ret = gst_pad_link (new_pad, sink_pad);
  if (GST_PAD_LINK_FAILED (ret)) {
    g_print ("Type is '%s' but link failed.\\n", new_pad_type);
  } else {
    g_print ("Link succeeded (type '%s').\\n", new_pad_type);
  }

exit:
  /* Unreference the new pad's caps, if we got them */
  if (new_pad_caps != NULL)
    gst_caps_unref (new_pad_caps);

  /* Unreference the sink pad */
  gst_object_unref (sink_pad);
}

하나씩 깨뿌시기

Grouping GstElement

/* Structure to contain all our information, so we can pass it to callbacks */
typedef struct _CustomData {
  GstElement *pipeline;
  GstElement *source;
  GstElement *convert;
  GstElement *resample;
  GstElement *sink;
} CustomData;

/* Handler for the pad-added signal */
static void pad_added_handler (GstElement *src, GstPad *pad, CustomData *data);

/* Create the elements */
data.source = gst_element_factory_make ("uridecodebin", "source");
data.convert = gst_element_factory_make ("audioconvert", "convert");
data.resample = gst_element_factory_make ("audioresample", "resample");
data.sink = gst_element_factory_make ("autoaudiosink", "sink");

• uridecodebin
  • 내부적으로 URI를 raw audio / video stream 으로 변환하는 데 필요한 모든 element(sources, demuxers and decoders)를 인스턴스화.
    • demuxer가 포함되어 있기 때문에, source pad는 초기에 사용할 수 없으며 나중에 link 할 것.
• audioconvert
  • 오디오 decorder에 의해 생성된 형식이 오디오 싱크가 예상하는 것과 같지 않을 수 있기 때문에, 이 예제가 모든 플랫폼에서 작동하도록 확실히 하는 다른 오디오 형식들 사이에서 변환하는 데 유용
• audioresample
  • 오디오 샘플은 서로 다른 audio sample rate간에 변환하는데 유용.
  • 오디오 디코더에서 생성된 audio sample rate가 오디오 싱크가 지원하는 audio sample rate가 아닐 수 있으므로 이 예제가 모든 플랫폼에서 작동하는지 확인 할 것.
• autoaudiosink
  • render the audio streamto the audio card.

Signals

/* Connect to the pad-added signal */
g_signal_connect (data.source, "pad-added", G_CALLBACK (pad_added_handler), &data);

• GSignals은 Gstreamer에서 가장 중요한 부분. 흥미로운 일이 발생했을 때 콜백을 통해 알림을 받을 수 있음.
• 신호는 이름으로 식별됨. GObject에는 자체 신호가 있음.

Callback

static void pad_added_handler (GstElement *src, GstPad *new_pad, CustomData *data) {

• source pad가 만들어질 거고 위에 handler가 실행 될 것.

GstPad *sink_pad = gst_element_get_static_pad (data->convert, "sink");

• 위의 new_pad 정의.
• element에 해당 pad 가 link 될 것.

/* If our converter is already linked, we have nothing to do here */
if (gst_pad_is_linked (sink_pad)) {
  g_print ("We are already linked. Ignoring.\\n");
  goto exit;
}

• validate

/* Check the new pad's type */
new_pad_caps = gst_pad_get_current_caps (new_pad, NULL);
new_pad_struct = gst_caps_get_structure (new_pad_caps, 0);
new_pad_type = gst_structure_get_name (new_pad_struct);
if (!g_str_has_prefix (new_pad_type, "audio/x-raw")) {
  g_print ("It has type '%s' which is not raw audio. Ignoring.\\n", new_pad_type);
  goto exit;
}

• gst_pad_get_current_caps()
  • 현재 pad의 capabilities 반환 (그것이 현재 출력하는 데이터의 종류)
  • GstCaps는 많은 GstStruct를 가짐
  • 각 GstStructure는 다른 capability를 나타냄.
  • 위의 caps는 하나의 GstStructure를 가지고 있으며, 하나의 media format을 나타낼 것.
  • 아직 caps 없다면 null임.
• gst_caps_get_structure()
  • 위에서 얻은 caps로 부터 GstStrcutre를 얻을 수 있습니다.
• gst_structure_get_name()
  • structure로 부터 media format의 main description을 포함하는 이름을 얻을 수 있습니다.

/* Attempt the link */
ret = gst_pad_link (new_pad, sink_pad);
if (GST_PAD_LINK_FAILED (ret)) {
  g_print ("Type is '%s' but link failed.\\n", new_pad_type);
} else {
  g_print ("Link succeeded (type '%s').\\n", new_pad_type);
}

•  gst_element_link()
  • 2개의 pad를 연결.
  • link는 src부터 ink까지 지정해야하며, 두 패드는 동일한 bin (or pipline)에 있는 element가 소유해야합니다.