これのどちらを使えばいいのかわからなかった。

outputFilePaths から手に入る URL では、問題なく再生された。

ちなみに、playlistFilePaths のファイルの中には、outputFilePaths のファイル名が書かれている。

対処するためには、以下のように、nuxt-link 代わりの component を作るのがよいのではないでしょうか。$ npm i serverless-apigw-binary

serverless.ts や serverless.yml に以下の項目を追加する事で、lambdaに渡すときにミズノ グローブエンコードされ、lambda上でアクセスするときには自動でデコードされる。
custom: { apigwBinary: { types: [ 'multipart/form-data', }, // ...

  plugins: [
    'serverless-apigw-binary',
    // ...
  ],