LLMは強化学習のパワーのおかげで人間より賢くなれたんやなあ

LLMがこのように、ずばり答を言うのではなく過程から回答するのは、トークンに渡って推論を分散するためであって、ユーザーが読み易くするためとかではない。訓練時にそういうフォーマットで回答するように学習している。

www.youtube.com/watch

これ見てる。評判通りわかりやすいなあ。なるほど、ポストトレーニング時しか出現しない専用のトークンがあるから、「本文」と「地の文」を確実に区別できるのね。