大規模言語モデルの限界が来るもこないも、政府の挙動によるかも?
こんにちは!
ChatGPTとかの大規模言語モデルというものが盛り上がっています。正直、技術的なことはちんぷんかんぷん(死語)なのですが、たまに言われる「インターネット上に書かれているデータが枯渇したら進化が止まるのではないか」という点については「止まらないんじゃないか?」と思っていたりします。
ということで、ちょっとそのことについて予想を書いておきます。
データは無尽蔵に提供される今のところ、インターネット上に公開されているデータを使っている、という感じだと思うんです