OpenAIやGoogle、Anthropic、Metaなど、さまざまな企業が大規模言語モデルを開発しており、各社の開発するモデルの性能差はベンチマークを使って比較されます。エンジニアのサイモン・ウィリソン氏が、「自転車に乗ったペリカン」を描かせるという独自のベンチマークを考案したと報告しています。Pelicans on a bicyclehttps://simonwillison.net/2024/Oct/25/pelicans-on-a-bicycle/pelican-bicycle/README.md at main · sim