Bei GPT-2 war es meines Wissens noch so, dass es nur Englisch sprach, jedenfalls bin ich davon ausgegangen und habe für deutsche Anwendungen German-GPT-2 verwendet. Dieses Modell war auf deutsche Texte trainiert: https://huggingface.co/dbmdz/german-gpt2.
Auf GPT-3 hatte ich keinen Zugriff, aber sein offenes Gegenstück GPT-Neo hatte definitiv schon ein paar Brocken Deutsch mit im Gepäck, war aber immer noch primär Englisch.
Mich hat es sehr überrascht, dass ChatGPT (GPT 3.5) auch Deutsch und andere Sprachen sehr gut verstand und produzierte. Hatte dies eben damals nicht als bewußt kommuniziertes Feature mitbekommen.
Super, dass das doch noch geklappt hat!