
English: 
Dear Fellow Scholars, this is Two Minute Papers
with Károly Zsolnai-Fehér.
OpenAI GPT-2 is a learning-based technique
which can perform common natural language
processing operations, for instance, answering
questions, completing text, reading comprehension,
summarization, and more.
What is absolutely amazing about this technique
is that it is able to perform these tasks
with as little supervision as possible.
This means that we unleash the algorithm that
they call GPT-2 to read the internet, and
it will learn our language by itself.
To perform this, of course, we need a lot
of training data, and here, the AI reads 40
gigabytes of internet text, which is 40 gigs
of non-binary plaintext data, which is a stupendously
large amount of text.
You see here an example of how it fares with
text completion, and the results were absolutely
amazing.

French: 
Chers boursiers, Ceci est un article de deux minutes.
avec Károly Zsolnai-Fehér.
OpenAI GPT-2 est une technique d'apprentissage
qui peut exécuter le langage naturel commun
les opérations de traitement, par exemple, la réponse
questions, compléter le texte, compréhension à la lecture,
résumé, et plus encore.
Ce qui est absolument incroyable à propos de cette technique
est-ce qu'il est capable d'effectuer ces tâches
avec le moins de supervision possible.
Cela signifie que nous lâchons l'algorithme qui
ils appellent GPT-2 pour lire Internet, et
il va apprendre notre langue par lui-même.
Pour ce faire, bien sûr, nous avons besoin de beaucoup
des données de formation, et ici, l'IA lit 40
giga-octets de texte Internet, soit 40 concerts
des données en texte brut non binaire, ce qui est incroyablement
grande quantité de texte.
Vous voyez ici un exemple de la façon dont cela se passe avec
l'achèvement du texte, et les résultats ont été absolument
incroyable.

French: 
Et pas seulement ça, parce que, accrochez-vous à votre
papiers, nous pouvons maintenant essayer nous-mêmes et mon
les résultats montrent qu'il peut être sage en tant que chercheur,
et il peut aussi tricher comme personne.
Alors, essayons quelque chose de simple ici.
Eh bien, d'abord, comme tout le monde en parle
la sécurité d'emploi, je voudrais donner le début
de ce script Two Minute Papers et voir si
Je suis sur le point d'être remplacé.
Voyons voir!
Il continue l'intro avec “L'histoire
de l'Europe de l'Est depuis 1989 a été un intéressant
et complexe histoire couvrant quatre décennies.
D'un côté, vous avez un régime de soutien occidental
dictateurs du milieu des années 90 "et ainsi de suite.
Très érudit en effet.
Cependant, je pense que je pourrais être en sécurité… pour le moment.
Et maintenant, quelque chose que je voulais essayer depuis
la création de GPT-2, qui est, nourrir
un extrait de quelque chose que j'ai dit à propos de Wavelet
Turbulence, qui est l'un des meilleurs papiers
jamais écrit, et demandez à l'IA de le finir.

English: 
And, not only that, because, hold on to your
papers, we can now try it ourselves and my
results show that it can be wise as a scholar,
and it can also cheat like nobody’s business.
So, let’s try something simple here.
Well, first, as everyone is talking about
job security, I’d like to give it the start
of this Two Minute Papers script and see if
I am about to be replaced.
Let’s see!
It continues the intro with “The history
of Eastern Europe since 1989 has been an interesting
and complex story spanning four decades.
On one side you have a regime of Western-backed
dictators from the mid-1990s” and so on.
Very scholarly indeed.
However, I think I might be safe …for now.
And now, something that I wanted to try since
the inception of GPT-2, which is, feed it
a snippet of something that I said about Wavelet
Turbulence, which is one of the best papers
ever written, and have the AI finish it.

English: 
I tried to frame it as an exam question and
was not disappointed be the results.
So the text is, “There was a similar technique
by the name Wavelet Turbulence, which is”,
I hope you see what I did there…and look
what it did!
“There was a similar technique by the name
Wavelet Turbulence, which is not at all what
we are talking about, but I'll let you decide
whether it is worth your time to read it.”
Wow!
GPT-2 has been caught cheating red handed.
I love it.
Let’s continue what it had to say: “Anyway,
my aim here is to describe how we use a fluid
simulation to simulate smoke and liquid effects
using just a few simple equations: Solving
a few functions gives us a set of derivatives
of the particle trajectories, that is equations
that describe how and where the particles
will come and go across the liquid in the
simulation.
For simplicity (as a good teacher of high-school
students should know) we can use a simple

French: 
J'ai essayé de le décrire comme une question d'examen et
n'a pas été déçu être les résultats.
Donc, le texte est, "Il y avait une technique similaire
sous le nom de Wavelet Turbulence, qui est ”,
J'espère que tu vois ce que j'ai fait là… et regarde
ce qu'il a fait!
«Il y avait une technique similaire du nom
Turbulence en ondelettes, ce qui n’est pas du tout ce que
nous parlons de, mais je vous laisse décider
que cela vaille la peine de le lire.
Hou la la!
GPT-2 a été pris en flagrant délit de tricherie.
J'aime cela.
Continuons ce qu’il avait à dire: «Quoi qu’il en soit,
mon but ici est de décrire comment nous utilisons un fluide
simulation pour simuler les effets de fumée et de liquide
en utilisant seulement quelques équations simples: Résoudre
quelques fonctions nous donne un ensemble de dérivés
des trajectoires de particules, c'est des équations
qui décrivent comment et où les particules
va et vient à travers le liquide dans le
simulation.
Pour la simplicité (comme bon professeur de lycée
les étudiants devraient savoir) nous pouvons utiliser un simple

French: 
équation, qui simule deux particules qui
entrer en collision."
Je suis abasourdi
Il a reconnu que nous parlons de fluide
des simulations déjà remarquables,
mais il est allé beaucoup plus loin - l'achèvement
n'est pas mauvais du tout et n'est pas seulement cohérent,
sur le sujet, mais a un peu de vérité à
il.
Je vais devoir repenser ma revendication précédente à propos de
ma sécurité d'emploi.
La chose encore plus folle est que la taille de
ce modèle représente environ 750 millions de paramètres,
qui est seulement la moitié de la taille de l'original
modèle complet, qui devrait être encore mieux.
Je mets un lien vers ce site dans la vidéo
description pour votre plaisir, assurez-vous de
jouez avec, c’est amusant.
Et GPT-2 verra aussi de nombreuses applications
que nous ne pouvons même pas comprendre encore.
Par exemple, ici vous pouvez voir que l’on peut
former sur de nombreux fichiers de code source sur GitHub
et il sera en mesure de compléter le code
nous écrivons à la volée.

English: 
equation, which simulates two particles that
collide.”
I am stunned.
It recognized that we are talking about fluid
simulations, which is already remarkable,
but it went much further - The completion
is not bad at all and is not only coherent,
on topic, but has quite a bit of truth to
it.
I will have to rethink my previous claim about
my job security.
The even crazier thing is that the size of
this model is about 750 million parameters,
which is only half of the size of the original
full model, which is expected to be even better.
I put a link to this website in the video
description for your pleasure, make sure to
play with it, this is mad fun.
And, GPT-2 will also see so many applications
that we cannot even fathom yet.
For instance, here you can see that one can
train it on many source code files on GitHub
and it will be able to complete the code that
we write on the fly.

English: 
Now, nobody should think of this as GPT-2
writing programs for us, this is, of course,
unlikely, however, it will ease the process
for novice and experts users alike.
If you have any other novel applications in
mind, make sure to leave a comment below.
For now, bravo OpenAI, and a big thank you
for Daniel King and the Hugging Face company
for this super convenient public implementation.
Let the 
experiments begin!

French: 
Maintenant, personne ne devrait penser à cela en tant que GPT-2
programmes d'écriture pour nous, c'est, bien sûr,
peu probable, cependant, cela facilitera le processus
pour les novices et les utilisateurs experts.
Si vous avez d’autres applications inédites dans
l'esprit, assurez-vous de laisser un commentaire ci-dessous.
Pour le moment, bravo OpenAI, et un grand merci
pour Daniel King et la compagnie Hugging Face
pour cette implémentation publique super pratique.
Laisse le 
les expériences commencent!

English: 
Thanks for watching and for your generous
support, and I'll see you next time!

French: 
Merci d'avoir regardé et pour votre généreux
soutien, et je te verrai la prochaine fois!
