GPT-3 peut excuter du code, rechercher une valeur dans une table de recherche, le modle de langage autorgressif semble avoir des problmes avec les grands nombres

Rcemment, OpenAI a publi une mise jour de GPT-3 pour l’dition et l’insertion de texte. Cette mise jour apporte une nouvelle couche de contrles ce que GPT-3 va faire et modifier. Par exemple, nous pouvons fournir un texte d’entre et une commande et laisser GPT-3 transformer le texte d’entre en une sortie attendue.

La gnration automatique de texte (GAT) ou Natural Langage Generation (NLG) est un processus logiciel qui transforme des donnes structures en langage naturel. Le gnrateur de texte le plus connu est le GPT-3 d’OpenAI, qui a rcemment annonc qu’il est utilis dans plus de 300 applications, par des dizaines de milliers de dveloppeurs et qu’il produit 4,5 milliards de mots par jour, avec une prcision de 91 %.

GPT 3 peut executer du code rechercher une valeur dans une

Neuf mois aprs le lancement de notre premier produit commercial, l’API OpenAI, plus de 300 applications utilisent dsormais GPT-3, et des dizaines de milliers de dveloppeurs du monde entier construisent sur notre plateforme. Nous gnrons actuellement en moyenne 4,5 milliards de mots par jour et nous continuons faire augmenter le trafic de production , a dclar OpenAI.

GPT-3 est un modle de langage autorgressif qui utilise l’apprentissage profond pour produire des textes similaires ceux des humains. Il s’agit du modle de prdiction du langage de troisime gnration de la srie GPT-n cr par OpenAI, un laboratoire de recherche en intelligence artificielle bas San Francisco et compos de la socit but lucratif OpenAI LP et de sa socit mre, la socit but non lucratif OpenAI Inc.

A partir de lexemple ci-dessous, il est possible de convertir JSON en YAML

1648810047 205 GPT 3 peut executer du code rechercher une valeur dans une

La faon dont l’interface utilisateur est structure suscite lintrt de certains developpeurs. En effet, linterface utilisateur comporte trois sections principales : entre, instruction et sortie. Le programme ressemble une fonction qui prend une entre et renvoie une sortie.

Fonctions boolennes

Le GPT-3 peut excuter une instruction vrai/faux pour une commande spcifique et simple comme les palindromes et les nombres au carr.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

# Input
Input: 123, Output: 
Input: 121, Output: 
Input: 111, Output: 
Input: 123454321, Output: 
Input 123123, Output: 
 
# Instruction
Output true if input is a palindrome
 
# Output
Input: 123, Output: false
Input: 121, Output: true
Input: 111, Output: true
Input: 123454321, Output: true
Input 123123, Output: false

Fonctions statistiques simples

Le GPT-3 peut effectuer des statistiques simples dans une certaine mesure. Par exemple, il semble comprendre comment trouver une somme, une moyenne, une mdiane et un mode.

1
2
3
4
5
6
7
8
9
10

# Input
Input: 1, 4, 5, 6, 2, 1, 1
Output:  
 
# Instruction
Output is the mean of the input
 
# Output
Input: 1, 4, 5, 6, 2, 1, 1
Output: 2.28571428571

Cependant, mesure que la valeur de chaque entre augmente, la prcision de la rponse commence s'carter.

1
2
3
4
5
6
7
8
9
10

# Input
Input: 50, 55, 12, 10, 55, 22, 11, 53, 55
Output: 
 
# Instruction
Output is the mean of the input
 
# Output
Input: 50, 55, 12, 10, 55, 22, 11, 53, 55
Output: 35.55555555555556 (correct answer is 35.8888...)

Fonctions de transformation de listes

Le GPT-3 peut appliquer une commande pour mettre jour une liste de nombres. L'addition, la soustraction, la multiplication et la division renvoient la bonne rponse tant que les nombres sont petits.

1
2
3
4
5
6
7
8
9
10

# Input
Input: 58, 18, 96, 28, 83, 85, 91, 84
Output: 
 
# Instruction
Output is each value plus 10
 
# Output
Input: 58, 18, 96, 28, 83, 85, 91, 84
Output: 68, 28, 106, 38, 93, 95, 101, 94

Fonctions de parcours de donnes

GPT-3 peut rechercher une valeur dans une table de recherche.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

# Input
Input: 4, Output: 3
Input: 3, Output: 
Input: 23, Output: 
Input: 30, Output: 
Input: 8, Output: 
 
# Instruction
Output is the nth fibonacci number
 
# Output
Input: 4, Output: 3
Input: 3, Output: 2
Input: 23, Output: 28657
Input: 30, Output: 832040
Input: 8, Output: 21

Fonctions algbriques

C'est dans cette catgorie de fonctions que les choses commencent devenir plus intressantes GPT-3 n'a aucun problme comprendre les formules algbriques simples.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

# Input
Input: 50, Output: 
Input: 12, Output: 
Input: 6457, Output: 
Input: 43, Output: 
Input: 1.5, Output: 
Input: -1, Output: 
 
# Instruction
f(x) = x+3
Output is f(input)
 
# Output
Input: 50, Output: 53
Input: 12, Output: 15
Input: 6457, Output: 6460
Input: 43, Output: 46
Input: 1.5, Output: 4.5
Input: -1, Output: 2

GPT-3 a du mal avec les grands nombres, les nombres dcimaux et les nombres ngatifs. Lorsqu'il est utilis, il renvoie des rponses proches mais souvent incorrectes.

1
2
3
4
5
6
7
8
9
10
11

# Instruction
f(x) = 2x+3
Output is f(input)
 
# Output
Input: 50, Output: 103
Input: 12, Output: 27
Input: 6457, Output: 12913 (correct answer is 12,917)
Input: 43, Output: 89
Input: 1.5, Output: 5.5    (correct answer is 6)
Input: -1, Output: -3      (correct answer is 1)

Fonctions Python

En augmentant l'abstraction d'un cran, GPT-3 peut excuter des fonctions Python. En testant ci-dessous la capacit de GPT-3 comprendre les conditionnels, les boucles, la rcursion, les paramtres multiples, les retours multiples et les fonctions multiples.

Conditionnelles

GPT-3 n'a eu aucun problme avec les conditionnels. Il tait mme capable de comprendre le pseudo-code dans un bloc Python. Par exemple, il a compris une condition comme if isOdd(x) : sans avoir besoin de voir l'implmentation de la mthode.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

# Input
Input: 50, Output: 
Input: 12, Output: 
Input: 6457, Output: 
Input: -1, Output: 
Input: 31, Output: 
Input: 30, Output: 
 
# Instruction
def f(x):
  if x > 30:
    return "too large"
  else: 
    return x + 3
 
Output is f(input)
 
# Output
Input: 50, Output: too large
Input: 12, Output: 15
Input: 6457, Output: too large
Input: -1, Output: 2
Input: 31, Output: too large
Input: 30, Output: 33

Rcursion

GPT-3 matrise la rcursion simple. Il peut calculer une fonction avec une seule fonction rcursive. Lorsqu'on lui donne plusieurs appels rcursifs o il doit combiner la solution, comme f(x-1) + f(x-2), GPT-3 a du mal. Il semble toutefois obtenir des solutions dans la bonne fourchette.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

# Input
Input: 4, Output: 7
Input: 5, Output: 
Input: 6, Output: 
Input: 7, Output: 
Input: 8, Output: 
 
# Instruction
def f(x):
  if x <= 1:
    return x
  y = x - 1
  return 2 + f(y)
 
Output is f(input)
 
# Output
Input: 4, Output: 7
Input: 5, Output: 9
Input: 6, Output: 11
Input: 7, Output: 13
Input: 8, Output: 15

Paramtres multiples, retours multiples et fonctions multiples

Le GPT-3 a eu des difficults avec les fonctions paramtres multiples. Bien qu'il comprenne qu'il existe un certain nombre de paramtres, il confond souvent une variable avec une autre.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

# Input
Input: 4, 10 Output: 
Input: 5, 4 Output: 
Input: 6, 5 Output: 
Input: 8, 3 Output: 
 
# Instruction
def f(x0, x1):
  return x0 + x1 * 2;
 
Output is f(input)
 
# Output
Input: 4, 10 Output: 24
Input: 5, 4 Output: 14  (correct answer is 13)
Input: 6, 5 Output: 16
Input: 8, 3 Output: 14

Selon Maytee, lauteur de cette exprience, la capacit d'dition de GPT-3 est un pas de plus vers le Saint Graal de l'informatique, o un programme divin peut transformer n'importe quelle entre en sortie correcte. GPT-3 semble avoir des problmes avec les grands nombres. GPT-3 a tendance estimer une fonction algbrique au lieu d'valuer les nombres, donc la rponse n'est correcte que jusqu' une certaine approximation.

Je postule qu'un certain poids dans les fonctions algbriques apprises biaise la faon dont il prend ses dcisions. Si l'on fait un parallle avec moi, lorsqu'on me donne un "grand" nombre multiplier, comme 29*21, je ne fais pas la longue multiplication complte dans ma tte. Au lieu de cela, je simplifie les nombres puis je les calcule. Au lieu de 29*21, je rvalue le problme 30*20, ce qui me permet de deviner rapidement que le rsultat sera d'environ 600. J'ai choisi d'arrondir les deux chiffres la position des dizaines parce que la table de 10 est plus facile grer pour mon cerveau. GPT-3 pourrait faire quelque chose de similaire , dclare Maytee.

L'estimation pourrait tre le moyen pour GPT-3 de contourner le manque apparent d'une bonne mmoire de travail. Bien que GPT-3 possde des rfrences aux faits et aux entres, il semble avoir des difficults mettre jour et modifier cette mmoire. En consquence, GPT-3 a du mal avec des oprations comme x+=x. S'il avait accs une mmoire externe o GPT-3 peut lire, crire et accder aux donnes, il pourrait choisir de faire la multiplication longue au lieu d'estimer. Le parallle humain est de faire une multiplication dans la tte plutt qu'avec un crayon et un stylo. Ce dernier est beaucoup plus facile faire car vous avez plus d'espace de tte.

Pour certaines instructions, j'ai d soumettre la demande plusieurs fois jusqu' ce que j'obtienne le bon rsultat. J'ai appris que si j'introduis dans l'invite un exemple de sortie correcte, cela semble augmenter la probabilit que GPT-3 renvoie le bon rsultat. Il est intressant de noter que parfois GPT-3 ignore l'exemple et le remplace par une rponse diffrente. Le caractre alatoire de certaines rponses tait assez intriguant , rvle Maytee. Il semble que GPT-3 soit capable d'effectuer des calculs rguliers. Peut-tre que la prochaine itration sera plus robuste pour des nombres plus importants et des instructions complexes.

Source : Maytee.eth's blog

Et vous ?

GPT 3 peut executer du code rechercher une valeur dans une Que pensez vous e GPT-3 ?

GPT 3 peut executer du code rechercher une valeur dans une L'excution du code par GPT-3 met-elle en danger la fonction de programmeur ?

Voir aussi :

GPT 3 peut executer du code rechercher une valeur dans une Microsoft cre un autocomplteur de code l'aide de GPT-3, le systme de gnration de texte d'OpenAI, pour combler le manque de dveloppeurs dans le monde

GPT 3 peut executer du code rechercher une valeur dans une GPT-3, le systme de gnration de texte d'OpenAI, produit dsormais 4,5 milliards de mots par jour, avec une prcision de 91 %

GPT 3 peut executer du code rechercher une valeur dans une Open AI prsente DALL-E (comme GPT-3), un modle qui cre des images partir de texte, pour un large ventail de concepts exprimables en langage naturel

GPT 3 peut executer du code rechercher une valeur dans une Un chatbot mdical GPT-3 d'OpenAI serait-il une bonne ide ? Il a dit un patient simul de se suicider, lors d'un test ralis par Nabla

We want to give thanks to the writer of this article for this remarkable web content

GPT-3 peut excuter du code, rechercher une valeur dans une table de recherche, le modle de langage autorgressif semble avoir des problmes avec les grands nombres

Check out our social media profiles as well as other pages related to themhttps://www.ai-magazine.com/related-pages/