Upload app.py

app.py

@@ -0,0 +1,113 @@
+
+
+#GPT2 FINE TUNE
+
+# library 
+import gradio as gr
+import tensorflow as tf  
+from transformers import pipeline, AutoTokenizer, TFGPT2LMHeadModel
+
+
+# function to run
+def run_model(input_text, 
+              max_length,            
+              length_penalty):
+
+    #MBART Transformer 
+    model_gpt2 = TFGPT2LMHeadModel.from_pretrained("Sultannn/gpt2-ft-id-puisi")
+    token_gpt2 = AutoTokenizer.from_pretrained("Sultannn/gpt2-ft-id-puisi")
+
+    # preprocessing text input
+    input_text = str(input_text)
+    input_text = ' '.join(input_text.split()).upper() # hapus white space dan ubah judul kata ke huruf besar
+
+    #encode input to vector
+    text_prompt = token_gpt2.encode(input_text,add_special_tokens=True, return_tensors="tf") 
+
+        
+    #generate input
+    summary_ids = model_gpt2.generate(text_prompt, # raw token 
+                                    # param penting
+                                    max_length = max_length + len(input_text), # max token to generate
+                                    do_sample = True, # to sampling text 
+                                                                        
+                                    length_penalty = length_penalty,  #Atur ke nilai <1.0 untuk menghasilkan urutan yang lebih pendek, ke nilai > 1.0 untuk menghasilkan urutan yang lebih panjang)    
+
+                                    # pencarian modern          
+                                    top_k = 50, # ambil top kata dengan probability tertinggi / kata yang paling mungkin
+                                    top_p = 0.95, # ambil kata dan jumlah kan probalitiy nya sesuai yang di definisikan
+
+                                    # no_repeat_ngram_size=2 , # agar tidak ada 2 gram/kata yang muncul dua kali:
+                                    # temperature=1.0, # untuk mengatur probability next word 
+
+                                    # trick / metode pencarian tradisional
+                                    # num_beams=3, # Pencarian mengurangi risiko hilangnya urutan kata probabilitas tinggi yang tersembunyi dengan menjaga hipotesis yang paling mungkin pada setiap langkah waktu dan akhirnya memilih hipotesis yang memiliki probabilitas tertinggi secara keseluruhan 
+                                    # early_stopping=True, # gunakan jika pakai num_beams > 1 
+                                    # repetition_penalty=1.0, # mencegah kata pengulangan
+
+                                    # jika ingin lebih dari 1 output
+                                    # num_return_sequences=3,# num_return_sequences <= num_beams! jumlah balok skor tertinggi yang harus dikembalikan ? jumlah sample yang ingin dikeluarkan sesuai yang didefinisikan
+                                    )                                                                       
+                                        
+
+    #decode output to text
+    output = token_gpt2.decode(summary_ids[0], clean_up_tokenization_spaces=False) 
+
+    return output # get output to str
+                             
+# end 
+
+#example 
+contoh = [["TAMPAN"],["TIDAK JELAS"]]
+          
+#judul
+title = "Generate Puisi Indonesia"
+
+#deskripsi
+description = "Demo for Puisi Generator ID. Models are GPT-2"           
+
+#footer            
+article = "<p style='text-align: center'><a href='https://github.com/sultanbst123/Text_summarization-id2id' target='_blank'><u>Untuk penjelasan lihat di repo ku</u> 😁</a></p>"
+
+#run gradio
+gr.Interface(
+    fn=run_model,
+    #input text
+    inputs=[
+        gr.inputs.Textbox(
+            lines=2,
+            placeholder="Ketik disini...", 
+            label="Text",
+        ),
+        #fine tune
+
+        #max length
+        gr.inputs.Slider(
+           minimum=100,
+           maximum=150,  
+           step=5,
+           default=100, 
+           label="Max Length(panjang maksimum urutan)",
+       ),
+        #length_penalty
+        gr.inputs.Slider(
+           minimum=1,
+           maximum=3,  
+           step=1,
+           default=1,
+           label="Length Penalty(pilih 1 jika ingin yang panjang)",
+       ),        
+    ],
+    #output text
+    outputs=
+    gr.outputs.Textbox(       
+            label="Output text", 
+    ),
+    title=title,
+    description=description,
+    article=article,
+    examples=contoh).launch(debug = True)
+
+
+
+## GOOD LUCK