Modifikasi kode di bawah ini untuk menambahkan import data berita dari csv dengan kolom judul dan isi_berita, serta hasil pre-process diekspor ke CSV, JSON, dan Pickle!.
import re
import nltk
from nltk.corpus import stopwords
from Sastrawi.Stemmer.StemmerFactory import StemmerFactory

# Pastikan untuk mengunduh punkt tokenizer dan Indonesian stop words terlebih dahulu:
# nltk.download(“punkt”)
# nltk.download(“stopwords”)

# Data
data_berita = []

# judul_berita = "judul_berita"
# isi_berita = "isi_berita"

def gabung_judul_isi(judul_berita, isi_berita):
    # Langkah 1: Menggabungkan judul dan isi berita
    berita = f"{judul_berita} {isi_berita}"
    return berita


def pre_process(berita):

    # Langkah 2: Menghapus tanda baca dan karakter khusus
    cleaned_text = re.sub(r'[^a-zA-Z0-9\s]', ' ', berita)

    # Langkah 3: Mengonversi teks menjadi huruf kecil
    lowercase_text = cleaned_text.lower()

    # Langkah 4: Tokenisasi dengan NLTK
    tokens_nltk = nltk.word_tokenize(lowercase_text)

    # Langkah 5: Menghapus stop words
    nltk_stopwords = stopwords.words("indonesian")
    tokens_no_stopwords = [token for token in tokens_nltk if token not in nltk_stopwords]

    # Langkah 6: Stemming dan Lemmatisasi menggunakan library Sastrawi
    factory = StemmerFactory()
    stemmer = factory.create_stemmer()

    stemmed_tokens = [stemmer.stem(token) for token in tokens_no_stopwords]

    return stemmed_tokens

    # print(stemmed_tokens)

hasil_pre_process = []

for berita in data_berita:
    berita_gabungjudulisi = gabung_judul_isi(berita.judul_berita, berita.isi_berita)
    berita_preprocessed = pre_process(berita_gabungjudulisi)
    hasil_pre_process.append(berita_preprocessed)