cleanup

pages_helpers.py

@@ -17,15 +17,6 @@ from text_utils import *
 
 from llm import *
 
-
-# from crawl4ai import WebCrawler # pip install "crawl4ai @ git+https://github.com/unclecode/crawl4ai.git"
-
-# Create an instance of WebCrawler
-# crawler = WebCrawler()
-
-# Warm up the crawler (load necessary models)
-# crawler.warmup()
-
 ## Cách lấy cookies và headers sử dụng https://curlconverter.com
 cookies = {
     'ASP.NET_SessionId': '42i3ivvgk14yd2tnxmddybvq',
@@ -192,38 +183,8 @@ Your connection is not private
 
 
     meta = None
-    '''
-    if html is None or len(html) < 500:
-        # Thử lần 2 bằng CRAWL4AI
-        print("GET HTML CRAWL4AI", filename, flush=True)
-        get_html_method = "crawl4ai" 
-
-        try:
-            result = crawler.run(url=url)
-            html = result.html
-
-            # Lưu lại nội dung html vào xz_filename
-            with lzma.open(xz_filename, "wt") as f: f.write(html)
-
-            # {'title': 'Ngập úng và thiệt hại trên 202.000 ha lúa | baotintuc.vn', 'description': 'Thống kê từ Bộ Nông nghiệp và Phát triển nông thôn, tính đến sáng 13/9, có trên 202.000 ha lúa, gần 39.300 ha hoa màu bị ngập úng, thiệt hại do ảnh hưởng của bão số 3.', 'keywords': None, 'author': 'baotintuc.vn', 'og:type': 'article', 'og:url': 'https://baotintuc.vn/xa-hoi/ngap-ung-va-thiet-hai-tren-202000-ha-lua-20240913095621343.htm', 'og:image': 'https://cdnmedia.baotintuc.vn/Upload/EqV5H9rWgvy9oNikwkHLXA/files/13092024-bao-1.jpg', 'og:image:url': 'https://cdnmedia.baotintuc.vn/Upload/EqV5H9rWgvy9oNikwkHLXA/files/13092024-bao-1.jpg', 'og:image:secure_url': 'https://cdnmedia.baotintuc.vn/Upload/EqV5H9rWgvy9oNikwkHLXA/files/13092024-bao-1.jpg', 'og:image:width': '460', 'og:image:height': '345', 'og:title': 'Ngập úng và thiệt hại trên 202.000 ha lúa', 'og:description': 'Thống kê từ Bộ Nông nghiệp và Phát triển nông thôn, đến sáng 13/9, có trên 202.000 ha lúa, gần 39.300 ha hoa màu bị ngập úng, thiệt hại do ảnh hưởng của bão số 3.', 'twitter: card': 'summary_large_image', 'twitter: image': 'https://cdnmedia.baotintuc.vn/Upload/EqV5H9rWgvy9oNikwkHLXA/files/13092024-bao-1.jpg'}
-            meta = dict(result.metadata)
-
-            for key in result.metadata.keys():
-                if "og:" in key or "twitter:" in key:
-                    meta.pop(key)
-
-        except Exception as e:
-            print(f"!!! CRAWL4AI Error {e} !!!")
-
-        if isinstance(html, str):
-            for x in blacklist:
-                 if x in html:
-                    i = html.find(x)
-                    print(f"{RED}!!! CRAWL4AI đọc lỗi {html[i-30:i+200]} !!!{RESET}")
-                    html = None
-                    meta = {}
-                    break
-    '''
+    # Lấy meta / html bằng phương pháp khác ...
+    # Tạm bỏ crawl4ai vì không cài được lên HF
 
     if html is None or len(html) < 500:
         # Thử lần 3 bằng reader api
@@ -318,7 +279,8 @@ Your connection is not private
         reader_signal = int( len(reader_text) * (1 - reader_noise_ratio) ) + 1
 
         samesame = ( abs(signal - reader_signal) / reader_signal ) < 0.2
-        print(f">>> {RED}samesame {samesame}, original signal {pretty_num(signal)}, reader_signal {pretty_num(reader_signal)}{RESET}")
+        print(f">>> {RED}samesame {samesame}, original_signal {pretty_num(signal)}, \
+reader_signal {pretty_num(reader_signal)}{RESET}")
 
         # Nếu bản gốc quá ngắn nhưng bản reader quá noise thì thà chọn ngắn còn hơn
         original_too_shot_but_reader_too_noise = ( 
@@ -335,42 +297,13 @@ Your connection is not private
         if original_too_noise_but_reader_even_more_noise:
             print("!!! reader còn noise hơn bản trafilatura, bỏ qua.")
 
-
         if not original_too_shot_but_reader_too_noise and \
             not original_too_noise_but_reader_even_more_noise:
 
-            choose_original_text = False
-
-            if reader_too_noise: # vẫn còn noisy lắm, thử dùng readability.js
-
-                if html is not None and len(html) > 200:
-
-                    html_filename = filename + ".html"
-                    with open(html_filename, "wt") as f:
-                        f.write(html)
-
-                    abi_text = subprocess.run(
-                        f"node node_readability.js '{html_filename}' '{url}'", 
-                        shell=True, 
-                        capture_output=True,
-                    ).stdout.decode('utf-8')
-
-                    abi_text, abi_noise_ratio, abi_max_noise = \
-                        normalize_text(abi_text, get_noise_info = True)
-
-                    if abi_max_noise < reader_max_noise:
-                        print(GREEN, ">>>", abi_text, "<<<", RESET)
-
-                        if len(abi_text) < len(reader_text) and len(text) < len(reader_text): # chuộng text ngắn
-                            choose_original_text = True
-
-
-            if not choose_original_text:
-
-                extract_method = "reader"
-                text = reader_text
-                noise_ratio = reader_noise_ratio
-                max_noise = reader_max_noise
+            extract_method = "reader"
+            text = reader_text
+            noise_ratio = reader_noise_ratio
+            max_noise = reader_max_noise
 
 
     # update meta, Lưu lại text và meta
@@ -560,14 +493,5 @@ default_urls_input = """
 https://vnexpress.net/sam-altman-ai-thong-minh-hon-con-nguoi-trong-vai-nghin-ngay-toi-4796649.html
 https://vnexpress.net/may-tram-chay-ai-gia-tram-trieu-dong-tai-viet-nam-4796490.html
 https://www.vngcloud.vn/blog/what-are-large-language-models
-https://arxiv.org/html/2408.16737v1
-https://arxiv.org/html/2409.15700v1
-https://arxiv.org/html/2409.09916v1
-https://arxiv.org/html/2409.06903v1
-https://arxiv.org/html/2409.12558v1
-https://arxiv.org/html/2409.10516v2
-https://rlhflow.github.io/posts/2024-05-29-multi-objective-reward-modeling
-https://arxiv.org/html/2405.07863v2
-https://arxiv.org/html/2406.12845
-https://eugeneyan.com/writing/llm-evaluators
+https://arxiv.org/pdf/2305.13673
 """.strip()