transformers tensorboard safetensors t5 text2text-generation generated_from_trainer base_model:t5-small license:apache-2.0 autotrain_compatible endpoints_compatible text-generation-inference region:us
---
license: apache-2.0
base_model: t5-small
tags:
- generated_from_trainer
metrics:
- rouge
model-index:
- name: my_awesome_summary_comments_model
  results: []
---

<!-- This model card has been generated automatically according to the information the Trainer had access to. You
should probably proofread and complete it, then remove this comment. -->

# my_awesome_summary_comments_model

This model is a fine-tuned version of [t5-small](https://huggingface.co/t5-small) on the None dataset.
It achieves the following results on the evaluation set:
- Loss: 0.1630
- Rouge1: 0.2925
- Rouge2: 0.0932
- Rougel: 0.2267
- Rougelsum: 0.2267
- Gen Len: 42.2205

## Model description

More information needed

## Intended uses & limitations

More information needed

## Training and evaluation data

More information needed

## Training procedure

### Training hyperparameters

The following hyperparameters were used during training:
- learning_rate: 2e-05
- train_batch_size: 4
- eval_batch_size: 16
- seed: 42
- gradient_accumulation_steps: 4
- total_train_batch_size: 16
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- num_epochs: 100
- mixed_precision_training: Native AMP

### Training results

| Training Loss | Epoch | Step  | Validation Loss | Rouge1 | Rouge2 | Rougel | Rougelsum | Gen Len |
|:-------------:|:-----:|:-----:|:---------------:|:------:|:------:|:------:|:---------:|:-------:|
| No log        | 1.0   | 173   | 0.2730          | 0.0    | 0.0    | 0.0    | 0.0       | 0.0     |
| No log        | 2.0   | 347   | 0.2393          | 0.0    | 0.0    | 0.0    | 0.0       | 0.0     |
| 0.7591        | 3.0   | 520   | 0.2242          | 0.0528 | 0.0164 | 0.0415 | 0.0416    | 7.2291  |
| 0.7591        | 4.0   | 694   | 0.2160          | 0.2167 | 0.065  | 0.1656 | 0.1655    | 31.0418 |
| 0.7591        | 5.0   | 867   | 0.2108          | 0.2698 | 0.082  | 0.2064 | 0.2067    | 38.9496 |
| 0.2414        | 6.0   | 1041  | 0.2069          | 0.2798 | 0.0861 | 0.2151 | 0.2149    | 40.1513 |
| 0.2414        | 7.0   | 1214  | 0.2036          | 0.281  | 0.0866 | 0.218  | 0.218     | 40.6931 |
| 0.2414        | 8.0   | 1388  | 0.2006          | 0.286  | 0.0876 | 0.2211 | 0.2208    | 41.5821 |
| 0.2255        | 9.0   | 1561  | 0.1982          | 0.2855 | 0.0875 | 0.2212 | 0.221     | 41.072  |
| 0.2255        | 10.0  | 1735  | 0.1962          | 0.2848 | 0.0857 | 0.2207 | 0.2206    | 41.7349 |
| 0.2255        | 11.0  | 1908  | 0.1941          | 0.2838 | 0.0869 | 0.2197 | 0.2198    | 41.585  |
| 0.2154        | 12.0  | 2082  | 0.1922          | 0.286  | 0.0878 | 0.2212 | 0.2213    | 40.7176 |
| 0.2154        | 13.0  | 2255  | 0.1904          | 0.2887 | 0.0867 | 0.2211 | 0.2211    | 41.7637 |
| 0.2154        | 14.0  | 2429  | 0.1890          | 0.288  | 0.0858 | 0.2205 | 0.2206    | 42.0231 |
| 0.2091        | 15.0  | 2602  | 0.1875          | 0.2844 | 0.0837 | 0.2181 | 0.2181    | 42.1628 |
| 0.2091        | 16.0  | 2776  | 0.1863          | 0.2947 | 0.0913 | 0.2251 | 0.2252    | 42.1902 |
| 0.2091        | 17.0  | 2949  | 0.1852          | 0.2907 | 0.0884 | 0.2231 | 0.2233    | 41.9539 |
| 0.2029        | 18.0  | 3123  | 0.1841          | 0.2881 | 0.087  | 0.222  | 0.2218    | 42.5432 |
| 0.2029        | 19.0  | 3296  | 0.1830          | 0.2925 | 0.0904 | 0.225  | 0.2248    | 42.1527 |
| 0.2029        | 20.0  | 3470  | 0.1820          | 0.2913 | 0.0907 | 0.2252 | 0.2253    | 42.0504 |
| 0.1996        | 21.0  | 3643  | 0.1811          | 0.2953 | 0.0922 | 0.2271 | 0.2268    | 42.1888 |
| 0.1996        | 22.0  | 3817  | 0.1802          | 0.2867 | 0.087  | 0.2215 | 0.2214    | 42.8026 |
| 0.1996        | 23.0  | 3990  | 0.1795          | 0.2936 | 0.0916 | 0.2266 | 0.2266    | 42.1268 |
| 0.1948        | 24.0  | 4164  | 0.1787          | 0.2933 | 0.0919 | 0.2271 | 0.2272    | 41.9006 |
| 0.1948        | 25.0  | 4337  | 0.1779          | 0.2914 | 0.0892 | 0.2235 | 0.2233    | 42.683  |
| 0.1914        | 26.0  | 4511  | 0.1773          | 0.2916 | 0.0882 | 0.2235 | 0.2236    | 42.6902 |
| 0.1914        | 27.0  | 4684  | 0.1767          | 0.291  | 0.0882 | 0.2238 | 0.2238    | 42.804  |
| 0.1914        | 28.0  | 4858  | 0.1760          | 0.2959 | 0.0914 | 0.2267 | 0.2265    | 42.3372 |
| 0.1888        | 29.0  | 5031  | 0.1753          | 0.2895 | 0.0878 | 0.2218 | 0.2218    | 43.1772 |
| 0.1888        | 30.0  | 5205  | 0.1748          | 0.2959 | 0.0916 | 0.2285 | 0.2284    | 42.7464 |
| 0.1888        | 31.0  | 5378  | 0.1742          | 0.2946 | 0.0903 | 0.2265 | 0.2263    | 42.8862 |
| 0.1864        | 32.0  | 5552  | 0.1738          | 0.2927 | 0.0892 | 0.2242 | 0.2238    | 42.8559 |
| 0.1864        | 33.0  | 5725  | 0.1732          | 0.2936 | 0.0905 | 0.2265 | 0.2263    | 42.7536 |
| 0.1864        | 34.0  | 5899  | 0.1728          | 0.2943 | 0.0931 | 0.2275 | 0.2273    | 42.4135 |
| 0.1837        | 35.0  | 6072  | 0.1722          | 0.2978 | 0.0935 | 0.2289 | 0.229     | 42.2248 |
| 0.1837        | 36.0  | 6246  | 0.1719          | 0.294  | 0.0912 | 0.2264 | 0.2262    | 42.3948 |
| 0.1837        | 37.0  | 6419  | 0.1714          | 0.297  | 0.0929 | 0.2287 | 0.2283    | 42.6412 |
| 0.1823        | 38.0  | 6593  | 0.1711          | 0.2961 | 0.0944 | 0.2286 | 0.2283    | 42.098  |
| 0.1823        | 39.0  | 6766  | 0.1708          | 0.2963 | 0.0925 | 0.2265 | 0.2262    | 42.755  |
| 0.1823        | 40.0  | 6940  | 0.1704          | 0.2969 | 0.0935 | 0.2281 | 0.2279    | 42.8617 |
| 0.1792        | 41.0  | 7113  | 0.1700          | 0.2978 | 0.0933 | 0.228  | 0.2278    | 42.536  |
| 0.1792        | 42.0  | 7287  | 0.1698          | 0.2981 | 0.0943 | 0.2291 | 0.2289    | 42.7421 |
| 0.1792        | 43.0  | 7460  | 0.1694          | 0.2944 | 0.093  | 0.2271 | 0.227     | 42.4135 |
| 0.1786        | 44.0  | 7634  | 0.1691          | 0.2993 | 0.0965 | 0.2307 | 0.2304    | 42.536  |
| 0.1786        | 45.0  | 7807  | 0.1689          | 0.2962 | 0.0943 | 0.2274 | 0.2275    | 42.6282 |
| 0.1786        | 46.0  | 7981  | 0.1687          | 0.2947 | 0.0934 | 0.2272 | 0.2271    | 42.549  |
| 0.1764        | 47.0  | 8154  | 0.1683          | 0.2966 | 0.0945 | 0.2293 | 0.2293    | 42.3674 |
| 0.1764        | 48.0  | 8328  | 0.1681          | 0.2947 | 0.0951 | 0.2281 | 0.2282    | 42.1888 |
| 0.1755        | 49.0  | 8501  | 0.1678          | 0.291  | 0.0925 | 0.225  | 0.2248    | 42.0922 |
| 0.1755        | 50.0  | 8675  | 0.1675          | 0.2938 | 0.0923 | 0.2252 | 0.2251    | 42.8141 |
| 0.1755        | 51.0  | 8848  | 0.1674          | 0.2924 | 0.0925 | 0.2256 | 0.2254    | 42.098  |
| 0.1741        | 52.0  | 9022  | 0.1671          | 0.2949 | 0.0937 | 0.2268 | 0.2266    | 42.2853 |
| 0.1741        | 53.0  | 9195  | 0.1668          | 0.2934 | 0.0924 | 0.2257 | 0.2259    | 42.7305 |
| 0.1741        | 54.0  | 9369  | 0.1667          | 0.2922 | 0.0929 | 0.2263 | 0.226     | 41.9222 |
| 0.1727        | 55.0  | 9542  | 0.1664          | 0.2916 | 0.0919 | 0.2256 | 0.2255    | 42.6383 |
| 0.1727        | 56.0  | 9716  | 0.1664          | 0.2933 | 0.0932 | 0.2262 | 0.226     | 42.3444 |
| 0.1727        | 57.0  | 9889  | 0.1662          | 0.2911 | 0.0909 | 0.2257 | 0.2255    | 42.1427 |
| 0.1718        | 58.0  | 10063 | 0.1660          | 0.2932 | 0.0937 | 0.2284 | 0.2281    | 41.7968 |
| 0.1718        | 59.0  | 10236 | 0.1657          | 0.2938 | 0.0929 | 0.2274 | 0.2272    | 42.3991 |
| 0.1718        | 60.0  | 10410 | 0.1656          | 0.2933 | 0.0926 | 0.2261 | 0.2259    | 42.438  |
| 0.1706        | 61.0  | 10583 | 0.1654          | 0.2944 | 0.0947 | 0.2278 | 0.2278    | 42.2939 |
| 0.1706        | 62.0  | 10757 | 0.1653          | 0.2928 | 0.0926 | 0.2259 | 0.2257    | 42.2248 |
| 0.1706        | 63.0  | 10930 | 0.1652          | 0.2936 | 0.0936 | 0.2275 | 0.2273    | 42.0389 |
| 0.1689        | 64.0  | 11104 | 0.1650          | 0.2928 | 0.0931 | 0.2265 | 0.2264    | 42.1484 |
| 0.1689        | 65.0  | 11277 | 0.1649          | 0.2921 | 0.0914 | 0.2255 | 0.2254    | 42.8703 |
| 0.1689        | 66.0  | 11451 | 0.1649          | 0.2911 | 0.0909 | 0.2243 | 0.2243    | 42.5259 |
| 0.1698        | 67.0  | 11624 | 0.1648          | 0.2902 | 0.0908 | 0.2246 | 0.2243    | 42.1542 |
| 0.1698        | 68.0  | 11798 | 0.1646          | 0.2907 | 0.0919 | 0.2253 | 0.2253    | 42.5706 |
| 0.1698        | 69.0  | 11971 | 0.1644          | 0.2928 | 0.0919 | 0.2259 | 0.226     | 42.7651 |
| 0.1679        | 70.0  | 12145 | 0.1644          | 0.2926 | 0.0925 | 0.2269 | 0.2268    | 42.2392 |
| 0.1679        | 71.0  | 12318 | 0.1643          | 0.2934 | 0.093  | 0.2261 | 0.226     | 42.5865 |
| 0.1679        | 72.0  | 12492 | 0.1641          | 0.2931 | 0.0933 | 0.2255 | 0.2254    | 42.5432 |
| 0.1674        | 73.0  | 12665 | 0.1640          | 0.2927 | 0.0928 | 0.2263 | 0.2262    | 42.2277 |
| 0.1674        | 74.0  | 12839 | 0.1640          | 0.2917 | 0.0914 | 0.225  | 0.225     | 42.2176 |
| 0.1668        | 75.0  | 13012 | 0.1640          | 0.2911 | 0.0913 | 0.2228 | 0.2229    | 42.5648 |
| 0.1668        | 76.0  | 13186 | 0.1638          | 0.2935 | 0.0944 | 0.2277 | 0.2277    | 41.8804 |
| 0.1668        | 77.0  | 13359 | 0.1638          | 0.2943 | 0.094  | 0.2278 | 0.2276    | 42.0202 |
| 0.1664        | 78.0  | 13533 | 0.1637          | 0.293  | 0.0929 | 0.2266 | 0.2267    | 42.2378 |
| 0.1664        | 79.0  | 13706 | 0.1636          | 0.2914 | 0.0917 | 0.2253 | 0.2253    | 42.098  |
| 0.1664        | 80.0  | 13880 | 0.1636          | 0.2933 | 0.0928 | 0.2271 | 0.227     | 42.389  |
| 0.1656        | 81.0  | 14053 | 0.1634          | 0.2935 | 0.0928 | 0.2264 | 0.2263    | 42.4006 |
| 0.1656        | 82.0  | 14227 | 0.1635          | 0.2926 | 0.0919 | 0.2261 | 0.2258    | 42.1412 |
| 0.1656        | 83.0  | 14400 | 0.1634          | 0.2935 | 0.0928 | 0.2265 | 0.2263    | 42.353  |
| 0.1654        | 84.0  | 14574 | 0.1633          | 0.2935 | 0.0929 | 0.2269 | 0.2271    | 42.3372 |
| 0.1654        | 85.0  | 14747 | 0.1633          | 0.2918 | 0.0922 | 0.2263 | 0.2263    | 42.0749 |
| 0.1654        | 86.0  | 14921 | 0.1633          | 0.2918 | 0.092  | 0.2257 | 0.2259    | 42.2911 |
| 0.1651        | 87.0  | 15094 | 0.1632          | 0.2919 | 0.0928 | 0.2258 | 0.226     | 42.1398 |
| 0.1651        | 88.0  | 15268 | 0.1632          | 0.2914 | 0.0935 | 0.2266 | 0.2268    | 41.964  |
| 0.1651        | 89.0  | 15441 | 0.1631          | 0.2917 | 0.0928 | 0.2267 | 0.2267    | 42.1499 |
| 0.1648        | 90.0  | 15615 | 0.1631          | 0.293  | 0.0932 | 0.2264 | 0.2265    | 42.2752 |
| 0.1648        | 91.0  | 15788 | 0.1631          | 0.2923 | 0.0932 | 0.2266 | 0.2268    | 42.2219 |
| 0.1648        | 92.0  | 15962 | 0.1631          | 0.2936 | 0.0947 | 0.2278 | 0.228     | 42.1744 |
| 0.1652        | 93.0  | 16135 | 0.1631          | 0.2932 | 0.0938 | 0.227  | 0.227     | 42.3948 |
| 0.1652        | 94.0  | 16309 | 0.1631          | 0.2938 | 0.0939 | 0.2275 | 0.2275    | 42.3977 |
| 0.1652        | 95.0  | 16482 | 0.1631          | 0.2921 | 0.0931 | 0.2264 | 0.2265    | 42.281  |
| 0.1641        | 96.0  | 16656 | 0.1630          | 0.2921 | 0.0928 | 0.2262 | 0.2263    | 42.268  |
| 0.1641        | 97.0  | 16829 | 0.1630          | 0.2919 | 0.0933 | 0.2263 | 0.2264    | 42.255  |
| 0.1643        | 98.0  | 17003 | 0.1630          | 0.2927 | 0.0931 | 0.2267 | 0.2267    | 42.2795 |
| 0.1643        | 99.0  | 17176 | 0.1630          | 0.2927 | 0.0934 | 0.2268 | 0.2269    | 42.245  |
| 0.1643        | 99.71 | 17300 | 0.1630          | 0.2925 | 0.0932 | 0.2267 | 0.2267    | 42.2205 |


### Framework versions

- Transformers 4.35.2
- Pytorch 2.1.0+cu121
- Datasets 2.17.0
- Tokenizers 0.15.2
