
<!-- This model card has been generated automatically according to the information Keras had access to. You should
probably proofread and complete it, then remove this comment. -->

# pretrained-bert-uncased-200

This model is a fine-tuned version of [](https://huggingface.co/) on an unknown dataset.
It achieves the following results on the evaluation set:
- Train Loss: nan
- Validation Loss: nan
- Epoch: 199

## Model description

More information needed

## Intended uses & limitations

More information needed

## Training and evaluation data

More information needed

## Training procedure

### Training hyperparameters

The following hyperparameters were used during training:
- optimizer: {'name': 'Adam', 'learning_rate': 1e-04, 'decay': 0.0, 'beta_1': 0.9, 'beta_2': 0.999, 'epsilon': 1e-07, 'amsgrad': False}
- training_precision: float32

### Training results

| Train Loss | Validation Loss | Epoch |
|:----------:|:---------------:|:-----:|
| 8.9076     | 9.5544          | 0     |
| 7.0572     | 9.6310          | 1     |
| 6.5781     | 10.4973         | 2     |
| 6.1054     | 10.4749         | 3     |
| 6.1980     | 10.4411         | 4     |
| 6.0896     | 11.1385         | 5     |
| 6.1630     | 10.8668         | 6     |
| 5.9313     | 11.2520         | 7     |
| 5.7459     | 10.9396         | 8     |
| 5.8505     | 11.1343         | 9     |
| 5.8592     | 11.6048         | 10    |
| 5.7595     | 12.0371         | 11    |
| 5.7283     | 11.4402         | 12    |
| 5.7948     | 11.6117         | 13    |
| 5.7973     | 11.7393         | 14    |
| 5.6228     | 11.9450         | 15    |
| 5.6996     | 11.9938         | 16    |
| 5.7468     | 12.3826         | 17    |
| 5.6336     | 11.7692         | 18    |
| 5.6287     | 12.1970         | 19    |
| 5.7435     | 12.3895         | 20    |
| 5.6587     | 12.2124         | 21    |
| 5.6767     | 12.1633         | 22    |
| 5.7494     | 12.1844         | 23    |
| 5.5532     | 12.4163         | 24    |
| 5.4826     | 12.3235         | 25    |
| 5.7103     | 12.7326         | 26    |
| 5.6399     | 12.3326         | 27    |
| 5.6171     | 12.4726         | 28    |
| 5.8517     | 12.3647         | 29    |
| 5.6446     | 12.4943         | 30    |
| 5.5662     | 12.6303         | 31    |
| 5.8222     | 12.5869         | 32    |
| 5.5710     | 13.0406         | 33    |
| 5.6011     | 12.5007         | 34    |
| 5.6860     | 12.2958         | 35    |
| 5.6071     | 12.5690         | 36    |
| 5.5824     | 12.4472         | 37    |
| 5.5800     | 12.8570         | 38    |
| 5.6298     | 12.9604         | 39    |
| 5.4751     | 13.0937         | 40    |
| 5.5724     | 12.8909         | 41    |
| 5.6251     | 13.1132         | 42    |
| 5.5483     | 12.7036         | 43    |
| 5.6252     | 13.1233         | 44    |
| 5.4592     | 13.1353         | 45    |
| 5.5780     | 13.2373         | 46    |
| 5.5350     | 13.4289         | 47    |
| 5.4859     | 13.3994         | 48    |
| 5.6908     | 13.1062         | 49    |
| 5.7516     | 13.1705         | 50    |
| 5.5373     | 13.3196         | 51    |
| 5.6078     | 13.3352         | 52    |
| 5.5998     | 13.3831         | 53    |
| 5.6833     | 13.4430         | 54    |
| 5.6047     | 12.7287         | 55    |
| 5.7165     | 13.1647         | 56    |
| 5.5246     | 13.5831         | 57    |
| 5.5244     | 13.4733         | 58    |
| 5.5659     | 13.8621         | 59    |
| 5.6702     | 13.0873         | 60    |
| 5.5403     | 13.2744         | 61    |
| 5.4980     | 13.5826         | 62    |
| 5.5052     | 13.4584         | 63    |
| 5.5921     | 13.6191         | 64    |
| 5.5647     | 13.2221         | 65    |
| 5.6330     | 13.4804         | 66    |
| 5.6607     | 13.0722         | 67    |
| 5.7957     | 13.6183         | 68    |
| 5.7403     | 13.5204         | 69    |
| 5.5702     | 13.4229         | 70    |
| 5.4891     | 13.6547         | 71    |
| 5.7374     | 13.5464         | 72    |
| 5.6032     | 13.3607         | 73    |
| 5.5891     | 14.0467         | 74    |
| 5.7014     | 13.7621         | 75    |
| 5.6749     | 13.4568         | 76    |
| 5.6180     | 13.7552         | 77    |
| 5.6203     | 13.7563         | 78    |
| 5.6290     | 13.4801         | 79    |
| 5.6179     | 13.6345         | 80    |
| 5.5856     | 13.8037         | 81    |
| 5.6667     | 14.1205         | 82    |
| 5.5012     | 14.2115         | 83    |
| 5.6736     | 13.9032         | 84    |
| 5.6132     | 13.7493         | 85    |
| 5.6931     | 13.5402         | 86    |
| 5.4744     | 13.9974         | 87    |
| 5.6554     | 14.0855         | 88    |
| 5.5775     | 13.7100         | 89    |
| 5.6002     | 13.7944         | 90    |
| 5.6341     | 14.4328         | 91    |
| nan        | nan             | 92    |
| nan        | nan             | 93    |
| nan        | nan             | 94    |
| nan        | nan             | 95    |
| nan        | nan             | 96    |
| nan        | nan             | 97    |
| nan        | nan             | 98    |
| nan        | nan             | 99    |
| nan        | nan             | 100   |
| nan        | nan             | 101   |
| nan        | nan             | 102   |
| nan        | nan             | 103   |
| nan        | nan             | 104   |
| nan        | nan             | 105   |
| nan        | nan             | 106   |
| nan        | nan             | 107   |
| nan        | nan             | 108   |
| nan        | nan             | 109   |
| nan        | nan             | 110   |
| nan        | nan             | 111   |
| nan        | nan             | 112   |
| nan        | nan             | 113   |
| nan        | nan             | 114   |
| nan        | nan             | 115   |
| nan        | nan             | 116   |
| nan        | nan             | 117   |
| nan        | nan             | 118   |
| nan        | nan             | 119   |
| nan        | nan             | 120   |
| nan        | nan             | 121   |
| nan        | nan             | 122   |
| nan        | nan             | 123   |
| nan        | nan             | 124   |
| nan        | nan             | 125   |
| nan        | nan             | 126   |
| nan        | nan             | 127   |
| nan        | nan             | 128   |
| nan        | nan             | 129   |
| nan        | nan             | 130   |
| nan        | nan             | 131   |
| nan        | nan             | 132   |
| nan        | nan             | 133   |
| nan        | nan             | 134   |
| nan        | nan             | 135   |
| nan        | nan             | 136   |
| nan        | nan             | 137   |
| nan        | nan             | 138   |
| nan        | nan             | 139   |
| nan        | nan             | 140   |
| nan        | nan             | 141   |
| nan        | nan             | 142   |
| nan        | nan             | 143   |
| nan        | nan             | 144   |
| nan        | nan             | 145   |
| nan        | nan             | 146   |
| nan        | nan             | 147   |
| nan        | nan             | 148   |
| nan        | nan             | 149   |
| nan        | nan             | 150   |
| nan        | nan             | 151   |
| nan        | nan             | 152   |
| nan        | nan             | 153   |
| nan        | nan             | 154   |
| nan        | nan             | 155   |
| nan        | nan             | 156   |
| nan        | nan             | 157   |
| nan        | nan             | 158   |
| nan        | nan             | 159   |
| nan        | nan             | 160   |
| nan        | nan             | 161   |
| nan        | nan             | 162   |
| nan        | nan             | 163   |
| nan        | nan             | 164   |
| nan        | nan             | 165   |
| nan        | nan             | 166   |
| nan        | nan             | 167   |
| nan        | nan             | 168   |
| nan        | nan             | 169   |
| nan        | nan             | 170   |
| nan        | nan             | 171   |
| nan        | nan             | 172   |
| nan        | nan             | 173   |
| nan        | nan             | 174   |
| nan        | nan             | 175   |
| nan        | nan             | 176   |
| nan        | nan             | 177   |
| nan        | nan             | 178   |
| nan        | nan             | 179   |
| nan        | nan             | 180   |
| nan        | nan             | 181   |
| nan        | nan             | 182   |
| nan        | nan             | 183   |
| nan        | nan             | 184   |
| nan        | nan             | 185   |
| nan        | nan             | 186   |
| nan        | nan             | 187   |
| nan        | nan             | 188   |
| nan        | nan             | 189   |
| nan        | nan             | 190   |
| nan        | nan             | 191   |
| nan        | nan             | 192   |
| nan        | nan             | 193   |
| nan        | nan             | 194   |
| nan        | nan             | 195   |
| nan        | nan             | 196   |
| nan        | nan             | 197   |
| nan        | nan             | 198   |
| nan        | nan             | 199   |


### Framework versions

- Transformers 4.27.0.dev0
- TensorFlow 2.9.2
- Datasets 2.9.0
- Tokenizers 0.13.2

{"tags": ["generated_from_keras_callback"], "model-index": [{"name": "pretrained-bert-uncased-200", "results": []}]}
transformers tf bert pretraining generated_from_keras_callback endpoints_compatible region:us
TAGS
#transformers #tf #bert #pretraining #generated_from_keras_callback #endpoints_compatible #region-us 

pretrained-bert-uncased-200
===========================


This model is a fine-tuned version of [](URL on an unknown dataset.
It achieves the following results on the evaluation set:


* Train Loss: nan
* Validation Loss: nan
* Epoch: 199


Model description
-----------------


More information needed


Intended uses & limitations
---------------------------


More information needed


Training and evaluation data
----------------------------


More information needed


Training procedure
------------------


### Training hyperparameters


The following hyperparameters were used during training:


* optimizer: {'name': 'Adam', 'learning\_rate': 1e-04, 'decay': 0.0, 'beta\_1': 0.9, 'beta\_2': 0.999, 'epsilon': 1e-07, 'amsgrad': False}
* training\_precision: float32


### Training results



### Framework versions


* Transformers 4.27.0.dev0
* TensorFlow 2.9.2
* Datasets 2.9.0
* Tokenizers 0.13.2



### Training hyperparameters


The following hyperparameters were used during training:


* optimizer: {'name': 'Adam', 'learning\_rate': 1e-04, 'decay': 0.0, 'beta\_1': 0.9, 'beta\_2': 0.999, 'epsilon': 1e-07, 'amsgrad': False}
* training\_precision: float32 ### Training results ### Framework versions


* Transformers 4.27.0.dev0
* TensorFlow 2.9.2
* Datasets 2.9.0
* Tokenizers 0.13.2
TAGS
#transformers #tf #bert #pretraining #generated_from_keras_callback #endpoints_compatible #region-us 
 ### Training hyperparameters


The following hyperparameters were used during training:


* optimizer: {'name': 'Adam', 'learning\_rate': 1e-04, 'decay': 0.0, 'beta\_1': 0.9, 'beta\_2': 0.999, 'epsilon': 1e-07, 'amsgrad': False}
* training\_precision: float32 ### Training results ### Framework versions


* Transformers 4.27.0.dev0
* TensorFlow 2.9.2
* Datasets 2.9.0
* Tokenizers 0.13.2
TAGS
#transformers #tf #bert #pretraining #generated_from_keras_callback #endpoints_compatible #region-us 
### Training hyperparameters


The following hyperparameters were used during training:


* optimizer: {'name': 'Adam', 'learning\_rate': 1e-04, 'decay': 0.0, 'beta\_1': 0.9, 'beta\_2': 0.999, 'epsilon': 1e-07, 'amsgrad': False}
* training\_precision: float32### Training results### Framework versions


* Transformers 4.27.0.dev0
* TensorFlow 2.9.2
* Datasets 2.9.0
* Tokenizers 0.13.2