transformers pytorch tensorboard segformer vision image-segmentation generated_from_trainer license:other endpoints_compatible region:us
---
license: other
tags:
- vision
- image-segmentation
- generated_from_trainer
model-index:
- name: safety-userstudy-terrain
  results: []
---

<!-- This model card has been generated automatically according to the information the Trainer had access to. You
should probably proofread and complete it, then remove this comment. -->

# safety-userstudy-terrain

This model is a fine-tuned version of [nvidia/mit-b5](https://huggingface.co/nvidia/mit-b5) on the sam1120/safety-userstudy-terrain dataset.
It achieves the following results on the evaluation set:
- Loss: 0.1525
- Mean Iou: 0.7497
- Mean Accuracy: 0.8290
- Overall Accuracy: 0.9598
- Accuracy Unlabeled: nan
- Accuracy Nat: 0.9775
- Accuracy Concrete-speedway-side: 0.7907
- Accuracy Concrete-road-adj: nan
- Accuracy Grass: 0.5869
- Accuracy Speedway-bricks: 0.9939
- Accuracy Steel: 0.9191
- Accuracy Steel-sidewalk: nan
- Accuracy Dark-bricks: nan
- Accuracy Road: nan
- Accuracy Rough-red-sidewalk: 0.7060
- Accuracy Tiles-marble: nan
- Accuracy Red-bricks: nan
- Accuracy Rest: nan
- Iou Unlabeled: nan
- Iou Nat: 0.9588
- Iou Concrete-speedway-side: 0.7359
- Iou Concrete-road-adj: nan
- Iou Grass: 0.4374
- Iou Speedway-bricks: 0.9581
- Iou Steel: 0.8183
- Iou Steel-sidewalk: nan
- Iou Dark-bricks: nan
- Iou Road: nan
- Iou Rough-red-sidewalk: 0.5895
- Iou Tiles-marble: nan
- Iou Red-bricks: nan
- Iou Rest: nan

## Model description

More information needed

## Intended uses & limitations

More information needed

## Training and evaluation data

More information needed

## Training procedure

### Training hyperparameters

The following hyperparameters were used during training:
- learning_rate: 5e-05
- train_batch_size: 16
- eval_batch_size: 16
- seed: 42
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- lr_scheduler_warmup_ratio: 0.05
- num_epochs: 600

### Training results

| Training Loss | Epoch | Step | Validation Loss | Mean Iou | Mean Accuracy | Overall Accuracy | Accuracy Unlabeled | Accuracy Nat | Accuracy Concrete-speedway-side | Accuracy Concrete-road-adj | Accuracy Grass | Accuracy Speedway-bricks | Accuracy Steel | Accuracy Steel-sidewalk | Accuracy Dark-bricks | Accuracy Road | Accuracy Rough-red-sidewalk | Accuracy Tiles-marble | Accuracy Red-bricks | Accuracy Rest | Iou Unlabeled | Iou Nat | Iou Concrete-speedway-side | Iou Concrete-road-adj | Iou Grass | Iou Speedway-bricks | Iou Steel | Iou Steel-sidewalk | Iou Dark-bricks | Iou Road | Iou Rough-red-sidewalk | Iou Tiles-marble | Iou Red-bricks | Iou Rest |
|:-------------:|:-----:|:----:|:---------------:|:--------:|:-------------:|:----------------:|:------------------:|:------------:|:-------------------------------:|:--------------------------:|:--------------:|:------------------------:|:--------------:|:-----------------------:|:--------------------:|:-------------:|:---------------------------:|:---------------------:|:-------------------:|:-------------:|:-------------:|:-------:|:--------------------------:|:---------------------:|:---------:|:-------------------:|:---------:|:------------------:|:---------------:|:--------:|:----------------------:|:----------------:|:--------------:|:--------:|
| 1.5957        | 20.0  | 20   | 1.5208          | 0.1375   | 0.2966        | 0.7878           | nan                | 0.8322       | 0.0071                          | nan                        | 0.0            | 0.9400                   | 0.0            | nan                     | nan                  | nan           | 0.0                         | nan                   | nan                 | nan           | 0.0           | 0.8228  | 0.0065                     | nan                   | 0.0       | 0.6828              | 0.0       | 0.0                | nan             | 0.0      | 0.0                    | 0.0              | 0.0            | nan      |
| 0.3589        | 40.0  | 40   | 0.3774          | 0.3713   | 0.4249        | 0.9034           | nan                | 0.9629       | 0.4427                          | nan                        | 0.1437         | 1.0                      | 0.0            | nan                     | nan                  | nan           | 0.0                         | nan                   | nan                 | nan           | nan           | 0.9404  | 0.3404                     | nan                   | 0.1104    | 0.8367              | 0.0       | nan                | nan             | nan      | 0.0                    | nan              | nan            | nan      |
| 0.173         | 60.0  | 60   | 0.2565          | 0.5359   | 0.6159        | 0.9279           | nan                | 0.9537       | 0.6675                          | nan                        | 0.5639         | 1.0                      | 0.0            | nan                     | nan                  | nan           | 0.5100                      | nan                   | nan                 | nan           | nan           | 0.9408  | 0.6352                     | nan                   | 0.2973    | 0.8961              | 0.0       | nan                | nan             | nan      | 0.4458                 | nan              | nan            | nan      |
| 0.1134        | 80.0  | 80   | 0.1627          | 0.7202   | 0.7931        | 0.9605           | nan                | 0.9793       | 0.8184                          | nan                        | 0.4907         | 0.9946                   | 0.5343         | nan                     | nan                  | nan           | 0.9412                      | nan                   | nan                 | nan           | nan           | 0.9569  | 0.7767                     | nan                   | 0.3657    | 0.9650              | 0.4712    | nan                | nan             | nan      | 0.7858                 | nan              | nan            | nan      |
| 0.0925        | 100.0 | 100  | 0.1637          | 0.7153   | 0.7811        | 0.9572           | nan                | 0.9774       | 0.7627                          | nan                        | 0.5282         | 0.9969                   | 0.5839         | nan                     | nan                  | nan           | 0.8377                      | nan                   | nan                 | nan           | nan           | 0.9558  | 0.7396                     | nan                   | 0.3793    | 0.9531              | 0.5400    | nan                | nan             | nan      | 0.7239                 | nan              | nan            | nan      |
| 0.076         | 120.0 | 120  | 0.1484          | 0.7523   | 0.8407        | 0.9630           | nan                | 0.9816       | 0.8138                          | nan                        | 0.5185         | 0.9870                   | 0.7936         | nan                     | nan                  | nan           | 0.9499                      | nan                   | nan                 | nan           | nan           | 0.9594  | 0.7565                     | nan                   | 0.3947    | 0.9677              | 0.6144    | nan                | nan             | nan      | 0.8212                 | nan              | nan            | nan      |
| 0.0648        | 140.0 | 140  | 0.1535          | 0.7321   | 0.8246        | 0.9590           | nan                | 0.9782       | 0.8272                          | nan                        | 0.5431         | 0.9863                   | 0.8023         | nan                     | nan                  | nan           | 0.8104                      | nan                   | nan                 | nan           | nan           | 0.9579  | 0.7444                     | nan                   | 0.3992    | 0.9596              | 0.6491    | nan                | nan             | nan      | 0.6825                 | nan              | nan            | nan      |
| 0.0647        | 160.0 | 160  | 0.1474          | 0.7517   | 0.8246        | 0.9624           | nan                | 0.9807       | 0.7850                          | nan                        | 0.5292         | 0.9944                   | 0.7690         | nan                     | nan                  | nan           | 0.8890                      | nan                   | nan                 | nan           | nan           | 0.9588  | 0.7219                     | nan                   | 0.3936    | 0.9702              | 0.7060    | nan                | nan             | nan      | 0.7595                 | nan              | nan            | nan      |
| 0.0536        | 180.0 | 180  | 0.1418          | 0.7700   | 0.8598        | 0.9643           | nan                | 0.9789       | 0.8163                          | nan                        | 0.5759         | 0.9898                   | 0.8609         | nan                     | nan                  | nan           | 0.9368                      | nan                   | nan                 | nan           | nan           | 0.9596  | 0.7403                     | nan                   | 0.4216    | 0.9739              | 0.7420    | nan                | nan             | nan      | 0.7823                 | nan              | nan            | nan      |
| 0.0508        | 200.0 | 200  | 0.1347          | 0.7785   | 0.8678        | 0.9662           | nan                | 0.9823       | 0.8078                          | nan                        | 0.5830         | 0.9883                   | 0.9038         | nan                     | nan                  | nan           | 0.9418                      | nan                   | nan                 | nan           | nan           | 0.9617  | 0.7412                     | nan                   | 0.4265    | 0.9782              | 0.7556    | nan                | nan             | nan      | 0.8078                 | nan              | nan            | nan      |
| 0.0452        | 220.0 | 220  | 0.1432          | 0.7452   | 0.8243        | 0.9604           | nan                | 0.9796       | 0.7841                          | nan                        | 0.5748         | 0.9934                   | 0.8825         | nan                     | nan                  | nan           | 0.7316                      | nan                   | nan                 | nan           | nan           | 0.9598  | 0.7316                     | nan                   | 0.4273    | 0.9609              | 0.7776    | nan                | nan             | nan      | 0.6138                 | nan              | nan            | nan      |
| 0.0417        | 240.0 | 240  | 0.1411          | 0.7700   | 0.8509        | 0.9640           | nan                | 0.9802       | 0.7948                          | nan                        | 0.5421         | 0.9924                   | 0.8778         | nan                     | nan                  | nan           | 0.9184                      | nan                   | nan                 | nan           | nan           | 0.9585  | 0.7368                     | nan                   | 0.4060    | 0.9741              | 0.7841    | nan                | nan             | nan      | 0.7608                 | nan              | nan            | nan      |
| 0.0417        | 260.0 | 260  | 0.1407          | 0.7503   | 0.8214        | 0.9616           | nan                | 0.9802       | 0.7821                          | nan                        | 0.5683         | 0.9955                   | 0.8162         | nan                     | nan                  | nan           | 0.7863                      | nan                   | nan                 | nan           | nan           | 0.9603  | 0.7259                     | nan                   | 0.4290    | 0.9638              | 0.7651    | nan                | nan             | nan      | 0.6580                 | nan              | nan            | nan      |
| 0.0421        | 280.0 | 280  | 0.1364          | 0.7752   | 0.8573        | 0.9651           | nan                | 0.9819       | 0.7966                          | nan                        | 0.5474         | 0.9910                   | 0.9081         | nan                     | nan                  | nan           | 0.9184                      | nan                   | nan                 | nan           | nan           | 0.9603  | 0.7338                     | nan                   | 0.4165    | 0.9746              | 0.7868    | nan                | nan             | nan      | 0.7789                 | nan              | nan            | nan      |
| 0.0369        | 300.0 | 300  | 0.1501          | 0.7470   | 0.8209        | 0.9597           | nan                | 0.9779       | 0.7465                          | nan                        | 0.5877         | 0.9962                   | 0.8372         | nan                     | nan                  | nan           | 0.7798                      | nan                   | nan                 | nan           | nan           | 0.9589  | 0.7027                     | nan                   | 0.4253    | 0.9597              | 0.7791    | nan                | nan             | nan      | 0.6561                 | nan              | nan            | nan      |
| 0.0369        | 320.0 | 320  | 0.1567          | 0.7385   | 0.8162        | 0.9579           | nan                | 0.9758       | 0.7764                          | nan                        | 0.5807         | 0.9951                   | 0.8532         | nan                     | nan                  | nan           | 0.7157                      | nan                   | nan                 | nan           | nan           | 0.9570  | 0.7215                     | nan                   | 0.4166    | 0.9569              | 0.7860    | nan                | nan             | nan      | 0.5929                 | nan              | nan            | nan      |
| 0.0347        | 340.0 | 340  | 0.1488          | 0.7457   | 0.8281        | 0.9592           | nan                | 0.9770       | 0.7997                          | nan                        | 0.5802         | 0.9928                   | 0.9101         | nan                     | nan                  | nan           | 0.7084                      | nan                   | nan                 | nan           | nan           | 0.9581  | 0.7343                     | nan                   | 0.4315    | 0.9585              | 0.8086    | nan                | nan             | nan      | 0.5831                 | nan              | nan            | nan      |
| 0.0341        | 360.0 | 360  | 0.1537          | 0.7373   | 0.8085        | 0.9583           | nan                | 0.9783       | 0.7636                          | nan                        | 0.5854         | 0.9957                   | 0.8529         | nan                     | nan                  | nan           | 0.6752                      | nan                   | nan                 | nan           | nan           | 0.9590  | 0.7182                     | nan                   | 0.4334    | 0.9540              | 0.7937    | nan                | nan             | nan      | 0.5656                 | nan              | nan            | nan      |
| 0.0319        | 380.0 | 380  | 0.1511          | 0.7452   | 0.8221        | 0.9591           | nan                | 0.9769       | 0.7932                          | nan                        | 0.5953         | 0.9944                   | 0.8795         | nan                     | nan                  | nan           | 0.6932                      | nan                   | nan                 | nan           | nan           | 0.9585  | 0.7336                     | nan                   | 0.4352    | 0.9571              | 0.8033    | nan                | nan             | nan      | 0.5835                 | nan              | nan            | nan      |
| 0.0331        | 400.0 | 400  | 0.1568          | 0.7412   | 0.8149        | 0.9583           | nan                | 0.9766       | 0.8053                          | nan                        | 0.5676         | 0.9948                   | 0.8808         | nan                     | nan                  | nan           | 0.6640                      | nan                   | nan                 | nan           | nan           | 0.9573  | 0.7441                     | nan                   | 0.4273    | 0.9548              | 0.8097    | nan                | nan             | nan      | 0.5539                 | nan              | nan            | nan      |
| 0.0322        | 420.0 | 420  | 0.1548          | 0.7425   | 0.8170        | 0.9587           | nan                | 0.9767       | 0.7880                          | nan                        | 0.5846         | 0.9955                   | 0.8665         | nan                     | nan                  | nan           | 0.6909                      | nan                   | nan                 | nan           | nan           | 0.9581  | 0.7343                     | nan                   | 0.4322    | 0.9562              | 0.8036    | nan                | nan             | nan      | 0.5704                 | nan              | nan            | nan      |
| 0.0313        | 440.0 | 440  | 0.1581          | 0.7417   | 0.8156        | 0.9585           | nan                | 0.9767       | 0.7942                          | nan                        | 0.5856         | 0.9953                   | 0.8762         | nan                     | nan                  | nan           | 0.6658                      | nan                   | nan                 | nan           | nan           | 0.9582  | 0.7368                     | nan                   | 0.4293    | 0.9555              | 0.8126    | nan                | nan             | nan      | 0.5577                 | nan              | nan            | nan      |
| 0.0303        | 460.0 | 460  | 0.1636          | 0.7328   | 0.8028        | 0.9570           | nan                | 0.9767       | 0.7584                          | nan                        | 0.5827         | 0.9970                   | 0.8429         | nan                     | nan                  | nan           | 0.6591                      | nan                   | nan                 | nan           | nan           | 0.9579  | 0.7142                     | nan                   | 0.4316    | 0.9508              | 0.7937    | nan                | nan             | nan      | 0.5483                 | nan              | nan            | nan      |
| 0.0321        | 480.0 | 480  | 0.1490          | 0.7500   | 0.8311        | 0.9599           | nan                | 0.9770       | 0.7959                          | nan                        | 0.5885         | 0.9938                   | 0.9151         | nan                     | nan                  | nan           | 0.7164                      | nan                   | nan                 | nan           | nan           | 0.9586  | 0.7349                     | nan                   | 0.4380    | 0.9591              | 0.8157    | nan                | nan             | nan      | 0.5936                 | nan              | nan            | nan      |
| 0.0304        | 500.0 | 500  | 0.1544          | 0.7471   | 0.8289        | 0.9593           | nan                | 0.9771       | 0.8144                          | nan                        | 0.5791         | 0.9922                   | 0.9268         | nan                     | nan                  | nan           | 0.6838                      | nan                   | nan                 | nan           | nan           | 0.9582  | 0.7459                     | nan                   | 0.4353    | 0.9571              | 0.8157    | nan                | nan             | nan      | 0.5704                 | nan              | nan            | nan      |
| 0.0303        | 520.0 | 520  | 0.1602          | 0.7419   | 0.8179        | 0.9585           | nan                | 0.9771       | 0.7963                          | nan                        | 0.5769         | 0.9945                   | 0.9095         | nan                     | nan                  | nan           | 0.6530                      | nan                   | nan                 | nan           | nan           | 0.9580  | 0.7401                     | nan                   | 0.4343    | 0.9542              | 0.8177    | nan                | nan             | nan      | 0.5472                 | nan              | nan            | nan      |
| 0.0301        | 540.0 | 540  | 0.1528          | 0.7481   | 0.8285        | 0.9596           | nan                | 0.9771       | 0.8037                          | nan                        | 0.5885         | 0.9934                   | 0.9191         | nan                     | nan                  | nan           | 0.6891                      | nan                   | nan                 | nan           | nan           | 0.9585  | 0.7442                     | nan                   | 0.4394    | 0.9577              | 0.8171    | nan                | nan             | nan      | 0.5715                 | nan              | nan            | nan      |
| 0.0305        | 560.0 | 560  | 0.1500          | 0.7524   | 0.8292        | 0.9604           | nan                | 0.9781       | 0.8007                          | nan                        | 0.5822         | 0.9941                   | 0.9108         | nan                     | nan                  | nan           | 0.7092                      | nan                   | nan                 | nan           | nan           | 0.9591  | 0.7418                     | nan                   | 0.4380    | 0.9590              | 0.8219    | nan                | nan             | nan      | 0.5945                 | nan              | nan            | nan      |
| 0.0301        | 580.0 | 580  | 0.1522          | 0.7506   | 0.8295        | 0.9599           | nan                | 0.9774       | 0.7963                          | nan                        | 0.5853         | 0.9940                   | 0.9188         | nan                     | nan                  | nan           | 0.7053                      | nan                   | nan                 | nan           | nan           | 0.9588  | 0.7395                     | nan                   | 0.4387    | 0.9581              | 0.8209    | nan                | nan             | nan      | 0.5873                 | nan              | nan            | nan      |
| 0.0279        | 600.0 | 600  | 0.1525          | 0.7497   | 0.8290        | 0.9598           | nan                | 0.9775       | 0.7907                          | nan                        | 0.5869         | 0.9939                   | 0.9191         | nan                     | nan                  | nan           | 0.7060                      | nan                   | nan                 | nan           | nan           | 0.9588  | 0.7359                     | nan                   | 0.4374    | 0.9581              | 0.8183    | nan                | nan             | nan      | 0.5895                 | nan              | nan            | nan      |


### Framework versions

- Transformers 4.30.2
- Pytorch 2.0.1+cu117
- Datasets 2.13.1
- Tokenizers 0.13.3
