Questions about training
Hi, I am also very interested in the topic of adapting encoders to legal language. This will be my bachelor's thesis.
I wanted to ask a few questions that I didn't find/missed from the card.
- As I understand, you used MultipleNegativesRankingLoss. If you used negatives, what approach did you decide to apply for their creation/search?
- I didn't quite understand how you evaluated the quality of the model; it was very interesting to know, for example, for the retriever.
- What do you think about the fact that many regulatory documents have a hierarchical structure and therefore it is generally important for us to take this into account and try to train specifically on them, for example:
"""
ARTÍCULO 36 Competencias
1.- Todos los asuntos propios de la Cooperativa de Crédito, aunque sean de competencia de los otros órganos sociales, podrán ser objeto de debate y acuerdo de la Asamblea General.
2.- En todo caso, será preceptivo el acuerdo de la Asamblea General para los siguientes casos:
a) Nombramiento y revocación de los miembros del Consejo Rector y de los interventores y liquidadores.
b) Examen de la gestión social, aprobación de las cuentas anuales y de la distribución de excedentes o imputación de pérdidas.
"""
If we want, for example, to fine tune the model for search, then we will have to take the following data:
query:
pos: 2.- En todo caso, será preceptivo el acuerdo de la Asamblea General para los siguientes casos: b) Examen de la gestión social, aprobación de las cuentas anuales y de la distribución de excedentes o imputación de pérdidas.