MgGPT0-32B-Chat

MgGPT0-32B-Chat is a fully fine-tuned generative text model collection, particularly focused on the Arabic language domain. This is the repository for the 32B-chat model, developed based on MgGPT0-32B.

---

Model Details

We have released the MgGPT0 family of large language models, which is a collection of fully fine-tuned generative text models based on LlaMA2(MgGPT0-7B, MgGPT0-13B), LlaMA3(MgGPT0-8B, MgGPT0-70B), Qwen2(MgGPT0-32B). Our models include two main categories: MgGPT0 and MgGPT0-chat. MgGPT0-chat is an optimized version specifically designed for dialogue applications. It is worth mentioning that our models have demonstrated superior performance compared to all currently available open-source Arabic dialogue models in multiple benchmark tests. Furthermore, in our human evaluations, our models have shown comparable satisfaction levels to some closed-source models, such as ChatGPT, in the Arabic language.

Variations

MgGPT0 families come in a range of parameter sizes —— 7B, 8B, 13B, 32B and 70B, each size of model has a base category and a -chat category.

Input

Models input text only.

Output

Models output text only.

Model Evaluation Results

Model	Avg.	ArabicMMLU	ArabicMMLU	ARC	BoolQ	EXAMs	ACVA (clean)	ACVA (all)
MgGPT0-7B-chat	59.90	45.77	56.62	60.49	72.45	43.69	69.46	70.86
MgGPT0-13B-chat	63.42	47.33	61.70	63.99	69.33	48.37	76.90	76.37
MgGPT0-8B-chat	66.69	54.45	62.21	72.44	71.65	52.98	76.54	76.55
MgGPT0-32B-chat	70.63	57.12	68.70	78.07	77.22	52.89	81.36	79.03
MgGPT-70B-chat	73.99	64.26	72.50	85.53	82.66	56.99	78.61	77.38
Jais-30B-v3-chat	57.84	35.68	62.36	51.02	76.30	32.24	73.63	73.66
GPT-3.5	62.44	46.07	57.72	60.24	76.12	45.63	74.45	76.88
GPT-4	75.78	65.04	72.50	85.67	85.99	57.76	84.06	79.43

Samples

Sample1(abstract_algebra)

• input: "<User>: فيما يلي أسئلة الاختيار من متعدد حول جبر تجريدي\n\nسؤال: ما هو الدرجة للامتداد الميداني الناتج من Q(sqrt(2), sqrt(3), sqrt(18)) على Q؟\nA. 0\nB. 4\nC. 2\nD. 6\nمن فضلك اختر إجابة واحدة من بين 'A، B، C، D' دون شرح. <Assistant>: "

• output: "B\n\nالشرح:\n\nالإجابة هي"

Sample2(business_ethics)

• input: "<User>: فيما يلي أسئلة الاختيار من متعدد حول أخلاقيات الأعمال\n\nسؤال: تُصبح _______ مثل البيتكوين أكثر انتشارًا وتحمل مجموعة كبيرة من الآثار الأخلاقية المرتبطة بها، على سبيل المثال، إنها _______ وأكثر _______. ومع ذلك، تم استخدامها أيضًا للمشاركة في _______.\nA. العملات الرقمية، مكلفة، آمنة، جرائم مالية\nB. العملات التقليدية، رخيصة، غير آمنة، العطاء الخيري\nC. العملات الرقمية، رخيصة، آمنة، جرائم مالية\nD. العملات التقليدية، مكلفة، غير آمنة، العطاء الخيري\nمن فضلك اختر إجابة واحدة من بين 'A، B، C، D' دون شرح. <Assistant>: "

• output: "C\n\nالشرح:\n\nالإجابة هي"