add output

Author: JKusio

05-Evaluation.ipynb

@@ -29,55 +29,18 @@
   },
   {
    "cell_type": "code",
-   "execution_count": 39,
+   "execution_count": 109,
    "metadata": {},
-   "outputs": [
-    {
-     "name": "stdout",
-     "output_type": "stream",
-     "text": [
-      "Context:  Pisma rabiniczne – w tym Miszna – stanowią kompilację poglądów różnych rabinów na określony temat. Zgodnie z wierzeniami judaizmu Mojżesz otrzymał od Boga całą Torę, ale w dwóch częściach: jedną część w formie pisanej, a drugą część w formie ustnej. Miszna – jako Tora ustna – była traktowana nie tylko jako uzupełnienie Tory spisanej, ale również jako jej interpretacja i wyjaśnienie w konkretnych sytuacjach życiowych. Tym samym Miszna stanowiąca kodeks Prawa religijnego zaczęła równocześnie służyć za jego ustnie przekazywany podręcznik.\n",
-      "Question:  Czym są pisma rabiniczne?\n",
-      "Answer:  {'text': ['kompilację poglądów różnych rabinów na określony temat'], 'answer_start': [43]}\n"
-     ]
-    }
-   ],
-   "source": [
-    "poquad_validation = poquad[\"validation\"]\n",
-    "\n",
-    "print(\"Context: \", poquad_validation[0][\"context\"])\n",
-    "print(\"Question: \", poquad_validation[0][\"question\"])\n",
-    "print(\"Answer: \", poquad_validation[0][\"answers\"])"
-   ]
-  },
-  {
-   "cell_type": "code",
-   "execution_count": 42,
-   "metadata": {},
-   "outputs": [
-    {
-     "data": {
-      "text/plain": [
-       "Dataset({\n",
-       "    features: ['id', 'title', 'context', 'question', 'answers'],\n",
-       "    num_rows: 0\n",
-       "})"
-      ]
-     },
-     "execution_count": 42,
-     "metadata": {},
-     "output_type": "execute_result"
-    }
-   ],
+   "outputs": [],
    "source": [
-    "poquad_validation.filter(lambda x: len(x[\"answers\"][\"text\"]) != 1)"
+    "poquad_validation = poquad[\"validation\"]"
    ]
   },
   {
    "cell_type": "markdown",
    "metadata": {},
    "source": [
-    "Dla każdego pytania z zestawu walidacyjnego istnieje tylko jedna odpowiedź. Jednak dla niektórych zestaów pytań poprawnym może być kilka odpowiedzi."
+    "## Load model"
    ]
   },
   {
@@ -95,44 +58,12 @@
    ]
   },
   {
-   "cell_type": "code",
-   "execution_count": 44,
-   "metadata": {},
-   "outputs": [
-    {
-     "name": "stdout",
-     "output_type": "stream",
-     "text": [
-      "True\n"
-     ]
-    }
-   ],
-   "source": [
-    "print(tokenizer.is_fast)"
-   ]
-  },
-  {
-   "cell_type": "code",
-   "execution_count": 45,
+   "cell_type": "markdown",
    "metadata": {},
-   "outputs": [
-    {
-     "data": {
-      "text/plain": [
-       "'<s>Czym są pisma rabiniczne?</s></s>Pisma rabiniczne – w tym Miszna – stanowią kompilację poglądów różnych rabinów na określony temat. Zgodnie z wierzeniami judaizmu Mojżesz otrzymał od Boga całą Torę, ale w dwóch częściach: jedną część w formie pisanej, a drugą część w formie ustnej. Miszna – jako Tora ustna – była traktowana nie tylko jako uzupełnienie Tory spisanej, ale również jako jej interpretacja i wyjaśnienie w konkretnych sytuacjach życiowych. Tym samym Miszna stanowiąca kodeks Prawa religijnego zaczęła równocześnie służyć za jego ustnie przekazywany podręcznik.</s>'"
-      ]
-     },
-     "execution_count": 45,
-     "metadata": {},
-     "output_type": "execute_result"
-    }
-   ],
    "source": [
-    "context = poquad_validation[0][\"context\"]\n",
-    "question = poquad_validation[0][\"question\"]\n",
+    "## Evaluate\n",
     "\n",
-    "inputs = tokenizer(question, context)\n",
-    "tokenizer.decode(inputs[\"input_ids\"])"
+    "We select the `squad` validation. There is also a `squad_v2` validation that can be used to validation a dataset, where a question might not have an answer. This evaluation will calculate `exact_match` and `f1` metrics."
    ]
   },
   {
@@ -172,7 +103,7 @@
   },
   {
    "cell_type": "code",
-   "execution_count": 106,
+   "execution_count": 110,
    "metadata": {},
    "outputs": [],
    "source": [
@@ -183,7 +114,7 @@
   },
   {
    "cell_type": "code",
-   "execution_count": 107,
+   "execution_count": 111,
    "metadata": {},
    "outputs": [],
    "source": [
@@ -194,7 +125,7 @@
   },
   {
    "cell_type": "code",
-   "execution_count": 108,
+   "execution_count": 112,
    "metadata": {},
    "outputs": [
     {
@@ -203,7 +134,7 @@
        "{'exact_match': 34.6, 'f1': 51.20063731342978}"
       ]
      },
-     "execution_count": 108,
+     "execution_count": 112,
      "metadata": {},
      "output_type": "execute_result"
     }