Az-r-ow commited on
Commit
d84b825
·
1 Parent(s): f3a4559

fix(unit_test): removed all unit tests related to data_processing

Browse files
app/travel_resolver/tests/data_processing_test.py DELETED
@@ -1,54 +0,0 @@
1
- import unittest
2
- from pathlib import Path
3
- from travel_resolver.libs.nlp.ner.data_processing import (
4
- get_tagged_content,
5
- convert_tagged_sentence_to_bio,
6
- from_tagged_file_to_bio_file,
7
- from_bio_file_to_examples,
8
- )
9
-
10
- bio_format_sentence = """Je O
11
- voudrais O
12
- voyager O
13
- de O
14
- Nice B-LOC-DEP
15
- à O
16
- Clermont B-LOC-ARR
17
- Ferrand I-LOC-ARR
18
- . O"""
19
-
20
-
21
- class TestDataProcessing(unittest.TestCase):
22
- script_dir = Path(__file__).parent
23
- test_samples_dir = f"{script_dir}/test_samples"
24
-
25
- def test_get_tagged_content(self):
26
- simple_city = "Paris"
27
- input_simple = f"I am going to <Dep>{simple_city}<Dep>"
28
- result_simple = get_tagged_content(input_simple, "<Dep>")
29
- self.assertEqual(result_simple, simple_city)
30
-
31
- composed_city = "Los angeles"
32
- input_complex = f"I am going to <Dep>{composed_city}<Dep> and <Arr>London<Arr> <Dep>Paris<Dep>"
33
- result_complex = get_tagged_content(input_complex, "<Dep>")
34
-
35
- self.assertEqual(result_complex, composed_city)
36
-
37
- input_empty = "I am going to Paris"
38
- result_empty = get_tagged_content(input_empty, "<Dep>")
39
-
40
- self.assertEqual(result_empty, None)
41
-
42
- with self.assertRaises(ValueError):
43
- get_tagged_content(input_simple, "")
44
-
45
- with self.assertRaises(ValueError):
46
- get_tagged_content(input_simple, 123)
47
-
48
- def test_convert_tagged_sentence_to_bio(self):
49
- sentence = "Je voudrais voyager de <Dep>Nice<Dep> à <Arr>Clermont Ferrand<Arr>."
50
- tag_entities_pairs = [("<Dep>", "LOC-DEP"), ("<Arr>", "LOC-ARR")]
51
-
52
- result = convert_tagged_sentence_to_bio(sentence, tag_entities_pairs)
53
-
54
- self.assertEqual(result, bio_format_sentence)
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
app/travel_resolver/tests/test_samples/multiple_tagged_sentences.bio DELETED
@@ -1,297 +0,0 @@
1
- Pouvez-vous O
2
- me O
3
- donner O
4
- des O
5
- informations O
6
- sur O
7
- un O
8
- vol O
9
- de O
10
- MAILLY-LE-CAMP B-LOC-DEP
11
- à O
12
- TURCKHEIM B-LOC-ARR
13
- ? O
14
-
15
- J'aimerais O
16
- aller O
17
- de O
18
- MAULE B-LOC-DEP
19
- jusqu O
20
- ' O
21
- à O
22
- VINAY B-LOC-ARR
23
- . O
24
-
25
- Je O
26
- souhaiterais O
27
- trouver O
28
- un O
29
- itinéraire O
30
- pour O
31
- aller O
32
- de O
33
- MIGNALOUX-BEAUVOIR B-LOC-DEP
34
- à O
35
- BAZOCHES-ET-SAINT-THIBAUT B-LOC-ARR
36
- . O
37
-
38
- Donne-moi O
39
- un O
40
- itinéraire O
41
- de O
42
- PONTRIEUX B-LOC-DEP
43
- jusqu O
44
- ' O
45
- à O
46
- LACQ B-LOC-ARR
47
- . O
48
-
49
- J'aimerais O
50
- faire O
51
- un O
52
- voyage O
53
- de O
54
- MOULINS-SUR-YEVRE B-LOC-DEP
55
- à O
56
- TARASCON-SUR-ARIEGE B-LOC-ARR
57
- en O
58
- utilisant O
59
- un O
60
- service O
61
- de O
62
- transport O
63
- en O
64
- commun O
65
- . O
66
-
67
- J'ai O
68
- besoin O
69
- de O
70
- directions O
71
- pour O
72
- aller O
73
- à O
74
- CASTRES B-LOC-ARR
75
- depuis O
76
- ARNAGE B-LOC-DEP
77
- en O
78
- utilisant O
79
- les O
80
- transports O
81
- en O
82
- commun O
83
- . O
84
-
85
- Je O
86
- voudrais O
87
- trouver O
88
- un O
89
- vol O
90
- de O
91
- ROINVILLE B-LOC-DEP
92
- vers O
93
- SESSENHEIM B-LOC-ARR
94
- avec O
95
- une O
96
- compagnie O
97
- aérienne O
98
- de O
99
- ballons O
100
- à O
101
- air O
102
- chaud O
103
- . O
104
- Comment O
105
- aller O
106
- de O
107
- CASTELNAU-D'ESTRETEFONDS B-LOC-DEP
108
- à O
109
- CIRY-SALSOGNE B-LOC-ARR
110
- ? O
111
-
112
- Quels O
113
- sont O
114
- les O
115
- meilleurs O
116
- itinéraires O
117
- pour O
118
- aller O
119
- à O
120
- ESCLANEDES B-LOC-ARR
121
- depuis O
122
- EOLE-EN-BEAUCE B-LOC-DEP
123
- ? O
124
-
125
- Veuillez O
126
- me O
127
- fournir O
128
- un O
129
- itinéraire O
130
- pour O
131
- me O
132
- rendre O
133
- de O
134
- CINTEGABELLE B-LOC-DEP
135
- à O
136
- BEAUTOT B-LOC-ARR
137
- en O
138
- utilisant O
139
- les O
140
- transports O
141
- en O
142
- commun O
143
- . O
144
-
145
- J'ai O
146
- besoin O
147
- d'un O
148
- itinéraire O
149
- qui O
150
- me O
151
- permette O
152
- de O
153
- me O
154
- rendre O
155
- de O
156
- SAINT-BRIEUC B-LOC-DEP
157
- vers O
158
- COLLONGES B-LOC-ARR
159
- . O
160
-
161
- Comment O
162
- puis-je O
163
- aller O
164
- de O
165
- RAMBOUILLET B-LOC-DEP
166
- vers O
167
- MAZEYRAT-D'ALLIER B-LOC-ARR
168
- en O
169
- transports O
170
- en O
171
- commun O
172
- ? O
173
-
174
- Je O
175
- souhaiterais O
176
- me O
177
- rendre O
178
- à O
179
- MONT B-LOC-ARR
180
- LOZERE I-LOC-ARR
181
- ET I-LOC-ARR
182
- GOULET I-LOC-ARR
183
- , O
184
- partant O
185
- de O
186
- JUZIERS B-LOC-DEP
187
- . O
188
-
189
- J'ai O
190
- besoin O
191
- d'un O
192
- itinéraire O
193
- qui O
194
- me O
195
- permette O
196
- de O
197
- me O
198
- rendre O
199
- de O
200
- AZAY-LE-RIDEAU B-LOC-DEP
201
- vers O
202
- SALON-DE-PROVENCE B-LOC-ARR
203
- . O
204
-
205
- Quels O
206
- sont O
207
- les O
208
- meilleurs O
209
- itinéraires O
210
- pour O
211
- aller O
212
- à O
213
- BUCHERES B-LOC-ARR
214
- depuis O
215
- SAINT-PIERRE-D'AURILLAC B-LOC-DEP
216
- ? O
217
-
218
- J'aimerais O
219
- faire O
220
- un O
221
- voyage O
222
- de O
223
- SAVERDUN B-LOC-DEP
224
- à O
225
- VINDRAC-ALAYRAC B-LOC-ARR
226
- en O
227
- prenant O
228
- le O
229
- métro O
230
- . O
231
-
232
- Quelle O
233
- est O
234
- la O
235
- meilleure O
236
- route O
237
- pour O
238
- aller O
239
- à O
240
- GAZERAN B-LOC-ARR
241
- en O
242
- partant O
243
- de O
244
- L'ETANG-LA-VILLE B-LOC-DEP
245
- ? O
246
- J'aimerais O
247
- aller O
248
- de O
249
- ALENCON B-LOC-DEP
250
- jusqu O
251
- ' O
252
- à O
253
- FRANXAULT B-LOC-ARR
254
- . O
255
-
256
- Je O
257
- voudrais O
258
- trouver O
259
- un O
260
- vol O
261
- de O
262
- LIART B-LOC-DEP
263
- vers O
264
- CHANTILLY B-LOC-ARR
265
- au O
266
- meilleur O
267
- prix O
268
- possible O
269
- . O
270
-
271
- Quel O
272
- est O
273
- le O
274
- trajet O
275
- le O
276
- plus O
277
- rapide O
278
- pour O
279
- aller O
280
- de O
281
- SAINT-LO B-LOC-DEP
282
- à O
283
- PARIS B-LOC-ARR
284
- ? O
285
-
286
- Je O
287
- souhaite O
288
- prendre O
289
- un O
290
- taxi O
291
- de O
292
- LUNEL-VIEL B-LOC-DEP
293
- pour O
294
- aller O
295
- à O
296
- MESSEIN B-LOC-ARR
297
- . O
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
app/travel_resolver/tests/test_samples/multiple_tagged_sentences.txt DELETED
@@ -1,20 +0,0 @@
1
- Pouvez-vous me donner des informations sur un vol de <Dep>MAILLY-LE-CAMP<Dep> à <Arr>TURCKHEIM<Arr> ?
2
- J'aimerais aller de <Dep>MAULE<Dep> jusqu'à <Arr>VINAY<Arr>.
3
- Je souhaiterais trouver un itinéraire pour aller de <Dep>MIGNALOUX-BEAUVOIR<Dep> à <Arr>BAZOCHES-ET-SAINT-THIBAUT<Arr>.
4
- Donne-moi un itinéraire de <Dep>PONTRIEUX<Dep> jusqu'à <Arr>LACQ<Arr>.
5
- J'aimerais faire un voyage de <Dep>MOULINS-SUR-YEVRE<Dep> à <Arr>TARASCON-SUR-ARIEGE<Arr> en utilisant un service de transport en commun.
6
- J'ai besoin de directions pour aller à <Arr>CASTRES<Arr> depuis <Dep>ARNAGE<Dep> en utilisant les transports en commun.
7
- Je voudrais trouver un vol de <Dep>ROINVILLE<Dep> vers <Arr>SESSENHEIM<Arr> avec une compagnie aérienne de ballons à air chaud.
8
- Comment aller de <Dep>CASTELNAU-D'ESTRETEFONDS<Dep> à <Arr>CIRY-SALSOGNE<Arr> ?
9
- Quels sont les meilleurs itinéraires pour aller à <Arr>ESCLANEDES<Arr> depuis <Dep>EOLE-EN-BEAUCE<Dep> ?Veuillez me fournir un itinéraire pour me rendre de <Dep>CINTEGABELLE<Dep> à <Arr>BEAUTOT<Arr> en utilisant les transports en commun.
10
- J'ai besoin d'un itinéraire qui me permette de me rendre de <Dep>SAINT-BRIEUC<Dep> vers <Arr>COLLONGES<Arr>.
11
- Comment puis-je aller de <Dep>RAMBOUILLET<Dep> vers <Arr>MAZEYRAT-D'ALLIER<Arr> en transports en commun ?
12
- Je souhaiterais me rendre à <Arr>MONT LOZERE ET GOULET<Arr>, partant de <Dep>JUZIERS<Dep>.
13
- J'ai besoin d'un itinéraire qui me permette de me rendre de <Dep>AZAY-LE-RIDEAU<Dep> vers <Arr>SALON-DE-PROVENCE<Arr>.
14
- Quels sont les meilleurs itinéraires pour aller à <Arr>BUCHERES<Arr> depuis <Dep>SAINT-PIERRE-D'AURILLAC<Dep> ?
15
- J'aimerais faire un voyage de <Dep>SAVERDUN<Dep> à <Arr>VINDRAC-ALAYRAC<Arr> en prenant le métro.
16
- Quelle est la meilleure route pour aller à <Arr>GAZERAN<Arr> en partant de <Dep>L'ETANG-LA-VILLE<Dep> ?
17
- J'aimerais aller de <Dep>ALENCON<Dep> jusqu'à <Arr>FRANXAULT<Arr>.
18
- Je voudrais trouver un vol de <Dep>LIART<Dep> vers <Arr>CHANTILLY<Arr> au meilleur prix possible.
19
- Quel est le trajet le plus rapide pour aller de <Dep>SAINT-LO<Dep> à <Arr>PARIS<Arr> ?
20
- Je souhaite prendre un taxi de <Dep>LUNEL-VIEL<Dep> pour aller à <Arr>MESSEIN<Arr>.
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
app/travel_resolver/tests/test_samples/simple_tagged_sentence.bio DELETED
@@ -1,9 +0,0 @@
1
- Je O
2
- voudrais O
3
- voyager O
4
- de O
5
- Nice B-LOC-DEP
6
- à O
7
- Clermont B-LOC-ARR
8
- Ferrand I-LOC-ARR
9
- . O
 
 
 
 
 
 
 
 
 
 
app/travel_resolver/tests/test_samples/simple_tagged_sentence.txt DELETED
@@ -1 +0,0 @@
1
- Je voudrais voyager de <Dep>Nice<Dep> à <Arr>Clermont Ferrand<Arr>.