Text Spotting and Recognition


I have developed a Bilingual (English and Myanmar) Text Spotting and Recogntion based on CRAFT Model (Naver) and CRNN-CTC Model (WandB).

Instead of End-to-End Text Recognition, I assume that it is better to use a modular approach, i.e., to train Text Spotting Model and Text Recognition Model seperately.

For Text Spotting Model, I think CRAFT (Naver) is more suitable because Myanmar Language, like Korean, is syllablic language, and it is trainable with Syllable Region Bounding Boxes.

For Text Recognition Model, CRNN-CTC Model is used. However, although token length of 32 Characters is enough for English, it is not nearly enough for Myanmar Language. Therefore, I have to come up with my own tokenization scheme for Myanmar Language, which I call "Visual Syllabic Tokenization".



Visual Syllabic Tokenization

Instead of tokenizing character by character, Myanmar Words are tokenized into Visually Seperable Syllables (Left to Right).



Gaussian Heatmaps for tokenized syllables

Bounding Boxes are generated for tokenized syllables, and Gaussian Heatmaps are calculated for Text Threshold Regions and Link Threshold Regions.



CRAFT Results for Text Spotting

Bounding Boxes are generated for tokenized syllables, and Gaussian Heatmaps are calculated for Text Threshold Regions and Link Threshold Regions.



Generating Text Image Dataset

Around 80 millions text images are auto-generated to create a dataset for training CRNN-CTC Model.



Text Spotting and Recognition Result
0 } 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64

သဘာဝပတ်ဝန်းကျင်ဆိုင်ရာ အယူအဆအား အစိတ်အပိုင်းများအဖြစ်
အောက်ပါအတိုင်းခွဲခြမ်းကြည့်နိုင်သည်
. ၎င်းတို့၏ သက်ဆိုင်ရာ သဘာဝနှင့် နယ်နိမိတ်များအတွင်း ဖြစ်ပေါ်နေသည့်
သဘာဝပေါက်ပင်များ အဏုဇီဝသက်ရှိများ မြေဆီလွှား ကျောက်စိုင်ကျောက်သားများ
' လေထု နှင့် သဘာဝဖြစ်စဉ်များ အားလုံးအပါအဝင် ယဉ်ကျေးမှုထွန်းကားပြီး
လူသားများ၏ ကြီးကြီးမားမား ဝင်ရောက်စွက်ဖက်မှုမရှိဘဲ
သဘာဝအလျောက်ဖြစ်ပေါနေသည့် စနစ်များဖြစ်သော ပြီးပြည့်စုံသည့်
ဂေဟစနစ်ယူနစ်များ
လေ၊ ရေ ရာသီဥတုတို့သာမက ယဉ်ကျေးမှုထွန်းကားပြီး လူသားတို့၏
လုပ်ဆောင်မှုများမှ ကနဦးအစပြုခဲ့ခြင်းမဟုတ်သော စွမ်းအင်၊ ဓာတ်ရောင်ခြည်
လျှပ်စစ်ဓာတ်အားနှင့် သံလိုက်ဓာတ်တိုကဲ့သို့ ၎င်းတို့၏ သက်ဆိုင်ရာနယ်နိမိတ်
တိကျ ပိုင်းခြားသတ်မှတ်ထားခြင်းမရှိသည့် ရုပ်ပိုင်းဆိုင်ရာ ဖြစ်ရိုးဖြစ်စဉ်များ
နှင့် တလောကလုံးနှင့်သက်ဆိုင်သည့် သဘာဝရင်းမြစ်များ။
ယဘာဝပတ်ဝန်းကျင်၏ဆန့်ကျင်ဘက်အရာသည် လုပ်ယူဖန်တီးထားသော ပတ်
ဝန်းကျင်ဖြစ်သည်။ စိုက်ပျိုးမြများနှင့် မြို့ပြနေရာများအဖြစ် ပြောင်းလဲခြင်းကဲ့သို့သော
လုပ်ယူဖန်တီးထားသည့် ပတ်ဝန်းကျင်များကြောင့် သဘာဝပတ်ဝန်းကျင် ရှုခင်းများသည်
အခြေခံကျ ပြောင်းလဲထားသည့် ရိုးရှင်းသော လူပတ်ဝန်းကျင်အဖြစ်သို့
ပြောင်းလဲသွားပါသည်။