Entity Bazlı Duygu Analizi

Yarışma Hakkında:

Bu yarışma, katılımcılardan geniş bir yelpazedeki firmalar veya kurumlar tarafından sağlanan müşteri geri bildirimlerini analiz etmelerini ve bu yorumlardaki duyguları belirli hizmet yönleri veya ürün özelliklerine göre sınıflandırmalarını istemektedir.

• Sunum dosyası için: Sunum
• Youtube linki için: Buraya Tıkla!

Görev:

Katılımcılar, verilen müşteri yorumlarını öncelikle ilgili entity'e (varlık) göre sıralamalı, ardından bu entity'lerin sunduğu hizmetler veya ürünlerle ilgili yorumlardaki duyguları (olumlu, olumsuz veya nötr) belirlemelidir.

Takım adı: T-NLP

Teknofest 2024 Türkçe Doğal Dil İşleme Yarışması için oluşturulmuştur.

Takım üyeleri:

• Gülzade Evni Github: GülzadeEvni
• Zeynep Baydemir Github: zeynepbaydemir
• Kübra Arslan Github: kbrars

Veri Setleri:

Çalışma boyunca toplam 50.845 veri çekilmiştir.

Bu çalışmada kullanılan veri setleri, farklı platformlardan toplanmıştır.

1. Ekşi Sözlük Verileri: Ekşi Sözlük’te yer alan çeşitli konular üzerine yapılan kullanıcı yorumları, belirtilen içerik başlıklarına göre ayrılarak toplanmıştır. Her başlık için belirli bir sayfa sayısındaki veriler çekilerek ayrı dosyalar halinde kaydedilmiştir.

2. Twitter Verileri: Twitter üzerinden belirlenen anahtar kelimeler ve tarih aralıklarına göre tweetler toplanmış ve her bir dosya belirli bir zaman dilimine ait tweetleri içermektedir.

3. Şikayetvar Verisi: Şikayetvar platformundan şikayetler toplanmıştır.

Ekşi Sözlük Verileri

İçerik	Text Sayısı	Sayfa	Dosya Adı
turkcell	8024	804	turkcell_eksi_sozluk
turkcell superonline	1378	138	superonline_eksi_sozluk
turkcell superonline fiber internet	1900	190	fiber_eksi_sozluk
turkcell tv+	1081	108	tvplus_eksi_sozluk
turkcell superbox	733	74	superbox_eksi_sozluk
turkcell platinum	336	34	platinum_eksi_sozluk
fizy	1901	190	fizy_eksi_sozluk
gnçtrkcll	331	33	gnctrkcll_eksi_sozluk
paycell	194	20	paycell_eksi_sozluk
turkcell müşteri hizmetleri	190	19	musteri_hizmetleri_eksi_sozluk
bip	146	15	bip_eksi_sozluk
lifebox	57	6	lifebox_eksi_sozluk
upcall	25	3	upcall_eksi_sozluk

Twitter Verileri

Dosya Adı	Satır Sayısı
dataset_1	4061
dataset_2	1995
dataset_3	132
dataset_4	4511
dataset_5	6558
wordlist_ile_19Kasim_2023ekadar	4063
2subat2024_18Eylül_2023	5953
2_subata_kadar_2024	5976

Şikayetvar Verisi

Dosya Adı	Satır Sayısı
turkcell_sikayetvar.xlsx	600

Veri Setlerini Toplarken Kullanılan Kodlar:

• Ekşi Sözlük
• Twitter

NLP Modelleri: BERT, DistilBERT ve Electra

Bu depo, BERT, DistilBERT ve Electra gibi popüler NLP modellerinin ince ayar (fine-tuning) ve değerlendirme süreçlerini içeren Jupyter Notebook dosyalarını içerir. Her bir notebook, ilgili modelin yüklenmesi, eğitimi ve değerlendirilmesi adımlarını göstermektedir.

Notebooklar

1. BERT

• Dosya Adı: bert.ipynb
• Açıklama: Bu notebook, BERT modelinin bir metin sınıflandırma görevi için ince ayarının nasıl yapılacağını göstermektedir. Veri ön işleme, model eğitimi ve değerlendirme adımlarını içerir.
• Model: BERT (Bidirectional Encoder Representations from Transformers)

2. DistilBERT

• Dosya Adı: distilbert.ipynb
• Açıklama: Bu notebook, BERT'in daha hafif ve hızlı bir versiyonu olan DistilBERT modelinin ince ayar sürecini kapsar. Hesaplama verimliliğinin önemli olduğu durumlar için idealdir.
• Model: DistilBERT (BERT'in distile edilmiş versiyonu)

3. Electra

• Dosya Adı: electra.ipynb
• Açıklama: Bu notebook, Electra modelinin ince ayarının nasıl yapılacağını anlatır. Electra, özellikle kaynakların kısıtlı olduğu ortamlarda verimliliği ve performansıyla bilinir.
• Model: Electra (Efficiently Learning an Encoder that Classifies Token Replacements Accurately)

Model için :

• distilBERT
• BERT
• Electra

Gereksinimler

Aşağıdaki Python paketlerini yükleyin:

pip install fastapi
pip install uvicorn 
pip install transformers 
pip install torch 
pip install nlpturk 

Uygulamayı Başlatma

FastAPI uygulamanızı başlatmak için aşağıdaki komutu çalıştırın:

uvicorn main:app --reload

Uygulamanız http://0.0.0.0:8000 adresinde çalışmaya başlayacaktır.

Swagger UI

Swagger UI'ye erişmek için tarayıcınızda şu adresi ziyaret edin:

http://localhost:8000/docs

FastAPI Kodları için: main3.py

Kullanım

1. Bu depoyu klonlayın:

   git clone https://github.com/kullaniciadi/depo-adi.git

2. Proje dizinine gidin:

   cd depo-adi

3. Jupyter Notebook'u açın:

   jupyter notebook

4. İstediğiniz notebook dosyasını (bert.ipynb, distilbert.ipynb, veya electra.ipynb) seçin ve çalıştırın.

Modelin Çıktısı:

Lisans

Yarışma süresince geliştirilmiş kodlar, veri kümeleri ve diğer bileşenleri GitHub’da erişilebilir biçimde Açık Kaynak Apache lisansı ile Lisans dosyası adı altında paylaşıyoruz.