Merhabalar,

Bugün size Pythonu kütüphaneleriyle birlikte online olarak kullanabileceğiniz 2 farklı yöntemden bahsetmek istiyorum. Biri gmail hesabınız varsa hemen erişebileceğiniz google'ın "colaboratory" hizmeti, diğeri de "jupyterlab" ortamı.

Google Colaboratory​

Eğer bir gmail hesabınız yoksa bugün oluşturma zamanınız geldi demektir. Google'ın ücretsiz olarak sunduğu, sadece online Python kodu yazma imkanına değil, harika bir veri analizi ortamına erişebileceğiniz, ücretli versiyonunda da Google GPU ve TPU'larını kullanabileceğiniz bir dünya burası. Buradaki GPU, ekran kartıyla hesap yeteneğini, TPU ise makina öğrenmesinde sıkça kullanılan TensorFlow hesap yeteneğini ifade etmektedir.

Bir gmail hesabımız varsa, tarayıcımıza drive.google.com yazıp sol üst köşede artı (yeni) simgesine tıklıyoruz. Gelen menüde önce yeni bir klasör oluşturup, ardından yine "diğer" kısmından sarı renkli "co" simgesi olan "Google Colaboratory" seçeneğine tıklayıp ismi "Untitled0.ipynb" olan yeni notebook'umuzu oluşturalım. İstersek isme tıklayıp yeni bir isim verebiliriz.

JupyterLab​

Tarayıcınızda Pythonu kütüphaneleriyle birlikte kullanmak için çok güzel bir diğer ortam da jupyter-lab. İlginç olan ise bu sistem normalde tarayıcıda çalışmasına rağmen öncelikle bilgisayarınızda kurulumunu yapmanız gerekiyor. Bunun için windows ortamında bir komut penceresi (cmd) açıp şu komutu vermeniz gerekiyor:


Daha sonra aynı komut penceresinde bu sefer jupyter-lab komutunu vermeniz gerekiyor ve çalışma ortamı tarayıcınıza yükleniyor. Yalnız komut verdiğiniz bu pencereyi "kapatmamanız" gerekiyor zira server bağlantısı kopacağından ortam havada kalıyor.

Bu iki ortamdan size uygun olanını muhakkak uygulamanızı tavsiye ediyoruz. Zira Python'da belirli bir uzmanlık seviyesine ulaşmak için o konuyla ilgili kütüphanelere hakim olmak gerekiyor ve bunu öğrenmenin de en pratik yolu bu tür online ortamları rahat kullanabilmekten geçiyor. Son olarak Python kütüphaneleriyle ilgili bir özet listeyle bugünkü yazımızı bitirelim.

Veri Bilimi​

Verilerin hazırlanması ve tanınması

• numpy : matematiksel hesaplamalar (geçen hafta giriş yaptık)
• pandas: veri analizi

Veri görselleştirme

• matplotlib : veri görselleştirme, grafikler
• seaborn : istatistiksel görselleştirme
• bokeh : etkileşimli veri görselleştirme
• plotly : 3d, arazi, kontur grafikleri

Makine öğrenmesi

• scikit-learn : makine öğrenmesi, regresyon, karar ağaçları

Derin öğrenme

• tensorflow : google makine öğrenmesi platformu
• keras : derin öğrenme modeli oluşturma ve onu eğitme ortamı
• pytorch : ekran kartlarının GPU işlem gücünü kullanma aracı

Web uygulamaları​

Web sitesi geliştirme

• django : sıfırdan web uygulaması oluşturma
• flask : küçük ölçekli django

Web scraping (sitelerden veri alma)

• beautiful soup : kolay ve yaygın kullanımlı HTML ve XML ayrıştırıcısı
• selenium : javascriptle dinamik kodlanmış web sayfalarında etkili

Masaüstü arayüz geliştirme

• tkinter : en yaygın ve pratik GUI (kullanıcı arayüzü) aracı
• pyqt : qt designer kullanımına imkan veren çoklu kütüphane
• wxPython : farklı işletim sistemlerindeki GUI ları Pythona alma aracı

Veritabanı

• sqlite : basit ve sık kullanılan veritabanı kütüphanesi

Oyun geliştirme

• pygame : şekiler, animasyon, ses, klavye, mouse ile 2d oyun geliştirme ortamı
• pyglet : 3d oyun geliştirme ortamı

Kaynak :

Meerhabalar...
python ve playwright ile sitesinden duyuruları çekmek istiyorum.ilk sayfayı çekebiliyorum fakat 2. sayfadaki verileri alamıyorum .yardımcı olursanız sevinirim. bu arada iş güvenliği uzmanıyım duyurular sayfasındakı verılerı excelede aktarmak ıstıyorum ama beceremedım..
saygılarımla....


from playwright.sync_api import Playwright, sync_playwright

def run(playwright: Playwright) -> None:
browser = playwright.chromium.launch(headless=True)
context = browser.new_context()

# Open new page
page = context.new_page()

# Go to.https://isgkatip.csgb.gov.tr/Logout.aspx
page.goto(".https://isgkatip.csgb.gov.tr/Logout.aspx")

#print(veri)
# Click span:has-text("Increase")
page.locator("span:has-text(\"Increase\")").click()
veri = page.query_selector('#ctl00_MainContent_RadDockDuyuru_C_RadGrid1_GridData').inner_text()
print(veri)
# ---------------------
context.close()
browser.close()

Merhabalar

Açılan forum mesajını şimdi gördüm.

Aslında basit bir işlem bu.....

Tablo Verisi Alma

Web siteleri üzerindeki tabloları çekmek için pd.read_html kullanılır
Tüm tablo verileri arasında 0, 1 ... değerleri ile gezinebiliriz.

Örnek Bir Python Betiği :



Sonuç:



Kaynak Site :
Detaylı Bir Anlatım :


İşinizi Koylaştıran Chrome Eklentisi :

Kod:

https://webrazzi.com/2019/01/22/herhangi-bir-siteden-veri-cekmenizi-kolaylastiran-uygulama-getdata/

ÖRNEK YOUTUBE VİDEOLARI :

1.VİDEO

2.VİDEO

3.VİDEO

4.VİDEO

Sanırım bunlar işinizi çok fazlasıyla görecektir.

Yabancı Kaynaklı Videolar :

Web Sitesindeki Tablosal Verileri Excel'e Aktarabilen Chrome Eklentisi Ve Türkçe Açıklaması

Data Scraper, verileri HTML web sayfalarından çıkarır ve Microsoft Excel elektronik tablolarına aktarır

DataMiner Scraper, herhangi bir HTML web sayfasını kazımanızı sağlayan bir veri çıkarma aracıdır. Herhangi bir sayfadan tabloları ve listeleri çıkarabilir ve bunları Google E-Tablolar'a veya Microsoft Excel'e yükleyebilirsiniz. Scraper ile web sayfalarını XLS, CSV, XLSX veya TSV dosyalarına (.xls .csv .xlsx .tsv) aktarabilirsiniz.

Dataminer Scraper'ı başlangıç abonelik planımızda ÜCRETSİZ kullanabilirsiniz. Ayda 500 ücretsiz sayfa kazıma kredisi alacaksınız. Bu şekilde, Kazıyıcı'nın nasıl çalıştığını ve neleri risk almadan dışa aktarabileceğinizi görebilirsiniz. Ücretsiz planımızın ötesinde, daha fazla kazıma özelliği için ücretli planlarımız var.

Binlerce kazıma tarifinden birini kullanarak, popüler web sitelerinin çoğunu tek bir tıklamayla csv'ye dönüştürebilirsiniz. Tarifler, kullanıcı tarafından oluşturulur ve başkalarının kullanması için paylaşılır. Dünyanın en iyi 10.000'den fazla web sitesi için 50.000'den fazla tarifimiz var. Dataminer Scraper, ortalama kazıma aracınız değil, başka hiçbir kazıma aracında böyle bir tarif koleksiyonu yok!

Herhangi bir sayfa kazıma senaryosundan en iyi şekilde yararlanmak için bir SEO aracı, CRM işe alma sistemleri ile Dataminer Kazıyıcı kullanın. Kazıyıcı, herhangi bir işe alım aracı, satış potansiyeli yönetim aracı veya e-posta pazarlama kampanyası ile çalışır. Ekran kazıma ve veri indirme hiç bu kadar kolay olmamıştı. Kaynak bulma, dönüştürme ve tarama için dış kaynak kullanmanıza gerek yok. Dataminer Scraper ile hızlı ve kolay bir şekilde kazıyabilirsiniz.

80.000 kullanıcımızın Dataminer Scarper kullanarak hurdaya çıkarabildiği veri türüne örnekler:
* Arama motorlarından arama sonuçları.
* Sosyal medya profillerinden e-postaları ve kimliği çıkarın.
* E-ticaret sitelerinden fiyat ve ürün bilgisi alın.
* Web sitesi dizinlerinden e-posta ve adresleri ve telefon numaralarını alın.
* Sosyal ağ bağlantıları ve arkadaşlar edinin.
* Profesyonel sosyal profillerden iletişim bilgilerini alın.
* Tweetleri analiz ederek duygu bilgisi alın.
* İncelemeleri ve derecelendirmeleri kazıyın
* Beğeniler, yorumlar, bağlantı ve kişiler için gönderileri analiz edin
* Verileri yüklemek ve e-ticaret sitelerine aktarmak için iyi biçimlendirilmiş csv dosyalarını kullanın.
* Kayıt sitelerindeki formları otomatik olarak doldurun.

DATAMINER SIYIRICIYI KİMLER SEVİYOR?

Potansiyel adaylar için Linkedin, Salesforce ve Sales Navigator gibi potansiyel müşteri sitelerini araştırmak için saatler harcayan bir işveren misiniz? Data.com ve Salesnavigator'dan potansiyel müşteriler sağlayan bir satış temsilcisi mi? Veya yorumlarınızı ve Amazon rekabetini anlamak için mücadele eden bir Amazon perakende satıcısı. Yelp, sarı sayfalar, ebay veya manta üzerindeki potansiyel rekabeti manuel olarak izlemekten kurtulmak isteyen küçük bir işletme sahibine ne dersiniz? Kafanız Excel Elektronik Tablosu ve Google arama sonuçlarında olan bir sosyal medya yöneticisi misiniz, sosyal medya arkadaş listenizi Linkedin bağlantılarıyla uzlaştırmaya çalışıyor musunuz veya belki de öncü e-posta pazarlama kampanyaları veya e-posta listelerini içe veya dışa aktarma ile mücadele eden bir pazarlama yöneticisisiniz.

Veri Madenci sizin için:
* Potansiyel müşteri arayan satış elemanları
* Lider şirketler
* Amazon dağıtıcıları
* Amazon perakende satıcıları
* En iyi adayları arayan işverenler
* İş veritabanlarında en iyi işleri arayan iş aramaları
* Derecelendirmeleri ve incelemeleri yönetmeye çalışan küçük işletme sahipleri.
* Veri bilimi / daha temiz veri isteyen bilim adamları
* Sosyal medya sitelerini analiz eden pazarlama uzmanları
* Veri bilimi ve hurda ve madenciliği öğrenen öğrenciler
* Amazon müşterileri
* Import.io kullanmayı deneyen kişiler, e-posta avcısı, raportör
* Veri toplamanın ve analiz etmenin yollarını arayan büyüme korsanları
* Arkadaş listesi ve e-posta kişilerini organize eden sosyal medya yöneticileri


DATAMINER SIYIRICININ EK ÖZELLİKLERİ:
* Sayfalandırılmış web sitelerinin otomatik olarak taranması.
* Tek sayfa veya çok sayfalı tarama ve kazıma kazıma.
* Sonraki sayfaya otomatik gezinme.
* RegEx ile e-postaları çıkarın (normal ifadeler)
* Görüntü kazımayı indirin
* Görüntü kazıma ile tamamlanmış sayfaları indirin
* UTF-8 ile uluslararası dil desteği
* xls verilerini kullanarak form doldurma ve kazıma


BU SIYIRICI NASIL ÇALIŞIYOR?

Dataminer Scraper, HTML web sayfasındaki bilgileri tanımlamak için Xpath, JQuery ve CSS Selector kullanır. Daha sonra bu bilgileri sıyırıp size CSV veya XLS dosyası olarak kaydedip elektronik tablolarda açabileceğiniz bir tablo halinde sunar. Doldurma formu benzer şekilde çalışır . Kazıyıcı, e-postaları veya web sayfalarından herhangi bir metni toplayabilen bir veri dönüştürücü, çıkarıcı, tarayıcıdır. UTF-8'i destekler, böylece bu Kazıyıcı Çince, Japonca, Rusça vb. Kodlama, xml, json deneyimine sahip olmanıza gerek yok.

İLETİŞİM BİLGİLERİ:

Dataminer Kazıyıcı ekibi size yardım etmeye hazır. Çok sayıda kazıma videomuz ve adım adım öğreticilerimiz var. Aracı kullanmakta veya mevcut tariflerimizden birini kullanmakta sorun yaşıyorsanız veya yeni bir tarife ihtiyacınız varsa bize bildirin. Ayrıca yardımcı olabilecek çok büyük bir kullanıcı topluluğumuz var. Sadece stackoverflow'ta sorunuzu sorun ve #dataminer ile etiketleyin.

ÖNEMLİ BİLGİ:

Tüm verileriniz her zaman gizlidir ve yalnızca sizin tarafınızdan görülebilir. İster ücretsiz ister ücretli planlarımızı kullanın, DataMiner Scraper verilerinizi saklamaz, verilerinizi sunucularımıza göndermez ve verilerinizi kimseyle paylaşmaz. Site benzeri importio emailhunter, kendi bilgisayarınızı kullanan ve hatta çevrimdışı çalışabilen Data Miner'ın aksine, sunucularını kazımak için kullanır. Bu Kazıyıcı, yalnızca tarayıcınızda yaşayan bir web kazıyıcıdır. Kazınan hiçbir şey size bilgisayar bırakmaz ve siteler kazıdığınızı bilmez.

Dataminer Scraper, yazılımı kullanmak için hizmet şartlarımızı kabul etmenizi gerektirir. Lütfen adresindeki sitemize bakın. Kullanım koşullarımızın bir kısmı, kullandığınız sitenin kullanım koşullarını anlamanız ve bunlara uymanız ve kullanıcı tarafından oluşturulan tariflerin, Data Miner'ın bunları değiştirme veya düzeltme yükümlülüğü olmaksızın "olduğu gibi" kullanmanız için orada olmasıdır. veya bunları kullanmanıza yardımcı olmak için. Dataminer Scraper'ı nasıl kullanacağınız ve web kazıyıcıyı nasıl yapacağınız veya web kazıyıcı tariflerini kendi başınıza nasıl değiştireceğiniz konusunda geniş eğitimler ve yardım belgeleri sağlıyoruz.

En iyi web sayfası kazıyıcıyı deneyin ve şimdi herhangi bir web sitesinden veri çıkarın!

(C) 2022 Copyright Software Innovation Lab LLC

Eklenti Yükleme Linki :

Kod:

https://chrome.google.com/webstore/detail/data-scraper-easy-web-scr/nndknepjnldbdbepjfgmncbggmopgden