python da matematik
python matematik konulu bir iletisi dizi başlayacak inşallah.
python matematik konulu bir iletisi dizi başlayacak inşallah.
öncelikle proje klasörümü ve kullanacağımız virtualenv yi oluşturulalım
fcicek@ferhatcicek:~$ mkdir system_usage
fcicek@ferhatcicek:~$ mkdir system_usage
fcicek@ferhatcicek:~$ cd system_usage/
fcicek@ferhatcicek:~/system_usage$ python -m venv env
projemizde sistem verilerini saklamak iin sqlite veritabanını kullancağız. kullanacağımız system_usage veritababı oluşturalım
fcicek@ferhatcicek:~/system_usage$ sqlite3 system_usage.db
sqlite> .quit
veritabanı dosyamızı oluşturduktan sonra sıra tablomuzu oluşturmaya geldi. bunu sql ortamında yapabiliriz ancak bu örnekte python ile oluşturacağız..
fcicek@ferhatcicek:~/system_usage$ nano sqlite_db_create.py
aynı isimli tablo varsa sileceğiz ve veri tabanımızla aynı isimli bir tablo oluşturacağız. örneğimizi basit tutmak adına anlık cpu ve hafıza verilerini tablomuzda tutacağımız için tablomuzda bu veriler için gerekli alanları oluşturacağız…
import sqlite3 as lite
import sys
con = lite.connect('system_usage.db')
with con:
cur = con.cursor()
cur.execute("DROP TABLE IF EXISTS system_usage")
cur.execute("CREATE TABLE system_usage(timestamp DATETIME, cpu NUMERIC, mem NUMERIC)")
kodumuz yazık şimdi virtualenv i aktif ederek kodumu çalıştıralım…
fcicek@ferhatcicek:~/system_usage$ source env/bin/activate
(env) fcicek@ferhatcicek:~/system_usage$ python sqlite_db_create.py
python kodumuz sonucu kontrol etmek istersek. clidan veritabanına bakıp tablonun durumunu inceleyebiliriz.
(env) fcicek@ferhatcicek:~/system_usage$ sqlite3 system_usage.db
SQLite version 3.31.1 2020-01-27 19:55:54
Enter ".help" for usage hints.
sqlite> .table
system_usage
sqlite> .quit
örneğimizde cpu ve hafıza verilerini saklayacağız. bunun için pythonde psutil paketini kullanacağız. psutil paketini yükleyelim
(env) fcicek@ferhatcicek:~/system_usage$ pip install psutil
psutil paketini daha önce kullanmamış olabilirsiniz.. programımızda kullanacağımız verileri içerecek basit bir uygulama yapalım.
import psutil
print('MEM % used:', psutil.virtual_memory()[2])
print('CPU % used:', psutil.cpu_percent(2))
programi çalıştıralım.
(env) fcicek@ferhatcicek:~/system_usage$ python psutil_system.py
MEM % used: 86.5
CPU % used: 2.0
anlık olarak cpu ve hazfıza kullanım bilgileriniz artık alabiliyoruz. bu bilgilerini şimdi de veritabanımıza ekleyelim.
bunun için program tarafımızdan sonlandırılana kadar 60 saniyede bir cpu ve hazfıza kullanım değerini okuyarak sqlite veritabanına ekleyecek basit bir kod yazalım.
(env) fcicek@ferhatcicek:~/system_usage$ nano data_logger.py
import time
import sqlite3
import psutil
dbname='system_usage.db'
ornekleme_zamani = 60
def sistem_bilgisi_oku():
mem = psutil.virtual_memory()[2]
cpu = psutil.cpu_percent(1)
if mem is not None and cpu is not None:
return cpu,mem
def veritabani_ekle (cpu, mem):
conn=sqlite3.connect(dbname)
curs=conn.cursor()
curs.execute("INSERT INTO system_usage values(datetime('now'), (?), (?))", (cpu, mem))
conn.commit()
conn.close()
def main():
while True:
cpu, mem = sistem_bilgisi_oku()
veritabani_ekle (cpu, mem)
time.sleep(ornekleme_zamani)
main()
artık verilerimizi bir veri tabanında turuyoruz. şimdi bunu web üzerinden bağlantı yapacak kullanıcılar için görselleştirelim. bunun için flask frameworkunu kullancağız. virtualenv altına flask ve ilişkili paketleri yükleyelim.
(env) fcicek@ferhatcicek:~/system_usage$ pip install flask
kullanıcı browser kullanarak sayfamıza bağlandığında, veritabanındaki en son cpu ve hafıza kullanım verisini sorgulayarak bu veriyi ekrana yazdıralım.
(env) fcicek@ferhatcicek:~/system_usage$ nano son_olcum.py
from flask import Flask, render_template, request
app = Flask(__name__)
import sqlite3
def getData():
conn=sqlite3.connect('system_usage.db')
curs=conn.cursor()
for row in curs.execute("SELECT * FROM system_usage ORDER BY timestamp DESC LIMIT 1"):
time = str(row[0])
cpu = row[1]
mem = row[2]
print(str(cpu))
print((str(mem))
conn.close()
return time, cpu, mem
@app.route("/")
def index():
time, cpu, mem = getData()
templateData = {
'time': time,
'cpu': cpu,
'mem': mem
}
return render_template('son_olcum.html', **templateData)
if __name__ == "__main__":
app.run(host='0.0.0.0', port=5000, debug=True)
flask frameworkun tema yapısını kullanacağımız için templates dizinini oluşturup içinde gerekli dosyaları oluşturmamız gerekmektedir. python dosyamızda ilişkilendirilen tema dosyası son_olcum.html veiçerisinde kullanılacak verinin templateData olarak belirtildi.
(env) fcicek@ferhatcicek:~/system_usage$ mkdir templates
(env) fcicek@ferhatcicek:~/system_usage$ cd templates
(env) fcicek@ferhatcicek:~/system_usage/templates$ nano son_olcum.html
<!DOCTYPE html>
<html lang="tr">
<head>
<meta charset="UTF-8">
<meta http-equiv="X-UA-Compatible" content="IE=edge">
<meta name="viewport" content="width=device-width, initial-scale=1">
<title>System Durum</title>
<!-- Latest compiled and minified CSS -->
<link rel="stylesheet" href="https://maxcdn.bootstrapcdn.com/bootstrap/3.3.7/css/bootstrap.min.css" integrity="sha384-BVYiiSIFeK1dGmJRAkycuHAHRg32OmUcww7on3RYdg4Va+PmSTsz/K68vbdEjh4u" crossorigin="anonymous">
<!-- Optional theme -->
<link rel="stylesheet" href="https://maxcdn.bootstrapcdn.com/bootstrap/3.3.7/css/bootstrap-theme.min.css" integrity="sha384-rHyoN1iRsVXV4nD0JutlnGaslCJuC7uwjduW9SVrLvRYooPp2bWYgmgJQIXwl/Sp" crossorigin="anonymous">
<!-- Latest compiled and minified JavaScript -->
<script src="https://maxcdn.bootstrapcdn.com/bootstrap/3.3.7/js/bootstrap.min.js" integrity="sha384-Tc5IQib027qvyjSMfHjOMaLkfuWVxZxUPnCJA7l2mCWNIpG9mGCD8wGNIcPD7Txa" crossorigin="anonymous"></script>
</head>
<body>
<div class="container-fluid">
<div class="jumbotron">
<p class="lead">Son veri okuma : {{ time }} <a href="/"class="button">Güncelle</a></p>
<hr class="my-4">
<p class="lead">CPU Kullanım Oranı % : {{ cpu }}</p>
<p class="lead">Memory Kullanım Oranı % : {{ mem }} </p>
<hr class="my-4">
</div>
</div>
</body>
</html>
şimdi kodumuzu test edelim.
(env) fcicek@ferhatcicek:~/system_usage$ nano son_olcum.py
tarayıcımız ile http://sunucuip:5000 adresine bağlandığımız aşagıdaline benzer bir ekran ile karşılaşmamız gerekecek…
kodumuz biraz daha geliştirmenin zamanı geldi. cpu ve hafıza verilerini veritabanımızda tuttugumuz için bu veriyi bir grafik olarka ekrana yansıtabiliriz. bu işlem sırasında mathplotlib paketinde faydalanacağımız için öncelikle kurulumunu yapalım.
(env) fcicek@ferhatcicek:~/system_usage$ pip install matplotlib
şimdi kodumuza yapacağımız ilave , belirtilen örnekleme sayısınca veri tabanından veri çekip bunu grafiği oluşturup son kullanıcıya ileteceğiz. cpu ve hafiza grafiklerini çizdirmek için app.route metodundan faydalanacağız.
from flask.globals import session
from matplotlib.backends.backend_agg import FigureCanvasAgg as FigureCanvas
from matplotlib.figure import Figure
import io
from flask import Flask, render_template, send_file, make_response, request
app = Flask(__name__)
import sqlite3
def sonKayit():
conn=sqlite3.connect('system_usage.db')
curs=conn.cursor()
for row in curs.execute("SELECT * FROM system_usage ORDER BY timestamp DESC LIMIT 1"):
time = str(row[0])
cpu = row[1]
mem = row[2]
conn.close()
return time, cpu, mem
def sonKayitDizi (orneklemeSayisi):
conn=sqlite3.connect('system_usage.db')
curs=conn.cursor()
curs.execute("SELECT * FROM system_usage ORDER BY timestamp DESC LIMIT "+str(orneklemeSayisi))
data = curs.fetchall()
tarihDizi = []
cpuDizi = []
hafizaDizi = []
for row in reversed(data):
tarihDizi.append(row[0])
cpuDizi.append(row[1])
hafizaDizi.append(row[2])
conn.close()
return tarihDizi, cpuDizi, hafizaDizi
def maksimumKayit():
conn=sqlite3.connect('system_usage.db')
curs=conn.cursor()
for row in curs.execute("select COUNT(cpu) from system_usage"):
maksimumKayitDizi=row[0]
conn.close()
return maksimumKayitDizi
global orneklemeSayisi
orneklemeSayisi = maksimumKayit()
if (orneklemeSayisi > 101):
orneklemeSayisi = 100
@app.route("/")
def index():
time, cpu, mem = sonKayit()
templateData = {'time':time,'cpu':cpu,'mem':mem,'orneklemeSayisi':orneklemeSayisi}
return render_template('index.html', **templateData)
@app.route('/', methods=['POST'])
def post_form():
global orneklemeSayisi
orneklemeSayisi = int (request.form['orneklemeSayisi'])
numMaxSamples = maksimumKayit()
if (orneklemeSayisi > numMaxSamples):
orneklemeSayisi = (numMaxSamples-1)
time, cpu, mem = sonKayit()
templateData = {'time':time,'cpu':cpu,'mem':mem,'orneklemeSayisi':orneklemeSayisi}
return render_template('index.html', **templateData)
@app.route('/plot/cpu')
def cpu_cizim():
times, cpuDizi, hafizaDizi = sonKayitDizi(orneklemeSayisi)
ys = cpuDizi
fig = Figure()
axis = fig.add_subplot(1, 1, 1)
axis.set_title("CPU [%]")
axis.set_xlabel("Örnekleme")
axis.grid(True)
xs = range(orneklemeSayisi)
axis.plot(xs, ys)
canvas = FigureCanvas(fig)
output = io.BytesIO()
canvas.print_png(output)
response = make_response(output.getvalue())
response.mimetype = 'image/png'
return response
@app.route('/plot/mem')
def hafiza_cizim():
times, cpuDizi, hafizaDizi = sonKayitDizi(orneklemeSayisi)
ys = hafizaDizi
fig = Figure()
axis = fig.add_subplot(1, 1, 1)
axis.set_title("MEM [%]")
axis.set_xlabel("Örnekleme")
axis.grid(True)
xs = range(orneklemeSayisi)
axis.plot(xs, ys)
canvas = FigureCanvas(fig)
output = io.BytesIO()
canvas.print_png(output)
response = make_response(output.getvalue())
response.mimetype = 'image/png'
return response
if __name__ == "__main__":
app.run(host='0.0.0.0', port=5000, debug=True)
<!-- index.html -->
<!DOCTYPE html>
<html lang="tr">
<head>
<meta charset="UTF-8">
<meta http-equiv="X-UA-Compatible" content="IE=edge">
<meta name="viewport" content="width=device-width, initial-scale=1">
<title>System Durum</title>
<!-- Latest compiled and minified CSS -->
<link rel="stylesheet" href="https://maxcdn.bootstrapcdn.com/bootstrap/3.3.7/css/bootstrap.min.css" integrity="sha384-BVYiiSIFeK1dGmJRAkycuHAHRg32OmUcww7on3RYdg4Va+PmSTsz/K68vbdEjh4u" crossorigin="anonymous">
<!-- Optional theme -->
<link rel="stylesheet" href="https://maxcdn.bootstrapcdn.com/bootstrap/3.3.7/css/bootstrap-theme.min.css" integrity="sha384-rHyoN1iRsVXV4nD0JutlnGaslCJuC7uwjduW9SVrLvRYooPp2bWYgmgJQIXwl/Sp" crossorigin="anonymous">
<!-- Latest compiled and minified JavaScript -->
<script src="https://maxcdn.bootstrapcdn.com/bootstrap/3.3.7/js/bootstrap.min.js" integrity="sha384-Tc5IQib027qvyjSMfHjOMaLkfuWVxZxUPnCJA7l2mCWNIpG9mGCD8wGNIcPD7Txa" crossorigin="anonymous"></script>
</head>
<body>
<div class="container-fluid" align=center>
<div class="jumbotron">
<p class="lead"><a href="/"class="button">Güncelle</a></p>
<hr class="my-4">
<p class="lead">Son veri okuma : {{ time }} </p>
<hr class="my-4">
<p class="lead">CPU Kullanım Oranı % :<b> {{ cpu }} </b></p>
<p class="lead">Memory Kullanım Oranı %<b> : {{ mem }} </b></p>
<hr class="my-4">
</div>
</div>
<div class="container-fluid" align=center>
<form method="POST">
<input name="numSamples" value= {{orneklemeSayisi}}>
<input type="submit">
</form></p>
<hr>
<img src="/plot/cpu" width="80%" height=400>
<img src="/plot/mem" width="80%" height=400>
</div>
</body>
</html>
kodumuzu aşagıdaki şekilde günceller ve çalıştırırsak aşagıdaki gibi ekran görüntüsüne sahip olacağız
python projelerinde, projenin sorunsuz olarak çalışması için ihtiyaç duyulan paketler ana dizinde genel olarak requirements.txt dosyası içinde belirtilir.
dosya içerinde her satırda ihtiyaç duyulan modül adı ve sürüm numarası yer almaktadır.
Jinja2==3.0.1
requests==2.25.1
paketlerin sürümlerinde farklılık olabiliceği için yeni ve eski sürümlerde uygulama düzgün şekilde çalışmayabilir… bunun için paket sürüm ihtiyaçlarını belirtmek için ==, >=, <= operaatörleri kullanılabilir.
geliştirme ortamınızda en doğru paket ve versiyonlarını dosyaya aktarmak için pip paket yöneticisini kullanıyorsak
pip freeze > requirements.txt
komutu kullanılabilir. temin edilmiş herhangi bir projedeki en uygun paket kurmak içinde
pip install -r requirements.txt
kullanablirsiniz.
browsespy yazısı sonrası daha güzel kullanışlı bir dosya yöneticisi önerisi istenler oldu. daha gelişmiş bir dısya yönetici için go tabalı filebrowser incelenebilir. kurulum için
curl -fsSL https://raw.githubusercontent.com/filebrowser/get/master/get.sh | bash
ve çalıştırmak için
filebrowser -a 0.0.0.0 -p 8080 -r $HOME
yeterli olacaktır.
proje sitesi : filebrowser.org
Flask-Mail kütüphanesini kullanarak python da basit bir eposta gönderme uygulaması yapalım. öncelikle
pip install Flask-Mail
ile flask-mail kurulumu yapalım… flask-mail da SMTP konfigürasyonu için kullanılabilecek parametreler aşagıdaki gibi tanımlanmış.
MAIL_SERVER : varsayılan ‘localhost’
MAIL_PORT : varsayılan 25
MAIL_USE_TLS : varsayılan False
MAIL_USE_SSL : varsayılan False
MAIL_DEBUG : varsayılan app.debug
MAIL_USERNAME : varsayılan None
MAIL_PASSWORD : varsayılan None
MAIL_DEFAULT_SENDER : varsayılan None
MAIL_MAX_EMAILS : varsayılan None
MAIL_SUPPRESS_SEND : varsayılan app.testing
MAIL_ASCII_ATTACHMENTS : varsayılan False
programda ihtiyaçımız sırasında gerekli güncellemeleri yapacağız. mail gönderimi sırasında ise
flask_mail.Message(subject='', recipients=None, body=None, html=None, sender=None, cc=None, bcc=None, attachments=None, reply_to=None, date=None, charset=None, extra_headers=None, mail_options=None, rcpt_options=None)
uygun şekilde yapılandırmak gerekecek.
subject – email subject header
recipients – list of email addresses
body – plain text message
html – HTML message
sender – email sender address, or MAIL_DEFAULT_SENDER by default
cc – CC list
bcc – BCC list
attachments – list of Attachment instances
reply_to – reply-to address
date – send date
charset – message character set
extra_headers – A dictionary of additional headers for the message
mail_options – A list of ESMTP options to be used in MAIL FROM command
rcpt_options – A list of ESMTP options to be used in RCPT commands
simdi bu bilgileri kullanarak basit kodumuzu yazalım.. gerekli kütüphaneleri import ederim
from flask import Flask
from flask_mail import Mail, Message
app = Flask(__name__)
mail= Mail(app)
smtp konfigürasyonumuzu yapalım.. ben aylık 500 kadar bedava eposta gönderilimize izin veren mailtrap servisini için konfigürasyon yapacağım..
app.config['MAIL_SERVER']='smtp.mailtrap.io'
app.config['MAIL_PORT'] = 2525
app.config['MAIL_USERNAME'] = '81e0d22cd4b15'
app.config['MAIL_PASSWORD'] = '94355a1553f58'
app.config['MAIL_USE_TLS'] = True
app.config['MAIL_USE_SSL'] = False
mail= Mail(app)
eposta içeriğini, gönderici ve alıcıda tanımlayalım
msg = Message('Test Mesajı', sender = 'ferhatcicek@mailtrap.io', recipients = ['iletisim@ferhatcicek.com'])
msg.body = "Bu bir test mesajıdır"
mail.send(msg)
return "Eposta gönderildi."
artık kodumuz hazır durumda…
#app.py - flask-mail kullanarak eposta gönderimi
from flask import Flask
from flask_mail import Mail, Message
app = Flask(__name__)
mail= Mail(app)
app.config['MAIL_SERVER']='smtp.mailtrap.io'
app.config['MAIL_PORT'] = 2525
app.config['MAIL_USERNAME'] = '81e0d22cd4b15b'
app.config['MAIL_PASSWORD'] = '94355a1553f58b'
app.config['MAIL_USE_TLS'] = True
app.config['MAIL_USE_SSL'] = False
mail= Mail(app)
@app.route("/")
def index():
try:
msg = Message('Test Mesajı', sender = 'ferhatcicek@mailtrap.io', recipients = ['iletisim@ferhatcicek.com'])
msg.body = "Bu bir test mesajıdır"
mail.send(msg)
return "Eposta gönderildi."
except Exception as e:
return(str(e))
if __name__ == '__main__':
app.run(debug = True)
flask run -h 0.0.0.0 -p 8080 yazarak kodumu çalışrarak tarayıcımıza http://localhost:8080 yazdığımızda epostamızın iletildiğine ait bilgilendirme mesajını alacağız… mesaj gönderme kısmını bir döngü içine alarak toplu eposta gönderimide yapabilirsiniz…
web tabanlı sunucunuzda güvenlik amacı ile indexlemeyi devre dışı bıraktıysanız ve aktif bir dosya yöneticiside kullanmıyorsanız browsepy anlık çözümler için size yardımcı olacaktır. browsepy python ve flask tabalı. çok gelişmiş özellikleri yo ve görsel açıdanda fazla bir şey sunmadığını belirmeliyim. kurulum için
pip install browsepy
ve çalıştırmak içinde
browsepy 0.0.0.0 8080 --directory $HOME
yeterli olacaktır.
proje sites: https://github.com/ergoithz/browsepy
sqlite ile çalışırken bir ide ihtiyacınız olursa ve progralama diliniz python ise web tabanlı sqlite-web isimli basit bir çözüm mevcut. kurulum için
pip install sqlite-web
ve kullanım için ise
sqlite_web veritabani.db -H 0.0.0.0 -p 8080
yeterli olacaktır. sqlite-web flask tabanlı olduğu ihtiaç duyulan kütüphane sayısı fazla olabilir. mevcut projelerinizi bozmamak adına virtualenv ile çalışılması tavsiye edilmektedir.
proje sitesi : https://github.com/coleifer/sqlite-web
windows altında python ile çalışıyor ve paket yöneticisi olarak pip kullanıyorsanız
pip list --outdated
ile güncel olmayan paket listesini görebilirsiniz.
PS C:\python> pip list --outdated
Package Version Latest Type
------------------------ ------------ ------------ -----
absl-py 0.11.0 0.12.0 wheel
add-trailing-comma 2.0.2 2.1.0 wheel
aiohttp 3.7.4 3.7.4.post0 wheel
APScheduler 3.6.3 3.7.0 wheel
astroid 2.5.1 2.5.2 wheel
autoflake 1.3.1 1.4 sdist
paketlerin hepsini güncellemek istiyorsanız
pip list --outdated --format freeze | %{$_.split('==')[0]} | %{pip install --upgrade $_}
işinize yarayacaktır. paket bağlımlıklarında dolayını bunu önermiyorum. paket bağmlılıkları bir çok konuda sorun olabileceği için virtualenv kullanmanılması tavsiye edilir..
web hasadı ,kazıma, test vb yöntemler için en kullanışlı araçlardan bir tanesi selenium kütüphanesi. diğer bir deyişle web üzerinde herhangi bir işi otomatize etmek istiyor, bir siteden veri çekmek istiyorsanız selenium ihtiyacınızı karşılamakta yardımcı olacaktır.
bu kısa yazıyı selenium kullanarak wordpress kullanan bir siteye giriş yapmanın nasıl yapılabileceğine gösteren en temel python kodunu ile sonlandıralım.
from selenium import webdriver
import time
browser = webdriver.Firefox()
url = "https://www.wordpresssitsi.com/wp-admin/"
browser.get(url)
username = browser.find_element_by_id("user_login")
password = browser.find_element_by_id("user_pass")
username.send_keys("k_adi") # wordpress kullanici adi
password.send_keys("k_adi_sifre") # wordpress kullanici adi
submitButton = browser.find_element_by_id("wp-submit")
submitButton.click()
time.sleep(10)
browser.close()
pythonda excel dosyaları ile çalışmak için kullanabileceğiniz kütüphane sayısı oldukça fazla. bu kütüphanlerin kendine göre avantajları mevcut. bu kısa yazıda kullanımı oldukça kolay olan pandaw dan bahsedegim
öncelikle pandası kuralım
pip3 install pandas
kurulum sorunsuz olarak tamamlandıktan sonra ilk örneğimizi yapabiliriz. temel ıolarak üç adım mevcut.
import pandas as pd # 1. adim kutuphaneyi import ediyoruz
excel_text = pd.read_excel(r'router.xls') # 2. adim excel dosyami belirtiyoruz
print (excel_text ) # 3. ekrana yazdiriyoruz / işliyoruz..
en temel haliye excel içindeki verileri text ortamına aktarmış olduk.. bu python dosyamızı çalıştırınca aşagıdaki şekilde bir çıktı elde ediyoruz.
root@fcicek:~/python/# python3 router_excel.py
router interface
0 router_a 0/0/1
1 router_b 0/0/2
2 router_c 0/0/3
csv dosyası üzerinde çalışmak istereniz read_excel yerine read_csv kullanmanız gerekmektedir. ; ile ayrılmış ve utf8 ile kodlanmış bir csv dosyasında çalışmak isterseniz
data = pd.read_csv (r'router.csv', sep=';', encoding='utf8', quotechar='"')
işinize yarayacaktır. eğer herhangi bir sutun veya satır ile çalışmak istiyorsak
df = pd.DataFrame(data, columns= ['router'])
ile çalışacağınız sütünu seçebilirsiniz. satırları okuyorak satırlardaki veriler ile işlem yapmak için ise
for i in df.index:
print(df['router'][i]+'----'+df['interface'][i])
yapısını kullanabilirsiniz. pandas konusunda daha detaylı bilgilere erişmek isterseniz aşagıdaki bağlantılar işinize yarayacaktır
https://pandas.pydata.org/docs/