Показаны сообщения с ярлыком python. Показать все сообщения
Показаны сообщения с ярлыком python. Показать все сообщения

8 окт. 2018 г.

Находки недели [5].

Я пропустил выпуск прошлой недели из-за своего дня рождения, поэтому далее ссылки за 2 недели.

Python

  1. Getting Started With Python inside PostgreSQL.
  2. Create your chatbot using Python NLTK.
  3. What is Public Key Cryptography?
  4. The mystery behind del() and why it works.
  5. Understanding Regression Error Metrics.
  6. Making an Unlimited Number of Requests with Python aiohttp + pypeln.
  7. Python Open Source of the Month (v.Sep 2018).
  8. Multiprocessing using Python 3.7.

ML

GCP

  1. 7 best practices for operating containers.
  2. Cloud Source Repositories + GitLab.
  3. Announcing updates to Cloud Speech-to-Text and the general availability of Cloud Text-to-Speech.
  4. Introducing headless Chrome support in Cloud Functions and App Engine.
  5. Introducing new Cloud Source Repositories.

Other

  1. Cloud Native Computing Foundation Receives $9 Million Cloud Credit Grant from Google Cloud to Fund Kubernetes Development, Empower Community.
  2. 50+ Data Structure and Algorithms Interview Questions for Programmers.
  3. Unleashing the Power of Redis.
  4. Google just gave control over data center cooling to an AI.
  5. How being open about your financials can help grow your reader-funded publication.
  6. Think your startup idea will work? Run a premortem for the best chance at success.

24 сент. 2018 г.

Находки недели [4].


Python

  1. How to Shoot Yourself in the Foot with Python. Common pitfalls and misunderstandings.
  2. OpenCV OCR and text recognition with Tesseract. Как использовать OpenCV OCR (и Tesseract) для распознавания текстов.
  3. Managing Python Processes with PM2.
  4. Xonsh - кросс-платформенная shell на python.
  5. Python Library To Run Quantopian Algorithm In Live. Статья с код-примерами и кучищей полезных ссылок внутри.
  6. Running Flask on Kubernetes.
  7. Absolute vs Relative Imports in Python.
  8. trio-asyncio. Asyncio использующий Trio.

GCP

  1. Using GPUs for Training Models in the Cloud. Как запросить машинку с GPU? В документации обновления про это и даже про новую Tesla V100 GPUs.
  2. Automatic documentation for your Cloud Endpoints API, now in GA. Супер фича вышла из беты.
  3. GCP arrives in the Nordics with a new region in Finland. Возможно это самый северный cloud DC в Европе.

AWS

Other

На этот раз деление на категории для некоторых ссылок весьма условное - в other полно python и ML. Пусть деление будет по принципу главенства кода над объяснениями для Python-категории.

16 сент. 2018 г.

Находки недели [3].

Python / ML

  1. Analyzing a photographer's flickr stream using pandas.
  2. Deep Learning Tutorial to Calculate the Screen Time of Actors in any Video (with Python codes).
  3. Google's Python Class.

GCP

  1. superQuery - BigQuery AI optimization engine.
    Расширение для Chrome, добавляющее редактору запросов в BigQuery разные крутые оптимизации, подсветку индекса и прочее. Автор называет расширение - мощной IDE с искусственным интеллектом (сайт автора).

AWS

  1. A Beginner’s guide to the new AWS Python SDK for Alexa.

Other

  1. Developer Salaries in 2018: Updating the Stack Overflow Salary Calculator.
    Stack Overflow запустил инструмент для сравнения зарплат программистов в 2018 году. Данные собираются через опрос девелоперов. https://stackoverflow.com/jobs/salary.
  2. JetBrains запустили marketplace для продажи плагинов, а Яндекс только анонсировал вместе с запуском cloud сервиса marketplace облачных решений (срок осень 2018).

10 сент. 2018 г.

Находки недели [2].

Python

  1. CheckIO запустили отдельный сайт остров лорда Эшера https://escher.checkio.org/.Если кто-то вдруг не в курсе, CheckIO - супер проект для практики решения кодинг-задач на Python или JavaScript.
  2. Tools for Working with Excel and Python.
    Статья-сравнение библиотек для работы с Excel-таблицами из Python.
  3. Better PostgreSQL testing with Python: announcing pytest-pgsql and pgmock
    Как тестировать моками таблиц с pgmock?
  4. Netherlands eScience Center Python coding guide.
  5. 50 times faster data loading for Pandas: no problem.
  6. Semantic segmentation with OpenCV and deep learning.
  7. The State of Developer Ecosystem Survey in 2018.
  8. Profiling Python Memory Leaks with Doctor Thread.
  9. Learning Python for Social Scientists.

ML

  1. Linear Regression Using Least Squares.
  2. Visualising Financial Data - Returns, Volatilties and Value at Risk.
  3. Feature Transformation for Machine Learning, a Beginners Guide.

GCP

  1. Introducing App Engine Second Generation runtimes and Python 3.7.
  2. Binary Authorization for Google Kubernetes Engine.

Other

  1. 16 Mini-Lessons for Startup Founders.
  2. The power of culture: how to hire and attract amazing people.
  3. Is the Lean Startup Dead?

2 сент. 2018 г.

Находки недели [1].

Python

Видео с PyCon Australia 2018.

DOOM-like шутер на python - DUGA.

GitHub sclack - консольный клиент для мессенджера slack.

Серия видео о создании эмулятора Game boy на python.

Python Pandas: Tricks & Features You May Not Know.
Статья о не очень популярных но полезных возможностях Pandas.

50 free Machine Learning datasets: Sentiment Analysis.

Docker

How to use ‘Tensorflow Serving’ docker container for model testing and deployment и Machine learning environment setup within 10min!!!
Описание docker контейнеров, Tensorflow и короткое walk-through по их использованию.

How to delete Docker containers from the command line.
Пост о том что делать если твой docker не умеет docker prune и в твоем brew нельзя поставить docker-clean.

Build a CI/CD Pipeline with Docker and GitLab.
Walk-through по настройке сабж.

Google Cloud Platform

Google Cloud for Startups.
Оказывается Google дает не только $300 для пробы GCP для всех, но и от $2000 до $100000 для старпатов. Да, там много условий, но если у вас стартап, почему нет?

Все видео с Cloud Next 2018 разбитые по темам.

Istio reaches 1.0: ready for prod on GCP.
Istio - Open Source решение для управления миркросервисами (о нем уже писали на Хабре).

Прочее

Google Translate поет:

28 янв. 2013 г.

Генерируем QR код в python

В посте не будет описания алгоритмов генерации QR-кодов. Это муторно и не интеренсо. В конце концов, вам скорее всего нужно просто один раз сгенерировать код для сайта или визитки. Но если вам всеже очень интересно, как это делается, читайте по ссылкам из kcoding.net.
Конечно, можно воспользоваться Google Charts:
<img src="https://chart.googleapis.com/chart?chs=250x250&amp;cht=qr&amp;chl=кодируемаяфраза&amp;choe=UTF-8">
Вместо "кодируемаяфраза" вы можете подставить свой кодируемый текст или ссылку.
Однако, в pypi есть библиотека qrcode, с помощью которой можно сгенерировать QR код картинку у себя на сервере. Google в большинстве случае проще, но во втором подходе можно "зашить" в QR код например логин с паролем, которые будут сгенерированы под браузерную суссию и "прочитаны" на телефоне, например. По сети будет минимум хождения приватных данных, так что вариант безусловно полезный.

1. Ставим билиотеку себе:
easy_install qrcode
# OR 
pip install qrcode
Еще нам понадобится PIL:
easy_install PIL
# OR
pip install PIL
Код генерации файла с QR кодом может выглядеть например так:
# coding: utf-8

import qrcode


qr = qrcode.QRCode(
    version=1,
    error_correction=qrcode.constants.ERROR_CORRECT_L,
    box_size=10,
    border=4,
)
qr.add_data('http://adinch.com')
qr.make(fit=True)

img = qr.make_image()
img.save('qr.png')

22 нояб. 2012 г.

Собираем прокси лист для grab

Grab - фреймворк для парсинга сайтов, умеет работать через прокси сервера. В документации заявлено, что grab в принципе может сам брать сервера из файла-списка, сам может выбирать случайный, сам может менять сервера от запроса к запросу (Grab documentation. Работа с прокси-серверами).
Ниже скрипт для сбора этого списка с spys.ru - так проще, чем собирать список из поисковиков, а потом еще постоянно мониторить не отвалился ли какой-нибудь из серверов.

# -*- coding: utf-8 -*-

import os
import sys
import re
from grab import Grab, GrabError
from urllib import quote
from iptools import validate_ip


def parse():
    g = Grab()
    g.go('http://spys.ru/')
    rex = re.compile(r'(?:(?:[-a-z0-9]+\.)+)[a-z0-9]+:\d{2,4}')
    f = open(os.path.join(sys.path[0], 'proxy_list.txt'), 'w')
    for proxy in rex.findall(g.css_text('body')):
        ip, port = proxy.split(':')

        if len(ip.split('.')[0]) >= 4:  # на spys.ru для секурности дописывают двухсимвольную фигню в начало.
            ip = ip[2:]
            proxy = proxy[2:]

        if validate_ip(ip):
            g.setup(proxy=proxy, proxy_type='http', connect_timeout=5, \
                    timeout=5)
            try:
                g.go('http://www.apple.com/')
                try:
                    h1 = g.xpath_text("//h1")
                    if h1 in ['ERROR', 'Proxy Authentication Required']:
                        continue
                except Exception, e:
                    print e

                if g.response.code == 200:
                    print proxy.ljust(20), 'OK  ', g.response.code
                    f.write(proxy + '\n')

            except GrabError:
                print proxy.ljust(20), 'FAIL'
    f.close()

if __name__ == '__main__':
    parse()

2 мар. 2012 г.

Python virtualenv on mac os

Да, я купил mac и теперь буду писать в блоге о том, что все уже давным-давно прошли. Грабля номер раз, на которую я наступил:


$ virtualenv myenvfor27
New python executable in myenvfor27/bin/python
Error [Errno 2] No such file or directory while executing command install_name_tool -change /System/Library/Fram.../Versions/2.7/Python @executable_path/../.Python myenvfor27/bin/python
Could not call install_name_tool -- you must have Apple's development tools installed
Traceback (most recent call last):
  File "/usr/local/bin/virtualenv", line 8, in <module>
    load_entry_point('virtualenv==1.7.1.2', 'console_scripts', 'virtualenv')()
  File "/Library/Python/2.7/site-packages/virtualenv-1.7.1.2-py2.7.egg/virtualenv.py", line 928, in main
    never_download=options.never_download)
  File "/Library/Python/2.7/site-packages/virtualenv-1.7.1.2-py2.7.egg/virtualenv.py", line 1029, in create_environment
    site_packages=site_packages, clear=clear))
  File "/Library/Python/2.7/site-packages/virtualenv-1.7.1.2-py2.7.egg/virtualenv.py", line 1347, in install_python
    py_executable])
  File "/Library/Python/2.7/site-packages/virtualenv-1.7.1.2-py2.7.egg/virtualenv.py", line 966, in call_subprocess
    cwd=cwd, env=env)
  File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/subprocess.py", line 672, in __init__
  File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/subprocess.py", line 1202, in _execute_child
OSError: [Errno 2] No such file or directory

install_name_tool входит в Command Line Tools из Xcode. Чтоб заработало нужно:
1. Поставить Xcode через App Store
2. Зайти в системное меню Xcode->Prefences->Downloads
3. Нажать кнопку инсталл напротив Command Line Tools, убить 10 минут на регистрацию в developer.apple.com (мне пришлось заполнять пункт "компания" всякой ерундой, т.к. в данную секунду я не отношусь ни к компаниям, ни к университетам).

28 февр. 2012 г.

Парсинг сайтов на python

Привет, друзья!
Нужен ваш профессиональный совет: чем современный питонист должен парсить сайты?
Поводом для обращения к аудитории для меня послужило открытие либы pyquery, которая позволяет делать jqurey-style  запросы по xml-документам. Я вдруг осознал, что есть много нетрадиционных, но весьма удобных подходов к проблемме.
А какие интересные и удобные способы парсинга известны вам?

14 февр. 2012 г.

Ekbpy видео

http://video.yandex.ru/#search?text=ekbpy (почему-то, у меня каждое видео по 2 раза в списке).

Я успел побывать на докладах:
  1. ZeroMQ. Intro.
  2. Системное программирование в Linux на питоне.
  3. Питомник: фреймворк для разработки распределенных сервисов. 
  4. Python 3: фичи и проблемы портирования.
  5. Celery для веб-сервисов. Асинхронное распределенное выполнение задач.
Оказывается, kmike играет на бас-гитаре в банде АлоэВера (пруф).

Ещё разок здесь напишу: конференция была организована великолепно. Не успевал я подумать о том, что не хило было бы выпить кофе - услужливые ребята вкатывали столики с кофе, чаем и бутербродами. Накладок не было вообще никаких. Мы вышли на обед перед мастер-классом по celery, а когда вернулись, аудитория со стульями превратилась в аудиторию с партами.
Открытый бесплатный wifi, розетки для ноутов - все по взрослому.
Огромное спасибо организаторам, надеюсь такие конференции будут регулярными.

UPD. Пара моих фоток с конференции:

















3 февр. 2012 г.

Едем на ekb.py

10го февраля группой единомышленников едем на http://www.ekbpy.ru/ (Конференция для настоящих и будущих разработчиков на Python). Участие в коференции платное - 1500 рублей.

Тюменцы, все кому не безразличен питон и приятна хорошая компания, милости просим с нами!
Едем на машинке. В машинке из 5 мест, свободны пока 2. Если народу наберется много, едем на двух машинках. Места при таком раскладе в два раза больше ;).

Пока партийный список такой:
Я, Дима Scailer и Андрей З.

Думаю, мы найдем способ скинутся на бензин. Возьмем с собой в дорогу какую-нибудь еду. Я и Андрей идем на мастер-класс для опытных, который ведут Антон Патрушев (Naumen), Роман Иманкулов (NetAngels), Илья Шабалин (Exadel). Очень хотелось послушать Мишу Коробова по больше (его доклад есть в основоной программе конференции), но 3ий питон пока не очень востребован в наших широтах.

UPD. Точно на двух машинах едем, т.к. добавились ещё 3 пассажира: Иван Ш., Сашка и моя мама (тоже едет в Екб, оказывается, в этот же день. Позвоните родителям! :) ). Ещё 2-4 места в машинах вакантны. Милости просим!

UPD. Добавились ещё двое - Илья и Ильнур.

6 янв. 2011 г.

Удивительное рядом, но отложено…

Roadmap Django 1.3 снова обновили. Я уже не помню, что там было раньше, но теперь релиз надо ждать в конце января - начале февраля.

От беглого прочтения группы Django-developer’ов осталось ощущение, что с версией 1.2.4 не все так гладко, как хотелось бы. И я словил интересную и не приятную багу с разрешениями на работу с несколькими сайтами у узеров. Разбираться пока не было времени - всё-таки откатиться на 1.2.3 проще Улыбка.

А ещё, сперва Turbogears влился в Pylons, а затем и Pylons влился в Pyramid (вместе с repoze.bfg или надо писать как-то по другому? Чей вклад больше?). Приятно ощущать, что много лет назад выбор пал именно на стабильный и бодро растущий Django.




5 янв. 2011 г.

Надо работать

Итак друзья, в связи с сильно затянувшимися новогодними каникулами и полным отсутствием денег, ищу любую оплачиваемую удаленную работу “по специальности” (можно и не удаленную, но тогда в Тюмени или в Москве в с предоставлением жилья). Под “специальностью” надо понимать django, python, SEO, HTML/CSS верстка, javascript’овые фичи и пр. Люблю и немного умею оптимизировать проекты под высокие нагрузки. Работал со большинством реляционных систем управления базами данных.

Рассмотрю любые предложения. Пишите: markeev@gmail.com.




14 окт. 2010 г.

К.О. об excel в python.

Недавно я задавался вопросом о изменении существующих файлов excel в python. В процессе изучения задача обросла новыми требованиями, но все же стало ясно, что продолжать пользоваться pyExcelerator для генерации “похожих” на существующие файлы клонов я не хочу (долго, сложно, муторно, не точно). На помощь пришел кэп – сайт называется http://www.python-excel.org/.

Там ссылки на 3 библиотеки xlrd (чтение), xlwt (запись) и xlutils, которая объединяет использование первых двух. Кроме того, на сайте есть ссылки на примеры и документацию.