Data Analyst VS Data Scientist VS Data Engineer

Эти 3 роли во много пересекаются и не всегда очевидно как они связаны с Machine Learning и чем отличаются друг от друга?

Итак, модели для машинного обучения довольно сложно строить без базового понимания принципов обработки и сэмплинга сырых и/или больших наборов данных. Большинство отличий между ролями в том, какую часть работы они выполняют для получения конечного результата. Результатом может быть не один найденный ответ на какой-то бизнес вопрос, но и процесс непрерывано обрабатывающий данные.

Data Analyst - находит в данных новые ответы и смыслы, и доносит эти смыслы до бизнеса, визуализируя найденное (еще проще "делает правильные запросы к хранилищу данных" и "рисует графики").

Data Scientist - анализирует данные и моделирует системы использую статические методы и машинное обучение. Этот "парень" умеет в SQL, R, Python (еще проще "умеет machine learning").

Data Engineer - создает и поддерживает системы обработки данных больших и/или не структурированных данных. Это такой админ / devops, который умеет построить pipeline на правильных инструментах. Часто он делает возможной работу Data Analyst и Data Scientist, решая задачи по получению, обработке, очистке и нормализации, хранению данных, в виде пригодном для анализа.

Находки недели [9].

Python

1. Twelve malicious Python libraries found and removed from PyPI.
2. Generating custom photo-realistic faces using AI.
3. House hunting — the data scientist way.
4. Python Secrets Module to Generate secure random numbers for managing secrets.
5. Visualizing YouTube videos using Seaborn and WordCloud in Python.
6. Algojammer - An experimental code editor for writing algorithms.
7. From sensor to the Cloud in just 15 lines of Python.
8. Python, Boto3, and AWS S3: Demystified.
9. The Waiting Time Paradox, or, Why Is My Bus Always Late?
10. PyCon APAC 2018 - YouTube Playlist.
11. Pathlib: my new favorite module.

GCP

1. Go 1.11 is now available on App Engine.
2. Viewing Device Logs - Cloud IoT Core can optionally send device activity logs to Stackdriver Logging.

Other

1. Oculus Connect 5: Tech talks roundup.
2. Under the hood: Facebook Marketplace powered by artificial intelligence.

Находки недели [8].

Python

1. Getting Started With Testing in Python и Testing 101: Introduction to Testing - отличные буквари по тестирванию.
2. Hidden features of Python.
3. Gensim Tutorial – A Complete Beginners Guide.
4. Working with the Hadoop Distributed File System.
5. Python Secrets Module to Generate secure random numbers for managing secrets.
6. Python UUID Module to Generate Universally Unique Identifiers.
7. The Interesting Python Graphics Libraries for Python Programmers.

ML

1. Michelangelo PyML: Introducing Uber’s Platform for Rapid Python ML Model Development.
2. Object tracking with dlib.

GCP

1. The Google Cloud Developer Cheat Sheet.
2. Announcing Cloud Tasks, a task queue service for App Engine flex and second generation runtimes.
3. Data deletion on Google Cloud Platform.
4. Digging into Kubernetes 1.12.
5. Unlock insights with ease: Data Studio and Cloud Dataprep are now generally available.
6. Designing and implementing your disaster recovery plan using GCP.
7. Syncing millions of records a day to BigQuery: our experience moving from GAE to GKE.

Other

1. What’s it like to sell your start up to a tech giant?

DigitalOcean Managed Databases

DigitalOcean запускает Managed Databases. Пока только PostgreSQL, но позднее будет еще и MySQL. Решение называется DBaaS - DB as service по аналогии с PaaS.
Набор функций похож на GCP CloudSQL:

• кластеризация
• много баз внутри одного кластера
• дублирование кластера (для быстрой настройки стейджей, например)
• автоматизированная отказоустойчивость
• объелинение соединений в пул
• автоматизированные бэкапы
• one-click обновление до новой версии СУБД
• горизонтальное масштабирование для чтения
• легкое переключение и перенос между ДЦ
• шифрование на диске и при передаче по сети
• модный мониторинг

Предполагается, что DigitalOcean будет дешевле аналогов, но убедится в этом пока нельзя. По скриншоту также можно предположить, что для кластера можно будет выбирать мощность узлов (CPU, RAM, HDD, etc).

У DigitalOcean есть Cloud амбиции. Недавно был анонс запуска поддержки kubernetes, теперь вот DBaaS.

Находки недели [7].

Python

• Python Cheat Sheet for Beginners and Experts.
• Multi-process task queue using Redis Streams.
• Gensim Tutorial – A Complete Beginners Guide.
• The hacker's guide to uncertainty estimates.
• Clarifying PEP 518.
• Python Mock Cookbook.

Data Science & ML.

• Large Collection of Neural Nets, Numpy, Pandas, Matplotlib, Scikit and ML Cheat Sheets.
• Deep learning, hydroponics, and medical marijuana.
• Find where to park in real time using OpenCV and Tensorflow.
• Medical Imaging Analysis using PyTorch.
• Detecting the Language of a Person’s Name using a PyTorch RNN.

Docker

• Don’t Repeat Yourself with Anchors, Aliases and Extensions in Docker Compose Files.
• Avoid Running Out of Disk Space from Container Logs.

Находки недели [6].

Python

1. How to work out the missing dependencies for a Python package.
2. Timsort — the fastest sorting algorithm you’ve never heard of.
3. Pandas Crosstab Explained.
4. Introduction to Redis streams with Python.
5. How To Publish A Package On PyPI.
6. Asterisks in Python: what they are and how to use them.
7. Python Mock Cookbook.

GCP

1. Introduction to Cloud Asset Inventory - storage service that keeps a five week history of Google Cloud Platform (GCP) asset metadata. It allows you to export all asset metadata at a certain timestamp or timeframe.

Other

1. Unsupervised Object Matching for Relational Data.

Находки недели [5].

Я пропустил выпуск прошлой недели из-за своего дня рождения, поэтому далее ссылки за 2 недели.

Python

1. Getting Started With Python inside PostgreSQL.
2. Create your chatbot using Python NLTK.
3. What is Public Key Cryptography?
4. The mystery behind del() and why it works.
5. Understanding Regression Error Metrics.
   
6. Making an Unlimited Number of Requests with Python aiohttp + pypeln.
   
7. Python Open Source of the Month (v.Sep 2018).
8. Multiprocessing using Python 3.7.

ML

1. 6 Steps To Write Any Machine Learning Algorithm From Scratch: Perceptron Case Study.
   
2. Quiet log noise with Python and machine learning.
   
3. Illustrated Guide to LSTM’s and GRU’s: A step by step explanation
   

Docker

1. Even the smallest side project deserves its CI/CD pipeline.
   

GCP

1. 7 best practices for operating containers.
   
2. Cloud Source Repositories + GitLab.
   
3. Announcing updates to Cloud Speech-to-Text and the general availability of Cloud Text-to-Speech.
4. Introducing headless Chrome support in Cloud Functions and App Engine.
   
5. Introducing new Cloud Source Repositories.

Other

1. Cloud Native Computing Foundation Receives $9 Million Cloud Credit Grant from Google Cloud to Fund Kubernetes Development, Empower Community.
2. 50+ Data Structure and Algorithms Interview Questions for Programmers.
3. Unleashing the Power of Redis.
   
4. Google just gave control over data center cooling to an AI.
5. How being open about your financials can help grow your reader-funded publication.
6. Think your startup idea will work? Run a premortem for the best chance at success.

Находки недели [4].

Python

1. How to Shoot Yourself in the Foot with Python. Common pitfalls and misunderstandings.
   
2. OpenCV OCR and text recognition with Tesseract. Как использовать OpenCV OCR (и Tesseract) для распознавания текстов.
3. Managing Python Processes with PM2.
   
4. Xonsh - кросс-платформенная shell на python.
   
5. Python Library To Run Quantopian Algorithm In Live. Статья с код-примерами и кучищей полезных ссылок внутри.
6. Running Flask on Kubernetes.
   
7. Absolute vs Relative Imports in Python.
   
8. trio-asyncio. Asyncio использующий Trio.
   

GCP

1. Using GPUs for Training Models in the Cloud. Как запросить машинку с GPU? В документации обновления про это и даже про новую Tesla V100 GPUs.
   
2. Automatic documentation for your Cloud Endpoints API, now in GA. Супер фича вышла из беты.
   
3. GCP arrives in the Nordics with a new region in Finland. Возможно это самый северный cloud DC в Европе.

AWS

1. Streaming data with Amazon Kinesis.
   

Docker

1. Deploying images from Bitbucket to Docker Hub.
   

Other

На этот раз деление на категории для некоторых ссылок весьма условное - в other полно python и ML. Пусть деление будет по принципу главенства кода над объяснениями для Python-категории.

1. AI evolves to play Super Mario Bros! 9-минутное youtube-видео со ссылками на сорцы.
   
2. Mumford & Sons beware! An AI can now write indie music.
3. Future Founders, Here’s How to Spot and Build in Nonobvious Markets.
   

Находки недели [3].

Python / ML

1. Analyzing a photographer's flickr stream using pandas.
2. Deep Learning Tutorial to Calculate the Screen Time of Actors in any Video (with Python codes).
3. Google's Python Class.

GCP

1. superQuery - BigQuery AI optimization engine.
   Расширение для Chrome, добавляющее редактору запросов в BigQuery разные крутые оптимизации, подсветку индекса и прочее. Автор называет расширение - мощной IDE с искусственным интеллектом (сайт автора).

AWS

1. A Beginner’s guide to the new AWS Python SDK for Alexa.

Other

1. Developer Salaries in 2018: Updating the Stack Overflow Salary Calculator.
   Stack Overflow запустил инструмент для сравнения зарплат программистов в 2018 году. Данные собираются через опрос девелоперов. https://stackoverflow.com/jobs/salary.
2. JetBrains запустили marketplace для продажи плагинов, а Яндекс только анонсировал вместе с запуском cloud сервиса marketplace облачных решений (срок осень 2018).

Находки недели [2].

Python

1. CheckIO запустили отдельный сайт остров лорда Эшера https://escher.checkio.org/.Если кто-то вдруг не в курсе, CheckIO - супер проект для практики решения кодинг-задач на Python или JavaScript.
2. Tools for Working with Excel and Python.
   Статья-сравнение библиотек для работы с Excel-таблицами из Python.
3. Better PostgreSQL testing with Python: announcing pytest-pgsql and pgmock
   Как тестировать моками таблиц с pgmock?
4. Netherlands eScience Center Python coding guide.
5. 50 times faster data loading for Pandas: no problem.
6. Semantic segmentation with OpenCV and deep learning.
7. The State of Developer Ecosystem Survey in 2018.
8. Profiling Python Memory Leaks with Doctor Thread.
   
9. Learning Python for Social Scientists.

ML

1. Linear Regression Using Least Squares.
2. Visualising Financial Data - Returns, Volatilties and Value at Risk.
3. Feature Transformation for Machine Learning, a Beginners Guide.

GCP

1. Introducing App Engine Second Generation runtimes and Python 3.7.
2. Binary Authorization for Google Kubernetes Engine.

Other

1. 16 Mini-Lessons for Startup Founders.
   
2. The power of culture: how to hire and attract amazing people.
3. Is the Lean Startup Dead?

Находки недели [1].

Python

Видео с PyCon Australia 2018.

DOOM-like шутер на python - DUGA.

GitHub sclack - консольный клиент для мессенджера slack.

Серия видео о создании эмулятора Game boy на python.

Python Pandas: Tricks & Features You May Not Know.
Статья о не очень популярных но полезных возможностях Pandas.

50 free Machine Learning datasets: Sentiment Analysis.

Docker

How to use ‘Tensorflow Serving’ docker container for model testing and deployment и Machine learning environment setup within 10min!!!
Описание docker контейнеров, Tensorflow и короткое walk-through по их использованию.

How to delete Docker containers from the command line.
Пост о том что делать если твой docker не умеет docker prune и в твоем brew нельзя поставить docker-clean.

Build a CI/CD Pipeline with Docker and GitLab.
Walk-through по настройке сабж.

Google Cloud Platform

Google Cloud for Startups.
Оказывается Google дает не только $300 для пробы GCP для всех, но и от $2000 до $100000 для старпатов. Да, там много условий, но если у вас стартап, почему нет?

Все видео с Cloud Next 2018 разбитые по темам.

Istio reaches 1.0: ready for prod on GCP.
Istio - Open Source решение для управления миркросервисами (о нем уже писали на Хабре).

Прочее

Google Translate поет: