Spark 1.6 and notebook samples

Одна з останіх презентацій по спарк 1.6 йде з набором прикладів викладених за допомогою нотебуків, це мабуть один з найцікавіших  прикладів демо з кодом

http://go.databricks.com/apache-spark-1.6-with-patrick-wendell

typical dataflow with around 1 TB/s

Huawei Embraces Open-Source @ApacheSpark via @Databricks http://t.co/Lmrg3wE6kN

— dennylee (@dennylee) June 10, 2015

ok, typical dataflow with around 1 TB/s

Зустріч клубу “Artificial Intelligence”

4 квітня 11:00

Львів, Львівський інститут менеджменту, вул. Ліська 16, 1 поверх, 1 аудиторія

Теми доповідей:

— Олександр Кондуфоров
Передбачення цін на авіаквитки за допомогою часових рядів
Як відомо, ціни на авіаквитки міняються дуже швидко і непередбачувано. Є багато порад з цього приводу, коли і як купувати квитки дешевше, але, на жаль, вони не універсальні і часто не приносять очікуваного ефекту. Тому, коли людина має бажання купити квитки на сайтах Expedia, Kayak, Anywayanyday та інших, вона хоче знати, чи потрібно купувати квиток терміново, так як ціна буде рости в найближчому часі, чи є сенс почекати з покупкою, оскільки ціна буде падати.
З доповіді ви дізнаєтесь про одне з рішень цієї задачі. Мова йтиме про часові ряди, їх види та характеристики, а також різні алгоритми прогнозування, які можуть бути використані, і про практичний досвід їх використання

— Сергій Шельпук
Кластеризація з stochastic k-modes
Кластеризація даних з мультиноміальними ознаками (features) — задача, що має ключове значення для побудови систем пошуку та рекомендацій. У той же час для неї неможливо використовувати k-means через обмеження на евклідів простір. Stochastic k-modes — новий метод кластеризації, розроблений нами спеціально для цієї задачі. Він може працювати з Big Data та має статистично гарантовані властивості збіжності.
Доповідь буде присвячена stochastic k-modes та його застосуванню для пошуку схожих пацієнтів і порівняння популяцій на масштабі в 30 мільйонів пацієнтів і їх медичних карток.

Зустріч абсолютно безкоштовна, потрібно лише зареєструватись, оскільки кількість місць обмежена. На слухачів вкінці зустрічі чекає невеликий сюрприз☺

Деталі - за посиланням http://dou.ua/calendar/6832/ 

Lviv Hadoop User Group meetup #3 REPORT

Lviv Hadoop user group meetup #3 Report

Минулого тижня львівське комюніті зібралося втретє щоб обмінятися досвідом в межах Hadoop компетенції. Аудиторія була люб"язно надана компанією Epam, яка прихистила нас в своєму тренінг центрі на забезпечила нескінченою кількістю смачних піц на напоїв (за що виносимо подяку HR віділу!).

Першим виступив спеціальний гість з київського Єпаму - Юрій Юрченко, який поділився своїм досвідом роботи з XML на петабайтному датасеті. Доповідь викликала масу запитань та жваве обговорення не тільки під час доповіді, а й після під час неформального спілкування.

Другим доповідачем був Максим Дорошено з львівського Єпаму, який виступив з доповідю на доволі екзотичну тему: Developing custom eXtensions for HUE. Для багатьох користувачів хадупу, можливість кастомізувати HUE та доповнювати веб-інтерфейс власними компонентами стала справжнім відкриттям. Загалом, кілька людей просто під час доповіді дійшли висновку, що їм на проекті потрібно також кастомізувати HUE під власні потреби.

Developing eXtensions for HUE from Maksym Doroshenko

Гарною традицією стало вручення подарунків найактивнішим учасникам: на це раз це були подарункові набори від Epam Systems та O'Reilly. Також бібліотека юзер групи поповнилася новими книжками від O'Reilly, які були представлені (і одразу роздані) під час зустрічі: загалом в нашій бібліотеці тепер є 5 книжок на теми BigData та споріднені.

Наприкінець, хотілося б ще раз подякувати Epam за чудову організацію івенту!

Book Review: Natural Language Annotation for Machine Learning

Natural Language Annotation for Machine Learning

A Guide to Corpus-Building for Applications

By James Pustejovsky, Amber Stubbs

Publisher: O'Reilly Media

Final Release Date: October 2012

Pages: 342

    Do you want to learn what is the Natural Language Annotation(NLP)? Do you want to learn how to prepare your own training corpus for machine learning? So, this book it is what you need! This book guides you step by step through full annotation development cycle. You also don't need any experience in this area. This book there are a lot of practice's 

examples which you will start using from first chapter till the end of the book. 

   It will be better, if you have experience with Python. You also can read the book "Natural Language Processing with Python" by Steven Bird, Ewan Klein, and Edward Loper(O'Reilly) which provides an excellent introduction into Python and to aspect of Natural Language Annotation (NLP).

   I recommend to read this book for all who decides to start learning NLP and Machine Learning and also who uses it and wants to learn how to create their own corpuses for Machine Learning.

Зустріч №3

Lviv Hadoop User Group Meetup #3

З радістю повідомляю, що компанія Epam погодилася надати аудиторію та піцу:) для проведення 3ї зустрічі нашого комюніті!

Отже, вже 19 лютого, о 19:00 запрошую всіх бажаючих на 3ю зустріч юзер групи за адресою львівського офісу Epam (вул. Олени Степанівни 45, 5й поверх - трейнінг центр). 

Заплановані теми доповідей:

• Working with XML in Hadoop and Hive by Iurii Iurchenko from Epam Kyiv
• Developing custom eXtensions for Hue by Maxim Doroshenko from Epam Lviv
• Free talks and pizza
• ... а також нові книжки від O"REILLY та подарунки найактивнішим учасникам від O"REILLY та EPAM Systems

Для відвідування заходу реєстрація обов"язкова - кількість місць обмежена!!!

Strata + Hadoop world 5–7 May, 2015 • London, UK

Strata + Hadoop world 5–7 May, 2015 • London, UK

реєстрація за посиланням https://en.oreilly.com/big-data-conference-uk-2015/public/register

для учасників нашої юзергрупи є дискаунт за промокодом, тому якщо плануєте їхати - дайте знати, і отримайте промокод

Random Access to Your Planet-Size Data

всім привіт,

нова книжка доступна в нашій бібліотеці:

HBase: The Definitive Guide

Random Access to Your Planet-Size Data

By Lars George

Publisher: O'Reilly Media

Final Release Date: August 2011

Pages: 556

Купити на Amazon

якщо хочете взяти почитати - пишіть на hug.lviv@gmail.com