Начинается лето, отгремели конференции и пришло время снова встретиться в “Клубе анонимных разработчиков”. На этот раз мы снова поднимем тему NoSQL решений, в частности работающих по принципу Key/Value и Column-Family. Встреча запланирована на среду 13 июня.
Одним из докладчиков станет Алексей Орешко, который в данный момент работает как Software Engineer в компании Google. Более полутора лет он проработал в команде, которая занималась настройкой и поддержкой распределенных систем хранения информации (как GFS и BigTable). В том числе, задачи включали диагностику и решение возникающих проблем, написание вспомогательных программ и утилит, настройку мониторинга, автоматизацию рутинных задач и т.п.
Алексей выступит с докладом о BigTable. BigTable – распределенная база данных, созданная компанией Google для хранения больших (петабайты) массивов информации. Он расскажет о том, какие задачи стояли перед разработчиками этой системы, и о том, как они были в итоге решены. Основное время будет посвящено архитектуре и внутреннему строению BigTable, а также общим проблемам, возникающим при масштабировании программных систем.
Вторым докладчиком станет Виталий Тимчишин с докладом о популярной NoSQL базе данных Cassandra. Виталий занимается разработкой и проектированием систем на языке Java более 8 лет. Имеет большой опыт работы с коммуникационными протоколами, базами данных и многопоточными приложениями, является экспертом в разработке и внедрении сложных неоднородных систем. На текущий момент занимается проектированием, разработкой и внедрением Java инфраструктуры для системы анализа массивов данных.
Про NoSQL базы данных сейчас, наверное, слышали все. Cassandra – одно из популярных и активно развивающихся NoSQL решений. В каких случаях стоит использовать NoSQL вообще и Cassandra в частности? Что такое схема базы в Cassandra и какие отличия от схем RDBS? Какие запросы можно строить в Cassandra? Подходы к индексированию данных. Распределенное хранилище в лице Cassandra – особенности и подводные камни. Обо всем этом и будет доклад. Также в рамках доклада Виталий продемонстрирует вживую базовые приемы работы с Cassandra, потому что многие не представляют насколько легко начать использовать это хранилище.
Мы приглашаем выступить и поделиться опытом других докладчиков. Вы сможете в неформальной обстановке рассказать о своих достижениях и провалах, обсудить их с участниками, выслушать вопросы, советы и критику. Это отличная возможность попробовать себя в роли докладчика.
Итак, встреча пройдет в среду 13 июня. Место проведения мы объявим ближе к дате мероприятия. Это связано с тем, кто число членов клуба постоянно растет и мы рискуем не влезть в уютный Киевский офис компании DataArt. Этот офис полюбился членам клуба своей уютной обстановкой и наличием всего необходимого для продуктивного общения. Но, по итогам прошлых встреч, есть риск, что все желающие не поместятся.
Официальное начало встречи по-прежнему в 19:00, завершение в 23:00. Стоимость участия 80 гривен при оплате заранее, 120 гривен при оплате на месте. Пива, пиццы и кофе с печеньками хватит на всех. Регистрация обязательна. Все детали по оплате будут высланы вам после успешного прохождения регистрации. Количество мест ограничено 60 участниками.
Вчера состоялась седьмая встреча нашего “Клуба анонимных разработчиков”. Мы продолжаем расти по количеству участников, которые посещают встречи. На этот раз зарегистрировались более 60 человек. Мы еще раз рискнули и провели встречу в уютном и полюбившемся многим офисе компании DataArt, подготовившись к большему числу участников заранее. По факту на встречу пришли не все и ожидаемых проблем удалось избежать – места хватило всем. Было немного тесновато, но зато пространство было плотно заполнено общением. Мы приносим извинения за неудобства (если они были), но очень не хотелось кому-то отказывать.
Мы занимаемся поиском удобного помещения с учетом растущего числа участников и рассматриваем несколько различных вариантов. Критериев отбора несколько: удобное расположение, вместительность от 60 до 100 человек, наличие проектора, экрана, флипчата, возможность задерживаться допоздна, приносить с собой еду и напитки. Если у вас есть на примете такое помещение и вы можете поспособствовать его аренде, то напишите нам или оставьте комментарий. Это поможет проводить встречи с максимальным уровнем комфорта для всех участников.
Вечером снова было много пробок, поэтому встреча началась чуть позже запланированного времени. Зато многие успели познакомиться и перекусить, а пицца в этот раз в отличии от участников прибыла вовремя.
Первым с докладом выступил Алексей Орешко – один из сотрудников Google. Доклад был обзорным по инструменту MapReduce, который активно используется в компании Google. Алексей рассказал об основных концепциях, специфике применения, а также особенностях использования в Google. У участников было достаточно много вопросов и этот доклад дал возможность сложить правильное представление о MapReduce. Презентация этого доклада не будет опубликована по правилам Google.
Вторым выступал Владимир Орлов. Он рассказал о практическом опыте использования Hadoop – достаточно популярной открытой реализации MapReduce. Владимир не только рассказал о том, как работает сам инструмент, но и немного углубился в настройки и возможности по его конфигурации. Также было приведено несколько примеров успешного использования Hadoop для прикладных задач. Доклад получился целостным и весьма полезным. Презентация этого выступления:
После этого снова выступил Алексей Орешко с обзором еще одного внутреннего решения компании Google – Google File System (GFS). Было очень интересно послушать о причинах, побудивших разработчиков Google создать подобный инструмент, а также о деталях внутренней реализации. В конце доклада Алексей рассказал о текущих проблемах GFS. Участники смогли узнать много интересного и задуматься об использовании открытого аналога GFS – HDFS. Презентация этого доклада не будет опубликована по правилам Google.
В самом конце для особо упорных мы устроили небольшую сессию по обмену опытом использования Hadoop в реальной жизни. Опыт был как позитивный так и негативный. Надеюсь, это помогло участникам лучше понять область применения инструмента и поможет в будущем избежать ошибок. Встреча закончилась в 23:30 и время пролетело совершенно незаметно. А это значит, что было интересно!
С каждой новой встречей все активнее становится обсуждение в Twitter по хештегу #uadevclub. Можно почитать о ходе встречи, найти интересные цитаты, советы и факты о рассматриваемых технологиях. Присоединяйтесь и обсуждайте вместе с нами!
Мы снимали видео всех выступлений и постараемся в ближайшее время выложить их в открытый доступ.
Следующая встреча пройдет в начале ноября. Точная дата и тема встречи будет оглашена в ближайшее время. Следите за анонсами на нашем сайте!
Прошлая встреча клуба была посвящена NoSQL хранилищам. Мельком была затронута тема распределенных вычислений и их применения. Участники высказались положительно по поводу углубления данной темы. На встрече присутствовал один из сотрудников Google – Алексей Орешко. Он любезно предложил осветить тему MapReduce (MR) и Google File System (GFS). В Киеве он будет только до 29 октября, поэтому было бы глупо не воспользоваться предоставленной возможностью. И мы решили организовать очередную встречу клуба 26 октября.
Алексей работает Storage Site Reliability Engineer в Дублинском офисе компании Google. Задача его команды – “сделать так, чтобы распределенные системы хранения данных (Google File System и BigTable) работали”. В том числе – решение возникающих проблем, написание вспомогательных программ и утилит, настройка мониторинга, автоматизация всего и т.д.
Первый доклад будет посвящен MapReduce (MR). Это программный фреймворк компании Google, используемый для параллельных вычислений над очень большими наборами данных (а также повлиявший на многие другие подобные фреймворки). Алексей опишет основные принципы работы MR, приведет несколько примеров решения задач с помощью MR, а также уделит внимание некоторым особенностям реализации MR в Google. Предполагаемая длительность доклада около 30 минут.
Второе выступление будет касаться Google File System (GFS). Это распределенная файловая система, созданная компанией Google, для хранения больших (петабайты) массивов данных. Алексей расскажет о задачах, стоявших перед разработчиками этой системы, основах архитектуры, проблемах, а также современных задачах, стоящих перед разработчиками распределенных файловых систем. Длительность доклада – 40 минут.
Дополнительно мы ищем докладчика, который мог бы осветить с практической стороны Hadoop и особенности его применения на практике. Понятно, что тема очень обширная, но хотелось бы услышать обзорный доклад с множеством жизненных примеров. Мы будем сообщать об изменениях и планируемых выступлениях.
Мы будем рады видеть всех, кому интересна тематика встречи. На встрече у вас будет также отличная возможность задать вопросы про компанию Google и особенности работы в ней. Приходите и приводите друзей. Будет интересно! За время работы клуба его встречи посетили более 100 человек.
В этот раз мы откладываем объявление места проведения до 23 октября. Это связано с тем, кто число членов клуба постоянно растет и мы рискуем не влезть в уютный Киевский офис компании DataArt. Этот офис полюбился членам клуба своей уютной обстановкой и наличием всего необходимого для продуктивного общения. Но по итогам прошлой встречи есть риск, что все желающие не поместятся.
Официальное начало встречи по-прежнему в 19:00, завершение в 23:00. Стоимость участия 80 гривен при оплате заранее, 120 гривен при оплате на месте. Пива, пиццы и кофе с печеньками хватит на всех. Регистрация обязательна. Все детали по оплате будут высланы вам после успешного прохождения регистрации. Количество мест ограничено 60 участниками.
