lesson 4 - how to get information about 100 posts.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Автор:** Сергей Шмаков\n",
    "\n",
    "**Обновление этого документа** и не только публикуется на канале в Телеграм - https://telegram.me/smm_python\n",
    "\n",
    "Другие мои площадки:\n",
    "* ВКонтакте - https://vk.com/smmblog\n",
    "* Youtube - https://youtube.com/smmblog\n",
    "* Блог - http://freesmm.ru"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Урок 4: Получить информацию о 100 постах в сообществе ВКонтакте"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**запустите код ниже**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "\n",
       "        <iframe\n",
       "            width=\"400\"\n",
       "            height=\"300\"\n",
       "            src=\"https://www.youtube.com/embed/3YDhM037BWU\"\n",
       "            frameborder=\"0\"\n",
       "            allowfullscreen\n",
       "        ></iframe>\n",
       "        "
      ],
      "text/plain": [
       "<IPython.lib.display.YouTubeVideo at 0x24d82c20b8>"
      ]
     },
     "execution_count": 1,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "from IPython.display import YouTubeVideo\n",
    "YouTubeVideo(\"3YDhM037BWU\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Задача: **\n",
    "> Получить всю возможную информацию о постах в сообществе\n",
    "\n",
    "Материалы для изучения:\n",
    "* Модуль  - http://pythonworld.ru/moduli/modul-time.html\n",
    "* Модуль  - http://pythonworld.ru/moduli/modul-datetime.html\n",
    "\n",
    "*Давайте разберёмся с задачей, которая перед нами поставлена.* \n",
    "\n",
    "Вся возможная информация это какая? \n",
    "Отправляемся в раздел для разработчиков в методы https://vk.com/dev/. Нам нужно что-то про \"Стену\" - https://vk.com/dev/wall \n",
    "\n",
    "* wall.get, Возвращает список записей со стены пользователя или сообщества. - https://vk.com/dev/wall.get\n",
    "То, что нужно. Теперь разберёмся как он работает\n",
    "\n",
    "\n",
    "\n",
    "Параметр | Описание | Тип данных\n",
    "--- | --- | ---\n",
    "owner_id | идентификатор пользователя или сообщества, со стены которого необходимо получить записи (по умолчанию — текущий пользователь).*Обратите внимание, идентификатор сообщества в параметре owner_id необходимо указывать со знаком \"-\" — например, owner_id=-1 соответствует идентификатору сообщества ВКонтакте API (club1) | целое число`\n",
    "domain | короткий адрес пользователя или сообщества. | строка\n",
    "offset | смещение, необходимое для выборки определенного подмножества записей.  | положительное число\n",
    "count | количество записей, которое необходимо получить (**но не более 100**). | положительное число\n",
    "filter | определяет, какие типы записей на стене необходимо получить. Возможны следующие значения параметра: <br>suggests — предложенные записи на стене сообщества (доступно только при вызове с передачей **access_token**);<br>postponed — отложенные записи (доступно только при вызове с передачей access_token);<br>owner — записи на стене от ее владельца;<br>others — записи на стене не от ее владельца;all — все записи на стене (owner + others).<br> * Если параметр не задан, то считается, что он равен all*  | строка\n",
    "extended | 1 — будут возвращены три массива **wall**, **profiles** и **groups**. По умолчанию дополнительные поля не возвращаются.  | флаг, может принимать значения 1 или 0\n",
    "fields | список дополнительных полей для профилей и групп, которые необходимо вернуть. См. описание полей объекта user и описание полей объекта group - https://vk.com/dev/fields_groups . Обратите внимание, этот параметр учитывается только при extended=1.  | строка. список слов, разделенных через запятую\n",
    "\n",
    "**Результат**\n",
    "После успешного выполнения возвращает список объектов записей на стене. \n",
    "\n",
    "Если был задан параметр **extended=1**, возвращает отдельно списки объектов записей на стене в поле **items**, пользователей с дополнительными полями **photo** и **online** в поле **profiles**, и сообществ в поле groups.\n",
    "\n",
    "Почитали, увидели, теперь давайте попробуем написать код, чтобы отправить запрос и получить информацию о двух записях в группе (первая просто это закреплённый пост). Для примера я буду работать со своим пабликом http://vk.com/smmblog (id = 38369814 )\n",
    "\n",
    "> **Обязательно** ознакомьтесь с этой информацией https://vk.com/dev/post\n",
    "\n",
    "**запустите код ниже**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "import requests\n",
    "r = requests.get('https://api.vk.com/method/wall.get',params={'owner_id':-38369814,'count':2}) #Получим информацию о 2х постах\n",
    "r.json()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Как видите, информации очень много. Пост или запись может включать себя другие объекты: фото, видео, документы, музыку, другие записи. \n",
    "\n",
    "Давайте обновим задачу, так как информации слишком много и для нас она вся неочень интересна.\n",
    "\n",
    "**Обновление задачи:**\n",
    "> * получить количество лайков, репостов, комментариев у каждой записи с датой публикации\n",
    "\n",
    "**Теория**\n",
    "\n",
    "Для того, чтобы вытащить нужные нам данные нужно научиться доставать их из Словарей и Списков.\n",
    "Обращение к объекту списка по его индексу - http://pythonworld.ru/osnovy/indeksy-i-srezy.html (у кого с анйглиский лучше - http://www.jamalmoir.com/2016/05/python-sequence-slicing-guide.html )\n",
    "\n",
    "Приведу несколько простых примеров для понимания:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Василий\n",
      "Василий работает в smmplanner\n"
     ]
    }
   ],
   "source": [
    "list= ['Сергей','Василий', 'smmplanner'] #списки всегда в квадратных скобках, а строки в кавычках\n",
    "#Чтобы достать из списка Василия нужно обратиться к 1 элементу списка. Порядок элементов в списке начинается с нуля \"0\"\n",
    "print(list[1]) #Выведит на экран Василий\n",
    "print(list[1],'работает в',list[2]) #Выведит на экран Василий работает в smmplanner"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Теперь пример для Словаря. \n",
    "Подробнее о Словарях - http://pythonworld.ru/tipy-dannyx-v-python/slovari-dict-funkcii-i-metody-slovarej.html\n",
    "\n",
    "## Задача про склад с мороженным\n",
    "Давайте представим, что у нас есть 2 вида мороженного: Пломбир и Эскимо. Продаются они с разной ценой и в разной валюте. Нужно вывести на экран Тип мороженного, цену, валюту и Остаток на складе . Для Эскимо посчитать стоимость остатка на складе по курсу доллара 1$ = 65 руб"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[{'Цена': 256, 'Склад': 10, 'Тип': 'Пломбир', 'Валюта': 'руб.'}, {'Цена': 221, 'Склад': 5, 'Тип': 'Эскимо', 'Валюта': '$'}]\n"
     ]
    }
   ],
   "source": [
    "dict = {'Мороженное':[{'Тип':'Пломбир', 'Цена':256, 'Валюта':'руб.', 'Склад':10},\n",
    "                      {'Тип':'Эскимо', 'Цена':221, 'Склад':5, 'Валюта':'$'}]}\n",
    "print(dict['Мороженное']) #обращение по ключу Словаря\n",
    "#При обращении по этому ключу мы попадаем в список, внутри которого 2 списка, внутри которых Словари :)))\n",
    "#Теперь можно обратиться по индексу, чтобы получить информацию из первого[0] или второго списка[1]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Давайте попробуем достать нужные нам элементы по их индексу или ключу\n",
    "**запустите код ниже**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Информация о пломбире {'Цена': 256, 'Склад': 10, 'Тип': 'Пломбир', 'Валюта': 'руб.'}\n",
      "Информация об эскимо {'Цена': 221, 'Склад': 5, 'Тип': 'Эскимо', 'Валюта': '$'}\n",
      "Тип мороженного: Пломбир\n",
      "Тип мороженного: Эскимо\n",
      "Цена: 256\n",
      "Цена: 221\n",
      "Валюта: руб.\n",
      "Валюта: $\n"
     ]
    }
   ],
   "source": [
    "print('Информация о пломбире', dict['Мороженное'][0])\n",
    "print('Информация об эскимо', dict['Мороженное'][1])\n",
    "\n",
    "print('Тип мороженного:', dict['Мороженное'][0]['Тип'])\n",
    "print('Тип мороженного:', dict['Мороженное'][1]['Тип'])\n",
    "\n",
    "print('Цена:', dict['Мороженное'][0]['Цена'])\n",
    "print('Цена:', dict['Мороженное'][1]['Цена'])\n",
    "\n",
    "print('Валюта:', dict['Мороженное'][0]['Валюта'])\n",
    "print('Валюта:', dict['Мороженное'][1]['Валюта'])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Циклы в Python\n",
    "Давайте теперь представим, что у нас на складе много всяких типов мороженного с разными ценами и с разным количеством на складе. Но мы знаем, что у нас 2 типа мороженных.\n",
    "\n",
    "**Теория**\n",
    "Для того, чтобы нам не пришлось писать столько принтов мы используем уже знакомый цикл for, которы будет проходить по списку значений, которые генерирует функция **range**. \n",
    "Информация для изучения - http://informatics.mccme.ru/mod/book/view.php?id=2534&chapterid=360\n",
    "\n",
    "**запустите код ниже**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "0\n",
      "1\n",
      "2\n",
      "3\n",
      "4\n",
      "5\n",
      "6\n",
      "7\n",
      "8\n",
      "9\n"
     ]
    }
   ],
   "source": [
    "for i in range(10): #попробуйте заменить значения в скобках на (5,10) и на (5,15,2)\n",
    "    print(i)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Обратите внимание на код ниже\n",
    "Переменные **type_morojenka**,**price** и другие находятся в теле цикла, потому что нам каждый раз нужно присвоить им новые значения согласно новому индексу\n",
    "\n",
    "**запустите код ниже**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Пломбир , Стоимость: 256 руб./шт Количество на складе 10\n",
      "Эскимо , Стоимость: 221 $/шт Количество на складе 5\n",
      "Стоимость остатков Эскимо на складе:325 руб.\n"
     ]
    }
   ],
   "source": [
    "dict = {'Мороженное':[{'Тип':'Пломбир', 'Цена':256, 'Валюта':'руб./шт', 'Склад':10},\n",
    "                      {'Тип':'Эскимо', 'Цена':221, 'Склад':5, 'Валюта':'$/шт'}]}\n",
    "sklad_morojenki = dict['Мороженное']\n",
    "\n",
    "for i in range(2): #вместо 2 мы могли подставить значение len(dict['Мороженное'])\n",
    "                   #считает сколько элементов в списке или чему равна его длина\n",
    "    type_morojenka = dict['Мороженное'][i]['Тип']\n",
    "    price = dict['Мороженное'][i]['Цена']\n",
    "    cy = dict['Мороженное'][i]['Валюта']\n",
    "    value = dict['Мороженное'][i]['Склад']\n",
    "    print(type_morojenka,',','Стоимость:',price, cy,'Количество на складе',value)\n",
    "    if type_morojenka == 'Эскимо':\n",
    "        print('Стоимость остатков Эскимо на складе:' + str(value*65) +' руб.')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Сбор информации о постах в паблике ВКонтакте\n",
    "Вернёмся к нашим баранам с получением информации о постах в группе. Напомню, что нам нужно получить:\n",
    "* количество лайков\n",
    "* количество репостов \n",
    "* количество комментариев \n",
    "* дату публикацией этих постов\n",
    "* желательно оформить всё в видео удобной таблицы, либо так, чтобы это можно было скопировать в эксель\n",
    "\n",
    "Давайте достать дату и время для 2х наших постов, которые мы получили выше. Ниже мы используем тот же самый метод что и в задаче с мороженным"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "1462618985 1462001084\n"
     ]
    }
   ],
   "source": [
    "import requests\n",
    "r = requests.get('https://api.vk.com/method/wall.get',params={'owner_id':-38369814,'count':2})\n",
    "response = r.json()\n",
    "post_date1 = response['response'][1]['date'] #выведит первую запись на стене или закреплённый пост\n",
    "post_date = response['response'][2]['date'] #выведит на экран вторую запись на стене\n",
    "print(post_date, post_date1)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Почему дата выглядит так мы рассмотрим в 5 уроке. Сейчас нас это мало заботит.\n",
    "\n",
    "Как и в задаче с мороженным мы предполагаем, что у нас будет сотри и тысячи публикаций, для которых нужно будет получать информацию. Следовательно, мы не можем для каждой даты создавать переменную таким образом\n",
    "```python\n",
    "post_date1 = response['response'][1]['date'] #выведит первую запись на стене или закреплённый пост\n",
    "post_date = response['response'][2]['date'] #выведит на экран вторую запись на стене\n",
    "```\n",
    "и значит, будем использовать цикл **for**\n",
    "\n",
    "**запустите код ниже**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Количество постов на стене =  2365\n",
      "1462001084 13\n",
      "1462618985 5\n"
     ]
    }
   ],
   "source": [
    "import requests\n",
    "r = requests.get('https://api.vk.com/method/wall.get',params={'owner_id':-38369814,'count':2})\n",
    "response = r.json()\n",
    "print('Количество постов на стене = ',response['response'][0]) #выводит 1 раз\n",
    "#Создаём цикл с переменными для каждого поста\n",
    "for i in range(1,3):\n",
    "    post_date = response['response'][i]['date'] #дата и время публикации в Unix-формате\n",
    "    comments_count = response['response'][i]['comments']['count'] #количество комментариев\n",
    "    post_id = response['response'][i]['id'] #id поста в сообществе\n",
    "    group_id = response['response'][i]['to_id'] #id сообщества . В версиях API ниже 5.7 вместо поля owner_id приходит to_id.\n",
    "    likes_count = response['response'][i]['likes']['count'] #количество лайков\n",
    "    repost_count = response['response'][i]['reposts']['count']  #количество репостов\n",
    "    signer_id = response['response'][i]['signer_id'] #если есть подпись автора    \n",
    "    print(post_date,comments_count)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Так, мы смогли вывести на экран количество постов, дату публикации и количество комментариев функцией\n",
    "```python\n",
    "print(post_date,comments_count)\n",
    "```\n",
    "Теперь нам нужно её доработатать, чтобы информация была понятна для нас с вами. \"Странную\" дату пока не трогаем. Работает с тем что есть.\n",
    "\n",
    "В итоге код, чтобы получить информацию о 2х последних постах\n",
    "\n",
    "**запустите код ниже**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Количество постов на стене =  2365\n",
      "Дата публикации , Ссылка , Количество лайков , Количество репостов , Количество комментариев\n",
      "1462001084 , https://vk.com/wall-38369814_19543 , 105 , 41 , 13\n",
      "1462618985 , https://vk.com/wall-38369814_19598 , 22 , 3 , 5\n"
     ]
    }
   ],
   "source": [
    "import requests\n",
    "r = requests.get('https://api.vk.com/method/wall.get',params={'owner_id':-38369814,'count':2})\n",
    "response = r.json()\n",
    "print('Количество постов на стене = ',response['response'][0]) #выводит 1 раз\n",
    "#Создаём цикл с переменными для каждого поста\n",
    "\n",
    "print('Дата публикации',',','Ссылка',',','Количество лайков',',','Количество репостов',',','Количество комментариев')\n",
    "for i in range(1,3):\n",
    "    post_date = response['response'][i]['date'] #дата и время публикации в Unix-формате\n",
    "    comments_count = response['response'][i]['comments']['count'] #количество комментариев\n",
    "    post_id = response['response'][i]['id'] #id поста в сообществе\n",
    "    group_id = response['response'][i]['to_id'] #id сообщества . В версиях API ниже 5.7 вместо поля owner_id приходит to_id.\n",
    "    likes_count = response['response'][i]['likes']['count'] #количество лайков\n",
    "    repost_count = response['response'][i]['reposts']['count']  #количество репостов\n",
    "    print(post_date,',','https://vk.com/wall'+str(group_id)+'_'+str(post_id),',',\n",
    "          likes_count,',',repost_count,',',comments_count)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Теперь, чтобы получить 100 постов вам нужно заменить параметр 'counte':100\n",
    "```python\n",
    "r = requests.get('https://api.vk.com/method/wall.get',params={'owner_id':-38369814,'count':100})\n",
    "```\n",
    "\n",
    "**запустите код ниже**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Количество постов на стене =  2365\n",
      "Дата публикации , Ссылка , Количество лайков , Количество репостов , Количество комментариев\n",
      "1462001084 , https://vk.com/wall-38369814_19543 , 105 , 41 , 13\n",
      "1462618985 , https://vk.com/wall-38369814_19598 , 22 , 3 , 5\n"
     ]
    }
   ],
   "source": [
    "import requests\n",
    "r = requests.get('https://api.vk.com/method/wall.get',params={'owner_id':-38369814,'count':100})\n",
    "response = r.json()\n",
    "print('Количество постов на стене = ',response['response'][0]) #выводит 1 раз\n",
    "#Создаём цикл с переменными для каждого поста\n",
    "\n",
    "print('Дата публикации',',','Ссылка',',','Количество лайков',',','Количество репостов',',','Количество комментариев')\n",
    "for i in range(1,3):\n",
    "    post_date = response['response'][i]['date'] #дата и время публикации в Unix-формате\n",
    "    comments_count = response['response'][i]['comments']['count'] #количество комментариев\n",
    "    post_id = response['response'][i]['id'] #id поста в сообществе\n",
    "    group_id = response['response'][i]['to_id'] #id сообщества . В версиях API ниже 5.7 вместо поля owner_id приходит to_id.\n",
    "    likes_count = response['response'][i]['likes']['count'] #количество лайков\n",
    "    repost_count = response['response'][i]['reposts']['count']  #количество репостов\n",
    "    print(post_date,',','https://vk.com/wall'+str(group_id)+'_'+str(post_id),',',\n",
    "          likes_count,',',repost_count,',',comments_count)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Домашнее задание по уроку 4\n",
    "> 1. Замените значение в цикле с (1,3) на (1, 101) - так вы получите все 100 постов\n",
    "2. Ознакомьтесь внимательно с методом  https://vk.com/dev/wall.get и разберитесь, что нужно поправить, чтобы получить посты из любого открытого профиля пользователя ВКонтакте\n",
    "\n",
    "Ответы и вопросы по домашке публикуйте здесь - https://vk.com/topic-38369814_33529150"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": true
   },
   "source": [
    "-----\n",
    "\n",
    "Далее: [Урок 5: анализ всех постов в группе ВКонтакте](/notebooks/lesson%205%20-%20get%20all%20posts%20in%20club%20vk.ipynb)"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.5.2"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 0
}