locmechan опять падает

[ptah-alexs]

Checking http://2ch.so/sf/res/12351.html - no updates
Checking http://2ch.so/sf/res/17535.html - 1 new posts
Adding post #21260 (0 left)
Traceback (most recent call last):
File "./grab.py", line 336, in
commandssys.argv[1]
File "./grab.py", line 125, in get
output_writer.add_post(newpost)
File "/var/www/locmechan/output.py", line 40, in add_post
if not 'postnumber' in post:
TypeError: argument of type 'NoneType' is not iterable

[ptah-alexs]

после обновления вот такая картина:

Checking http://2ch.so/sci/res/71671.html - 1 new posts
Adding post #93685 (0 left)
Traceback (most recent call last):
File "./grab.py", line 336, in
commandssys.argv[1]
File "./grab.py", line 124, in get
newpost = _activeparser.get_post(post)
File "/var/www/locmechan/parsers/wakaba.py", line 78, in get_post
_basetag = self.source.xpath('//td[@id= + postNumber + ]')
File "lxml.etree.pyx", line 1447, in lxml.etree._Element.xpath (src/lxml/lxml.etree.c:41728)
File "xpath.pxi", line 321, in lxml.etree.XPathElementEvaluator.call (src/lxml/lxml.etree.c:117734)
File "xpath.pxi", line 239, in lxml.etree._XPathEvaluatorBase._handle_result (src/lxml/lxml.etree.c:116911)
File "xpath.pxi", line 225, in lxml.etree._XPathEvaluatorBase._raise_eval_error (src/lxml/lxml.etree.c:116780)
lxml.etree.XPathEvalError: Invalid expression

[etw]

Пофиксила в 69e8ab2

[ptah-alexs]

etw - после твоего патча locmechan не падает, но не сохраняет текст. Пример: http://rghost.ru/37460495

[etw]

Вот пока что однострочник

for i in $(cat list); do
   NAME=$(printf "pirach_%s_%s\n" $(echo $i | cut -d\/ -f4) $(echo $i | cut -d\/ -f6 | cut -d\. -f1))
   rm -fr threads/images/$NAME threads/thumbs/$NAME threads/$NAME.html
done

Как выкачу фикс (уже написан), примени (из корня каталога с локмечаном) однострочник и перекачай треды заново.

[ptah-alexs]

OK, теперь все в норме, спасибо etw

[ptah-alexs]

Снова что-то сбоит:

Checking http://2ch.so/b/res/26949090.html - thread died.
Checking http://2ch.so/b/res/26971075.htmlTraceback (most recent call last):
File "./grab.py", line 336, in
commandssys.argv[1]
File "./grab.py", line 115, in get
_toDownload.sort(cmp = lambda x,y: int(x) - int(y)) # make strict post order
File "./grab.py", line 115, in
_toDownload.sort(cmp = lambda x,y: int(x) - int(y)) # make strict post order
ValueError: invalid literal for int() with base 10: ''

[etw]

Гм. У меня ща норм все фетчится. Ревизия из гита последняя?

[ptah-alexs]

Как оказалось у меня не последняя ревизия была. Сейчас все нормально

[ptah-alexs]

Хотя он теперь странно сохраняет. В одном из тредов он вместо текста всех постов записал текст последнего поста (пик: http://rghost.ru/37648216/image.png ), в остальных случаях сохраняет посты, но без текста.