Skip to content
This repository has been archived by the owner on Feb 17, 2024. It is now read-only.

lie-flat/cfps-analyze

BranchesTags

Folders and files

NameName
Last commit message
Last commit date

Latest commit

ย 

History

74 Commits
.vscode
.vscode
ย 
ย 
DBCHMForCFPSHomework @ fa3bcf1
DBCHMForCFPSHomework @ fa3bcf1
ย 
ย 
dataset
dataset
ย 
ย 
decompositions
decompositions
ย 
ย 
docs
docs
ย 
ย 
nbs
nbs
ย 
ย 
process
process
ย 
ย 
subtable
subtable
ย 
ย 
.gitignore
.gitignore
ย 
ย 
.gitmodules
.gitmodules
ย 
ย 
.whitesource
.whitesource
ย 
ย 
LICENSE
LICENSE
ย 
ย 
README.MD
README.MD
ย 
ย 

Repository files navigation

CFPS ๆ•ฐๆฎๅค„็† (2021 ๅนด็ง‹ๅคงไฝœไธš)

็›ฎๅฝ•็ป“ๆž„

่ฏทๅฐ†ๆ•ฐๆฎๆ–‡ไปถๆŒ‰็…งไปฅไธ‹ๆ–นๅผๅญ˜ๆ”พ๏ผš

ๆ•ฐๆฎ้›†ๆŒ‰ไธ‹ๅˆ—ๆ ‘ๅฝข็ป“ๆž„ๆ”พๅœจ dataset ๆ–‡ไปถๅคนไธ‹

dataset
โ”œโ”€CFPS 2010
โ”‚  โ”‚
โ”‚  โ”œโ”€Data
โ”‚  โ”‚  โ””โ”€Stata
โ”‚  โ”‚          cfps2010adult_202008.dta
โ”‚  โ”‚          cfps2010child_201906.dta
โ”‚  โ”‚          cfps2010comm_201906.dta
โ”‚  โ”‚          cfps2010famconf_202008.dta
โ”‚  โ”‚          cfps2010famecon_202008.dta
โ”‚  โ”‚
โ”‚  โ””โ”€Documentation
โ”‚          ๅฎถๅบญๅ…ณ็ณปๅบ“.pdf
โ”‚          ๅฎถๅบญ้—ฎๅทๅบ“.pdf
โ”‚          ๅฐ‘ๅ„ฟ้—ฎๅทๅบ“.pdf
โ”‚          ๆˆไบบ้—ฎๅทๅบ“.pdf
โ”‚          ็คพๅŒบ้—ฎๅทๅบ“.pdf
โ”‚          ้—ฎๅท.pdf
โ”‚
โ”œโ”€CFPS 2011
โ”‚  โ”‚
โ”‚  โ”œโ”€Data
โ”‚  โ”‚  โ””โ”€Stata
โ”‚  โ”‚          cfps2011adult_102014.dta
โ”‚  โ”‚          cfps2011child_102014.dta
โ”‚  โ”‚          cfps2011family_202008.dta
โ”‚  โ”‚          cfps2011famroster_202008.dta
โ”‚  โ”‚
โ”‚  โ””โ”€Documentation
โ”‚          6b1bb40d683b405e9b7ed1e8329c1e65.pdf
โ”‚
โ”œโ”€CFPS 2012
โ”‚  โ”‚
โ”‚  โ”œโ”€Data
โ”‚  โ”‚  โ””โ”€Stata
โ”‚  โ”‚          cfps2012adult_201906.dta
โ”‚  โ”‚          cfps2012child_201906.dta
โ”‚  โ”‚          cfps2012famconf_092015.dta
โ”‚  โ”‚          cfps2012famecon_201906.dta
โ”‚  โ”‚
โ”‚  โ””โ”€Documentation
โ”‚          CFPS2012codebook(ๅฐ‘ๅ„ฟ้—ฎๅท).xls
โ”‚          ๅฎถๅบญๅ…ณ็ณปๅบ“.pdf
โ”‚          ๅฎถๅบญ็ปๆตŽๅบ“.pdf
โ”‚          ๆˆไบบ้—ฎๅท.pdf
โ”‚          ่ทจๅนดidๅบ“.pdf
โ”‚          ้—ฎๅท.pdf
โ”‚
โ”œโ”€CFPS 2014
โ”‚  โ”‚
โ”‚  โ”œโ”€Data
โ”‚  โ”‚  โ””โ”€Stata
โ”‚  โ”‚          cfps2014adult_201906.dta
โ”‚  โ”‚          cfps2014child_201906.dta
โ”‚  โ”‚          cfps2014comm_201906.dta
โ”‚  โ”‚          cfps2014famconf_170630.dta
โ”‚  โ”‚          cfps2014famecon_201906.dta
โ”‚  โ”‚
โ”‚  โ””โ”€Documentation
โ”‚          019b4fced85d4e42a825c3a186695155.pdf
โ”‚          CFPS2014codebook.xls
โ”‚
โ”œโ”€CFPS 2016
โ”‚  โ”‚
โ”‚  โ”œโ”€Data
โ”‚  โ”‚  โ””โ”€Stata
โ”‚  โ”‚          cfps2016adult_201906.dta
โ”‚  โ”‚          cfps2016child_201906.dta
โ”‚  โ”‚          cfps2016famconf_201804.dta
โ”‚  โ”‚          cfps2016famecon_201807.dta
โ”‚  โ”‚
โ”‚  โ””โ”€Documentation
โ”‚          CFPS2016codebook.xls
โ”‚          ้—ฎๅท.pdf
โ”‚
โ”œโ”€CFPS 2018
โ”‚  โ”‚
โ”‚  โ”œโ”€Data
โ”‚  โ”‚  โ””โ”€Stata
โ”‚  โ”‚          cfps2018childproxy_202012.dta
โ”‚  โ”‚          cfps2018crossyearid_202104.dta
โ”‚  โ”‚          cfps2018famconf_202008.dta
โ”‚  โ”‚          cfps2018famecon_202101.dta
โ”‚  โ”‚          cfps2018person_202012.dta
โ”‚  โ”‚
โ”‚  โ””โ”€Documentation
โ”‚          CFPS2018codebook.xlsx
โ”‚          crossyearid_codebook.xlsx
โ”‚          ้—ฎๅท.pdf
โ”‚
โ””โ”€ๆ•™ๅญฆๆ•ฐๆฎ้›†
        onlinedemo.dta

ๆ•ฐๆฎๅˆๆญฅๅค„็†

ไพ่ต–ๅฎ‰่ฃ…

  • ๅปบ่ฎฎไฝฟ็”จ Linux ๆ“ไฝœ็ณป็ปŸ
  • ๅœจๅฎ‰่ฃ…ไพ่ต–ไน‹ๅ‰๏ผŒ่ฏท็กฎ่ฎคไฝ ๆ‰€ไฝฟ็”จ็š„ Python ็‰ˆๆœฌไธไฝŽไบŽ 3.10
  • ipython ไธบๆŽจ่ไพ่ต–้กน๏ผŒไนŸๅฏไปฅไธๅฎ‰่ฃ…
pip install -r process/requirements.txt
pip install ipython

ๆŽข็ดขๆ•ฐๆฎ

็”Ÿๆˆ Schemas

ๅœจ Repo ๆ น็›ฎๅฝ•ไธ‹่ฟ่กŒไปฅไธ‹ๅ‘ฝไปคๅฏไปฅ็”Ÿๆˆ schemas:

(็”Ÿๆˆ็š„ *.schemas.json ๅญ˜ๆ”พๅœจๅฏนๅบ”็š„ *.dta ๆ–‡ไปถๆ—่พน)

python process/stata_converter.py gen-schemas dataset

ๆ‚จไนŸๅฏไปฅ่ฟ่กŒไปฅไธ‹ๅ‘ฝไปคๅฏผๅ‡บๅ˜้‡่กจ๏ผš

python process/stata_converter.py gen-labels dataset

ๅฆๅค–๏ผŒๆ‚จไนŸๅฏไปฅๅฏผๅ‡บ csv ๆ–‡ไปถ๏ผˆExperimental๏ผŒ ไธไฟ่ฏๅฏผๅ‡บๆ•ฐๆฎ็š„่ดจ้‡๏ผ‰๏ผš

python process/stata_converter.py gen-csv dataset

ไบคไบ’ๅผ Shell

ipython -i process/cfps_shell.py

ๆญคไบคไบ’ๅผ Shell ๅทฒ็ป้ป˜่ฎค import ไบ† numpy, pandas, matplotlib ็ญ‰ๅบ“ใ€‚

ไฝฟ็”จๆญคไบคไบ’ๅผ Shell ๅ‰๏ผŒ่ฏท็กฎไฟๅทฒ็ป็”Ÿๆˆไบ† schemas

ๅœจๆญค Shell ไธญ๏ผŒๆ‚จๅฏไปฅไฝฟ็”จ cfps ๅ…จๅฑ€ๅ˜้‡ๆฅ่ฎฟ้—ฎ cfps ๆ•ฐๆฎ๏ผŒๆ‚จไนŸๅฏไปฅไฝฟ็”จ cfpsๅนดไปฝ ่ฟ™ๆ ท็š„ๅ…จๅฑ€ๅ˜้‡ๆฅ่ฎฟ้—ฎๅฏนๅบ”ๅนดไปฝ็š„ๆ•ฐๆฎใ€‚

In [2]: cfps2011
Out[2]: 
namespace(adult=StataDetail(2011, adult_102014, primary:pid),
          child=StataDetail(2011, child_102014, primary:pid),
          family=StataDetail(2011, family_202008, primary:fid),
          famroster=StataDetail(2011, famroster_202008, primary:pid))
In [3]: cfps[2012]
Out[3]: 
namespace(adult=StataDetail(2012, adult_201906, primary:pid),
          child=StataDetail(2012, child_201906, primary:pid),
          famconf=StataDetail(2012, famconf_092015, primary:('pid', 'fid12')),
          famecon=StataDetail(2012, famecon_201906, primary:fid12))

็„ถๅŽ๏ผŒๆ‚จๅฏไปฅ้€š่ฟ‡ๅ„ไธชๅญ—ๆฎต่ฎฟ้—ฎๆ•ฐๆฎๅ’Œๅ…ƒๆ•ฐๆฎใ€‚

# ๅฏไปฅ็”จๆ•ฐ็ป„ๅฝขๅผ่ฎฟ้—ฎๅฏนๅบ”ๅนด็š„ๆ•ฐๆฎ
cfps[2011].adult.year # 2011
# ไนŸๅฏไปฅ็›ดๆŽฅ็”จๅ˜้‡ๅ่ฎฟ้—ฎ
cfps2011.adult.key # adult_102014
cfps2011.adult.primary # pid
cfps2011.adult.path # 'dataset/CFPS 2011/Data/Stata/cfps2011adult_102014.dta'
cfps2011.adult.schema # ่ฟ”ๅ›ž Schema ๅญ—ๅ…ธ
cfps2011.adult.data # ่ฟ”ๅ›ž Pandas DataFrame (Lazy load)
cfps2012.adult.rural # ่ฟ”ๅ›žไนกๆ‘ๅœฐๅŒบๆ•ฐๆฎ
cfps2012.adult.urban # ่ฟ”ๅ›žๅŸŽ้•‡ๅœฐๅŒบๆ•ฐๆฎ
# ไนŸๅฏไปฅไปฅ็ดขๅผ•็š„ๅฝขๅผ่ฎฟ้—ฎ
cfps2012.adult["urban"] # ่ฟ”ๅ›žๅŸŽ้•‡ๅœฐๅŒบๆ•ฐๆฎ
cfps2016.child["east"] # ่ฟ”ๅ›žไธœ้ƒจๅœฐๅŒบๆ•ฐๆฎ
cfps2016.child["west"] # ่ฟ”ๅ›ž่ฅฟ้ƒจๅœฐๅŒบๆ•ฐๆฎ
cfps2018.person["west", "rural"] # ่ฟ”ๅ›ž่ฅฟ้ƒจไนกๆ‘ๆ•ฐๆฎ
cfps2018.person["northeast", "urban"] # ่ฟ”ๅ›žไธœๅŒ—้ƒจๅŸŽ้•‡ๆ•ฐๆฎ

็›ดๆŽฅๅ†™ๅ…ฅๆ•ฐๆฎๅบ“

ๅฏๅŠจๆ•ฐๆฎๅบ“๏ผˆๅฆ‚ๅทฒๅฏๅŠจ๏ผŒ่ฏทๅฟฝ็•ฅ๏ผ‰, ่ฟ›ๅ…ฅ Mysql Shell

ๆœฌๆ–‡ๅ‡่ฎพๆ‚จๅœจ Linux ็Žฏๅขƒไธ‹ๆ“ไฝœ๏ผŒWindows ็”จๆˆท่ฏท่‡ช่กŒๆ‰ง่กŒไธ‹้ข็š„ๆŒ‡ไปคๅฏนๅบ”็š„ๆ“ไฝœใ€‚

sudo systemctl start mysql
sudo mysql

ไธบๅบ”็”จ็จ‹ๅบๅˆ›ๅปบ MySQL ๆ•ฐๆฎๅบ“่ดฆๆˆท, ็„ถๅŽไฟฎๆ”น process/mysql_storage.py ไธญ็š„ๆ•ฐๆฎๅบ“่ฟžๆŽฅ้…็ฝฎใ€‚

ๆณจๆ„๏ผš ไธ‹ๅˆ—ๅ‘ฝไปค็ป™ไบ† cfps ๅ…จ้ƒจๆƒ้™๏ผŒๅœจ็”Ÿไบง็Žฏๅขƒไธญ่ฏทๆŒ‰้œ€ไฟฎๆ”น!

CREATE USER 'cfps'@'localhost' IDENTIFIED BY 'cfpsMySQL111++';
GRANT ALL PRIVILEGES ON * . * TO 'cfps'@'localhost';
FLUSH PRIVILEGES;

่ฟ่กŒไปฅไธ‹ๅ‘ฝไปคๅˆๅง‹ๅŒ–ๆ•ฐๆฎๅบ“

python process/mysql_storage.py db init

่ฟ่กŒไปฅไธ‹ๅ‘ฝไปคๅฐ†ๆ‰€ๆœ‰ๆ•ฐๆฎๅ†™ๅ…ฅๆ•ฐๆฎๅบ“๏ผš

๏ผˆๆณจๆ„๏ผšไฝ ้œ€่ฆๅ…ˆ็”Ÿๆˆ schemas ๆ–‡ไปถ๏ผŒๅ‚่งไธŠๆ–‡๏ผ‰

python process/mysql_storage.py db write

ๅœจๅ†™ๅ…ฅๆ•ฐๆฎๅบ“ๆ—ถ๏ผŒๅบ”็”จ็จ‹ๅบไผšๆ˜พ็คบ่ฟ›ๅบฆๆก๏ผš

.......
Creating famecon_2010...
100%|โ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆ| 14797/14797 [00:28<00:00, 527.86it/s]
Creating adult_2011...
100%|โ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆ| 1279/1279 [00:03<00:00, 364.06it/s]
Creating child_2011...
100%|โ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆ| 7524/7524 [00:16<00:00, 443.37it/s]
Creating family_2011...
100%|โ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆ| 13129/13129 [00:13<00:00, 948.86it/s]
Creating famroster_2011...
100%|โ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆ| 50954/50954 [00:10<00:00, 4902.50it/s]
Creating adult_2012...
100%|โ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆ| 35719/35719 [03:01<00:00, 197.33it/s]
Creating child_2012...
100%|โ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆ| 8620/8620 [00:22<00:00, 379.30it/s]
Creating famconf_2012...
100%|โ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆ| 55012/55012 [01:07<00:00, 811.34it/s]
Creating famecon_2012...
100%|โ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆ| 13315/13315 [00:25<00:00, 515.88it/s]
Creating adult_2014...
100%|โ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆโ–ˆ| 37147/37147 [02:13<00:00, 277.24it/s]
Creating child_2014...

ๅฆ‚ๆžœ้œ€่ฆ dry-run, ๅช้œ€่ฆๆŠŠไธŠ่ฟฐๅ‘ฝไปคไธญ็š„ db ๆ›ฟๆขไธบ dry

้ซ˜็บง็”จๆณ•

ๅฐ† start_year ๅˆฐ end_year (้—ญๅŒบ้—ด) ็š„ๆ•ฐๆฎๅ…ฅๅบ“

python process/mysql_storage.py db write [start_year=2010] [end_year=2018]

ๅฐ†ๆŒ‡ๅฎš่กจ็š„ๆ•ฐๆฎๅ…ฅๅบ“

python process/mysql_storage.py db write-one <year> <table_base_name>

ไพ‹ๅฆ‚

python process/mysql_storage.py db write-one 2011 adult

ๆ•ฐๆฎ็ญ›้€‰ไธŽๆธ…ๆด—

ๅ‡บไบŽๆœฌๆฌกๅคงไฝœไธš่ฆๆฑ‚๏ผŒๆˆ‘ไปฌ้œ€่ฆไฟ็•™ๅŽŸๅง‹ๆ•ฐๆฎๅบ“๏ผŒๅ› ๆญคๆˆ‘ไปฌไฟ็•™ไบ†ๆ‰€ๆœ‰ๅŽŸๅง‹่กจๆ ผ๏ผŒ่‡ชๅทฑๅ†ๆ–ฐๅปบไธ€ไบ›่กจๆ ผ/่ง†ๅ›พๆฅๅญ˜ๆ”พๆธ…ๆด—ๅŽ็š„ๆ•ฐๆฎ

่ฟ่กŒไปฅไธ‹ๅ‘ฝไปคๆฅ่ฟ›่กŒๆ•ฐๆฎ็ญ›้€‰๏ผŒ็ญ›้€‰ๅŽๅฝขๆˆ็š„ๆ–ฐ่กจ็š„ๅ็งฐไผšๅธฆๆœ‰ clean ๅŽ็ผ€๏ผŒๅฆ‚๏ผš adult_2010_clean

python process/mysql_storage.py db filter

็„ถๅŽ๏ผŒๅฏไปฅ่ฟ่กŒไปฅไธ‹ๅ‘ฝไปคๆฅๅˆ†่งฃ้ƒจๅˆ†่กจๆ ผ

python process/mysql_storage.py db decompose <้…็ฝฎๆ–‡ไปถ่ทฏๅพ„>

้…็ฝฎๆ–‡ไปถ็š„่ฏญๆณ•ๅฆ‚ไธ‹ๆ‰€็คบ๏ผš

decompositions/child.json

{
  "table": "child",
  "postfix": "infant",
  "2012|2014": {
    "condition": "cfps{year}_age<2",
    "columns": [
      "wb8",
      "wf701",
      "wd2",
      "wf603m",
      "wa103",
      "wa105b",
      "wz302",
      "wf605m",
      "wg305",
      "wb701",
      "wg302",
      "wd402",
      "wb401",
      "wb801",
      "wf501",
      "pid"
    ]
  },
  "2010": {
    "condition": "childgroup=1",
    "columns": {
      "pid": "pid",
      "wa101": "ๅญฉๅญ็š„่ƒŽ้พ„๏ผˆๆœˆ๏ผ‰",
      "wa102": "ๅญฉๅญๅ‡บ็”Ÿๆ—ถ็š„ไฝ“้‡๏ผˆๆ–ค๏ผ‰",
      "wa103": "ๅญฉๅญ็Žฐๅœจ็š„ไฝ“้‡๏ผˆๆ–ค๏ผ‰",
      "wa104": "ๅญฉๅญ็Žฐๅœจ็š„่บซ้ซ˜๏ผˆๅŽ˜็ฑณ๏ผ‰"
    }
  },
  "2016|2018": {
    "condition": {
      "2016": "cfps_age<2",
      "2018": "age<2"
    },
    "columns": [
      "wb8",
      "wf701",
      "wd2",
      "wf603m",
      "wa103",
      "wa105b",
      "wz302",
      "wf605m",
      "wg305",
      "wb701",
      "wg302",
      "wd402",
      "wb401",
      "wb801",
      "wf501",
      "pid"
    ]
  }
}

้…็ฝฎๆ–‡ไปถ็š„่ฏญๆณ•้žๅธธ็ตๆดป๏ผŒๆ‚จ้œ€่ฆๆŠŠ่ฆๅค„็†็š„่กจๆ ผๅ็งฐๅญ˜ๅœจ table ไธญ๏ผŒๅŽ็ผ€ๅญ˜ๅˆฐ postfix ไธญ๏ผŒ่ฟ™ๆ ท็”Ÿๆˆ็š„ๆ–ฐ่กจๆ ผ็š„ๅ็งฐๅฐฑๆ˜ฏ child_2010_infant ่ฟ™ๆ ทๅญ็š„.

ๅฝ“ไธ€ไธช่ฎพ็ฝฎ้€‚็”จไบŽๅคšๅนดๆ—ถ๏ผŒๆ‚จๅฏไปฅๅฐ†ๅ„ๅนดไปฅ | ๅˆ†้š”ไฝœไธบ้”ฎใ€‚

ๅฝ“ๅคšไธชๅนด็š„ๆ‰€้€‰ๆ•ฐๆฎ็›ธๅŒ๏ผŒ่€ŒๆŸฅ่ฏขๆกไปถไธๅŒๆ—ถ๏ผŒๆ‚จไนŸๅฏไปฅๅฐ† condition ๅ†™ๆˆไธ€ไธชๅญ—ๅ…ธใ€‚

ๅฆๅค–๏ผŒๆˆ‘ไปฌๆ”ฏๆŒๅœจ condition ไธญๆ’ๅ€ผ๏ผŒๆ‚จๅฏไปฅไฝฟ็”จ {year} ่ฟ™ๆ ท็š„ๆ’ๅ€ผๅญ—็ฌฆไธฒๆฅๅค„็†่ฏธๅฆ‚ cfps2012_age ่ฟ™็งๅ˜้‡ใ€‚

ๆ‚จๅบ”่ฏฅๅฐ†้œ€่ฆ้€‰ๅ–็š„ๅ˜้‡ไนฆๅ†™ๅœจ columns ไธญ๏ผŒๆ— ่ฎบๆ˜ฏๅˆ—่กจ่ฟ˜ๆ˜ฏๅญ—ๅ…ธ๏ผŒๆˆ‘ไปฌ็š„็จ‹ๅบ้ƒฝ่ƒฝๅฆฅๅ–„ๅค„็†

About

No description, website, or topics provided.

Resources

Readme

License

View license
Activity
Custom properties

Stars

3 stars

Watchers

1 watching

Forks

2 forks
Report repository

Releases

No releases published

Packages

No packages published

Contributors 3

  •  
  •  
  •  

Languages